Julio,
Sim - a lógica está certa - quanto maior o diametro, maior a velocidade periférica e maior será a vibração caso a ferramenta esteja "excentrica" ou desbalanceada...
Para as "pontas montadas" - aqueles pequenos rebolos montados em um eixo de aço - há uma pedra retangular que se usa para "dressar" o rebolo, o que faz com que ele fique limpo, concentrico e com a face placa (ou no perfil que desejar).
No caso das lixas não há como controlar isso - só mesmo baixando a RPM do equipamento...
Se estragou? Bem, se usou por muitas horas, provavelmente os rolamentos já se acabaram, ou pior - a carcaça se deformou por causa da vibração e da temperatura...