já tentou trabalhar com micropasso? diminui a vibração
a vibração ocorre por conta da rotação muito baixa do motor, e/ou está trabalhando na frequência da ressonância do eixo, deve se evitar trabalhar na velocidade que mais vibra, diminuindo a aceleração ajuda.
e com isso com certeza está ocorrendo a perda de passo.
a redução por polias vai ajudar, pois trabalhará acima da ressonância.
uma redução de 1:2 ou 1:3 pode resolver o seu problema, irá aumentar a precisão, perderá velocidade.