Serande,
A pergunta de como os fusos estariam montados era para saber se possivelmente terial folgas axiais, mas como a informação mostra que você usou mancais com rolamentos de contato angular, eu suponho que estariam ajustados de forma a eliminar o jogo axial, então vamos para uma segunda hipótese:
Supondo que o motor esteja conectado diretamente no fuso (passo 5mm) e esteja sendo acionado em passo cheio, teremos uma resolução teórica de 0,025mm/passo.
Uma possibilidade que explicaria o erro de 5 centésimos seria que o driver que aciona o motor estaria perdendo 1 passo quando inicia um movimento, então se num movimento de vai e vem para fazer o teste de medida acontecem dois movimentos, haverá uma perda igual a 2 x 0,025 = 0,05mm.
Para experimentar se de fato era esta a causa, voce pode tentar alterar um ajuste do programa de controle usado para comandar os motores.
Supondo que está usando o Mach3, poderá alterar o sinal de "PASSO" para "Active Low" - vá no menu "Config > Ports & Pins", e na aba "Motor OutPuts" marque a opção "Active Low" só do pino de passo, e experimente.
Se piorar, pode ser outra causa - estes dias mesmo estive com um caso de drivers que não reconheciam direito a mudança de direção, e perdiam passo cada vez que se alterava a direção de movimento.