quais são as configurações de passo dos eixos angulares?

Está acionando os eixos diretamente ou tem alguma redução?

Pelo filme (supondo que seja a mesma maquina) não dá para saber se os eixos A e B tem redução - aparentemente sim, e de qualquer maneira todo e qualquer eixo rotativo pode ser um problema para configurar, pois estamos lidando com "deslocamentos angulares"...

Então apenas como exemplo: - no filme, o sujeito colocou 26.666 passos por unidade (e estou supondo que falamos de milímetros, ou no caso específico de A e B, de GRAUS), então seriam 26.666 passos por grau.

Matematicamente é uma dízima periódica (26.666666.....) passos, então nunca terá um display que te mostre o deslocamento cheio isto é - se você pedir para deslocar 10 graus, serão enviados para o motor 26.666 x 10 passos = 266.666 passos para andar 10 graus...então há um erro inerente ao tipo de acionamento por ser angular.

A probabilidade de ter redução ainda existe, pois estou me baseando no fato que motores de passo tem nativos 200 passos/volta completa.

Se eu acionar este motor com micropasso de 16x, serão 3200 passos/volta (200 x 16), maaaaaaasssss, como é rotativo, serão 3200/360, o que dá 8.88888..... passos por grau!

Provavelmente tem uma redução de 3:1 ou seja, para o eixo (ou placa) dar uma volta completa, serão necessárias 3 voltas do motor = 3200 x 3/360 = 9600/360 = 26.666666 !!!!

Num talvez assim bem de longe, eu tentaria ver se seria possivel por exemplo colocar uma redução de por exemplo 4.5:1, pois aí daria 40 passos por grau, e os deslocamentos seriam mais "redondos"...

Até daria para colocar uma redução de 2.25:1 (seriam então 20 passos/grau), mas pode ser que ocorra outro problema (independente da redução):

Como se trata de deslocamento angular, quanto maior for o diametro do objeto na placa (por exemplo um tarugo de uns 100 mm de diametro), o menor deslocamento possivel (com redução de 2.25:1) será de 0,0555555... graus ! > de novo a tal da dízima periodica

Tá bom - é um deslocamento aparentemente pequeno, mas quanto maior for o diametro do objeto a ser usinado, maior será o erro aparente... daí a explicação porque eu optaria por uma redução maior

Bom, tudo isso apenas para fazer com que os digitais angulares mostrem valores cheios - o que de certa forma não importa muito (em alguns casos), porque o que manda são os erros angulares, então a conclusão que se chega é que:
Quanto maior for a redução, menor será o erro angular aparente.

Agora foi possivel entender?

... uma das coisas que não sei esta certo meu pensamento é:
   quanto maior o passo por grau, mais redendo fica  os deslocamentos?

Isso !

como vc disse 4.5:1 ele vai estar elevando o numero de passo por grau mas arredondando os deslocamentos e se eu fizesse um passo mais 'baixo', assim dizendo, ele possivelmente teria algum erro?

Mais ou menos - agora sua maquina tem uma redução de 3:1 e que te dá um certo erro - se você aumentar a redução, este erro deve diminuir um pouco.
quanto maior a redução, menor o erro aparente - o que deve ficar claro é que a quantidade de passos é algo fixo ou melhor - está atrelada à redução, então se você tem uma redução pequena, a quantidade de passos para que exista um certo deslocamento será menor do que se você tiver uma redução maior...

Outra coisa (desculpe atrapalhar) o fuso pode acabar interferindo? tenho um fuso em casa, que esta tendo um deslocamento de 20mm por giro. (para nos é muita coisa).

Bem, não sei onde entra a estória desse fuso na redução dos movimentos angulares - estávamos falando de uma redução num movimento polar - fuso é usado para fazer deslocamentos lineares...