Pedro,
Pelos dados passador por você, eu diria que não está usando a ferramenta adequada, pois supondo que quer um furo cilindrico, está usando uma ferramenta de topo esférica (usada para acabamentos em 3D).
Há ainda um segundo aspecto - que não sei se é o caso ou não, que é o modo como está gerando os arquivos de corte.
Há duas maneiras (basicamente falando) de fazer um círculo:
- através de interpolação "linear" (G01), onde a máquina descreve diversas pequenas "retas" mas que no todo formam um círculo,
- através de interpolação "circular" (G02 ou G03), onde como o nome já diz, a máquina descreve uma trajetória em raio constante.
O primeiro modo faz os círculos, e dependendo da rigidez de sua máquina, o acabalento poderá firar "facetado".
Há outras questões que envolvem formatos e acabamentos, mas dizem respeito à alinhamentos e esquadros, assunto pode pode ser abordado mais À frente, à título de verificação de geometria para confirmar se podem estar influenciando (ou não) seus trabalhos.