Essa tela que vc enviou parece ser a da execução do programa.
Eu não conheço esse software, mas vc deve ir na tela de configuração do eixo (no seu caso o Y ou o eixo A), e configurá-lo para graus. Depois faça testes enviando código G para uma volta completa do eixo, ou seja, o perímetro da peça que vc vai usinar.
Seria melhor deixar o eixo Y "quieto", ou seja, manter a configuração já existente e configurar o eixo A, assim quando vc gerar um arquivo para usar o eixo rotativo é só trocar o Y pela A em um editor de testo sem formatação...