Boa tarde Willo,
Vou te sugerir dois testes pra você ver se melhora este resultado...
Você pode suavizar o relevo utilizando o menu de suavização na guia assistente do artcam, depois você refaz a simulação pra ver se o resultado fica satisfatório... mas, tem um detalhe, quanto mais passos de suavização você aplicar no relevo, menos detalhes "finos" irão ficar na peça... então, não exagere no número de passos.
Segunda opção, diminuir o passo lateral da sua ferramenta... não sei que fresa vc está usando, mas diminua um pouco o passo lateral e refaça a simulação...
A questão das linhas do caminho da ferramenta ficarem meio "quadradas" não quer dizer necessariamente que o relevo ou percurso estão com algum problema... isso pode ser efeito da renderização em tela... isso pode acontecer quando a placa de vídeo do PC "apanha" para renderizar algo com muitos detalhes.
Att.