Bom dia, Marcelo!
Lendo a descrição do problema tem-se a impressão de que o problema é de configuração do diâmetro da ferramenta, mas verificando a imagem da placa gerada fiquei com a impressão de que o problema é na máquina, pois, a não ser que o desenho esteja com as distorções de traçado mostradas, o movimento horizontal tem uma certa histerese (para usar um termo comum ao meio eletrônico).
Pode ser problema de folgas, falta de rigidez, etc. Se for problema de rigidez, pode tentar montar o spindle mais "pra cima", próximo aos eixos que o sustentam, e usinar próximo aos fins de curso 'x' e 'y' onde a rigidez das respectivas guias é maior.
Quanto a broca ficar "dançando" na furação, uma solução bastante eficaz é, com a fresa de gravação que usa nas trilhas, marcar os pontos de furação, assim na hora de furar a broca centraliza de boa. Na verdade um pouco mais que marcar, tento tirar todo o cobre, assim a broca fura só o fenolite/fibra.
Eu não sei se foi azar meu ou é caractrerística do produto, mas a dremel que tenho aqui, depois de 15 minutos esquenta tanto que não dá nem pra segurar o bicho...
Boa sorte!
Ricardo