Boas!
A chapa está bem apoiada ou está vibrando muito? Se estiver sem apoio, ou se o apoio estiver elástico demais pode ser problema.
Utilizo fresas vbit para fazer placas de circuito impresso, costumava comprar da China pelo ebay/aliexpress e de cada 10 fresas apenas 3 ou 4 cortavam corretamente as outras empurravam o material com os lado não cortantes . Minha outra sugestão então é ver como é que essa sua fresa está comendo o material
Por último, há algum tempo fiz gravações em alumínio, porém utilizei uma fresa de gravação da dremel, ficou muito bom.
Boa sorte!
Ricardo