Celso,
Ficou muito legal - eu adoro fazer minhas ferramentas também
Se posso sugerir, pode ser que vibre por alguns motivos - afiação, resistência do bit e rotação.
No video me pareceu que a haste da ferramenta é relativamente fina e longa - claro que isso vai depender da profundidade do trabalho e do diâmetro que se quer fazer o mandrilhamento, mas procure criar ferramentas com hastes mais robustas e com diversos comprimentos, assim poderá adotar a melhor ferramenta para aquele serviço.
na minha máquina, que uso um cabeçote também feito por mim procurei a maior rigidez possível, e mesmo assim ainda vibra em certos tipos de materiais e serviços, então tenho que usar de rotações cada vez menores conforme o diâmetro vai aumentando - quanto maior o diâmetro mais baixa é a rotação.
E só pra dar uma palinha - tá saindo um cabeçote faceador para a fresadora - daqueles que possuem avanço radial durante a rotação