Se eu entendi, a questao é o diametro da fresa ser muito pequeno pra pinça, mandril,sei lá oque.
eu costumo resolver esse tipo de problema, enrolando um fio de cobre, desses encontrado em transformadores, motores eletricos, etc, por toda a parte da haste que vai ser introduzida no mandril, dou um bom aperto é pronto! nunca deu problema.