Villas,
Tem como você postar alguma foto do trabalho?
Normalmente se faz primeiro o "desbaste" até uma certa medida, e depois passes finos de "acabamento" para além de melhorar o acabamento, chegar nas medidas desejadas...
O desbaste pode ser composto de um ou vários passes, dependendo de muitos fatores, como diametro da ferramenta, material, potencia instalada, etc...
Normalmente se "esquadra" a peça primeiro e depois se parte para a forma, pois uma peça bem esquadrada se fixa melhor na morsa, minimizando maiores problemas...
Posso estar errado, mas este formato "onda" pode se dar quando o topo da fresa não está paralelo com a mesa - verifique o alinhamento do cabeçote (se este inclinar) ou da coluna (caso esta possa inclinar também)
Normalmente o acabamento em aço com uma fresa de 2 cortes não é lá grande coisa
E quanto a este "bater na volta", acho que de certa forma é normal, mas com restrições...existe "flexibilidade", "elasticidade", "folgas" e fatores que devem ser levados em conta...
Porque você não vem a Atibaia na minha oficina bater um papo???
Pode ser que a gente possa te dar umas dicas, e você vendo como a gente trabalha com uma fresadora pode ser que te ajude...