Eu já trabalhei muito no RhinoCam, não sei desenhar no Rhinoceros, importava os arquivos do Solidworks, porem devido a falhas de geometria no processo de exportação de alguns planos curvos eu abandonei o RhinoCAM e uso o SolidCAM... Já testei MasterCAM, featurecam, powermill, etc.. etc... e nunca vi um tão pratico, objetivo e simples como o RhinoCAM.
Respondendo a sua pergunta, com certeza é pouca memoria ram, se o aquivo de desenho tem 100mb os calculos de percurso vão estourar a memoria, (lembro que arquivos de desenho de 1mb ocupavam uns 4gb na memoria quando estava gerando o percurso).
Minha dica é fazer uma operação, salvar g-code, fechar a operação, fazer a seguinte, salvar o g-code, etc...
Depois "emenda" o g-code no bloco de notas.
Outra solução é botar mais memoria ram.