Blackmore,
Tive problemas semelhantes como os seus. Como comentei em outro tópico o meu micro é bem antigo(Pentium 766/384Mb RAM), estava usando o ubuntu 10.04 server e fluxbox com uma porrada de módulos desabilitados, mas mesmo assim a latência estava alta. Tentei instalar o ubuntu 8.04 e dava muito conflito de hardware, só resolvi o problema instalando o Debian Lenny, apliquei o patch RTAI, compilei o kernel e em seguida o emc2(estou usando a versão pre 2.6.0). Desabilitei tudo que era desnecessário(bluetooth, exim4, cron, etc) usando driver de video vesa com fluxbox. Baixei muito bem a latência, a máquina passou a trabalhar muito mais suave, sem trancos e não trava mais, estou com uma latência de 26.888.
Um ponto a observar é que tenho que desplugar tudo da USB, senão a latência vai pra estratosfera assim como no seu caso, isso acontecia tanto usando ubuntu 8.04(gnome) e 10.04(gnome e fluxbox) acho que deve ser por causa da BIOS, nunca atualizei a bendita, pois o drive floppy deu pau e não corri atrás por um novo e a atualização da Bios só pode ser feita via floppy.
Na minha opinião o vilão é o Ubuntu, tem muita coisa desnecessária nele. Assim como no seu caso, eu só uso o pc para controlar a cnc e nada mais, o Debian é muito mais estável e leve. Só descobri isso depois de instalar e configurar o Ubuntu de tudo quanto é jeito, por mais que eu me esforçasse não conseguia rodar o X com um consumo memória RAM de menos 100 MB mais ou menos.