Seguinte, tive muitos problemas com a nvidia, ao instalar o 7.10. Se vc fizer uma busca aqui vai ver como eu penei.
Minha dica, já que teu caso tá complicado.
1. instalar o ubuntu 32 (ok, vc já fez)
2. aguardar o ubuntu fazer todas as atualizações (no meu deu uns 230 mb)
3. antes de qualquer coisa, instalar o driver da nvidia pelo gerenciador de drivers restrito
4. usar somente os repositórios oficiais, ou se precisar instalar algo de outros repositórios, instala e desmarca em seguida
É o que tenho feito e tem dado certo. Não tenho problemas, minha máquina está muito rápida, sem travamentos, sem estresse