Aconteceu algo parecido comigo...
Quando eu instalei o drive mais novo baixado no site da NVIDIA, que reiniciei, ele tambem deu um erro para abrir o X, dizendo que estava com incompatibilidade de versoes do drive NVIDIA
Entao me liguei que o kernel que eu instalou aki era o 2.6.17-10-generic
Por ser generic, acho que ele já vem com uns modulos pre-instalados, ou sei lá oque.
Daih baixei outro kernel (image, headers e source)... Na verdade baixei o 2.6.17-10-386
Entao instalei o drive, na hora que ele pergunta se quer que o instalador atualize o xorg.conf eu aceitei normal
Soh bastou reiniciar que estava tudo ok
Então me responde qual kernel que você tá usando
(dica: uname -r no terminal)
EDIT: Essa minha experiencia aih em cima, foi feita com uma instalacao limpa, apenas com o build-essentials e a novo kernel baixado normal pelo apt-get