Porque nessa situação quado trava, trava o X.
Aí muda de terminal (ctrl+alt+F[1-6]), mata o X e recomeça tudo.
Mas servidor com servidor gráfico (X11) pra linux é desnecessário, ocupa espaço e nem faz sentido.
Como dizem por aí, está tudo no log

Por isso é interessante a nova versão de instalação pra servidor do Dapper Drake, que chega a instalar um lamp+openssh em menos de 10 minutos!
Boa sorte!