Deve ter um jeito melhor, mas eu faço assim:
Ctrl+Alt+F1
Vai apagar o X mas ele vai continuar rodando. Pra parar de rodar:
sudo /etc/init.d/gdm stop
-------------------------------------------------------------------
Pra iniciar de novo:
sudo /etc/init.d/gdm start
Só por curiosidade, o que as teclas Ctrl+Alt+Backspace fazem é:
sudo /etc/init.d/gdm restart