Fiquei curioso com sua pergunta e dei uma procurada na internet.
Pelo que vi não usar o X pode na verdade deixar o vídeo mais lento, já que sem ele você não teria aceleração na saída de vídeo e ao invés da carga ficar mais leve para a CPU ela ficara é mais pesada.
No entanto seria possível rodar apenas com o X puro sem precisar de um gerenciador de janelas completo como o Gnome ou o KDE. Bem, isso foi o que vi nesse tópico de um fórum gringo
http://bbs.archlinux.org/viewtopic.php?pid=235494Vi na wiki do VLC (
http://wiki.videolan.org/index.php/Console) que tem como rodar ele em modo texto. Basta rodar
vlc --intf rc arquivo_de_video
Mudei para um terminal com o Ctrl+Alt+F1 e ele "rodou o vídeo", mas em ascii art.
Se pesquisar mais a fundo acho que vc encontra o que quer. Certamente a melhor forma seria encontrar uma maneira de rodar o X puro só para visualizar o seu vídeo. Em último caso vc também poderia instalar um gerenciador de janelas mais leve apenas para quando quiser assistir alguma coisa.