Prezado mon!z,
O ubuntu server é, por padrão, em modo texto (linhas de código) mas, com a utilização de alguns pacotes gráficos ele pode rodar perfeitamente em modo gráfico.
A questão de ficar ou não pesado, depende da máquina que vc vai utilizar, ou seja, se vc vai "testar" ou implementar naquela máquina "aposentada", realmente há perda de velocidade de processamento, mas, nada tão crítico assim, salvo se vc for rodar aplicativos pesados no próprio servidor. Contudo, se vc vai rodar o servidor em uma máquina um pouquinho mais robusta, vai fundo e rode em modo gráfico que não sentirás diferença alguma.
Particularmente estou estudando o 8.10 server, rodando em modo gráfico numa máquina mediana e não estou sentindo diferença alguma, salvo a facilidade deste modo de operacionalização do servidor.
Quanto a eventual pacote para o modo gráfico, o grabriel ai em cima já mencionou os pacotes, inclusive o que eu uso por ser o mais fácil, na minha opinião.