não é boa ideia, ambiente grafico em um servidor: mais portas abertas, processamento maior e por ai vai
O servidor gráfico não abre portas, especialmente em Ubuntu em que uma instalação mesmo com a versão desktop tem 0 portas abertas.
O único inconveniente é mesmo a maior utilização de processador e memória pela parte gráfica, de qualquer forma pode sempre iniciar ou terminar o ambiente gráfico para disponibilizar os recursos.