ubuntu-desktop é apenas um meta-pacote, uma espécie de pacote virtual que "não faz nada" além de trazer várias dependências com ele. um exemplo pra tu entender melhor:
kubuntu-desktop
Esse é um meta pacote que quando instalado, tráz tudo para o desktop com o kubuntu, ou seja, tráz o kde e vários outros pacotes que fazem parte do desktop kubuntu. Facilita as coisas caso tu queria instalar o kde no lugar no gnome por exemplo.
Pode removê-lo sem medo. Eu mesmo já removi ele faz tempo quando removi o evolution, jogos e outros pacotes que eu nunca usaria mesmo.