Não entendi direito zoroastro, pois o pacote ubuntu-desktop nada mais é do que meta-pacote para "chamar" todos os pacotes necessários para ter um sistema padrão do Ubuntu.
O Ubuntu possui uma intrincada rede de dependências que procuram suprir a necessidade de um usuário desktop, por isso ele vai procurar instalar muito mais coisa do que você precisa, isso se sua intenção for a de instalar um sistema bastante cutomizado para você!
É mais fácil fazer uma instalação básica do Ubuntu e depois sair instalando o que você quer, no final ele vai ter bem menos pacotes que a instalação padrão (como instalar o pacote ubuntu-desktop), mas mesmo assim fica maior que um Debian após instalação básica.