Poder, pode... mas você pode notar que em algumas tarefas, o desempenho da máquina pode não ser tão satisfatório. O kernel da versão desktop é otimizado pra experiência do usuário final, principalmente na apresentação de conteúdo multimídia. Já o kernel da versão server é otimizado pro desempenho de tarefas em background, transferência de dados, IO, rede, etc.
Veja também que nada impede que você instale o kernel de uma versão na outra...