Tem sim, o processo de instalação. A instalação do Server te entrega vários serviços prontos, vc não precisa instalá-los manualmente depois.
Isso é especialmente importante com os serviços de rede (DNS e DHCP); a instalação de qualquer interface gráfica traz o NetworkManager, que pode interferir pesadamente nos serviços instalados.