você usou o pacote unetbootin para carregar o .iso do server, com o pen formatado em fat32, certo?
Neste caso o pendrive vira um cd rom.
Como nunca usei o server, é só o que posso ajudar, a não ser instalar o Ubuntu desktop numa máquina, remover a parte gráfica, colocar os pacotes do server e usar o remastersys para fazer suá propria .iso, Depois usar o unetbootin.
[],s