Vc deve ter esquecido de mudar o local onde o carregador de inicialização "Grub" foi instalado, assim, instalou-o no HD e não no pendrive como queria, sobreescrevendo o bootloader do Windows que estava no HD.
Agora, você precisa instalar o Grub no local correto (pendrive) e recuperar o bootloader do Windows.
Para instalar o Grub no pendrive, inicie o Ubuntu normalmente e rode o comando:
sudo grub-install /dev/sdX
Atenção: Substitua o X pela letra que identifica o pendrive. Use apenas a letra, sem o número, ou seja, aponte para o dispositivo (pendrive) e não para alguma partição. Ex: use /dev/sdb e não /dev/sdb1. Se vc indicar o local errado, vai acabar perdendo a instalação.
Depois rode:
sudo update-grub
Fica faltando recuperar o bootloader do Windows, o que foge do foco deste fórum.