Ótimo que tenha conseguido gravar o pendrive do Ubuntu 14.04.5. (conta como é que fez para gravar usando o Rufus).
Se tudo deu certo deve estar sendo possível dar o boot pelo pendrive com o Ubuntu, onde irá aparecer um menu no qual se encontra uma opção do tipo "Experimentar o Ubuntu".
Este é apenas um live-iso (live-pendrive), não é o Ubuntu instalado propriamente dito, note que são coisas diferentes (e muito diferentes).
A partir de um live-iso é possível fazer uma instalação definitiva do Ubuntu, o que sempre é a melhor opção, porém se gerou o live-iso usando o "modo persistente" ele poderá armazenar algumas coisas quando instaladas, mas não todas, há várias limitações, já que o live-iso não é realmente o Ubuntu instalado e atualizado.
Experimente um pouco o Ubuntu apenas a partir do live-iso, até para se familiarizar um pouco mais com ele e também verifique se todo o hardware funciona adequadamente (notebooks Samsung podem ser problemáticos).
Se possui um pendrive de 16GB dá para tranquilamente fazer uma instalação nele (instalação mesmo, não live-iso), aí sim se terá o sistema completo num pendrive.
Evidentemente também dá para fazer isso no hd externo, desde que haja uma partição disponível, mas deixemos isso para mais adiante, penso que o adequado, no momento, é usar um pouco o live-iso e depois, se o caso, fazer a instalação no pendrive de 16GB, que irá trabalhar como se fosse um disco, apenas que evidentemente mais lento em razão do acesso mais lento próprio da mídia pendrive.