Só usei o Ubuntu como usb-boot uma vez para testar, mas achei que ficou meio lento por isso desencanei.
De qualquer modo, para salvar as mudanças de configuração e outros arquivos no próprio USB acredito que você tenha de estabelecer uma partição na memória USB. Eu sei que não é aconselhável usar uma memória menor de 1GB para isso. Além disso, é importante que você siga o roteiro para a realização de "persistant install" e não simplesmente faça um drive inicializável porque neste último caso a memória USB se comportará como um Live-CD (não salvarà configurações ou arquivos).
Não sei se inglês é um problema, mas aqui vai um roteiro:
https://wiki.ubuntu.com/LiveUsbPendrivePersistentEspero ter ajudado. Boa sorte.