Eu descobri o porquê do problema dos ícones no OOO e também que dá para resolve-lo sem instalar o BRO.
A solução é procurar no Synaptic pelos pacotes "openoffice.org-style" e instalar todos os que aparecerem. Isso resolve o problema, que ocorre porque os estilos-padrão não vêm instalados no Ubuntu (não dá para usar ícones que não estão instalados e por isso só aparece texto).
Quem não quiser usar o Synaptic, pode usar a seguinte linha para o apt:
sudo apt-get install openoffice.org-style*
No mais, instalar o BROffice por inteiro tem suas vantagens, sendo uma delas a instalação do dicionário brasileiro que não é instalado pela simples conversão feita através do pacote "broffice" que está nos repositórios do Ubuntu.
[].