Nenhuma interface polui o sistema, pois ele independe de interface. Só porque o Gnome é o padrão do Ubuntu não quer dizer que será poluído ao se instalar aplicações KDE (K3b, amarok, etc...), gtk 1.2 (xmms, audacity, etc...) ou fluxbox (esqueci o nome dos programas mais usados - eu não uso, mas digo que são para trabalhar com áudio).
Sobre o visual de outras aplicações, usando temas do gtk-qt ou qtcurve, pode-se deixar as aplicações com a mesma aparência do tema usado no Gnome. Eu uso o qtcurve para deixar as aplicações Gtk1 e Gtk2 com a mesma aparência do KDE.
Sobre a demora um pouco maior na hora de abrir os programas, como o boi disse, acontece sim, pois não está sendo executada em sua interface padrão. Eu tenho o mesmo problema com o firefox e o Gimp, mas não é nada muito danoso e é só na hora de abrir.