Fiquei receoso de remover Evolution que não uso, pois estou o substituindo por Thunderbird, assim com outros programas que são automaticamente instalados pelo CD do Ubuntu.
Me parece que certos programas tem ligações entre si e se foram removidos eles podem impedir o bom funcionamento de outros.
Portanto no caso especifico de Evolução para evitar que ele aparece na barra e nos menus fiz os seguinte:
Preferências -> Menu principal -> Escritório
desmarquei: Correio e agenda do Evolution e também Evolution
Preferências -> Aplicativos de sessão
Desmarquei: Notificador de alarme do Evolution
Reinícia e se aparecer o applet na barra remove o mesmo que não deve mais perturbar.