Primeiro eu instalei o Xubuntu, o que melhorou BASTANTE a situação. Troquei o Openoffice pelo Abiword e o Calc pelo Gnumeric para tarefas corriqueiras.
Agora cheguei ao extremo: peguei o CD de instalação alternativo do ubuntu e fiz uma instalação básica, só do sistema de linha de comando. Depois mandei um apt-get no servidor x e no icewm. Meu ubuntu pelo icewm ocupa perto de 40 MB de memória :-) Mantive a instalação full em outra partição, por via das dúvidas, mas nos últimos dias só tenho bootado a instalação com o IceWM. Tá bem menos pesado...