Isso é verdade. Então tentarei ter humildade e fazer o teste.
Eu nem havia tirado tudo do uso do swap, apenas abaixei o número que controla o swap para 10, mas sobre o que o Cristiano esta falando resolvi aumentar para 30 - metado do valor default - porque eu também deixo muitas abas abertas além de vários daemons ativos (como o servidor CUPS, Apache, aMSN, KOrganizer, FTP Server e SSH Server) além de jogar Counter-strike com tudo isso aberto ao mesmo tempo, rs... viva o multitarefa!
O meu nível de uso do swap aumentou 180MB.
Mas ainda penso que se você tiver muita RAM, pode retirar o uso do swap caso não gaste muita memória ou mesmo diminuir esse valor;
Senti que o sistema ficou um pouco mais pesado.
Concluo pelo menos que caso tiver muita de RAM, pode abaixar bem o swap.