Tem que parar com o mito da memoria swap!!
Você tem que observar o uso que voce faz do PC
Por exemplo, eu usando o pc nesse momento....com 2gb memoria ddr2, e 612mb de swap, está usando apenas 7.6%, mais como eu tenho maquina virtual, quando utilizo, vai lá pra cima...
Então, avalie seu caso...pq em dado momento voce pode não fazer uso da swap, porém, pode aumentar a carga do uso e ela torna-se necessaria...