A diferença de consumo de memória RAM não é la muito significativa entre uma instalação 32-bit ou 64-bit, algo em torno de 6% ou 7% talvez.
Em contrapartida a instalação de 64-bit é, no geral, mais rápida, desde que não esgote a RAM do sistema.
Porém, note, seja uma ou outra o fato inescapável é que 2GB RAM nos dias atuais não dá pra mais nada, vai ficar sempre um sufoco seja lá qual for a arquitetura, é ruim do mesmo modo, aliás, com sistema com 4GB atualmente já não fica bom, no mínimo 6GB e para ficar suave precisa mesmo é de 8GB RAM, o fato é que a internet consome uma memória RAM danada.
O único modo é mesmo ter sempre consciência dessa severa limitação e ser comedido ao abrir janelas e programas, tem que ir fazendo mais ou menos um por vez mesmo.