Acredito que haverá uma melhora, mas sinceramente, não vale a pena o esforço de uma formatação e reinstalação do sistema, caso você esteja com o sistema "redondo", eu trocaria no caso de um update de distribuição.
Quando um software é compilado para AMD64, ele ao invés de usar o x87 para cálculos de ponto flutuante, usa por padrão as instruções SSE2, que são bem mais otimizadas, o problema é que na prática, as melhorias podem ser até significativas no caso de aplicações gráficas, mas na maioria dos casos é imperceptível.
Numa instalação limpa, eu instalaria direto a versão 64 bits, os problemas antigos já estão praticamente todos resolvidos (desde que use o Flash x64) e ainda abre a possibilidade de num futuro próximo, caso você faça um upgrade de memória, o sistema utilizar ela por completo.