Sempre usei 32bits porque só tenho 2GB de memória ram e nunca tive problemas com o Ubuntu, mas há muito tempo que queria testar o 64bits e como foi comentado que o recomendado seria o 64bits de agora em diante, não esperei e baixei o beta2 64bits do Ubuntu 12.04 e instalei.
Não percebi até o momento grande diferenças a não ser um consumo maior de partida da memória ram e talvez uma bem pequena demora (quase imperceptível) em abrir um aplicativo, por exemplo o navegador.
Estou pensando em voltar para 32bits porque alguns aplicativos podem ainda não ter uma versão para o 64bits (a compatibilidade do 32bits é maior), além disso se bem me lembro o flash tem lá uns problemas em 64bits e no 32bits não. Se bem que já rodei várias coisas em flash aqui e não notei nada de diferente.