Alguém já pensou na possibilidade de estarem se referindo aos aplicativos e drivers? Esses muitas vezes não dependem da Canonical.
Utilizo o 64 bits acho que desde 2008 quando comprei meu primeiro Core2 Duo. Tive alguns problemas com aplicativos (por problemas é ter que instalar pelo fonte ou alguma traquitana fora do normal... o Ubuntu deixou a gente mal acostumado
), pois só encontrei para a plataforma i386.
Hoje acho que está bem melhor e, com certeza, se a máquina é de 64 bits de bus de dados, e desde os DualCore são, a performance melhor estará no sistema de 64 bits.
Sugestão se a dúvida persiste: tente os dois em duas partições diferentes do disco.