se for para apenas uma compilação
antes de fazê-la basta exportar a variável CC, logicamente tendo o 3X instalado, você pode ter várias versões do mesmo eu atualmente mantenho instalado o 3.3,3.4 e 4.0
quando eu vou instalar o driver da nvidia que requer poderes administrativos para instalar,por exemplo somente faço...
sudo export CC=gcc-3.4
substitua pela versão que vc pretende usar.
veja que isto é para ser executado a compilação como root...sudo ./configure blá blá blá
se for para o usuário comum export CC=gcc-3.4 somente...