se for o caso do gcc nao precisa recompilar o kernel!
puxa o gcc-3.4 nos repositórios, e dah os seguintes comandos
$CC=gcc-3.4
$export CC
pronto, só compilar o driver que vc quiser, que vai ser compativel com o kernel, em questão de linguagem!
no vivaolinux, br-linux e no ubuntuforums.org, existem ótimos artigos sobre compilação de kernel, eu acho na verdade uma perca de tempo ficar recompilando kernel, já fiz isso várias vezes, mas cada um, cada um!