@galactus
Galactus, neste exato momento estou "fuçando" nos Makefiles do kernel pra ver onde que fica as opções de march e mtune originais do kernel. Como estou em um sistema 32 no Atom, o caminho ficou em linux/arch/x86/Makefile_32.cpu.
Este é o "background" daquela opção de selecionar o tipo de processador na configuração do kernel. Como esta opção provavelmente passa as CFLAGS para todos os módulos do kernel, não custa nada tentar customizá-las.
Atualmente, estou usando o Arch Linux com GCC 4.5.2. Vou colocar os parâmetros '-march=atom -mfpmath=sse' que deram uma vida legal no Gentoo pra este hardware.
Não sei se ajudou em algo, mas se descobrir algo também posto por aqui.