Sim com certeza dá mais desempenho!!!
Mas vai dar muito trabalho, serão horas com a máquina ligada e vc não terá certeza que tudo funcionará 100%.
O mais "fácil" é vc compilar uma única coisa... O KERNEL.
Pegue o fonte do kernel, compile ele para sua arquitetura, coloque um patch para aumentar a velocidade e desfrute.
Se vc tem um interesse real em performance o melhor é usar distribuições já focadas nisso como o archlinux e o gentoo.
O problema delas e que não são tão fáceis de mexer e vc terá que aprender várias coisas...
Hqx