Nem sempre o kernel novo é a melhor opção. O kernel é pensado e construído para rodar nos dispositivos de hardware mais atualizados e muitas vezes isso sacrifica a compatibilidade com hardware mais antigo. Além disso, o unity do 11.04 ainda apresenta alguns bugs e, de acordo com o que tenho lido neste fórum, exige bastante da placa de vídeo.
Eu uso o 10.04 a até o mês passado estava com o kernel 2.6.32. Li e pesquisei bastante e depois instalei o kernel 2.6.38-1 e percebi uma pequena melhora no desempenho, particularmente no consumo de energia. Mas, essa melhora não é assim tão expressiva.
Então, no seu caso, use o kernel antigo mesmo.