Tenho usado dois kerneis experimentais 3.16, o pf-kernel e o kernel Liquorix. Os dois são muito, mas muito rápidos mesmo. O 3.16 é um pouco mais lento para abrir programas da primeira vez do que o 3.15, mas na segunda vez o 3.16 é mais rápido. Achei também que o 3.16 está aguentando mais carga do sistema no geral que o 3.15. No mais não vi grandes diferenças. Vai depender da sua máquina.
Quanto ao kernel mainline do Ubuntu eu não testei. Fico com os kerneis oficiais mesmo da versão corrente.