A diferença começa exatamente nos patches aplicados. O kernel usado pelo Ubuntu é diferente do kernel usado pelo Debian, que é diferente do usado no Fedora, e assim por diante.
Dentro da distribuição, olhando pro nosso próprio umbigo, vemos três famílias de kernels, o "genérico pra desktop", o "genérico para servidor" e o "real-time". O primeiro privilegia a interação com o usuário, dando maior prioridade a processos que lidam com entrada e saída no console, teclado, vídeo, etc.
O kernel para servidores privilegia processos pesados, interrompendo menos o processamento pra lidar com vídeo, mouse, teclado, etc. Acessar a internet com esse kernel dá a impressão da máquina ser mais "monga", pq ela demora a clicar nos links, ou você vai digitar e ela de vez em quando vai ficar pensando antes de escrever. Em compensação, processos pesados, cópias de disco, etc, serão mais rápidas. O kernel de baixa latência é usado, por exemplo, pra fazer edição de áudio.
Mais detalhes aqui:
https://help.ubuntu.com/community/UbuntuStudio/RealTimeKernel