Sim o XFS tem desempenho inferior ao ext4 com arquivos pequenos. O XFS foi feito para ser grande.
Quanto a fragmentação do sistema de arquivos, eu não conheço nenhum sistema que não sofra de fragmentação dos seus dados com longo período de uso. Eu vejo com bom olhos um sistema de arquivos com ferramentas para conter sua fragmentação.
Vamos imaginar um cenário de produção, como a Red Hat enfrenta com seus clientes. Os dados estão ficando cada vez maiores, e não menores e o sistema de arquivos estão contendo muitos, mas muitos terabytes de dados. Então vejamos, mesmo um ext4 que diz quase não se fragmentar, e por isso não tem ferramentas para não se desfragmentar, vai sofrer alguma fragmentação com o uso contínuo do sistema. Lembre-se que não se trata dos testes tipo do phoronix.com onde ele pega um sistema limpo e recém instalado e aplica testes sintéticos. Num sistema de produção tudo o que você não quer é ter que recomeçar do zero. E seus usuários gravam e deletam dados dentro dos seus servidores todos os dias, por meses a fio. Vai dizer que não fragmenta?
Vamos especular e dizer que ele fragmenta só 1%. 1% de quantos terabytes de dados? Os caras tem clientes com servidores que ocupam uma área de campo de futebol. 1% de quantos terabytes mesmo? Vai dizer que "só esses 1%" não vão atrasar um pouco o sistema?
Para piorar a situação são milhares de acessos simultâneos, esse sistema de arquivos tem que ter alguma reserva para se garantir com muitas requisições por segundo. Isso não acontece com o ext4, o XFS tem reserva para isso. E eles enfrentaram problemas com o ext4 na hora de crescer o seu sistema de arquivos com muitos terabytes de dados. Por isso a Red Hat vai mudar para o XFS.
É claro que para usuários "pobres mortais" como a gente, que na maioria absoluta, só tem um HD e sem backup de nada, nada disso importa e o ext4 tá "baum" demais!
Tenho certeza que se o brtfs for tudo o que seus desenvolvedores prometem que ele será, todos vão migrar para ele. Por enquanto não dá.
Então as vezes o que parece não valer nada em alguns recursos do sistema de arquivos para um usuário comum, mostra-se ser uma mina de ouro para grandes empresas.