já imaginei que seria esse o problema.
Já tive esse problema também g4p.
a solução são três:
instalar o sistema de arquivos xfs em um servidor linux opensuse.
instalar o sistema de arquivos xfs em um servidor linux centos.
instalar o sistema de arquivos zfs em um servidor bsd.
O gerenciador de carga e debian não é bom, já tive servidores debian e ubuntu, e para completar o ext4 é um otimo sistema de arquivos, porem quando se trata de servidor, não. porque ele não suporta muitas requisições simutaneas.
Agora tanto o servidor opensuse, quanto centos, eles fazem um gerenciamento de carga muito bom se tratando de muitas requisições, somando ao sistema de arquivos xfs melhora mais ainda, experimente fazer na sua casa um servidor desses e coloque para transferir uma grande carga de dados, vera que quanto mais voce puxa arquivos o servidor irá balancear a carga de forma dividida em igual para todos na rede.
agora se achar que é muito serviço pode optar por continuar no ubuntu e instalar o htb ou cbq para fazer traffic shapper, que também é uma otima opção.