Mais informações:
1) cenário geral
instale o inxi
sudo apt install inxi
depois faça e traga ao tópico:
inxi -FxZ
2) instalou interface gráfica sobre o Ubuntu Server?
Qual interface? Ubuntu padrão (=Unity)?
3) Qual mouse? marca e modelo? com fio ou sem fio?
4) Já experimentou com outra marca/modelo?
5) Tem bluetooth instalado no sistema?
6) Supondo que seja usb sem fio, já experimentou trocar o receiver para uma diferente porta USB?
Mesma coisa se com cabo usb.
Nem todo mouse trabalha bem em portas USB 3.0.
7) Poste a saída:
xinput --list
ls /dev/input/*
dmesg | grep mouse
8 ) Mais alguma informação quanto ao cenário aí existente e que possa ser relevante para melhor entender a questão?