Mini travamento a cada 1 segundo por conta de Driver

[M31]

Boa noite a todos.
Estou com um problema muito chato aqui, quando instalo os drivers mais recentes da minha placa de vídeo o sistema inteiro fica lagando a cada intervalo de aprox 1s, está horrível navegar assim. Eu já tive esse problema no passado e deixei de usar linux por causa disso e de um tempo pra cá estava tudo bem a máquina e aparentemente tinha sumido o problema, mas eu precisei fazer uma nova instalação ontem e o problema retornou. Tentei instalar 2 drivers anteriores ao mais recente e o problema persiste, tentei outros tutoriais que vi por aí e acabei quebrando o sistema também mas estou postando de uma instalação nova, se continuar vou ser obrigado a voltar ao windows e eu não quero isso, ajudem por favor.
Ah e eu esqueci de avisar que com o driver padrão (noveau) o sistema fica normal, intacto e funcionando sem travamentos, mas sei que ele é só um quebra galho e não deve ser usado.

Distro: Xubuntu 18.10
Vídeo: GTX 660.
Driver aplicado: Nvidia-driver-415.