Então, @ydek,
Depende, se o que você tem aí é um servidor de grande importância em missão crítica, um trabalho altamente profissional que se parar pode virar um problema enorme, então sim, desabilitar todo e qualquer repositório é uma medida mandatória em segurança de servidores de rede.
Não apenas a questão de tais e quais repositórios é importante em se tratando de servidores profissionais, como também o controle de atualizações.
Com bastante frequência apenas as atualizações de segurança são autorizadas, as demais muitas vezes os administradores de rede avaliam uma a uma para autorizar ou não a atualização, dentro do princípio de que "em time que tá ganhando não se mexe", isto é, uma atualização inadequada pode 'quebrar' desnecessariamente um servidor de rede importante, daí a cautela.
Entretanto, se o que você tem aí é um computador pessoal, um simples desktop, esqueça isso, é bobagem pura, pode deixar todos os quatro repositórios (main universe restricted multiverse) assinalados, não há nenhum risco inaceitável de segurança, funcionará muito bem e sem problemas.