Não faça "sudo passwd root". Isso vai criar uma senha pro root. O Ubuntu foi projetado pra não ter senha no root. Sem senha, o root fica desabilitado, e o "su" não funciona. Isso não é um erro, isso é o comportamento esperado do Ubuntu.
Se vc quer fazer alguma coisa como administrador, use "sudo", em vez de "su". Ele vai pedir uma senha, que é a senha do seu usuário. Note que apenas o primeiro usuário cadastrado no Ubuntu pode fazer isso.
Se vc quer abrir uma sessão, em vez de executar um comando, use "sudo -s". Isso faz a mesma coisa que o comando "su" sozinho faz.
Se o comando que vc quer executar for gráfico, provavelmente vc vai obter um erro se tentar usar o "sudo" (ou o "su"). A solução é usar o comando "gksudo", em vez de "sudo". Usuários do Kubuntu vão usar "kdesudo", em vez de "gksudo".