error opening/initializing the selected video_out(-vo) device
O video_out padrão está configurado num dispositivo que você não tem instalado no seu computador ou a sua placa de vídeo não suporta.
Se você entende inglês, digite no terminal man mplayer e procure "VIDEO OUTPUT DRIVERS (MPLAYER ONLY)" que tem uma extensa explicação sobre cada driver.
Tente rodar o arquivo de vídeo pelo terminal colocando diferentes -vo's
xv
x11
sdl
vesa
svga
gl
gl2
a
caca
Ex.: mplayer -vo xv video.avi
Depois que você achou melhor driver, escolha-o como padrão:
gedit ~/.mplayer/config
Abaixo segue um exemplo:
# Escolha suas opções ou comente-as com um #
vo = x11
fs = yes
ao = alsa
zoom = yes
# fontconfig = yes
subfont-autoscale = 1
# subfont-osd-scale = 6
# subfont-text-scale = 6