Nas configurações de vídeo (Opções > Preferências > Geral > Vídeo), desmarque (ou marque, se estiver desativado) a opção processamento direto. Se não funcionar, troque o driver de vídeo que o smplayer está usando (geralmente ele usa o Xv, mas tente instalar o pacote para usar vaapi ou vdpau, dependendo da sua placa de vídeo.
No compiz-settings há algumas configurações relacionadas a isso que podem resolver o seu problema, sobre composição de janelas indiretamente e outras coisas. Mas nesse caso são configurações avançadas, e não sei muito a respeito.