Ambos (metacity e emerald) são decoradores de Janelas. Eles são responsáveis por "decorar" as bordas das janelas, a barra de título e seus botões.
O compiz é comumente chamado de composite, isto é, ele é o sistema responsável por compor o sistema de janelas, só que diferente de outros sistemas, ele faz isso usando a aceleração 3D da sua máquina. Por isso, sem placa de vídeo 3D, sem compiz. O compiz é responsável por habilitar os efeitos da área de trabalho, como transparência das janelas, cubo 3D, sombras, etc., e só roda se você tiver uma placa de vídeo com aceleração 3D.
O metacity roda tanto com o compiz ativo quanto com o compiz inativo.
Já o emerald só roda na presença do compiz, pois ele é um pouco mais sofisticado, e precisa usar os recursos da aceleração 3D. Além disso, o emerald é, em geral, possuidor de uma aparência mais bem acabada. Porém, tanto o emerald quanto o compiz possuem muitas temas disponíveis. Vai do gosto do usuário.
Vou colocar aqui alguns procedimentos para você seguir.
Nas versões atuais do Ubuntu, o metacity vem habilitado por padrão. Podemos mudar o tema do meracity em Sistema --> Preferências --> Aparência. Basta clicar no botão Personalizar e procurar a aba referente as bordas das janelas.
Mas se você instalou os drivers da placa de video, vá em Sistema --> Preferências --> Aparência e habilite os efeitos, conforme a sua necessidade e gosto (e os recursos da sua máquina).
Se quiser configurar os efeitos, instale o pacote de configuração do compizconfig-settings-manager. Pesquise no Google que existem milhões de tutoriais ensinando a configurar os efeitos facilmente (cubo da área de trabalho, transparência dos menus, etc).
O emerald pode ser habilitado através da instalação do pacote:
sudo apt-get -f install
Há um site com centenas de temas para ele. Instalar temas para o emerald é extremamente simples. Também há milhares de tutoriais em português ensinando o passo-a-passo do emerald.
Espero ter ajudado.