Outro detalhe da perda de qualidade é porque vc tambem pôde ter deixado o Video Codec em ''default'', aí a função Video Bitrate fica também ativada, tendo que mexer manualmente como eu expliquei acima...
Como voce apenas quer converter o contêiner, então é só deixar a função Video Codec e Audio Codec em "streamcopy", que vai deixar nos mesmos formatos de video, desativando a função de mexer no bitrate, ou seja, deixando a qualidade igual ao video original.
Como MKV e AVI são apenas formatos de contêiners, não interferem na qualidade e compressão dos videos.
Alem do "streamcopy", é só deixar marcada a função Container Format em "avi".
Agora, o MKV é o melhor contêiner do mundo e muito mais completo que o AVI, a não ser que vc queira queimar como dados o seu filme Xvid ou Divx numa midia para assistir em seu DVD de mesa, e seu aparelho suportar apenas AVI, e não MKV.
Aparelhos de DVD modernos já estão sendo fabricados com suporte ao formato de video H264 e ao contêiner MKV, além de mais formatos de áudio.
Falou!