Já tentou entrar nas opções avançadas e aumentar a Taxa de vídeo (Kbits/seg) e ou em Formatos de vídeo tirar do padrão e setar para 720x480?
Veja também a aba "Qualidade".
Se mesmo assim não der, tente converter o seu vídeo com o avidemux para um outro formato mais compatível com mpeg2 ou altere a resolução com este aplicativo, ou use os inúmeros filtros que tem lá... ou seja tem que tentar um monte de coisas, ate achar uma satisfatória para DVD...
Dica: por experiencia própria, o devede não calcula muito bem a porcentagem de utilização do DVD, por isto normalmente dá para usar até 180% que cabe perfeitamente numa mídia de DVD de 4.7GB.