Salut et bienvenue sur le forum!
Pour ton pb, je pense savoir ce qui se passe : c'est un film long et tu as probablement essayé de le mettre sur un seul CD -> tu n'as pas assez de place pour la vidéo pour obtenir une qualité visuelle suffisante. Il suffit de raisonner comme ceci :
1. Tu as dans ton fichier AVI d'une taille donnée une (ou des) piste(s) son et la vidéo
2. Toute la place prise pour le son n'est pas disponible pour la vidéo -> intérêt d'encoder en MP3 plutôt que de laisser l'AC3, et éviter de mettre plusieurs bandes son qd la taille est limite
3. Le rendu de la vidéo est estimable en termes de "quantité d'espace disque alloué par seconde de vidéo", aussi appelé le bitrate : plus tu augmentes ce paramètre, meilleure est la qualité vidéo du film ->avec le codec 5.02 et selon les goûts, il faut compter 1000-1200 kbps (unité du bitrate) pour obtenir quelque chose de correct.
4. Le bitrate étant fixé (espace alloué pour chaque seconde de film et fixant donc aussi l'espace réservé pour chaque image), un autre paramètre influencera encore le rendu, à savoir la résolution. En effet, si tu encodes un film avec le même bitrate mais avec deux résolutions assez différentes, la compression sera nettement plus moche dans le cas où la résolution est élevée, puisqu'il faudra compresser bcp plus de données (nombre de pixels par image plus élevé) sur le même espace. Ça donne classiquement des gros blocs dégueus, spécialement qd il y a du mouvement. Il est souvent recommandé d'abaisser la résolution dans les encodages "limites" (pas 300*200 tout de même non plus, c'est pas su streaming internet tout de même).
5. Au vu de tout ça, si en ayant choisi tes bandes son, tu vois que ton bitrate est inférieur à 1000 kbps, il vaut franchement mieux augmenter la taille finale demandée (passer sur 2 CD au lieu d'un seul par exemple).
Voilà, si t'as des question, n'hésite pas.

"L'absence totale d'humour dans la bible est une des choses les plus étranges de la littérature." (A. N. Whitehead).