El método de las 2 pasadas es el mejor, en la primera, se analiza toda la película y se crea un fichero LOG, que lo has especificado tú, diciendole al codec donde se encuentra, en donde se escribe en ke zonas de la película conviene o no comprimir de una manera o de otra. Además, se creará un avi muy pequeño e inválido. En la 2ª pasada, y basándose en el LOG, se crea el divx. No tienes más que practicar.
La verdad es que no se donde hay guías que expliquen bien esto, pero vamos que es ponerse. El flaskmpeg no tiene nada que ver con cómo comprimas el divx, solo sirve para descodificar el MPEG2 (vob) y cambiarlo de tamaño. El resto lo manda al codec del divx y listos.
Es un momento acostumbrarse.