Los programas especificos usan el FFMPEG encoder/decoder para codificar los videos, es gratuito y muy sencillo de usar.
Lo que puedes hacer es hacer tu video con el VDub, guardarlo como cuadros completos (quien no tiene un HD grande hoy en dia), lo pasas con el FFMPEG al formato de PSP, y luego borras el archivo enorme que te ha hecho vdub.
Podria ser una solución.