Si lo que quieres es ver el video en la psp, cuando tengas el .avi resultante tienes que convertirlo a mp4.
Respecto al VirtualDubMOD, tienes que usar el filtro 'resize' para cambiarle la resolución (no sé si ese filtro viene por defecto). Vas a Filter y allá lo toqueteas.
Para cambiar la resolución es imprescindible recomprimir el video, o sea que te tendrás que esperar un buen rato....