Este no es el foro para esto aunque lo vayas a reproducir en la PS3, pero bueno, es muy facil:
Abres el Virtual Dub, abres una peli con File--> open video file.
Luego en el menu de Video te aseguras que esta marcada la opción Direct Stream Copy para que no toque el video. Ahora te vas a Audio y marca Full Procesing Mode, ahora tambien en Audio dale a compresion y te saldra una lista de compresores de audio, elige MP3 veras que se enciende un botón de configure, le das y elige la calidad más alta que te permita y stereo. Ahora le das a ok, ok, ok, hasta que vuelvas al principio. Ya solo te queda irte a File---> Save as... le pones un nombre y espera que termine, cuando termine lo intentas reproducir en la PS3 y listo.
Si en la parte que eliges el compresor de audio no te aparece en la lista el MP3, es que no lo tienes instalado, vamos, que lo escuchas por que tienes un decoder pero no el coder para comprimir, asi que instala el Lamer MP3 Encoder, buscalo por Google.