Ter recomendaria que lo hicieras con el ultimo AVItoPMP, que te instalaras el FFDShow y el Avisynth pero si todo esto no te da resdultado siempre puedes probar a hacerlo a mano con lo siguiente que te pongo:
Bueno os pongo la traducion del manual que ha puesto jonny.
- Con el notepad, crear un nuevo documento y ponerle de nombre "test.avs" que contenga en su interior lo siguiente:
# si "avisource" te da problemas utiliza "directshowsource"<-ESTO NO HAY QUE PONERLO
avisource("c:\tudirectorio\tuvideo.avi")
killaudio
lanczosresize(480, 272)
converttoyv12()
- Abrir "test.avs" con VirtualDub (para ver que no hay problemas y que el resize es correcto)
Nota: yo aqui abro el video con el AVItoPMP el cual me dice la resolucion correcta y solo tengo que editar la linea lanczosresize(480, 272)
- Crea un nuevo archivo de texto llamado "encode.bat", que ponga lo siguente en su interior:
x264 --bitrate 512 -A all --level 3 --pictiming --aud --no-psnr --thread-input --progress --output test.264 test.avs
- Coloca el archivo test.avs, el codec x264 y el archivo encode.bat en el mismo directorio
- double clic en encode.bat y el proceso comenzara.
- El audio lo teneis que comprimir vosotros a parte, con VDub/BeSweet a una frecuencia de 44100Hz.
- Abrir el archivo pmp_muxer_avc_tk.exe y seleccionais el video con extension .264 y el audio con extension .mp3
Nota:Si en el resize el valor del ancho es menor de 230 os dara problemas al juntarlo todo y al hacerle el resize los dos valores deben de ser divisibles entre 16.
-AVItoPMP ->
http://forums.ps2dev.org/viewtopic.php?t=4967&postdays=0&postorder=asc&start=0&sid=bd57a8b065bffbcfedb760f7aabcbe82
-FFDShow ->
http://free-codecs.com/FFDShow_download.htm
-Avisynth ->
http://free-codecs.com/download/AviSynth.htm 
