Hay muchas más posibilidades, pero yo apostaría a que el fichero que intentas abrir está mal codificado o no es pmp de tipo avc o una cosa por el estilo.
Los dos front-ends más usados para codificar ficheros AVC desde .avi son el Xvid4PSP y el AVItoPMP.
Lo que hacen ambos es crearse una lista de trabajo con las cosas que hay que hacer.
El AVItoPMP, para codificar el vídeo, hace uso del mencoder, mientras que el Xvid4PSP usa el x264. Tanto el mencoder como el x264 son potentísimos, pero por ejemplo el mencoder, en ordenadores antiguos (un AMD 900 MHz núcleo Thunderbird), aunque hay versiones compiladas específicamente para este núcleo, el vídeo resultante no podía verse en la PSP (en el PC sí). Con el x264 sí que se ven.
EN RESUMEN: si puedes, codifícate el vídeo de nuevo a avc mediante el avitopmp; si te va, chachi. Si no, prueba el xvid4psp.
Salu2