Cuando a mí me pasó algo similar fue por falta de codecs y cuando da error en PSP es porque has elegido un perfil incompatible. Recuerda, por ejemplo, que el AVC solo es compatible con el firmware 2.x
Lo mejor en estos casos, si tienes los codecs y te sigue dando problemas de incompatibilidad, es restaurar los valores por defecto del programa o directamente reinstalarlo. Si aún así tienes problemas, prueba con el 3GP Converter que, aunque es un programa mucho más limitado, al menos no da este tipo de problemas.