Es un tema complejo, ya que las causas de un fallo de conversión pueden ser muchas... códecs, mal funcionamiento de programas, mala configuración, avi's corruptos...
Prueba con Xvid4PSP, tal vez solucione tu problema.
Saludos y suerte!
Pdta: ni que decir tiene que cuanto más moderno sea el PMP Mod AVC mejor, ¿no?