hay programas que ya lo contemplaban a la hora de comprimir, Avidemux (cargas el video y le das a Auto->PSP H264 y recuerdo que ya venia como predeterminado) y xvid4psp, y seguro que hay muchisimos a dia de hoy.
De todas formas ten en cuenta que en la PSP mas resolucion no vas a ver (la pantalla de PSP es exactamente de 480x272), se ve algo mejor por que hace un filtro tembleque y gana algo, en todo caso lo si se vera mejor es al conectarlo a una TV por componentes, de todas formas prueba a ver que te parece.
