La verdad es que en lo único que se parece la PSP a la PS3 es en el XMB.
Hasta Sony tendría dificultades para hacer un emulador de PSP para PS3 (en el caso hipotético de que las ventas de PSP se hundieran y les saliera rentable vender sus juegos en el Store xD) ya que la PS3 tiene un PPC (mas SPEs) y la PSP un MIPS (sin entrar a valorar otras especificaciones del hardware).
En lo único en que se parecen estas arquitecturas es en que usan RISC. Poco mas.
Una vía sería usar el EE (MIPS), pero Sony no lo integró en la PS3 PAL y ha dejado de hacerlo en las de las demás regiones, además de que no se podría overclockear el chip hasta el extremo de emular juegos de PSP.
Jodida esa vía, estaría la de hacer algo parecido al Potemkin sobre algúna distro Linux/PPC para PS3, es decir, un "emulador" que tenga las funciones kernel que usa el modo user para cargar apps o juegos, con la limitación que este supone (sobretodo para las apps).
No es muy jodido, porque no se necesitan tener conocimientos del hardware ni de muchas funciones kernel de la PSP (para modos VSH y Kernel) pero claro, a ver quien se pone
(ver los requerimientos hardware del PCSX2 es desalentador).
Salu2.