Para PCEngine el core mednafe-pce-fast de las primeras versiones de retroarch corre prácticamente perfecto, incluso con los juegos de CD. Voy a revisar que versión era exactamente que hace mucho no uso mi PSP.
En cuanto al emulador de MAME el mejor que encontré es el core Mame2000 de retroarch, el inconveniente es que necesitas compilarlo, recuerdo que podia cargar el juego de los simpsons y vendetta (con frameskip 1 alcanzaba ~50fps más o menos aunque el audio sí que era malo).
Edit: La versión de retroarch que corre bien pcengine y pcenginecd es la 1.3.2, la encuentran en archive org si lo quieren probar.