Como antes te funcionaba, lo primero es dejar la configuración por defecto, y tal vez lo más rápido sea borrarlo y reinstalar.
Si has probado el mando con otros emuladores, no debería dar problemas.
En el foro de wiimednafen había algunos configurando los botones de otra manera, aunque para pcengine con mando de gamecube no creo que lo necesites.
Si le das otra oportunidad al mame, el romset que usa es el 0.37v5, el mismo que mame4all y mame4droid, o hay programas para modificar las roms a esa versión.