creo que de forma nativa, mame va a identificar los mismos botones para ambos mandos.
para lograr separarlos, utiliza Tincore Keymapper
mapea ambos mandos como "keys", asignando distintas teclas a cada botón y acción
ejemplo:
P1 DPAD: DPAD
P2 DPAD: wsad
P1 Buttons: 1234
P2 Buttons: qwer
y así.
luego, en el emulador, mapeas el Player 1 y el Player 2 de forma normal. Tincore "traducirá" los botones del mando, y con esto ya podrás asignar de forma separada cada gamepad en el emulador.
Zalu2!