Muy mala decisión usar usb-jamma o xinmo en Raspberry. Desconozco en Retropie, pero en Recalbox por ejemplo hay que sacarle el id del dispositivo y parchear el sistema. No es complicado pero sí que dan muchos problemas. Si Retropie no te lo detecta es por el mismo problema. Googlea un poco con patch xinmo Retropie.
Ahora bien, solución buena, bonita y barata: zero delay pero de largo. Los xinmo y similares son un invento del demonio.