@rolento Hace un tiempo que me peleé bastanta con Retroarch, así que tirando de memoria te diría:
Respuesta corta:
En Controles->Controles de puerto 1->Asignar teclas rápidas->Combinación para mostrar menú, mira que combinación tienes. Al menos en la versión que tengo de Rertroarch parece que el botón A no se puede configurar para esa funcionalidad.
Respuesta larga:
1. ¿Cómo te detecta el mando Retroarch al arrancarlo/conectarlo? Si es original debería aparecerte algo como "Xbox One Controller" o al menos algo relacionado con XInput y todo debería salir bastante rodado. Si es un clónico y lo detecta como otro tipo de mando pues es donde empieza la fiesta.
2. Retroarch tiene varias capas de configuración de controles, una a nivel Retroarch y otra a nivel de core.
2.1 En el nivel de Retroarch, Retroarch crea un "control virtual" que convierte cualquier mando que conectes físicamente al PC en el "Retroarch controller", el control virtual que acabo de comentar. Esta configuración se puede hacer en: Controles->Controles de puerto 1. Importante, el "Retroarch controller" usa el layout de Nintendo para los botones frontales, por tanto, el A de Xbox es el B para Retroarch, el B es A, etc.
2.2 En el nivel de core, se traducen los botones del "Retroarch controller" a los botones del mando de la consola que emula ese core. Esta configuración se hace, una vez arrancado el core en: Configuración->Controles->Puerto 1 Control ... Una vez de aplicados los cambios, dile que guarde la reasiganación para el núcleo y así aplicará esta configuración a todos los juegos.
Por ejemplo, si vas a jugar a un juego de PC Engine (botones I y II con Select y Run):
| Botón Xbox | Botón Retroarch | Botón PC Engine |
| X | Y | I |
| A | B | II |
| Vista | Select | Select |
| Menu | Start | Run |
Con esto consigues el botón X de la Xbox sea el I de PC Engine y el A sea el II.
El comportamiento que describes es un poco raro así que revisaría cómo está siendo detectado el mando y que todas las capas de configuración tengan la correspondencia correcta y no haya varios botones compartiendo la misma funcionalidad o cosas así.
Espero que este tocho te sirva para algo. Si tengo algo mal, comentádmelo.
Saludos.
PD: qué difícil es hacer una tabla.