A ver, varias cosas:
El error más común al instalar Yabause para Xbox, es poner cada juego en una carpeta diferente. Esto no se puede hacer en el Yabause de Xbox. Lo que tienes que hacer es copiar todas tus imágenes juntas ("a mogollón") y descomprimidas dentro de la carpeta "Systems\SAT\Roms". Pruébalo, y verás como entonces sí que te reconoce los juegos.
De todas formas, como te ha dicho Hal9000, la emulación de la Saturn en Xbox va muy lenta, así que no esperes que ningún juego vaya a velocidad normal. Y aunque no los he probado, supongo que lo mismo puede decirse de los ports de Yabause para PSP y Wii.
El problema no es que Yabause haya sido "mal portado" a Xbox. Al contrario, el año pasado lo estuve mirando, y puedo asegurar que freakdave hizo un trabajo impresionante de optimización... El problema es que Yabause (el core original del emulador) necesita muchos recursos. Esto se debe por una parte a que la Saturn tenía un hardware muy complicado, y por otra parte a que quizá no se han dedicado tantos esfuerzos a su emulación como a la de otras consolas más populares (como PSX o Nintendo 64) y por tanto Yabause no está tan optimizado como algunos emuladores de estas otras consolas. Por eso, nuestra única esperanza para emular Saturn en Xbox es esperar que en el futuro el core de Yabause original evolucione (o surja un nuevo emulador desde cero).
En concreto, una forma de mejorar la velocidad sería incluir un recompilador dinámico como se ha hecho en otros emuladores: Yabause incluye uno desde sus últimas versiones para emular un componente de la Saturn (el SH2) pero por desgracia no se puede portar a Xbox. Si este compilador dinámico fuera modificado para ser portable a Xbox, podríamos tener mejor velocidad.
Respecto a otras posibilidades, el año pasado estuve haciendo varias pruebas, y la cosa está complicada. Freakdave dejó el emulador casi al máximo de lo que se puede conseguir hoy por hoy. Lo más que conseguí (jugando con los ciclos de reloj) fue hacer un hack que conseguía que algunos juegos funcionaran más rápidos, y otros más lentos... así que ni me molesté en publicarlo.
También probé el truco de desarrollar librerías optimizadas con otros compiladores más modernos, y llamarlas desde el proyecto de Xbox, pero tampoco tuve éxito con esto.