Hola, respecto a tus preguntas:
1. ¿es una capa software (compilada y en ejecución) que funciona a modo de driver entre el juego y el hardware o es simplemente un conjunto de librerias que proveen de funciones para que a la hora de compilarse el juego sea capaz de manejar el hardware de manera autónoma?
Precisamente esta es una de las posibles definiciones de so, una "capa de software" entre el hardware mas puro y el desarrollador de aplicaciones, como consecuencia, el programador no tiene que calentarse la cabeza en tareas laboriosas como gestionar la memoria o los dispositivos de e/s, simplemente usa las "llamadas al sistema" (herramientas de las q nos provee el so) para hacer lo que le de la gana.
Son las empresas de desarrollo las que usando ciertas librerias y el propio so de la consola, crean una compilacion (el producto) que incluye tanto el so, como las librerias, como, por supuesto, el propio software y datos del juego. Por tanto, si, es completamente autónomo, el juego actua como un disco de arranque.
2. ¿Si se hiciese un linux ultra optimizado para las funciones multimedia xbox se podrían hacer juegos linux que le sacasen el mismo partido a la xbox?
Por supuesto, de echo, tras mucho pulirlo, podrias sacar incluso mejor partido. (hay que recordar que el so de xbox deriva de un win2000 embebido) y no es ningun misterio que linux está mucho mejor diseñado que windows y es más facil sacarle el rendimiento.
3. Y si por un casual yo tuviese el codigo fuente del crysis (ejemplo de juego que requiere maquinon) y fuese un genio del linux, ¿me podría hacer un nucleo optimizadisimo linux con el que podria adaptar el crysis para sacarle un rendimiento de locura?.
Pienso, que el verdadero problema no lo tendrias en el propio nucleo del sistema operativo, si no, en el software que quieres correr. Por mucho que optimices el so, es mas que posible que ni el mismo ejecutable de ese juego pudieras meterlo en memoria (es una forma de hablar,xbox tiene mem. virtual), ni que decir, de las texturas, etc...
Tienes que cambiar tu punto de vista, el verdadero reto en este caso, no es desarrollar un nucleo que saque mas partido al hardware(ganarias rendimiento, pero no harias milagros). Lo que hacen las empresas cuando hacen un port de un software ya escrito, es, adaptar el propio código y datos del juego (limitar la inteligencia artificial, los efectos de sonido, la calidad de las texturas, los personajes en pantalla, y un largo etc.) al conjunto hardware-so que tienen. Esto es una tarea muy laboriosa, generalmente hay que reescribir mucho código para poder ejecutar un software que ha sido desarrollado para otra plataforma.
Espero haberte aclarado un poco.
Saludos.