Te comento las posibilidades para escuchar 5.1:
1.- Tienes una Xbox sin HDMI.
->Por cable óptico.
->Por coaxial comprando un adaptador óptico-digital.
2.- Tienes una Xbox con HDMI.
->Mismas opciones que sin HDMI.
->Transmitir el video y el sonido por el HDMI (en la PS3 es posible el sonido por HDMI, supongo que en la Xbox también, a ver si alguien te lo puede confirmar)
Por supuesto para la opción 2 necesitas que el Sistema de Sonido tenga entrada HDMI, no sólo salida que es me parece tú caso.