Creo que necesitas un decodificador.
De todos modos dudo de que el cable de la 360 emita 5.1 por esos dos RCA, ya que son Stereo.
La única forma es hacerlo con la salida optica de dicho cable, pero si lo tienes jodido... lo mejor sera cambiar de cable.