Que me corrijan los maestros, pero creo que el problema de XMBC en la XBOX no es de soporte del codec, sino de potencia de la consola a la hora de reproducirlo, de ahí la bajada del bit-rate. No sé si en otro sistema (Linux, Windows, MAC) lo soporta pero apostaría por ello.
Hay hilos por ahí (perdón por no ponerlos) que hablan del asunto y cuentan la experiencia de usuarios al respecto y la manera de realizar la mejor conversión.
Saludos