mientras sea AVI, con Xvid y mp3 de codecs no debes tener problemas, incluso segun el bitrate y sin comprimir con soporte Quartel pixel deberias poder con 720p. Y es recomendable reproducir desde el HD, desde CD o red suele ser el desempeño algo peor (le puedes aumentar la cache, pero dejas menos memoria ram para la reproduccion, aunque no deberia notarse si solo sopones 2 o 4mb de cache e incluso pueda tirar mejor).
De MP4 o MKV con codec H264/X264/AVC simplemente descartado, consumen mucho y la Xbox no puede, toca recomprimir a AVI con los codecs dichos antes. (no se le puede pedir mas a un Celeron 733mhz, por eso el proyecto XBMC ya no contempla oficialmente a Xbox y avanza por otro lado)