Vamos a ver que estamos confundiendo conceptos.
Cuando hablan de preparar el pendrive para usarlo como la xbox hablan de que la consola lo utilice para guardar partidas/instalar juegos etc... en este caso el limite es de 16 Gigas
Para ver películas la mejor opción es lo que has hecho de darle el formato de mac (porque fat 32 no reconoce archivos de mas de 4 gigas). El problema es que para ver un disco de mac bajo windows necesitas un programa como macdrive.
Una vez que tengas macdrive y tu disco formateado en htfs+ tienes que solventar otro problema la 360 no lee mkv directamente. Tienes que convertir los mkv en algo que la 360 pueda leer. Básicamente tienes dos opciones, Utilizas el programa gotsent (o uno de sus clonicos) que te convierte el mkv en mp4 en unos 10 minutos pero que te convierte el sonido a stereo (se pierde el 5.1) o bien utilizas un programa conversor a wmv que es el unico formato fullhd con sonido 5.1 que admite la 360 (Tambien puedes buscarte un poco la vida por la red y bajarte directamente las peliculas en wmv)