usando la busqueda te encuentras un hilo como este
http://www.elotrolado.net/showthread.php?s=&threadid=426743&highlight=mplayer
en el que se habla de una beta del mplayer.dll que permite ver ciertos videos comprimidos en h264, digo ciertos videos porque cuando se comprime la peli hay opciones para ganar calidad de imagen y comprimir mas que si las activas pierdes la compativilidad.
pero me imagino que cuando saqien la version definitiva ya no habra problemas.
por otro lado el xbmc reproduce perfectamente ficheros MKV con varios subtitulos y audios tanto en AC3 como en ACC que es mucho mejor. el problema si el video es avch264 y tienes el ultimo mplayer.dll es que no es compatible 100%