en primer lugar, no se como habras intentado reproducir un MKV en la ps3, ya que no acepta este contenedor... ademas de que no reconoce NTSF, y seguro que la peli, si es x264, ocupara mas de 4 gb...
en segundo, el Tsmuxer no pasa los ficheros a AVI, los multiplexa a TS, M2TS o AVCHD, que si son contenedores compatibles con ps3... pero no recodifica nada, por eso el proceso es tan rapido...
el error que te da, me suena a fallo en el fichero de video... o sea, que estara corrupto...
baja el mediainfo, y pega los datos de la peli en cuestion, para ayudarte mas especificamente... un saludo
