Si la resolución no es la estándard (1280x720 o 1980x1080)la ps3 no te saca el video. Si el video no está en nivel 4.1, no te saca el video, si el sonido es DTS, no te lo reproduce, por lo que si hay una combinacion lineal de esto, ni video ni sonido
Para el tema de la resolucion habia una movida que te lo cambiaba, pero era lenta; para el tema del video level, el propio tsmuxer te lo hace en las opciones de la cadena de video.
Para el tema del sonido, se desmultiplexa el audio con el tsmuxer, se convierte a ac3 con un codec cualquiera y al pasar a m2ts se quita la pista dts y se mete la recodificada a ac3 (tarda unos 10-15 minutos en la conversion dts->ac3 y luego en multiplexar lo que te tarde normalmente al pasar de mkv a m2ts.
Espero haberte ayudado coleguilla.
Un saludo
EDITO: para ver un m2ts puedes grabarlo como dvd udf normal y la ps3 lo reconoce, pero si aún así quieres darle el formato de bluray, hazlo desde el tsmuxer y luego en nero te vas a dvd udf 2.5 y metes las carpetas que te ha hecho el tsmuxer según salen.
Por otro lado, ¿sabes que con un servidor web normal y corriente (hfs http web server, por ejemplo) puedes neter un archivo m2ts de más de 4 gb en el hd de la consola a través de su navegador, verdad? Lo digo porque si no lo sabías lo mismo te llevas una alegría
que en 5 minutos pasas la peli al hd y así no andas gastando discos.
Hay tutos por ahí, si no los encuentras mándame un mp para avisarme y te posteo aquí como hacerlo