El tsMuxer (que yo sepa) no hace conversiones de audio (como mucho extrae el DTS de un DTSHD, pero nada más). Por lo tanto es raro que se te pase de 5.1 a 2.0 así por las buenas. ¿Tienes la salida de audio de la PS3 bien configurada? ¿Estás seguro de que sale sólo en 2 canales? ¿El formato de salida del tsMuxer lo pones como M2TS o como disco BluRay?