Tengo exactamente el mismo problema.
Yo tuve que sacar los subtitulos en .ass del mkv para metérselo en .srt con el tsmuxer.
Al principio creía que el problema era que al pasar de ass a srt me lo había hecho mal el VobSub pero no es así. Con el PMS ese srt me lo reproduce bien pero en la PS3 me sale todo patas arriba (las l me salen como I y los tildes, eñes y demas con caracteres raros).
Estoy desesperado ya con el tsmuxer (si no fuera porque quiero hacer un rip perfecto del caballero oscuro ya lo habría mandado a tomar por cu**).