Nunca he probado lo ke voy a decir, pk no lo necesito, pero lo acabo de hacer y funciona.
Descargarte el tsmuxer, que es gratuito y pasa los mkv a ts o m2ts, los metes en un pen y lo reproduce sin problema. Sin compresion de video ni na de na, solo cambia el contenedor(de mkv a m2ts) por uno que si reconoce la ps3. (El contenedor MKV es el que no reconoce la ps3, pero el codec de video si)
Tambien tienes la posibilidad de crear un avchd(mini bluray), pero vamos, mientras la ps3 reconozca m2ts y los reproduzca, creo que no hace falta ni el ps3 media server ni nada por el estilo. El unico problema que le veo a este metodo, son las opciones de codificacion que haya tenido el video( x264 en particular y los refframes que son los que se atragantan a la mayoria de los multimedia)
PD: Quien dice pen, dice dvd de datos.