nose mucho del tema de encode pero creo que tales .mkv deben tener mucho bitrates a full hd que hace que la ps3 no lo procese bien y asi vaya a tirones (igual que el mkv consume muchos recursos que un mp4 de las mismas caracteristicas). Aunque recuerde que la ps3 es una máquina año 2006, aunque sea phat o slim o super slim o distintos años de produccion y aparte que una puede llevar un poco mas cosas que la otra, pero igual siguen siendo igual de potencia.
podria intentar pasar tales videos a .mp4 ya que ese formato no pide muchos recursos a la ps3 creo
Saludos