Con respecto a plex te comento por que tengo un pequeño videoclub en un xpenology (Synology) y se cuales son los problemas que tienes.
Si usas archivos que tienen subtitulo y estos los activas, el servidor transcodificara el archivo, haciendo que el servidor se sobre cargue, ya que no soporta transcodificacion por hardware (Nvenc, Qs, etc..) y lo hace todo por software (x264), la solución que hago yo es incrustarlo los subtitulos en el video y luego al Plex.
Por otra parte, si no usas calidad "Original" y seleccionas cualquier otra, te encuentras en el mismo dilema, le toca al servidor transcodificar y es cuando vienen los parones y ese tipo de cosas si la cpu no es potente.
El problema de que te pase en los archivos de 1080 y no en los de 720 es unicamente por que un video a 720 no cuesta tanto como hacerselo a uno de 1080.
Asi que básicamente tu problema son los subtitulos, que cuando los seleccionas, tiene que procesar toda la imagen, si no lo seleccionas, manda la información de la imagen y del audio y este se encarga la televisión/cliente de procesarlo.