¿Y convertir el vídeo a un formato que reconozca bien no te es más práctico?
De la otra forma el servidor tendría que transcodificar en tiempo real, meterle los subtítulos al flujo de vídeo, etc., por lo que requiere un PC potente y si el vídeo está a 1080p probablemente no pueda o no ofrezca la máxima calidad.
Aunque uso Plex, lo uso siempre con medios compatibles con la tele para evitar transcodificar, así que no tengo muy claro qué hay que hacer para que transcodifique y meta los subtítulos.