Volvemos a lo mismo.
Dependera mucho del formato de video que eligas o puedas elegir -xvid/divx, h264, wmv8, wmv9, vc-1, etc.- como salida del video final, por ejemplo, el que mejor aprovecha el BitRate en la compresion es el h264, con el h264 puedes tener un video de "la misma calidad" de un MPEG-2 o un DIVX pero con apenas una fraccion del peso.
Tambien considera que toda recodificacion por si misma contituye una degradacion de la imagen, asi que si quieres la misma calidad "exacta" la unica forma es la transcodificacion -una palabra bonita para decir una copia directa del stream de video-. De otra forma -recodificacion- a lo unico que aspiras es a una calidad "aparente o cercana" a la del original.
La complejidad o retension de detalles y texturas es a lo que me imagino le llamas tu "calidad", y es esa parte lo que mas busca el retener el formato h264, y que en el formato h265 que acaba de salir hace unas semanas todavia se tiene aun mas cuidado de retener.
¿Cual es la "maxima calidad" que el FORMATO DE VIDEO h264 te puede mantener?, pues depende un tanto del bitrate usado, pero depende mas de la configuracion que hayas hecho de las multiples funciones que este formato usa para preservar esa "complejidad" de detalles. Para ello se hace uso de los PERFILES y NIVELES
El "PERFIL" es una manera comoda de indicar los algoritmos y calculos que se usaran en el manejo y transformacion de la imagen tanto en la codificacion como en la decodificacion, un perfil mas alto [High es el usado para video en bluray HD y FullHD] conlleva funciones mas complejas y mas calculos, mientras un perfil mas bajo [Baseline, usado para celulares y otros dispositivos de poca capacidad de computo] conlleva a un uso reducido y basico de calculos dando por rsultado video que presenta poca "complejidad" -pocos detalles- de la imagen. El NIVEL es usado para indicar el ancho de banda -capacidad de envio de datos en un instante- usado para transportar la informacion/datos que se van a procesar en la decodicacion, para un aparato de pocos recursos como celular es util usar un ancho de banda pequeño -un Nivel bajo, por ejemplo 2 o 2.1-, para aparatos mas complejos y con mayor capacidad de computo es mejor usar un nivel mas alto -4.0 o 4.1 es el usado para los reproductores bluray- ya que se deben procesar mas datos por segundo. Cuando realizas la codificacion de video a h264 y no sabes mucho de su uso es mejor dejar las opciones de NIVEL y PERFIL en AUTO si esta disponible para que el encoder eliga la mejor opcion posible.
La respuesta te parecera enredada o poco util, pero mi intension es solo mostrarte la generalidad del panorama y te hago la invitacion a que busques por tu cuenta mas detalles del formato H264 y del concepto de BITRATE.