Aparte del bnitrare debes indicar y saber que formasto de video estas usando, el mas comun seria el h264, y dentro de este debes especificar el PROFILE y LEVEL adecuado, tambien indicar que resolucion.
Y a todo esto ¿que procesador tienes?, ´porque pareceirra que estas usando el nivel mas bajo para la codificacion y con ello se te presente este problema, o bien, tienes el nivel mas alto pero el procesador no se puede dar abasto dabndo una compresion defectuosa.