Hay varias "marcas" [compañias desarrolladoras] del codec o encoder h264, y hay otras que usan un formato distintyo pero que usa la misma matriz de cuantizacion del h264, asi que se parecen pero no son lo mismo.
Hay algo que aclarar, no existe formato MP4, MP4 es un CONTENEDOR DE VIDEO, asi como MKV, AVI, FLV, MOV, MPG o TS, y un MULTIPLEXOR [o MUXER] es el programa que crea el archivo contenedor y dentro "inyecta" una copia del stream de video y audio, asiq ue no estas recodificando el video. MP4Box es el multiplexor mas usado para crear el archivo MP4.
AVIDemux es un software de codificacion de video, lo que estas haciendo es COPIAR el video [no recodificarlo] para dejar la calidad intacta y esta codificando el audio a AAC, y AVIDemux esta usando MP4Box para crear el archivo MP4 al cual le esta copiando el stream de video [que esta en h264] y le esta metiendo el stream de audio recodificado a AAC. Asi que no estas modificando el formato de video [sigue siendo h264], ni estas creando un video de "formato MP4", porque no existe.
Eso mismo lo puedes logar simplemente usando YAMB, yamb crea el archivo MP4, en la ventana de YAMB arrastars el archivo original que viene de la camara y YAMB creara el archivo MP4 y metera una copia del stream de video y stream de audio, siendo mucho mas rapido y sencillo de usar.
Pero... la verdad seguramente trabajas demas, aparte de llenar innecesariamente el disco duro con dos archivos practicamente identicos.
Antes que nada, baja MediaInfo, y con este abre el archivo de video. Te aparecera toda la informacion del video, FORMATO de audio y video, bitrate, velocidad de cuadro, etc., en pocas palabras, COMO ES QUE SE CODIFICO EL AUDIO Y VIDEO, de ahi se puede detectar si hay anomalias que se puedan corregir. Quiza el video este a una velocidad de cuadro menor a la velocidad de cuadro con la que quieres recodificarlo, por ejemplo es de 25fps y quieres dar salida a 29.97fps
Despues, pon todos los datos de tu PC: Procesador, memoria, tarjeta de video y version de windows. Quiza el video este bien, pero tu procesador sea el que sea insuficiente. Si es el caso, puedes intentar habilitar en vegas la ACELERACION POR HARDWARE DE VIDEO, aqui el GPU o procesador grafico en la PC, auxiliara al CPU en el trabajo.

Para abrir casi cualquier CONTENEDOR DE VIDEO [MKV, MP4, AVI, FLV, TS, RM/RMBV, OGM, WMV, etc.] y decodificar casi cualquier formato de video [mpeg-4, VP8/VP9, VC1, RV30/40, etc.] y audio [AAC, Ogg, MP2, MP3, FLAC, APE, etc.] en el pedorrin sony vegas, puedes usar esto: AVFS [Avisynth Virtual File System], requieres AVISynth y los codecs de audio y video instalados en windows [puedes usar LAVFilters o FFDShow-TryOuts].
hilo_sony-vegas-pro-12-compresion-y-codecs_1943131Para la recodificacion te sugiero usar un software encoder externo, como MediaCoder o meGUI o TMPGEnc, son mucho mas versatiles y con mejor calidad que el pedorrin sony vegas. Desde le editor de video sony vegas editas y haces los cambios que requieras e insertas los efectos y textos, pero usas el exportar y el render de video [las imagenes] que genere vegas se envia a el software encoder externo, el cual ya se encarga de la codificacion al formato de audio/video y contenedor que gustes. Usaras DEBUG MODE FRAMESERVER que se instala como un plugin de vegas, y el software encoder [MediaCoder o meGUI o TMPGEnc.]
Ejemplo, vegas envia a Debugmode Frameserver que envia a meGUI, y este se encarga de codificar a AAC y h264 y crear el archivo MP4 final.

Ventana EXPORTAR de sony vegas a FrameServer
hilo_ayuda-por-favor-no-logro-renderizar-con-sony-vegas-un-video-en-hd-1080-y-que-se-vea-perfecto_2011208hilo_imposible-renderizar-con-sony-vegas-12-0-ayuda_1966359Y quiza te salga mas sencillo y directo usar TMPGEnc Works, que edita codifica entre otras cosas.
.