Elproblema ni es tu hardware ni tu configuracion, el problema es youtube el cual recodifica el video. Por cierto, el encoder h264 de vegas tampoco es que sea de lo mejorcito.
Y si, SIEMPE es mejor codificar el video en VBR, porque asi el encoder distribuye el bitrate segun la escena, asi escenas con mas movimiento tendran un mayor bitrate [que es donde se requiere], y escenas estaticas o de poco movimiento tendran un menor bitrate [que es lo que se requiere].
.