x264VFW no es un codec porque realiza solo una tarea, que es la codificacion lo cual lo convierte en un encoder de video.
Los tirones puede deberse a que el CPU que tienes se ve sobrepasado por la carga de trabajo, ya que el formato de video h264 requiere mucho procesamiento, si ya tiene mucha carga con el juego mas la carga de el software de captura mas la carga de la codificacion del video a este formato comprimido h264 pues tu diras, y tambien hay que ver si el disco duro no esta muy fragmentado, que velocidad de transferencia tiene, etc.
La limitacion de la velocidad de cuadros viene en el software que realiza la captura no en el encoder x264vfw, pero puedes poner en los PRESETS como FASTER, con eso se usan las opciones de compresion basicas del encoder x264, en TUNING lo dejas como NONE, PROFILE/LEVEL lo dejas en AUTO y marcas la casilla ZERO LATENCY, RATE CONTROL en SINGLE-PASS
