x264 es el mejor encoder por software a la fecha que existe para codificar al formato de video MPEG-4 AVC, pero.. al ser un encoder por software [se utiliza el CPU para el trabajo de codificacion], si el juego esta utilizando casi todos los recursos del procesador pues la codificacion sera muy mala y erratica. Asi que lo mejor seria utilizar el encoder QuickSync, donde se utilizaria el iGP [procesador grafico integrado] del CPU, ya que este no estaria realizando algun trabajo. El unico pero que podria tener seria por el uso del bus PCIE para intercambiar los datos del video creado por el GPU de la GTX 970 y que necesita recibir el iGP del CPU, si esta muy ocupado [mucho trafico] podrias tener algunos ligeros brincos en el video resultante. En ese sentido ya podrias probar el enocder de la GTX 970, donde el trafico de datos a codificar solo estaria en la tarjeta de video misma [el intercambio solo estaria entre la VRAM y el GPU].
En resumen:
* Probaria primero con el QuickSync, sino me convence,
* Probaria el NVENCH H264.
* Descartaria el x264