Es recomendable usar la compresión por hardware, simplemente es lo que menos afectará al desempeño del PC al jugar, además que Nvidia luce bastante en estas características. (Una gráfica AMD comprime peor por hardware y afecta más al rendimiento 3D)
CPU da más calidad de imagen, pero el coste puede ser elevado y hacer que jugar sea un problema, además que no todo es la compresión de vídeo, todo el audio y montaje de escena de OBS tendrá que pasar por el CPU, la compresión de vídeo es el paso final del proceso digamos. Usar la compresión por hardware no va a liberar al CPU de todo el trabajo, solo de una parte aunque sea la más gorda.
Yo no uso compresión por CPU, y el CPU es muy por encima a ese.
De todas formas prueba y saca tus propias conclusiones.