Yo creo que si tienes nvidia y es una gpu sobrada es mejor usar el encoder de nvidia, lo digo por experiencia, eso lo notarás mucho si vas muy justo.
Por ejemplo, en emulación fuerte como podría ser cemu si vas justo es mejor dejarle el peso a la GPU, y en juegos de PC ya es más variable, pero claro, estamos hablando de estrujar la máquina al máximo para encontrar un equilibrio.
Si pretendes que la CPU haga el proceso con seis núcleos no sabría decirte, creo que casi mejor tener ocho en ese caso por si estás jugando un juego optimizado para multinúcleo que no sea precisamente poco demandante, depende mucho de que juego quieras grabar, resolución y frames, tanto del juego como de como pretendes capturar.
Por otra parte no tengo ni idea de si el software mismo sabe gestionar bien los núcleos o si windows 11 ha mejorado eso, pero en el administrador de tareas, creo que en recursos o algo así puedes asignar los núcleos a cada aplicación para distribuirlos, también puede interesar usar unos núcleos antes que otros o asignar los que crear al juego o al programa de captura.
Por ejemplo, los alder lake tienen núcleos de diferente rendimiento, por lo que igual basta con los de bajo para capturar y prefieres asignarlos manualmente.
noticias/tecnologia/intel-alder-lake-12-gen-precios-detalles