El encoder
x264 tira de procesador, nvenc tira de gráfica (quizás esto sea ultra-evidente para muchos pero por si algún usuario que lea anda despistado).
La cuestión es que, si bien
tu gráfica es bastante decente, si la estás usando para eliminar ruido de fondo, quitar el fondo del vídeo sin chroma, etc. probablemente no "sobre" mucha "chicha" para los juegos y el encoding. Aunque para 1080p incluso a 144hz creo que tampoco deberías necesitar mucho más.
Otra cosa es que el procesador, si bien es muy solvente en potencia multihilo, en juegos puede ser
un hándicap considerable.
¿En qué notas exactamente que se te queda corto? Es decir, es por calidad del stream, por rendimiento en juegos (en todos o en alguno en particular), o por "fluidez" a la hora de usar el equipo, interactuar con el chat, etc.
Me sumo a la recomendación de
@javier español de que concretes los modelos de todo. Cosas como los monitores, una vez sabemos la resolución y frecuencia de refresco el resto no es muy importante para dar una recomendación u otra, pero cosas como el
modelo exacto de fuente, el
modelo exacto de placa base, el
modelo exacto de RAM (poco tienen que ver una TridentZ de 3200CL16 con chip hynix con unas 3200CL14 con Samsung B-die dual rank que es lo mejor que puede llevar la plataforma y con mucho margen de overclock) sí que determinan mucho de lo que es razonable hacer.
Eso y el
presupuesto máximo que podrías gastar. Con poco dinero probablemente te diría que pondría un 5700X (sí, cambiaría a MENOS núcleos e hilos, a cambio de mayor IPC y un poco más de margen para subir la RAM) y lo dejaría así. Con bastante más dinero, cambiaría el procesador por un 5900X o 5950X (para poder usar un encoder por software, el segundo está relativamente barato ahora además) y la gráfica por una 4070Ti Super o similar. Y con mucho dinero cambiaría todo y me iría a AM5.
Saludos