Lo tienes limitado a 60fps o lo tienes a todo trapo? una GTX1080 no es una gráfica de gama bajita, le va a apretar al CPU.
Por otra parte para OBS, jugando en el propio PC y haciendo directos con montaje de escenas un 4 cores no es lo mejor, eso ya es algo que he leído y escuchado de bastante gente del mundillo, no te va peor porque tienes 4cores 8 hilos, pero que todo el mundo coincide en que viene muy bien tener un CPU con más cores / hilos, muchos han saltado de sus Intel de 6 / 7gen a los nuevos CPUs por lo mismo.
Ahorras algo de CPU haciendo la compresión en OBS por Nvidia NVenc en vez de por CPU con x264 pero poco más puedes hacer, ya sería tener que bajar resoluciones o fps en OBS.