Puedes usar nvenc en vez de x264 y la gráfica hará el trabajo de compresión de vídeo tal como lo hace el Shadowplay.
si usas x264 has de asegurarte que no has modificado nada y que la codificación esté en muy rapido/very fast.
Un bitrate de 3000 no es para que te dé problemas si tu subida es mucho mayor, yo tengo Onocable 120mb bajada y 12mb de subida y he emitido a 5000 con 1080p60fps perfectamente cuando estuve probando haciendo el tonto un rato con el programa.
