Todas las gráficas cuando le faltan VRAM te roban de la RAM del PC, lo que pasa es que lo aconsejable es que no se dé ese caso. Principalmente porque la RAM del PC es más lenta que la VRAM de la gráfica y porque además metes intermediarios mientras que la VRAM es directa, por lo que hay un impacto en el rendimiento desde algunos tirones a incluso bajadas de FPS realmente dolorosas según cuanta VRAM te falte y tenga que robar. En tu caso deberías cuidarte mucho de no sobrepasar los 3gb de VRAM que tienes, porque actualmente es bastante fácil consumir más de 3gb.
Y como veo que lo más probable es que no estés usando la aceleración de GPU para la compresión del Streaming si estás usando OBS Studio ve a la parte donde puedes elegir el codec de video y cambia a Nvidia NVENC H264.