Pueden ser varias cosas.
1º cuello de botella en el procesador, o bien tienes el procesador cargado mientras juegas o bien es viejo pero es raro ya que no debería dar problemas y más con el CSGO.
2. Temperatura muy alta, las gráficas a partir de la serie 10 bajan la frecuencia, cuando eso pasa en algunos modelos pega ese tirón molesto.
3. Que la gráfica sea defectuosa, eso me paso con la 1060 que compre, al superar cierta temperatura la GPU en lugar de bajar la frecuencia se apagaba directamente y me pasaba a modo software pegando tirones y caídas de frames de forma continua, pero era continuo hasta que reiniciaba el PC.
El tema de los drivers sin problemas, yo le metí la 1060 con el 374 y se supone no era compatible y me iba de lujo. Luego le actualice a la 394 que era la que había en ese momento.
Lo suyo es comprobar temperaturas, ver que juegos lo hace, si es DX9, 10, 11 o 12 que lo hace, osea, comprobar todo hasta dar con el problema.