Viendolo por el lado del software:
¿Usaste el programa DDU para quitar el controlador de video anterior?. ¿NO?, entonces podrias tener problemas de configuraciones previas del viejo controlador que no permiten el uso optimo del controlador actual. Ve al modo a prueba de errores de windows y usa DDU para quitar el controlador de video, reinicia la PC y deja entrar a windows en modo normal y reinstala el controlador de video actual.
Viendolo por el lado del hardware:
¿QUe fuente de poder usas?, quiza no sea lo suficientemente buena, o no tenga la suficiente capacidad de energia para que funcione correctamente esa GPU. ¿Has monitoreado voltajes y tem´peraturas del GPU mientras juegas o haces un test sintetico?
.