Hola compi,
Eso puede ser por falta de voltaje para ese oc, aunque sea mínimo... ya que cuando se calienta consumen un poquito más y al hacer oc notamos esas difererencias... puede pasarte a usar 0.01v más y ya te desbarajusta todo o se queda sin señal como en tu caso.
Puedes probar con 3dMark los test de estabilidad que tienen de estabilidad, e ir subiendo poco a poco, primero gpu y luego memos.
También puede ser que al ser una versión custom venga subida casi a tope el silicio y no tengas margen de maniobra... ya sabes al final el OC es un mundo en cada hardware... y además con los drivers puede dejen de funcionar las mismas opciones de OC...
¿Con que estás oceando, afterburner, precisio XOC?
Saluuudos