Hola Sr.Rubio,
Yo aquí soy novato pero te doy unos consejillos para que por tí mismo hagas los deberes...
Lee por ahí en reviews y foros sobre tu modelo concreto de tarjeta que en muchos sitios ya prueban que tal se overclockean.
Una vez puesto en el ajo empieza subiendo el core y la memoria por ejemplo 5 Mhz para las 2 cosas.
Pruebas un benchmark del estilo del 3dmark durante un rato o bien pones un jueguecillo y observas durante un rato si hay fallos en la imagen. Busca por ahí en el golgel lo que son los "artifacts" y verás fotillos que te ayudarán a reconocerlo.
Piensa que todo tiene un límite y como consejo por ejemplo si te miras los chips de memoria de la gráfica y localizas sus datos hay por ahí una formulita que te permitirá conocer el máximo teórico de velocidad que podrías alcanzar con esos chips. Sobre ese tope bájala un poquito y ventílala muu bien pero empieza subiendo poquito a poco.
Espero que te sirva de ayuda.