Entiendo por tu comentario que no has tocado el voltaje del microprocesador. Te explico un poco el proceso básico para realizar un overclock: sube paso a paso el multiplicador de la cpu y con ello su frecuencia de funcionamiento, cada vez que lo hagas pásale algún test para comprobar su estabilidad, si el test va bien es que puedes subir un paso más la frecuencia, si va mal, tendrás que volver un paso atrás y dejarlo ahí o intentar subir el voltaje de la cpu para hacerlo más estable. Una vez subido el voltaje hasta que sea estable volvemos a iniciar el mismo proceso. Ten en cuenta que cada vez que subas el voltaje acarreará una subida de temperatura, la clave es estar pendiente de la temperatura para que no supere el límite que puede soportar tu micro.
Saludos.