Tu mismo te respondes.
Si cuando el procesador no tiene overclock el ordenador funciona bien, y cuando le haces overclock, te saltan los pantallazos, es un claro error de inestabilidad.
Prueba a subirle un poco el vcore.
De todas maneras si no sabes lo que haces te cuidadito al tocar los voltajes.