Lo primero, deja la memoria a relación 1:1 (o 2:2 que es como lo llama esta placa) con el FSB, ya que en los 965P se gana bastante más rendimiento si funcionan de forma sincrona con el procesador. Luego reduce un poco el voltaje, 1.4v para el procesador puede que sea excesivo, con 1.3v debería aguantar hasta casi los 3Ghz, la memoria dejala a 2.1v si es lo que aguanta según el fabricante, aunque creo que las HyperX solo aguantaban hasta 2v. Por ultimo deja las opciones de reducir el voltaje, etc. activadas, ya que funcionan perfectamente a no ser que hagas un overclock muy extremo.
Si así arranca, entonces ya tienes algo ganado, ponlo a prueba con un orthos durante un ratillo para comprobar su estabilidad. Apaga y vuelve a encender para comprobar que todo sigue tal y como lo dejaste, no debería dar problemas.
Si hasta ahí funciona ahora te tocará probar lo de los juegos en 3D. Para empezar actualiza los drivers a la ultima versión disponible desde la web del fabricante (a mi con una versión de los drivers también me pasaba que los juegos se veían muy lentos y era por culpa de los drivers, que a veces no activaban el modo 3D de la tarjeta y entonces se iniciaban con la tarjeta en modo 2D a mucha menos velocidad de la normal). Prueba que funcionen y luego haz lo mismo que hacías antes para que te fuesen mal (es decir, dejarlo apagado durante un tiempo).
Si en este punto se vuelve a repetir lo mismo de antes, prueba a cambiar la fuente, posiblemente sea la causante del problema, sobretodo si es generica.
PD: por cierto actualiza también la bios antes de overclockear si tienes alguna versión muy vieja, sobretodo si tienes una por debajo de la F7 o así, ya que en una de esas actualizaciones a mi se me solucionaron todos los problemas al overclokear.