Prueba a ponerlo todo por defecto, luego sube la velocidad un paso, sólo uno, dale más tensión y prueba. Si va bien hazlo otra vez, si va mal prueba a darle un poco más de tensión y a aflojar la latencia (sube todos los valores un punto).
Si eso sigue yendo mal, tu ram o tu controlador no van a dar más de sí, fin de la historia. Suele pasar.
Edito: escribo desde un netbook y es incómodo así que no me apetece extenderme mucho, pero aflojar las latencias puede resultar en que el tiempo de acceso suba demasiado, y eso hará tu memoria más lenta.
Ocear la RAM no es como ocear el procesador, piensa que si tu memoria diera más de si, G.Skill la habría vendido como 1866 por más pasta. No siempre es así, y a veces, principalmente por márketing, sueltan tiradas de memoria rápida a velocidad lenta para que parezca que se puede ocear.
¿Has probado sólo con dos módulos? ¿Le has subido la tensión al IMC? ¿Y al VTT?