Deberías mirar el manual/web y ver la compatibilidad con modulos de memoria de tu placa base, yo tengo un Q9550 en una placa X48 que soporta un máximo de 8GB de RAM DDR2 en 4 slots, la placa no soporta modulos de RAM de más de 2GB por slot debido al controlador de memoria del chipset X48, no creo que el chipset G41 de tu placa sea muy diferente en ese sentido, pero tu solo tienes 2 slots para DDR2 y 2 slots para DDR3.
Tambien podría ser de interés el voltaje de la memoria ya que los modulos DDR3 pueden ser de 1.65V (más antiguos) y de 1.50V (más modernos), y creo recordar que los controladores de memoria DDR3 de los chipsets para socket 775 dan 1.65V por defecto, no se si podría llegar a ser un problema con modulos DDR3 a 1.50V que, en principio, son para CPUs más modernas.
Con eso de DDR3 1333(OC) se refiere a que son velocidades que soporta el controlador/hardware de la placa base, pero no estan dentro de los "perfiles" (timings,voltage,etc..) que por defecto tiene Intel especificados para el controlador de memoria (Chipset G41 en tu caso), con lo que tendrás que configurar "manualmente" las memorias en la BIOS para conseguir esas velocidades.
Salu2.