El procesador te va a aguantar perfectamente hasta los 70º, mas o menos, pero cuanta mas bajas tengas las temperaturas mejor.
Para ver las temperaturas no te fies del speedfan porque te puede marcar 10º menos perfectamente. Usa el core temp, como ya te han dicho, ya que suele ser el que mas se acerca a las temperaturas reales.
El voltaje del micro lo tienes en las opciones de la bios, pero en algunas placas, como las Gigabyte, esas opciones vienen ocultas y puede que por eso no las encuentres.
Para 3200 puedes probar hasta con 1'2v. e ir subiendo ya que hay 6750 que son estables a ese voltaje, pero tambien puedes emepezar desde 1'35 e ir bajando poco a poco el voltaje, y reiniciando para ver si funciona, hasta que llegue un punto que el pc no arranque correctamente. Cuando encuentres ese punto dale un poco de voltaje para que arranque y pasale alguna utilidad para comprobar la estabilidad, como el prime95, Orthos... y si no es estable subelo un poco mas y repite hasta que encuentres el voltaje adecuado.