Buenas.
Yo siempre he pensado que lo mejor para aprender overclocking es leer, leer y leer. No puedes preguntar que hacer paso por paso y que te digamos exactamente lo que tienes que tocar... porque no entenderías el fondo del overclock, ni sus riesgos (porque haberlos haylos, pequeños pero los hay).
Ya digo, leer, leer y seguir leyendo. De momento te recomiendo una guía de Hardware12v:
http://www.hardware12v.com/overclocking/guias/ocgeneral/1.php
El notarlo o no, es relativo... desde luego que para navegar no lo vas a notar
pero puede que con algún juego puedas jugar a más fps, etc. Y si merece la pena... depende de lo que hagas y que valores más, el calor (y por ende, ruido), el rendimiento o un equilibrio de las dos cosas.
Y piensa que el overclock depende de muchos factores (el que la placa se deje, por ejemplo)... y basta que una cosa falle para que el overclock no valga.
Y ánimo porque con ésto se aprende muchísimo sobre hardware.
Un saludo.