Deberías hacerlo? Claro que sí! Es tu derecho exigir a tus componentes lo mejor que pueden ofrecerte.
Para empezar deberías hacerte con FRAPS, si no lo tienes ya, para medir los FPS (Frames per second), que es lo que indica la velocidad a la que se te mueven los juegos, y te servirá como guía de que lo que estás haciendo está bien.
Precauciones que debes tomar: Los componentes, para su correcto funcionamiento, deben estar por regla general, por debajo de los 50ºC, así que debes cercionarte de que cuentas con unos buenos disipadores tanto en tu CPU como en tu gráfica.
Riesgos? Siempre hay riesgos al hacer Overclock, porque realmente lo que haces es "forzar" la maquinaria a trabajar más rápido, por eso es importante que la refrigeración sea la adecuada.
Yo empezaría trasteando la gráfica, solo tienes que bajarte un programita que se llama RivaTuner, que te permite tocar los clocks de la gráfica.
Estoy en la uni así que tampoco puedo deshacerme mucho en detalles, pero si tienes alguna duda dila.
PD: estos temas mejor mételos en la sección Hardware. Seguramente te lo moverán, lo digo por si entras y no ves el hilo aquí