Las gráficas son de los elementos del ordenador que más ruido hacen, de manera que no es raro lo que dices.
Para bajar el sonido que hace, puedes comprarte un ventilador "silencioso", aunque seguirá haciendo ruido.
Si bajas las rpm acortarás la vida de tu tarjeta si la das bastante caña. Yo tenía un ventilador con 2 posiciones que lo cambiabas manualmente. Esto puede serte de utilidad.
Lo mejor para el ruido es la refrigeración líquida.