Bueno, yo antes tenía una 970 que se murió por mala suerte, me hice con una HD 7850 2GB para salir del paso (25€) y al final vendí una 1060 (140€) que llegó a mis brazos porque no necesitaba más.
Que juegas? Para que usas el PC? Eso es la clave que te dará la respuesta.
Aún así, si el ahorro no es mayor a lo que expones, no creo que te vaya a merecer la pena porque vas a palmar mucha pasta. A mi también se me pasó por la cabeza hacer un downgrade de componentes hace un tiempo, quizás debí hacerlo en mi caso ya que solo hubo una temporada en que necesité Nvidia por CUDA pero después nada.