Personalmente esperaría a ver benchmarks de la serie 5000 para plantearme algo como lo que comentas. También valoraría el tipo de juegos a los que juegas, si son consumidores de VRAM netos o no, porque la diferencia memoria también te puede afectar de lo lindo.
A priori te diría que yo no haría el cambio, pero como digo, hay que esperar a los benchmarks reales y no a las barras verdes que muestra nvidia