En juegos muy GPU-dependientes podrías notar quizás una mejora cambiando la gráfica, sobre todo si eres muy fan del Raytracing y demás vainas, pero precisamente para 1080p, yo coincido en que cambiaría antes el procesador que la GPU. De hecho mira el uso de GPU con los FPS sin limitar, probablemente en varios juegos no llegue al 98-100%, que sería lo deseable (esto quiere decir que en ese juego concreto el limitante es el procesador independientemente de que el uso de CPU también sea bajo).
¿Qué poner si quieres cambiar igualmente? Pues... de entrada las GPUs con PCIe a 8x ya están perdiendo (en el peor de los casos) un 20% de rendimiento por ser tu plataforma PCIe 3.0, aparte del posible cuello de botella que pudiera haber aparte de eso. 6700XT, 4060Ti, etc. tienen esta pega.
Yo pondría quizás algo tipo 7800XT, con idea de cambiar el resto a corto o medio plazo, si no bajaría una gama, sinceramente. O 4070 si quieres de los verdes o te importa mucho el RT, pero rendimiento/precio sale peor parada.
Saludos