Del equipo que tienes el mayor limitante claramente es la GTX750, ya no cumple para muchos juegos. Eso es principalmente donde tienes que mejorar. Por su vejez y sus 2gb de VRAM. (que si se te quedan cortos te intentará robar de la RAM del equipo, empeorando el rendimiento de la gráfica más, y lo que implique dejarte menos RAM)
Lo que si tienes que tener en cuenta que el CPU a día de hoy tiene ya su tiempo y un IPC por core bastante bajo, no es mejor que un Intel quadcore de su época. (flojo en calculo de coma flotante, porque tiene una unidad de coma flotante por cada dos cores, cuando debería haber sido 1 por core, y que el rendimiento usando al 100% sus 8 cores apenas mantiene el ritmo de 4cores de Intel de 2gen) Por lo que tampoco podrás sacar partido a tarjetas gráficas que sean de bastante gama alta. Probablemente le quede levemente grande una 1660 (una 1660Super rinde más) según las exigencias del juego que pongas, con OC del CPU algo menos, pero el FX algo te limitará en algunos juegos concretos como digo, pero eso sí, aún hablamos de un salto muy grande cambiando solo la gráfica, duplicar/triplicar el rendimiento 3D como que ni tan mal. Siempre teniendo en cuenta que en algunos juegos muy exigentes pues tu CPU chirriará algo, pero claro cambiar todo ya es una inversión de dinero muy grande, y que también salen nuevos CPUs a finales de año.
Sobre RAM, 8gb es aceptable/justito. Podrías ampliar si consigues a muy bajo precio, puedes tantear a ver de segunda mano. Pero si quieres minimizar gastos, tira por una gráfica por el momento (de la que sepas que tu fuente puede tirar/alimentar), RAM siempre podrás buscar más adelante, y que además RAM DDR3 que compres no servirá par aun PC futuro.
No tiraría por una grafica AMD en un equipo justito por varias cosas pero principalmente porque si no usas DX12 o Vulkan en lo demás flojean, DX11 no está del todo bien optimizado y tira de más CPU, y que en OpenGL directamente rinden muy mal en Windows. (programadores de emuladores hablan pestes del soporte de OpenGL en AMD bajo Windows)