La fuente directamente la quitas del equipo y la llevas a un punto limpio para que la reciclen, es mala a más no poder, la caja no dices el modelo exacto, de las Nox Hummer hay muchos modelos distintos, las ZX no están mal, pero las MC por ejemplo ventilan de pena, las ZS no tan mal como las MC, pero también bastante mal.
Sobre qué ampliar concretamente, yo pondría una fuente decente (no hace falta una muy cara tampoco, pero una que esté bien) un cooler para el procesador si la caja no ventila muy bien y también añadiría algún ventilador según el modelo de caja, un procesador mejor (aunque eso lo mismo hace que te plantees un cambio de plataforma si te sale muy caro), la RAM que tienes es de muy poca frecuencia, que menos que fuera de 2400-2666MHz o más, que tienes una placa base que lo permite, y como no, pues una gráfica mejor, ya te dije modelos unos posts atrás.
Si no te puedes o quieres gastar mucho, lo primero sería una fuente decente tipo Corsair CX o similar, y como gráfica, pues lo que dé de sí tu bolsillo, depende también del modelo exacto de tu caja, que no lo dijiste, sólo la serie, y como ya hemos comentado, para VR hace falta aflojar bastante el bolsillo, si fuera sólo para gaming incluso con una RX 470/570 ó RX 480/580 (hay buenas ofertas ahora) te valdría si no es más que para 1080p a 60Hz y sin poner todos los settings al máximo en los juegos más exigentes, pero no para VR (las RX 580 puede que si no eres exigente con los settings tiraran, pero con los detalles más o menos bajos, lo cual no es una buena experiencia de juego la verdad) y todo eso con un i5 por lo menos y más RAM también, preferiblement más rápida también.
La verdad es que de ese equipo lo único que se salva (dependiendo del modelo exacto de caja) es la placa base.
Es como si quisieras convertir un Seat Panda en un coche de carreras, al final no merece la pena o tienes que cambiarlo todo o casi todo.
Saludos.