El rendimiento es similar entre ambas, pero 3GB es poco y en según qué juegos llega a ser problemático, por lo que voto por la 580.
De cualquier modo, la 770 es una muy buena tarjeta, es difícil imaginar en qué escenarios se le está quedando corta, especialmente si dices que es poco exigente con los ajustes y juega a juegos online y de estrategia, que suelen ser especialmente poco tragones.
La 580 consume algo menos de energía que la 770 por lo que no necesitaría mejorar la fuente de alimentación, y las temperaturas debería ser inferiores, pero si la 770 va mal a lo mejor es que pega bajones de rendimiento si hay mucho calor dentro de la caja del ordenador o si la fuente está un poco floja, aunque sería más atípico. Que pruebe a jugar por ejemplo sin la tapa de la caja para que esté bien ventilada a ver si sigue funcionando mal.
Insisto en que intente ver qué le pasa a la 770 porque tampoco es que vaya a notar un cambio brutal pasando a una 580, ganaría un 50% de FPS o así.
