La de 3gb se te va a quedar corto de VRAM en poco tiempo, si es que no son más justos de lo que debiese ya. Quedarte corto de VRAM va a mermar su rendimiento de poco a mucho según el caso, además que lo que falte te lo va a sangrar de la RAM de tu PC.
Si no piensa en alguna RX580 de 4 u 8gb. Aunque en mi opinión mejor que no en una de sus versiones recortadas de salidas de vídeo, salvo te de igual, pero las veo más malas y sacrificas por ejemplo no tener displayport entre otras. Aunque por rendimiento y precio nada mejor hay.