Hola, mira la solución es que te vayas a las preferencias de photoshop y en memoria y cache de imagen sube un poco la memoria, ahora tendras 50% sube a 75% o mas, tu prueba para ver cual es la mas interesante, con eso seguro que lo solucionas ya que photoshop solo coge lo que ahi tiene asignado incluso yo lo he subido a 90% y le puedo meter el filtro cristalizar (chungo ese filtro) a una imagen de 100 mb sin que me pusiera insuficiente memoria ram, otro consejo es que cuando hayas hecho unas cuantas operaciones guardes la imagen y cierres el programa y vuelvas a abrir ya que las operaciones complicadas se van acumulando en memoria cuando tienes photoshop abierto es decir copiar, acciones chungas, etc.
Un saludo y espero habertelo solucionado.