No conozco Zbrush ni he trabajado con él, pero muchos programas orientados a diseño (pienso por ejemplo en Photoshop) tienen opciones para controlar cuánta memoria pueden dedicar como máximo al comando deshacer, y cuántos pasos hacia atrás (en photoshop por ejemplo es importante por el pincel de historia) permiten.
Piensa que para cada tarea que puedas querer deshacer el PC tiene que almacenar los pasos que ha dado y como deshacerlos, y en algo en 3D no es para nada trivial. Si vas a trabajar con proyectos grandes puede ser un salto importante en rendimiento reducir en lo posible este número de pasos que el software te permite deshacer (investiga si Zbrush tiene opciones relativas a esto).
Los pequeños picos del uso de RAM me parecen totalmente normales, desconozco los detalles de la implementación, pero dudo mucho que mejorando la frecuencia de la RAM notes diferencia. Mejorando la capacidad desde luego que no, ya que veo que el uso de RAM está muy lejos del 100%. Lo que más flojo veo en tu PC y lo que más notarías actualizar es el procesador probablemente, pero también es lo más caro ya que te obliga a cambiar placa base también (la RAM aunque sea de 2400Mhz no me parece un problema, aunque también es verdad que ahora está muy barata si quisieras aprovechar para cambiarla y vender la que tienes)
Si hacer ese cambio no es una opción, intentaría trastear las opciones del software. Poco más se me ocurre.
Saludos