Mira las opciones al combinar capas. Tienes por ahí fusión, que hará que los bordes sean menos cantosos.
Para todo lo demás, bueno, mira un par de tutoriales, copia lo que hacen y luego ya pruebas. En esto, para cosas así, es cuestión de tiempo y práctica. Para algo bueno... es otra cosa.