Doble clic en la capa de la imagen para desbloquearla.
Crea una capa nueva, y muévela debajo de la imagen. Esta capa será transparente, no tiene nada.
Amplia el lienzo a un tamaño más grande que la imagen, el margen que quieras dejar al rededor. Aprieta control mientras haces clic en en la capa de la imagen, esto seleccionará la imagen entera, pero no la zona transparente. Vas a selección y redondeas los bordes tantos pixeles como quieras. Después inviertes la selección, y control + x para cortar.
Así te comes las esquinas de las fotos, y se queda redondeado sobre transparente.