Las máscaras son utilísimas para no perder nada de lo que estás haciendo. Imagina que por ejemplo haces una selección en una capa. Cuando realices cualquier otra acción u otra selección diferente, la primera desaparecerá, los cambios que hayas aplicado a esa capa se quedan permanentemente.
Sin embargo, si cada cambio, cada efecto, cada selección, cada filtro o lo que sea que hagas a una capa la haces sobre una máscara... voilá, luego solo tendrás que elegir esa máscara para volver a tener tu selección o tu filtro o lo que sea totalmente intacto y sin tener que volver a hacerla. O, si te estorba algo que has aplicado, simplemente desactivas esa máscara o la borras y listo.
Lo mejor para saber qué es lo que son es trastear con ellas en el photoshop, pero una vez que se entiende el concepto, que es facilísimo, porque en realidad funcionan como las capas solo que con efectos y herramientas en lugar de con imágenes, se ve lo utilísimas que son. En cierto modo, son como los filtros inteligentes, aunque abarcan muchas más opciones que únicamente los filtros.
También existe lo que se llama máscara rápida, que es la que ha tratado de explicarte SuperLopez. Ésta simplemente es una selección, pero funciona diferente de las herramientas de selección habituales, aunque se pueden combinar con éstas. Simplemente consiste en pintar la superficie que quieras seleccionar y ésta queda guardada en una máscara de capa, que es lo que te he explicado anteriormente.