Tal vez no sirva en el caso concreto, pero una máscara de capa se puede limitar en niveles (0-255) en las propiedades de la capa, doble click en la capa, de modo que se aplique a partir de X y hasta Y. Así puedes decirle que aplique la capa sólo entre 0 y 50, o entre 100 y 255, o entre 15 y 210, etc