Tienes que crear una máscara, abajo, con el botoncito de máscara y se creará una máscara con la selección que tengas hecha con la herramienta de elipse. El desenfoque gaussiano debes aplicarlo sobre la máscara, no sobre la imagen.
Estos pasos son para un viñeteado normal, que es el que proponías, es decir, el centro de la foto se ve normal y los bordes se oscurecen. Si buscas algo diferente debes ir cambiando ciertas cosas o ciertos pasos. Cuando conozcas la técnica y el porqué de cada paso verás lo sencillo que es adaptarlo a lo que quieras.
Vamos por partes (que diría Jack el Destripador).
- Abres la foto.
- Pones los colores por defecto .(D)
- Copias el fondo. (Ctrl+J)
- Selecciona la Herramienta Marco Elíptico. (M) y arriba, en la casilla de calado pones el valor para ese parámetro (Por ejemplo 50).
- Dibujas y ajustas la forma que quieres que tenga lo que luego será el viñeteado.
- Aplicas la selección inversa (Mayús+Ctrl+I) (Este paso puedes no necesitarlo, según el tipo de viñeteado que busques)
- Aplicas una Máscara de capa (Donde tienes las capas, abajo de esa ventanita hay una serie de 6 botoncitos... El segundo botón por la izquierda es el que buscamos)
- Pones la cama en modo Multiplicar (Esto es para oscurecer, si lo que buscas es aclarar debes poner el modo Trama. Si el paso de inversión de selección te lo saltaste verás que las cosas funcionan de forma distinta)
- Ahora aplicamos el desenfoque gaussiano. (Si has seguido los pasos tal cual ahora mismo debes tener seleccionada la máscara de la Capa 1. Si no fuese así deberías seleccionarla haciendo un click sobre el dibujito de la máscara de la Capa 1.) Yo he buscado un desenfoque de 150 para que ese viñeteado fuese muy suave. De todas formas puedes ir cambiando ese valor y verás cómo afecta al resultado si tienes marcada la casilla Previsualizar. Cuanto menor valor más fuerte es la transición. (Si te resulta demasiado suave deberías haber bajado el valor del parámetro Calado del Marco Elíptico)
- Ahora ya está listo. Puedes jugar también con el valor de la opacidad de la Capa 1 para que este viñeteado sea menos intenso. Si te parece demasiado sutil y quieres un viñeteado más evidente sólo tienes que hacer copias de la Capa 1 (Ctrl+J).
- Cuando tengas todo listo le das a Acoplar imagen del menú Capa.
Espero que esto sea suficiente para que apliques esta técnica sin problemas.
Saludos