Fixed initialisation of tf in file_open(). Without setting the memory to 0,
[cinelerra_cv/mob.git] / plugins / chromakeyhsv / chromakey.sl
blobb518108be832d612476ee3eaec49262e064da819
1 uniform sampler2D tex;
2 uniform float red;
3 uniform float green;
4 uniform float blue;
5 uniform float in_slope;
6 uniform float out_slope;
7 uniform float tolerance;
8 uniform float tolerance_in;
9 uniform float tolerance_out;
10 uniform float sat;
11 uniform float min_s;
12 uniform float min_s_in;
13 uniform float min_s_out;
14 uniform float min_v;
15 uniform float min_v_in;
16 uniform float min_v_out;
17 uniform float max_v;
18 uniform float max_v_in;
19 uniform float max_v_out;
20 uniform float spill_threshold;
21 uniform float spill_amount;
22 uniform float alpha_offset;
23 uniform float hue_key;
24 uniform float saturation_key;
25 uniform float value_key;
27 void main()
29         vec4 color = texture2D(tex, gl_TexCoord[0].st);
30 /* Contribution to alpha from each component */
31         float alpha_value = 1.0;
32         float alpha_value_max = 1.0;
33         float alpha_hue = 1.0;
34         float alpha_saturation = 1.0;
35         bool has_match = true;
36         vec4 color2;
37         
38 /* Convert to HSV */
39         color2 = yuv_to_rgb(color);
40         color2 = rgb_to_hsv(color2);
42 /* Hue is completely out of range */
43         if (tolerance == 0.0)
44             alpha_hue = 1.0;
45         else
46         if (abs(color2.r - hue_key) < tolerance_in * 180.0)
47                 alpha_hue = 0.0;
48         else 
49         if ((out_slope != 0.0 ) && (abs(color2.r - hue_key) < tolerance * 180.0)) 
50 /* If using slope, scale alpha between 0 and 1 / 2 */
51                 alpha_hue = abs(color2.r - hue_key) / tolerance / 360.0; 
52         else 
53         if (abs(color2.r - hue_key) < tolerance_out * 180.0) 
54 /* If no slope, scale alpha between 1/2 and 1 */
55                 alpha_hue = abs(color2.r - hue_key) / tolerance_out / 360.0; 
56         else
57                 has_match = false;      
59 /* Test saturation */
60         if (has_match) 
61         {
62                 if (min_s == 0.0)
63                         alpha_saturation = 0.0;
64                 else 
65                 if ( color2.g - sat >= min_s_in )
66                         alpha_saturation = 0.0;
67                 else 
68                 if ((out_slope != 0.0) && ( color2.g - sat > min_s ) )
69                         alpha_saturation = (color2.g - sat - min_s) / (min_s * 2.0);
70                 else 
71                 if ( color2.g - sat > min_s_out ) 
72                         alpha_saturation = (color2.g - sat - min_s_out) / (min_s_out * 2.0);
73                 else 
74                         has_match = false;
75         }
77 /* Test value over minimum */
78         if (has_match)
79         {
80             if (min_v == 0.0)
81                         alpha_value = 0.0;
82                 else 
83                 if ( color2.b >= min_v_in )
84                         alpha_value = 0.0;
85                 else 
86                 if ((out_slope != 0.0) && ( color2.b > min_v ) )
87                         alpha_value = (color2.b - min_v) / (min_v * 2.0);
88                 else 
89                 if ( color2.b > min_v_out )
90                         alpha_value = (color2.b - min_v_out) / (min_v_out * 2.0);
91                 else
92                         has_match = false;
93         }
95 /* Test value under maximum */
96         if (has_match)
97         {
98             if (max_v == 0.0)
99                         alpha_value_max = 1.0;
100             else 
101                 if (color2.b <= max_v_in)
102                         alpha_value_max = 0.0;
103             else 
104                 if ((out_slope != 0.0) && (color2.b < max_v))
105                         alpha_value_max = (color2.b - max_v) / (max_v * 2.0);
106             else 
107                 if (color2.b < max_v_out)
108                         alpha_value_max = (color2.b - max_v_out) / (max_v_out * 2.0);
109             else
110                         has_match = false;
111         }
113 /* Take largest component as the alpha */
114         if (has_match)
115                 color2.a = max (max (alpha_hue, alpha_value), max (alpha_saturation, alpha_value_max));
117 /* Spill light processing */
118         if ((abs(color2.r - hue_key) < spill_threshold * 180.0) || 
119             ((abs(color2.r - hue_key) > 360.0) && 
120             (abs(color2.r - hue_key) - 360.0 < spill_threshold * 180.0)))
121         {
122 /* Modify saturation based on hue contribution */
123             color2.g = color2.g * 
124                         spill_amount * 
125                         abs(color2.r - hue_key) / 
126                         (spill_threshold * 180.0);
128 /* convert back to native colormodel */
129                 color2 = hsv_to_rgb(color2);
130                 color.rgb = rgb_to_yuv(color2).rgb;
131         }
134 /* Convert mask into image */
135         gl_FragColor = show_mask(color, color2);