Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx2/graphics/effects.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX2_GRAPHICS_EFFECTS_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX2_GRAPHICS_EFFECTS_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX2_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX2_IMPL */
28
29 #include <private/dsp/arch/x86/avx2/graphics/transpose.h>
30
31 namespace lsp
32 {
33 namespace avx2
34 {
35 IF_ARCH_X86_64(
36 static const float EFF_HSLA_HUE_XC[] __lsp_aligned32 =
37 {
38 LSP_DSP_VEC8(1.0f)
39 };
40 )
41
42 #define EFF_HSLA_HUE_CORE_X16 \
43 /* ymm0 = v, ymm10 = h, ymm11 = s, ymm12 = l, ymm13 = 1, ymm14 = T, ymm15 = KT */ \
44 __ASM_EMIT("vaddps %%ymm0, %%ymm13, %%ymm2") /* ymm2 = 1+v */ \
45 __ASM_EMIT("vaddps %%ymm4, %%ymm13, %%ymm6") \
46 __ASM_EMIT("vsubps %%ymm0, %%ymm13, %%ymm3") /* ymm3 = 1-v */ \
47 __ASM_EMIT("vsubps %%ymm4, %%ymm13, %%ymm7") \
48 __ASM_EMIT("vblendvps %%ymm0, %%ymm2, %%ymm3, %%ymm0") /* ymm0 = V = (v < 0) ? 1+v : 1-v */ \
49 __ASM_EMIT("vblendvps %%ymm4, %%ymm6, %%ymm7, %%ymm4") \
50 /* ymm0 = V, ymm1 = EH, ymm14 = T, ymm15 = KT */ \
51 __ASM_EMIT("vsubps %%ymm14, %%ymm0, %%ymm3") /* ymm3 = V-T */ \
52 __ASM_EMIT("vsubps %%ymm14, %%ymm4, %%ymm7") \
53 __ASM_EMIT("vblendvps %%ymm3, %%ymm0, %%ymm14, %%ymm0") /* ymm0 = (V-T) < 0 ? V : T */ \
54 __ASM_EMIT("vblendvps %%ymm7, %%ymm4, %%ymm14, %%ymm4") \
55 __ASM_EMIT("vxorps %%ymm8, %%ymm8, %%ymm8") /* ymm8 = 0 */ \
56 __ASM_EMIT("vaddps %%ymm10, %%ymm0, %%ymm0") /* ymm0 = NH = h + ((V-T) < 0 ? V : T) */ \
57 __ASM_EMIT("vblendvps %%ymm3, %%ymm8, %%ymm3, %%ymm3") /* ymm3 = (V-T) < 0 ? 0 : V-T */ \
58 __ASM_EMIT("vaddps %%ymm10, %%ymm4, %%ymm4") \
59 __ASM_EMIT("vblendvps %%ymm7, %%ymm8, %%ymm7, %%ymm7") \
60 __ASM_EMIT("vsubps %%ymm13, %%ymm0, %%ymm1") /* ymm1 = NH-1 */ \
61 __ASM_EMIT("vmulps %%ymm15, %%ymm3, %%ymm3") /* ymm3 = A = KT * ((V-T) < 0 ? 0 : V-T) */ \
62 __ASM_EMIT("vsubps %%ymm13, %%ymm4, %%ymm5") \
63 __ASM_EMIT("vmulps %%ymm15, %%ymm7, %%ymm7") \
64 __ASM_EMIT("vmovaps %%ymm12, %%ymm2") /* ymm2 = L */ \
65 __ASM_EMIT("vmovaps %%ymm12, %%ymm6") \
66 __ASM_EMIT("vblendvps %%ymm1, %%ymm0, %%ymm1, %%ymm0") /* ymm0 = H = ((NH-1)<0) ? NH : NH-1 */ \
67 __ASM_EMIT("vblendvps %%ymm5, %%ymm4, %%ymm5, %%ymm4") \
68 __ASM_EMIT("vmovaps %%ymm11, %%ymm1") /* ymm1 = S */ \
69 __ASM_EMIT("vmovaps %%ymm11, %%ymm5") \
70 MAT4_TRANSPOSE("%%ymm0", "%%ymm1", "%%ymm2", "%%ymm3", "%%ymm8", "%%ymm9") \
71 MAT4_TRANSPOSE("%%ymm4", "%%ymm5", "%%ymm6", "%%ymm7", "%%ymm8", "%%ymm9") \
72 MAT4X2_INTERLEAVE("0", "1", "2", "3", "8", "9") \
73 MAT4X2_INTERLEAVE("4", "5", "6", "7", "8", "9")
74
75 #define EFF_HSLA_HUE_CORE_X8 \
76 /* ymm0 = v, ymm10 = h, ymm11 = s, ymm12 = l, ymm13 = 1, ymm14 = T, ymm15 = KT */ \
77 __ASM_EMIT("vaddps %%ymm0, %%ymm13, %%ymm2") /* ymm2 = 1+v */ \
78 __ASM_EMIT("vsubps %%ymm0, %%ymm13, %%ymm3") /* ymm3 = 1-v */ \
79 __ASM_EMIT("vblendvps %%ymm0, %%ymm2, %%ymm3, %%ymm0") /* ymm0 = V = (v < 0) ? 1+v : 1-v */ \
80 /* ymm0 = V, ymm1 = EH, ymm14 = T, ymm15 = KT */ \
81 __ASM_EMIT("vsubps %%ymm14, %%ymm0, %%ymm3") /* ymm3 = V-T */ \
82 __ASM_EMIT("vblendvps %%ymm3, %%ymm0, %%ymm14, %%ymm0") /* ymm0 = (V-T) < 0 ? V : T */ \
83 __ASM_EMIT("vxorps %%ymm8, %%ymm8, %%ymm8") /* ymm8 = 0 */ \
84 __ASM_EMIT("vaddps %%ymm10, %%ymm0, %%ymm0") /* ymm0 = NH = h + ((V-T) < 0 ? V : T) */ \
85 __ASM_EMIT("vblendvps %%ymm3, %%ymm8, %%ymm3, %%ymm3") /* ymm3 = (V-T) < 0 ? 0 : V-T */ \
86 __ASM_EMIT("vsubps %%ymm13, %%ymm0, %%ymm1") /* ymm1 = NH-1 */ \
87 __ASM_EMIT("vmulps %%ymm15, %%ymm3, %%ymm3") /* ymm3 = A = KT * ((V-T) < 0 ? 0 : V-T) */ \
88 __ASM_EMIT("vmovaps %%ymm12, %%ymm2") /* ymm2 = L */ \
89 __ASM_EMIT("vblendvps %%ymm1, %%ymm0, %%ymm1, %%ymm0") /* ymm0 = H = ((NH-1)<0) ? NH : NH-1 */ \
90 __ASM_EMIT("vmovaps %%ymm11, %%ymm1") /* ymm1 = S */ \
91 MAT4_TRANSPOSE("%%ymm0", "%%ymm1", "%%ymm2", "%%ymm3", "%%ymm8", "%%ymm9") \
92 MAT4X2_INTERLEAVE("0", "1", "2", "3", "8", "9")
93
94 #define EFF_HSLA_HUE_CORE_X4 \
95 /* xmm0 = v, xmm10 = h, xmm11 = s, xmm12 = l, xmm13 = 1, xmm14 = T, xmm15 = KT */ \
96 __ASM_EMIT("vaddps %%xmm0, %%xmm13, %%xmm2") /* xmm2 = 1+v */ \
97 __ASM_EMIT("vsubps %%xmm0, %%xmm13, %%xmm3") /* xmm3 = 1-v */ \
98 __ASM_EMIT("vblendvps %%xmm0, %%xmm2, %%xmm3, %%xmm0") /* xmm0 = V = (v < 0) ? 1+v : 1-v */ \
99 /* xmm0 = V, xmm1 = EH, xmm14 = T, xmm15 = KT */ \
100 __ASM_EMIT("vsubps %%xmm14, %%xmm0, %%xmm3") /* xmm3 = V-T */ \
101 __ASM_EMIT("vblendvps %%xmm3, %%xmm0, %%xmm14, %%xmm0") /* xmm0 = (V-T) < 0 ? V : T */ \
102 __ASM_EMIT("vxorps %%xmm8, %%xmm8, %%xmm8") /* xmm8 = 0 */ \
103 __ASM_EMIT("vaddps %%xmm10, %%xmm0, %%xmm0") /* xmm0 = NH = h + ((V-T) < 0 ? V : T) */ \
104 __ASM_EMIT("vblendvps %%xmm3, %%xmm8, %%xmm3, %%xmm3") /* xmm3 = (V-T) < 0 ? 0 : V-T */ \
105 __ASM_EMIT("vsubps %%xmm13, %%xmm0, %%xmm1") /* xmm1 = NH-1 */ \
106 __ASM_EMIT("vmulps %%xmm15, %%xmm3, %%xmm3") /* xmm3 = A = KT * ((V-T) < 0 ? 0 : V-T) */ \
107 __ASM_EMIT("vmovaps %%xmm12, %%xmm2") /* xmm2 = L */ \
108 __ASM_EMIT("vblendvps %%xmm1, %%xmm0, %%xmm1, %%xmm0") /* xmm0 = H = ((NH-1)<0) ? NH : NH-1 */ \
109 __ASM_EMIT("vmovaps %%xmm11, %%xmm1") /* xmm1 = S */ \
110 MAT4_TRANSPOSE("%%xmm0", "%%xmm1", "%%xmm2", "%%xmm3", "%%xmm8", "%%xmm9")
111
112 /*
113 float value, hue, alpha;
114 float t = 1.0f - eff->thresh;
115 float kt = 1.0f / eff->thresh;
116
117 for (size_t i=0; i<count; ++i, dst += 4)
118 {
119 value = v[i];
120 value = (value < 0) ? 1.0f + value : 1.0f - value;
121
122 if ((value - t) >= 0)
123 {
124 hue = eff->h + t;
125 alpha = ((value - t) * kt);
126 }
127 else
128 {
129 hue = eff->h + value;
130 alpha = 0.0f;
131 }
132
133 dst[0] = (hue < 1.0f) ? hue : hue - 1.0f;
134 dst[1] = eff->s;
135 dst[2] = eff->l;
136 dst[3] = alpha;
137 }*/
138
139 void x64_eff_hsla_hue(float *dst, const float *v, const dsp::hsla_hue_eff_t *eff, size_t count)
140 {
141 ARCH_X86_64_ASM(
142 //-----------------------------------------------------------------
143 // Prepare
144 __ASM_EMIT("vbroadcastf128 0x00(%[eff]), %%ymm10") /* ymm10 = h s l a h s l a */
145 __ASM_EMIT("vbroadcastss 0x10(%[eff]), %%ymm14") /* ymm14 = t */
146 __ASM_EMIT("vmovaps 0x00 + %[XC], %%ymm13") /* ymm13 = 1 */
147 __ASM_EMIT("vshufps $0xaa, %%ymm10, %%ymm10, %%ymm12") /* ymm12 = l */
148 __ASM_EMIT("vdivps %%ymm14, %%ymm13, %%ymm15") /* ymm15 = KT = 1 / t */
149 __ASM_EMIT("vshufps $0x55, %%ymm10, %%ymm10, %%ymm11") /* ymm12 = s */
150 __ASM_EMIT("vsubps %%ymm14, %%ymm13, %%ymm14") /* ymm14 = T = 1 - t */
151 __ASM_EMIT("vshufps $0x00, %%ymm10, %%ymm10, %%ymm10") /* ymm12 = h */
152
153 //-----------------------------------------------------------------
154 // x16 blocks
155 __ASM_EMIT("sub $16, %[count]")
156 __ASM_EMIT("jb 2f")
157 __ASM_EMIT("1:")
158 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
159 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
160 EFF_HSLA_HUE_CORE_X16
161 __ASM_EMIT("vmovups %%ymm0, 0x000(%[dst])")
162 __ASM_EMIT("vmovups %%ymm1, 0x020(%[dst])")
163 __ASM_EMIT("vmovups %%ymm2, 0x040(%[dst])")
164 __ASM_EMIT("vmovups %%ymm3, 0x060(%[dst])")
165 __ASM_EMIT("vmovups %%ymm4, 0x080(%[dst])")
166 __ASM_EMIT("vmovups %%ymm5, 0x0a0(%[dst])")
167 __ASM_EMIT("vmovups %%ymm6, 0x0c0(%[dst])")
168 __ASM_EMIT("vmovups %%ymm7, 0x0e0(%[dst])")
169 __ASM_EMIT("add $0x40, %[src]")
170 __ASM_EMIT("add $0x100, %[dst]")
171 __ASM_EMIT("sub $16, %[count]")
172 __ASM_EMIT("jae 1b")
173
174 //-----------------------------------------------------------------
175 // x8 block
176 __ASM_EMIT("2:")
177 __ASM_EMIT("add $8, %[count]")
178 __ASM_EMIT("jl 4f")
179 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
180 EFF_HSLA_HUE_CORE_X8
181 __ASM_EMIT("vmovups %%ymm0, 0x000(%[dst])")
182 __ASM_EMIT("vmovups %%ymm1, 0x020(%[dst])")
183 __ASM_EMIT("vmovups %%ymm2, 0x040(%[dst])")
184 __ASM_EMIT("vmovups %%ymm3, 0x060(%[dst])")
185 __ASM_EMIT("sub $8, %[count]")
186 __ASM_EMIT("add $0x20, %[src]")
187 __ASM_EMIT("add $0x80, %[dst]")
188
189 //-----------------------------------------------------------------
190 // x4 block
191 __ASM_EMIT("4:")
192 __ASM_EMIT("add $4, %[count]")
193 __ASM_EMIT("jl 6f")
194 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
195 EFF_HSLA_HUE_CORE_X4
196 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
197 __ASM_EMIT("vmovups %%xmm1, 0x010(%[dst])")
198 __ASM_EMIT("vmovups %%xmm2, 0x020(%[dst])")
199 __ASM_EMIT("vmovups %%xmm3, 0x030(%[dst])")
200 __ASM_EMIT("sub $4, %[count]")
201 __ASM_EMIT("add $0x10, %[src]")
202 __ASM_EMIT("add $0x40, %[dst]")
203
204 //-----------------------------------------------------------------
205 // x1-x3 block
206 __ASM_EMIT("6:")
207 __ASM_EMIT("add $4, %[count]")
208 __ASM_EMIT("jle 14f")
209 __ASM_EMIT("test $1, %[count]")
210 __ASM_EMIT("jz 8f")
211 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
212 __ASM_EMIT("add $0x04, %[src]")
213 __ASM_EMIT("8:")
214 __ASM_EMIT("test $2, %[count]")
215 __ASM_EMIT("jz 10f")
216 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
217 __ASM_EMIT("10:")
218
219 EFF_HSLA_HUE_CORE_X4
220
221 // Store last chunk
222 __ASM_EMIT("test $1, %[count]")
223 __ASM_EMIT("jz 12f")
224 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
225 __ASM_EMIT("add $0x10, %[dst]")
226 __ASM_EMIT("12:")
227 __ASM_EMIT("test $2, %[count]")
228 __ASM_EMIT("jz 14f")
229 __ASM_EMIT("vmovups %%xmm2, 0x00(%[dst])")
230 __ASM_EMIT("vmovups %%xmm3, 0x10(%[dst])")
231
232 __ASM_EMIT("14:")
233
234 : [dst] "+r" (dst), [src] "+r" (v), [count] "+r" (count)
235 : [eff] "r" (eff),
236 [XC] "o" (EFF_HSLA_HUE_XC)
237 : "cc", "memory",
238 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
239 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
240 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
241 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
242 );
243 }
244
245 IF_ARCH_X86_64(
246 static const float EFF_HSLA_ALPHA_XC[] __lsp_aligned32 =
247 {
248 LSP_DSP_VEC8(1.0f)
249 };
250 )
251
252 #define EFF_HSLA_ALPHA_CORE_X16 \
253 /* ymm0 = v, ymm12 = h, ymm13 = s, ymm14 = l, ymm15 = 1 */ \
254 __ASM_EMIT("vaddps %%ymm0, %%ymm15, %%ymm2") /* ymm2 = 1+v */ \
255 __ASM_EMIT("vaddps %%ymm4, %%ymm15, %%ymm6") \
256 __ASM_EMIT("vsubps %%ymm0, %%ymm15, %%ymm3") /* ymm3 = 1-v */ \
257 __ASM_EMIT("vsubps %%ymm4, %%ymm15, %%ymm7") \
258 __ASM_EMIT("vblendvps %%ymm0, %%ymm2, %%ymm3, %%ymm3") /* ymm3 = (v<0) ? 1+v : 1-v */ \
259 __ASM_EMIT("vblendvps %%ymm4, %%ymm6, %%ymm7, %%ymm7") \
260 __ASM_EMIT("vmovaps %%ymm12, %%ymm0") /* ymm0 = H */ \
261 __ASM_EMIT("vmovaps %%ymm13, %%ymm1") /* ymm1 = S */ \
262 __ASM_EMIT("vmovaps %%ymm14, %%ymm2") /* ymm2 = L */ \
263 __ASM_EMIT("vmovaps %%ymm12, %%ymm4") \
264 __ASM_EMIT("vmovaps %%ymm13, %%ymm5") \
265 __ASM_EMIT("vmovaps %%ymm14, %%ymm6") \
266 MAT4_TRANSPOSE("%%ymm0", "%%ymm1", "%%ymm2", "%%ymm3", "%%ymm8", "%%ymm9") \
267 MAT4_TRANSPOSE("%%ymm4", "%%ymm5", "%%ymm6", "%%ymm7", "%%ymm8", "%%ymm9") \
268 MAT4X2_INTERLEAVE("0", "1", "2", "3", "8", "9") \
269 MAT4X2_INTERLEAVE("4", "5", "6", "7", "8", "9")
270
271
272 #define EFF_HSLA_ALPHA_CORE_X8 \
273 /* ymm0 = v, ymm12 = h, ymm13 = s, ymm14 = l, ymm15 = 1 */ \
274 __ASM_EMIT("vaddps %%ymm0, %%ymm15, %%ymm2") /* ymm2 = 1+v */ \
275 __ASM_EMIT("vsubps %%ymm0, %%ymm15, %%ymm3") /* ymm3 = 1-v */ \
276 __ASM_EMIT("vblendvps %%ymm0, %%ymm2, %%ymm3, %%ymm3") /* ymm3 = (v<0) ? 1+v : 1-v */ \
277 __ASM_EMIT("vmovaps %%ymm12, %%ymm0") /* ymm0 = H */ \
278 __ASM_EMIT("vmovaps %%ymm13, %%ymm1") /* ymm1 = S */ \
279 __ASM_EMIT("vmovaps %%ymm14, %%ymm2") /* ymm2 = L */ \
280 MAT4_TRANSPOSE("%%ymm0", "%%ymm1", "%%ymm2", "%%ymm3", "%%ymm8", "%%ymm9") \
281 MAT4X2_INTERLEAVE("0", "1", "2", "3", "8", "9")
282
283 #define EFF_HSLA_ALPHA_CORE_X4 \
284 /* xmm0 = v, xmm12 = h, xmm13 = s, xmm14 = l, xmm15 = 1 */ \
285 __ASM_EMIT("vaddps %%xmm0, %%xmm15, %%xmm2") /* xmm2 = 1+v */ \
286 __ASM_EMIT("vsubps %%xmm0, %%xmm15, %%xmm3") /* xmm3 = 1-v */ \
287 __ASM_EMIT("vblendvps %%xmm0, %%xmm2, %%xmm3, %%xmm3") /* xmm3 = (v<0) ? 1+v : 1-v */ \
288 __ASM_EMIT("vmovaps %%xmm12, %%xmm0") /* xmm0 = H */ \
289 __ASM_EMIT("vmovaps %%xmm13, %%xmm1") /* xmm1 = S */ \
290 __ASM_EMIT("vmovaps %%xmm14, %%xmm2") /* xmm2 = L */ \
291 MAT4_TRANSPOSE("%%xmm0", "%%xmm1", "%%xmm2", "%%xmm3", "%%xmm8", "%%xmm9")
292
293 /*
294 value = v[i];
295 value = (value < 0) ? 1.0f + value : 1.0f - value;
296
297 dst[0] = eff->h;
298 dst[1] = eff->s;
299 dst[2] = eff->l;
300 dst[3] = value; // Fill alpha channel
301 */
302 void x64_eff_hsla_alpha(float *dst, const float *v, const dsp::hsla_alpha_eff_t *eff, size_t count)
303 {
304 ARCH_X86_64_ASM(
305 //-----------------------------------------------------------------
306 // Prepare
307 __ASM_EMIT("vbroadcastf128 0x00(%[eff]), %%ymm12") /* ymm12 = h s l a h s l a */
308 __ASM_EMIT("vmovaps 0x00 + %[XC], %%ymm15") /* ymm15 = 1 */
309 __ASM_EMIT("vshufps $0xaa, %%ymm12, %%ymm12, %%ymm14") /* ymm14 = l */
310 __ASM_EMIT("vshufps $0x55, %%ymm12, %%ymm12, %%ymm13") /* ymm13 = s */
311 __ASM_EMIT("vshufps $0x00, %%ymm12, %%ymm12, %%ymm12") /* ymm12 = h */
312
313 //-----------------------------------------------------------------
314 // x16 blocks
315 __ASM_EMIT("sub $16, %[count]")
316 __ASM_EMIT("jb 2f")
317 __ASM_EMIT("1:")
318 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
319 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
320 EFF_HSLA_ALPHA_CORE_X16
321 __ASM_EMIT("vmovups %%ymm0, 0x000(%[dst])")
322 __ASM_EMIT("vmovups %%ymm1, 0x020(%[dst])")
323 __ASM_EMIT("vmovups %%ymm2, 0x040(%[dst])")
324 __ASM_EMIT("vmovups %%ymm3, 0x060(%[dst])")
325 __ASM_EMIT("vmovups %%ymm4, 0x080(%[dst])")
326 __ASM_EMIT("vmovups %%ymm5, 0x0a0(%[dst])")
327 __ASM_EMIT("vmovups %%ymm6, 0x0c0(%[dst])")
328 __ASM_EMIT("vmovups %%ymm7, 0x0e0(%[dst])")
329 __ASM_EMIT("add $0x40, %[src]")
330 __ASM_EMIT("add $0x100, %[dst]")
331 __ASM_EMIT("sub $16, %[count]")
332 __ASM_EMIT("jae 1b")
333
334 //-----------------------------------------------------------------
335 // x8 block
336 __ASM_EMIT("2:")
337 __ASM_EMIT("add $8, %[count]")
338 __ASM_EMIT("jl 4f")
339 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
340 EFF_HSLA_ALPHA_CORE_X8
341 __ASM_EMIT("vmovups %%ymm0, 0x000(%[dst])")
342 __ASM_EMIT("vmovups %%ymm1, 0x020(%[dst])")
343 __ASM_EMIT("vmovups %%ymm2, 0x040(%[dst])")
344 __ASM_EMIT("vmovups %%ymm3, 0x060(%[dst])")
345 __ASM_EMIT("sub $8, %[count]")
346 __ASM_EMIT("add $0x20, %[src]")
347 __ASM_EMIT("add $0x80, %[dst]")
348
349 //-----------------------------------------------------------------
350 // x4 block
351 __ASM_EMIT("4:")
352 __ASM_EMIT("add $4, %[count]")
353 __ASM_EMIT("jl 6f")
354 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
355 EFF_HSLA_ALPHA_CORE_X4
356 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
357 __ASM_EMIT("vmovups %%xmm1, 0x010(%[dst])")
358 __ASM_EMIT("vmovups %%xmm2, 0x020(%[dst])")
359 __ASM_EMIT("vmovups %%xmm3, 0x030(%[dst])")
360 __ASM_EMIT("sub $4, %[count]")
361 __ASM_EMIT("add $0x10, %[src]")
362 __ASM_EMIT("add $0x40, %[dst]")
363
364 //-----------------------------------------------------------------
365 // x1-x3 block
366 __ASM_EMIT("6:")
367 __ASM_EMIT("add $4, %[count]")
368 __ASM_EMIT("jle 14f")
369 __ASM_EMIT("test $1, %[count]")
370 __ASM_EMIT("jz 8f")
371 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
372 __ASM_EMIT("add $0x04, %[src]")
373 __ASM_EMIT("8:")
374 __ASM_EMIT("test $2, %[count]")
375 __ASM_EMIT("jz 10f")
376 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
377 __ASM_EMIT("10:")
378
379 EFF_HSLA_ALPHA_CORE_X4
380
381 // Store last chunk
382 __ASM_EMIT("test $1, %[count]")
383 __ASM_EMIT("jz 12f")
384 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
385 __ASM_EMIT("add $0x10, %[dst]")
386 __ASM_EMIT("12:")
387 __ASM_EMIT("test $2, %[count]")
388 __ASM_EMIT("jz 14f")
389 __ASM_EMIT("vmovups %%xmm2, 0x00(%[dst])")
390 __ASM_EMIT("vmovups %%xmm3, 0x10(%[dst])")
391
392 __ASM_EMIT("14:")
393
394 : [dst] "+r" (dst), [src] "+r" (v), [count] "+r" (count)
395 : [eff] "r" (eff),
396 [XC] "o" (EFF_HSLA_ALPHA_XC)
397 : "cc", "memory",
398 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
399 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
400 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
401 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
402 );
403 }
404
405 IF_ARCH_X86_64(
406 static const uint32_t EFF_HSLA_SAT_XC[] __lsp_aligned32 =
407 {
408 LSP_DSP_VEC8(0x3f800000),
409 LSP_DSP_VEC8(0x7fffffff)
410 };
411 )
412
413 #define EFF_HSLA_SAT_CORE_X16 \
414 /* ymm0 = v, ymm10 = h, ymm11 = s, ymm12 = l, ymm13 = T, ymm14 = ABS, ymm15 = KT */ \
415 __ASM_EMIT("vandps %%ymm14, %%ymm0, %%ymm0") /* ymm0 = V = abs(v) */ \
416 __ASM_EMIT("vandps %%ymm14, %%ymm4, %%ymm4") \
417 __ASM_EMIT("vxorps %%ymm8, %%ymm8, %%ymm8") /* ymm8 = 0 */ \
418 __ASM_EMIT("vsubps %%ymm0, %%ymm13, %%ymm3") /* ymm3 = T-V */ \
419 __ASM_EMIT("vsubps %%ymm4, %%ymm13, %%ymm7") \
420 __ASM_EMIT("vblendvps %%ymm3, %%ymm0, %%ymm13, %%ymm1") /* ymm1 = ((T-V)<0) ? V : T */ \
421 __ASM_EMIT("vblendvps %%ymm7, %%ymm4, %%ymm13, %%ymm5") \
422 __ASM_EMIT("vblendvps %%ymm3, %%ymm8, %%ymm3, %%ymm3") /* ymm3 = ((T-V)<0) ? 0 : T-V */ \
423 __ASM_EMIT("vblendvps %%ymm7, %%ymm8, %%ymm7, %%ymm7") \
424 __ASM_EMIT("vmulps %%ymm11, %%ymm1, %%ymm1") /* ymm1 = S = s * (((T-V)<0) ? V : T) */ \
425 __ASM_EMIT("vmulps %%ymm11, %%ymm5, %%ymm5") \
426 __ASM_EMIT("vmulps %%ymm15, %%ymm3, %%ymm3") /* ymm3 = A = kt * (((T-V)<0) ? 0 : T-V) */ \
427 __ASM_EMIT("vmulps %%ymm15, %%ymm7, %%ymm7") \
428 __ASM_EMIT("vmovaps %%ymm10, %%ymm0") /* ymm0 = H */ \
429 __ASM_EMIT("vmovaps %%ymm12, %%ymm2") /* ymm2 = L */ \
430 __ASM_EMIT("vmovaps %%ymm10, %%ymm4") \
431 __ASM_EMIT("vmovaps %%ymm12, %%ymm6") \
432 MAT4_TRANSPOSE("%%ymm0", "%%ymm1", "%%ymm2", "%%ymm3", "%%ymm8", "%%ymm9") \
433 MAT4_TRANSPOSE("%%ymm4", "%%ymm5", "%%ymm6", "%%ymm7", "%%ymm8", "%%ymm9") \
434 MAT4X2_INTERLEAVE("0", "1", "2", "3", "8", "9") \
435 MAT4X2_INTERLEAVE("4", "5", "6", "7", "8", "9")
436
437 #define EFF_HSLA_SAT_CORE_X8 \
438 /* ymm0 = v, ymm10 = h, ymm11 = s, ymm12 = l, ymm13 = T, ymm14 = ABS, ymm15 = KT */ \
439 __ASM_EMIT("vandps %%ymm14, %%ymm0, %%ymm0") /* ymm0 = V = abs(v) */ \
440 __ASM_EMIT("vxorps %%ymm8, %%ymm8, %%ymm8") /* ymm8 = 0 */ \
441 __ASM_EMIT("vsubps %%ymm0, %%ymm13, %%ymm3") /* ymm3 = T-V */ \
442 __ASM_EMIT("vblendvps %%ymm3, %%ymm0, %%ymm13, %%ymm1") /* ymm1 = ((T-V)<0) ? V : T */ \
443 __ASM_EMIT("vblendvps %%ymm3, %%ymm8, %%ymm3, %%ymm3") /* ymm3 = ((T-V)<0) ? 0 : T-V */ \
444 __ASM_EMIT("vmulps %%ymm11, %%ymm1, %%ymm1") /* ymm1 = S = s * (((T-V)<0) ? V : T) */ \
445 __ASM_EMIT("vmulps %%ymm15, %%ymm3, %%ymm3") /* ymm3 = A = kt * (((T-V)<0) ? 0 : T-V) */ \
446 __ASM_EMIT("vmovaps %%ymm10, %%ymm0") /* ymm0 = H */ \
447 __ASM_EMIT("vmovaps %%ymm12, %%ymm2") /* ymm2 = L */ \
448 MAT4_TRANSPOSE("%%ymm0", "%%ymm1", "%%ymm2", "%%ymm3", "%%ymm8", "%%ymm9") \
449 MAT4X2_INTERLEAVE("0", "1", "2", "3", "8", "9")
450
451 #define EFF_HSLA_SAT_CORE_X4 \
452 /* xmm0 = v, xmm10 = h, xmm11 = s, xmm12 = l, xmm13 = T, xmm14 = ABS, xmm15 = KT */ \
453 __ASM_EMIT("vandps %%xmm14, %%xmm0, %%xmm0") /* xmm0 = V = abs(v) */ \
454 __ASM_EMIT("vxorps %%xmm8, %%xmm8, %%xmm8") /* xmm8 = 0 */ \
455 __ASM_EMIT("vsubps %%xmm0, %%xmm13, %%xmm3") /* xmm3 = T-V */ \
456 __ASM_EMIT("vblendvps %%xmm3, %%xmm0, %%xmm13, %%xmm1") /* xmm1 = ((T-V)<0) ? V : T */ \
457 __ASM_EMIT("vblendvps %%xmm3, %%xmm8, %%xmm3, %%xmm3") /* xmm3 = ((T-V)<0) ? 0 : T-V */ \
458 __ASM_EMIT("vmulps %%xmm11, %%xmm1, %%xmm1") /* xmm1 = S = s * (((T-V)<0) ? V : T) */ \
459 __ASM_EMIT("vmulps %%xmm15, %%xmm3, %%xmm3") /* xmm3 = A = kt * (((T-V)<0) ? 0 : T-V) */ \
460 __ASM_EMIT("vmovaps %%xmm10, %%xmm0") /* xmm0 = H */ \
461 __ASM_EMIT("vmovaps %%xmm12, %%xmm2") /* xmm2 = L */ \
462 MAT4_TRANSPOSE("%%xmm0", "%%xmm1", "%%xmm2", "%%xmm3", "%%xmm8", "%%xmm9")
463
464 /*
465 kt = 1.0f / eff->thresh;
466 value = (value >= 0.0f) ? value : -value;
467
468 if ((eff->thresh - value) < 0)
469 {
470 dst[1] = eff->s * value;
471 dst[3] = 0.0f;
472 }
473 else
474 {
475 dst[1] = eff->s * eff->thresh;
476 dst[3] = (eff->thresh - value) * kt;
477 }
478
479 dst[0] = eff->h;
480 dst[2] = eff->l;
481 */
482
483 void x64_eff_hsla_sat(float *dst, const float *v, const dsp::hsla_sat_eff_t *eff, size_t count)
484 {
485 ARCH_X86_64_ASM(
486 //-----------------------------------------------------------------
487 // Prepare
488 __ASM_EMIT("vbroadcastf128 0x00(%[eff]), %%ymm10") /* ymm12 = h s l a h s l a */
489 __ASM_EMIT("vmovaps 0x00 + %[XC], %%ymm15") /* ymm15 = 1 */
490 __ASM_EMIT("vshufps $0xaa, %%ymm10, %%ymm10, %%ymm12") /* ymm12 = l */
491 __ASM_EMIT("vmovaps 0x20 + %[XC], %%ymm14") /* ymm14 = ABS */
492 __ASM_EMIT("vshufps $0x55, %%ymm10, %%ymm10, %%ymm11") /* ymm11 = s */
493 __ASM_EMIT("vbroadcastss 0x10(%[eff]), %%ymm13") /* ymm13 = T */
494 __ASM_EMIT("vshufps $0x00, %%ymm10, %%ymm10, %%ymm10") /* ymm10 = h */
495 __ASM_EMIT("vdivps %%ymm13, %%ymm15, %%ymm15") /* ymm15 = KT = 1/T */
496
497 //-----------------------------------------------------------------
498 // x16 blocks
499 __ASM_EMIT("sub $16, %[count]")
500 __ASM_EMIT("jb 2f")
501 __ASM_EMIT("1:")
502 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
503 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
504 EFF_HSLA_SAT_CORE_X16
505 __ASM_EMIT("vmovups %%ymm0, 0x000(%[dst])")
506 __ASM_EMIT("vmovups %%ymm1, 0x020(%[dst])")
507 __ASM_EMIT("vmovups %%ymm2, 0x040(%[dst])")
508 __ASM_EMIT("vmovups %%ymm3, 0x060(%[dst])")
509 __ASM_EMIT("vmovups %%ymm4, 0x080(%[dst])")
510 __ASM_EMIT("vmovups %%ymm5, 0x0a0(%[dst])")
511 __ASM_EMIT("vmovups %%ymm6, 0x0c0(%[dst])")
512 __ASM_EMIT("vmovups %%ymm7, 0x0e0(%[dst])")
513 __ASM_EMIT("add $0x40, %[src]")
514 __ASM_EMIT("add $0x100, %[dst]")
515 __ASM_EMIT("sub $16, %[count]")
516 __ASM_EMIT("jae 1b")
517
518 //-----------------------------------------------------------------
519 // x8 block
520 __ASM_EMIT("2:")
521 __ASM_EMIT("add $8, %[count]")
522 __ASM_EMIT("jl 4f")
523 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
524 EFF_HSLA_SAT_CORE_X8
525 __ASM_EMIT("vmovups %%ymm0, 0x000(%[dst])")
526 __ASM_EMIT("vmovups %%ymm1, 0x020(%[dst])")
527 __ASM_EMIT("vmovups %%ymm2, 0x040(%[dst])")
528 __ASM_EMIT("vmovups %%ymm3, 0x060(%[dst])")
529 __ASM_EMIT("sub $8, %[count]")
530 __ASM_EMIT("add $0x20, %[src]")
531 __ASM_EMIT("add $0x80, %[dst]")
532
533 //-----------------------------------------------------------------
534 // x4 block
535 __ASM_EMIT("4:")
536 __ASM_EMIT("add $4, %[count]")
537 __ASM_EMIT("jl 6f")
538 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
539 EFF_HSLA_SAT_CORE_X4
540 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
541 __ASM_EMIT("vmovups %%xmm1, 0x010(%[dst])")
542 __ASM_EMIT("vmovups %%xmm2, 0x020(%[dst])")
543 __ASM_EMIT("vmovups %%xmm3, 0x030(%[dst])")
544 __ASM_EMIT("sub $4, %[count]")
545 __ASM_EMIT("add $0x10, %[src]")
546 __ASM_EMIT("add $0x40, %[dst]")
547
548 //-----------------------------------------------------------------
549 // x1-x3 block
550 __ASM_EMIT("6:")
551 __ASM_EMIT("add $4, %[count]")
552 __ASM_EMIT("jle 14f")
553 __ASM_EMIT("test $1, %[count]")
554 __ASM_EMIT("jz 8f")
555 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
556 __ASM_EMIT("add $0x04, %[src]")
557 __ASM_EMIT("8:")
558 __ASM_EMIT("test $2, %[count]")
559 __ASM_EMIT("jz 10f")
560 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
561 __ASM_EMIT("10:")
562
563 EFF_HSLA_SAT_CORE_X4
564
565 // Store last chunk
566 __ASM_EMIT("test $1, %[count]")
567 __ASM_EMIT("jz 12f")
568 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
569 __ASM_EMIT("add $0x10, %[dst]")
570 __ASM_EMIT("12:")
571 __ASM_EMIT("test $2, %[count]")
572 __ASM_EMIT("jz 14f")
573 __ASM_EMIT("vmovups %%xmm2, 0x00(%[dst])")
574 __ASM_EMIT("vmovups %%xmm3, 0x10(%[dst])")
575
576 __ASM_EMIT("14:")
577
578 : [dst] "+r" (dst), [src] "+r" (v), [count] "+r" (count)
579 : [eff] "r" (eff),
580 [XC] "o" (EFF_HSLA_SAT_XC)
581 : "cc", "memory",
582 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
583 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
584 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
585 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
586 );
587 }
588
589 IF_ARCH_X86_64(
590 static const uint32_t EFF_HSLA_LIGHT_XC[] __lsp_aligned32 =
591 {
592 LSP_DSP_VEC8(0x3f800000),
593 LSP_DSP_VEC8(0x7fffffff)
594 };
595 )
596
597 #define EFF_HSLA_LIGHT_CORE_X16 \
598 /* ymm0 = v, ymm10 = h, ymm11 = s, ymm12 = l, ymm13 = T, ymm14 = ABS, ymm15 = KT */ \
599 __ASM_EMIT("vandps %%ymm14, %%ymm0, %%ymm0") /* ymm0 = V = abs(v) */ \
600 __ASM_EMIT("vandps %%ymm14, %%ymm4, %%ymm4") \
601 __ASM_EMIT("vxorps %%ymm8, %%ymm8, %%ymm8") /* ymm8 = 0 */ \
602 __ASM_EMIT("vsubps %%ymm0, %%ymm13, %%ymm3") /* ymm3 = T-V */ \
603 __ASM_EMIT("vsubps %%ymm4, %%ymm13, %%ymm7") \
604 __ASM_EMIT("vblendvps %%ymm3, %%ymm0, %%ymm13, %%ymm2") /* ymm2 = ((T-V)<0) ? V : T */ \
605 __ASM_EMIT("vblendvps %%ymm7, %%ymm4, %%ymm13, %%ymm6") \
606 __ASM_EMIT("vblendvps %%ymm3, %%ymm8, %%ymm3, %%ymm3") /* ymm3 = ((T-V)<0) ? 0 : T-V */ \
607 __ASM_EMIT("vblendvps %%ymm7, %%ymm8, %%ymm7, %%ymm7") \
608 __ASM_EMIT("vmulps %%ymm12, %%ymm2, %%ymm2") /* ymm2 = L = l * (((T-V)<0) ? V : T) */ \
609 __ASM_EMIT("vmulps %%ymm12, %%ymm6, %%ymm6") \
610 __ASM_EMIT("vmulps %%ymm15, %%ymm3, %%ymm3") /* ymm3 = A = kt * (((T-V)<0) ? 0 : T-V) */ \
611 __ASM_EMIT("vmulps %%ymm15, %%ymm7, %%ymm7") \
612 __ASM_EMIT("vmovaps %%ymm10, %%ymm0") /* ymm0 = H */ \
613 __ASM_EMIT("vmovaps %%ymm10, %%ymm4") \
614 __ASM_EMIT("vmovaps %%ymm11, %%ymm1") /* ymm1 = S */ \
615 __ASM_EMIT("vmovaps %%ymm11, %%ymm5") \
616 MAT4_TRANSPOSE("%%ymm0", "%%ymm1", "%%ymm2", "%%ymm3", "%%ymm8", "%%ymm9") \
617 MAT4_TRANSPOSE("%%ymm4", "%%ymm5", "%%ymm6", "%%ymm7", "%%ymm8", "%%ymm9") \
618 MAT4X2_INTERLEAVE("0", "1", "2", "3", "8", "9") \
619 MAT4X2_INTERLEAVE("4", "5", "6", "7", "8", "9")
620
621 #define EFF_HSLA_LIGHT_CORE_X8 \
622 /* ymm0 = v, ymm10 = h, ymm11 = s, ymm12 = l, ymm13 = T, ymm14 = ABS, ymm15 = KT */ \
623 __ASM_EMIT("vandps %%ymm14, %%ymm0, %%ymm0") /* ymm0 = V = abs(v) */ \
624 __ASM_EMIT("vxorps %%ymm8, %%ymm8, %%ymm8") /* ymm8 = 0 */ \
625 __ASM_EMIT("vsubps %%ymm0, %%ymm13, %%ymm3") /* ymm3 = T-V */ \
626 __ASM_EMIT("vblendvps %%ymm3, %%ymm0, %%ymm13, %%ymm2") /* ymm2 = ((T-V)<0) ? V : T */ \
627 __ASM_EMIT("vblendvps %%ymm3, %%ymm8, %%ymm3, %%ymm3") /* ymm3 = ((T-V)<0) ? 0 : T-V */ \
628 __ASM_EMIT("vmulps %%ymm12, %%ymm2, %%ymm2") /* ymm2 = L = l * (((T-V)<0) ? V : T) */ \
629 __ASM_EMIT("vmulps %%ymm15, %%ymm3, %%ymm3") /* ymm3 = A = kt * (((T-V)<0) ? 0 : T-V) */ \
630 __ASM_EMIT("vmovaps %%ymm10, %%ymm0") /* ymm0 = H */ \
631 __ASM_EMIT("vmovaps %%ymm11, %%ymm1") /* ymm1 = S */ \
632 MAT4_TRANSPOSE("%%ymm0", "%%ymm1", "%%ymm2", "%%ymm3", "%%ymm8", "%%ymm9") \
633 MAT4X2_INTERLEAVE("0", "1", "2", "3", "8", "9")
634
635 #define EFF_HSLA_LIGHT_CORE_X4 \
636 /* xmm0 = v, xmm10 = h, xmm11 = s, xmm12 = l, xmm13 = T, xmm14 = ABS, xmm15 = KT */ \
637 __ASM_EMIT("vandps %%xmm14, %%xmm0, %%xmm0") /* xmm0 = V = abs(v) */ \
638 __ASM_EMIT("vxorps %%xmm8, %%xmm8, %%xmm8") /* xmm8 = 0 */ \
639 __ASM_EMIT("vsubps %%xmm0, %%xmm13, %%xmm3") /* xmm3 = T-V */ \
640 __ASM_EMIT("vblendvps %%xmm3, %%xmm0, %%xmm13, %%xmm2") /* xmm2 = ((T-V)<0) ? V : T */ \
641 __ASM_EMIT("vblendvps %%xmm3, %%xmm8, %%xmm3, %%xmm3") /* xmm3 = ((T-V)<0) ? 0 : T-V */ \
642 __ASM_EMIT("vmulps %%xmm12, %%xmm2, %%xmm2") /* xmm2 = L = l * (((T-V)<0) ? V : T) */ \
643 __ASM_EMIT("vmulps %%xmm15, %%xmm3, %%xmm3") /* xmm3 = A = kt * (((T-V)<0) ? 0 : T-V) */ \
644 __ASM_EMIT("vmovaps %%xmm10, %%xmm0") /* xmm0 = H */ \
645 __ASM_EMIT("vmovaps %%xmm11, %%xmm1") /* xmm1 = S */ \
646 MAT4_TRANSPOSE("%%xmm0", "%%xmm1", "%%xmm2", "%%xmm3", "%%xmm8", "%%xmm9")
647
648 /*
649 value = (value >= 0.0f) ? value : -value;
650
651 if ((eff->thresh - value) < 0)
652 {
653 dst[2] = eff->l * value;
654 dst[3] = 0.0f;
655 }
656 else
657 {
658 dst[2] = eff->l * eff->thresh;
659 dst[3] = (eff->thresh - value) * kt;
660 }
661
662 dst[0] = eff->h;
663 dst[1] = eff->s;
664 */
665
666 void x64_eff_hsla_light(float *dst, const float *v, const dsp::hsla_light_eff_t *eff, size_t count)
667 {
668 ARCH_X86_64_ASM(
669 //-----------------------------------------------------------------
670 // Prepare
671 __ASM_EMIT("vbroadcastf128 0x00(%[eff]), %%ymm10") /* ymm12 = h s l a h s l a */
672 __ASM_EMIT("vmovaps 0x00 + %[XC], %%ymm15") /* ymm15 = 1 */
673 __ASM_EMIT("vshufps $0xaa, %%ymm10, %%ymm10, %%ymm12") /* ymm12 = l */
674 __ASM_EMIT("vmovaps 0x20 + %[XC], %%ymm14") /* ymm14 = ABS */
675 __ASM_EMIT("vshufps $0x55, %%ymm10, %%ymm10, %%ymm11") /* ymm11 = s */
676 __ASM_EMIT("vbroadcastss 0x10(%[eff]), %%ymm13") /* ymm13 = T */
677 __ASM_EMIT("vshufps $0x00, %%ymm10, %%ymm10, %%ymm10") /* ymm10 = h */
678 __ASM_EMIT("vdivps %%ymm13, %%ymm15, %%ymm15") /* ymm15 = KT = 1/T */
679
680 //-----------------------------------------------------------------
681 // x16 blocks
682 __ASM_EMIT("sub $16, %[count]")
683 __ASM_EMIT("jb 2f")
684 __ASM_EMIT("1:")
685 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
686 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
687 EFF_HSLA_LIGHT_CORE_X16
688 __ASM_EMIT("vmovups %%ymm0, 0x000(%[dst])")
689 __ASM_EMIT("vmovups %%ymm1, 0x020(%[dst])")
690 __ASM_EMIT("vmovups %%ymm2, 0x040(%[dst])")
691 __ASM_EMIT("vmovups %%ymm3, 0x060(%[dst])")
692 __ASM_EMIT("vmovups %%ymm4, 0x080(%[dst])")
693 __ASM_EMIT("vmovups %%ymm5, 0x0a0(%[dst])")
694 __ASM_EMIT("vmovups %%ymm6, 0x0c0(%[dst])")
695 __ASM_EMIT("vmovups %%ymm7, 0x0e0(%[dst])")
696 __ASM_EMIT("add $0x40, %[src]")
697 __ASM_EMIT("add $0x100, %[dst]")
698 __ASM_EMIT("sub $16, %[count]")
699 __ASM_EMIT("jae 1b")
700
701 //-----------------------------------------------------------------
702 // x8 block
703 __ASM_EMIT("2:")
704 __ASM_EMIT("add $8, %[count]")
705 __ASM_EMIT("jl 4f")
706 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
707 EFF_HSLA_LIGHT_CORE_X8
708 __ASM_EMIT("vmovups %%ymm0, 0x000(%[dst])")
709 __ASM_EMIT("vmovups %%ymm1, 0x020(%[dst])")
710 __ASM_EMIT("vmovups %%ymm2, 0x040(%[dst])")
711 __ASM_EMIT("vmovups %%ymm3, 0x060(%[dst])")
712 __ASM_EMIT("sub $8, %[count]")
713 __ASM_EMIT("add $0x20, %[src]")
714 __ASM_EMIT("add $0x80, %[dst]")
715
716 //-----------------------------------------------------------------
717 // x4 block
718 __ASM_EMIT("4:")
719 __ASM_EMIT("add $4, %[count]")
720 __ASM_EMIT("jl 6f")
721 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
722 EFF_HSLA_LIGHT_CORE_X4
723 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
724 __ASM_EMIT("vmovups %%xmm1, 0x010(%[dst])")
725 __ASM_EMIT("vmovups %%xmm2, 0x020(%[dst])")
726 __ASM_EMIT("vmovups %%xmm3, 0x030(%[dst])")
727 __ASM_EMIT("sub $4, %[count]")
728 __ASM_EMIT("add $0x10, %[src]")
729 __ASM_EMIT("add $0x40, %[dst]")
730
731 //-----------------------------------------------------------------
732 // x1-x3 block
733 __ASM_EMIT("6:")
734 __ASM_EMIT("add $4, %[count]")
735 __ASM_EMIT("jle 14f")
736 __ASM_EMIT("test $1, %[count]")
737 __ASM_EMIT("jz 8f")
738 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
739 __ASM_EMIT("add $0x04, %[src]")
740 __ASM_EMIT("8:")
741 __ASM_EMIT("test $2, %[count]")
742 __ASM_EMIT("jz 10f")
743 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
744 __ASM_EMIT("10:")
745
746 EFF_HSLA_LIGHT_CORE_X4
747
748 // Store last chunk
749 __ASM_EMIT("test $1, %[count]")
750 __ASM_EMIT("jz 12f")
751 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
752 __ASM_EMIT("add $0x10, %[dst]")
753 __ASM_EMIT("12:")
754 __ASM_EMIT("test $2, %[count]")
755 __ASM_EMIT("jz 14f")
756 __ASM_EMIT("vmovups %%xmm2, 0x00(%[dst])")
757 __ASM_EMIT("vmovups %%xmm3, 0x10(%[dst])")
758
759 __ASM_EMIT("14:")
760
761 : [dst] "+r" (dst), [src] "+r" (v), [count] "+r" (count)
762 : [eff] "r" (eff),
763 [XC] "o" (EFF_HSLA_LIGHT_XC)
764 : "cc", "memory",
765 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
766 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
767 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
768 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
769 );
770 }
771 }
772 }
773
774 #endif /* PRIVATE_DSP_ARCH_X86_AVX2_GRAPHICS_EFFECTS_H_ */