Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx/pan.h

raw
1 /*
2 * Copyright (C) 2024 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2024 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 27 нояб. 2024 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX_PAN_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX_PAN_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX_IMPL */
28
29 namespace lsp
30 {
31 namespace avx
32 {
33
34 IF_ARCH_X86(
35 static const uint32_t depan_lin_const_i[] __lsp_aligned32 =
36 {
37 LSP_DSP_VEC8(0x7fffffff)
38 };
39 static const float depan_lin_const_f[] __lsp_aligned32 =
40 {
41 LSP_DSP_VEC8(1e-18f)
42 };
43 );
44
45 void depan_lin(float *dst, const float *l, const float *r, float dfl, size_t count)
46 {
47 /*
48 const float sl = fabsf(l[i]);
49 const float sr = fabsf(r[i]);
50 const float den = sl + sr;
51 dst[i] = (den >= 1e-18f) ? sr / den : dfl;
52 */
53 IF_ARCH_X86(size_t off);
54 ARCH_X86_ASM
55 (
56 __ASM_EMIT("xor %[off], %[off]")
57 __ASM_EMIT("vshufps $0x00, %%xmm0, %%xmm0, %%xmm6") /* xmm6 = dfl */
58 __ASM_EMIT("vmovaps %[CI], %%ymm7") /* ymm7 = mask */
59 __ASM_EMIT("sub $16, %[count]")
60 __ASM_EMIT("vmovaps %[CF], %%ymm5") /* ymm5 = thresh */
61 __ASM_EMIT("jb 2f")
62 __ASM_EMIT("vinsertf128 $1, %%xmm6, %%ymm6, %%ymm6") /* ymm6 = dfl */
63 /* 16x blocks */
64 __ASM_EMIT("1:")
65 __ASM_EMIT("vandps 0x00(%[l],%[off]), %%ymm7, %%ymm2") /* ymm2 = fabsf(l) */
66 __ASM_EMIT("vandps 0x20(%[l],%[off]), %%ymm7, %%ymm3")
67 __ASM_EMIT("vandps 0x00(%[r],%[off]), %%ymm7, %%ymm0") /* xmm0 = fabsf(r) */
68 __ASM_EMIT("vandps 0x20(%[r],%[off]), %%ymm7, %%ymm1")
69 __ASM_EMIT("vaddps %%ymm0, %%ymm2, %%ymm2") /* ymm2 = den = fabsf(l) + fabsf(r) */
70 __ASM_EMIT("vaddps %%ymm1, %%ymm3, %%ymm3")
71 __ASM_EMIT("vdivps %%ymm2, %%ymm0, %%ymm0") /* ymm0 = pan = fabsf(r) / den */
72 __ASM_EMIT("vdivps %%ymm3, %%ymm1, %%ymm1")
73 __ASM_EMIT("vcmpps $5, %%ymm5, %%ymm2, %%ymm2") /* ymm2 = [den >= thresh] */
74 __ASM_EMIT("vcmpps $5, %%ymm5, %%ymm3, %%ymm3")
75 __ASM_EMIT("vblendvps %%ymm2, %%ymm0, %%ymm6, %%ymm0") /* ymm0 = den >= thresh) ? pan : dfl */
76 __ASM_EMIT("vblendvps %%ymm3, %%ymm1, %%ymm6, %%ymm1")
77 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
78 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
79 __ASM_EMIT("add $0x40, %[off]")
80 __ASM_EMIT("sub $16, %[count]")
81 __ASM_EMIT("jae 1b")
82 /* 8x block */
83 __ASM_EMIT("2:")
84 __ASM_EMIT("add $8, %[count]")
85 __ASM_EMIT("jl 4f")
86 __ASM_EMIT("vandps 0x00(%[l],%[off]), %%xmm7, %%xmm2") /* xmm2 = fabsf(l) */
87 __ASM_EMIT("vandps 0x10(%[l],%[off]), %%xmm7, %%xmm3")
88 __ASM_EMIT("vandps 0x00(%[r],%[off]), %%xmm7, %%xmm0") /* xmm0 = fabsf(r) */
89 __ASM_EMIT("vandps 0x10(%[r],%[off]), %%xmm7, %%xmm1")
90 __ASM_EMIT("vaddps %%xmm0, %%xmm2, %%xmm2") /* xmm2 = den = fabsf(l) + fabsf(r) */
91 __ASM_EMIT("vaddps %%xmm1, %%xmm3, %%xmm3")
92 __ASM_EMIT("vdivps %%xmm2, %%xmm0, %%xmm0") /* xmm0 = pan = fabsf(r) / den */
93 __ASM_EMIT("vdivps %%xmm3, %%xmm1, %%xmm1")
94 __ASM_EMIT("vcmpps $5, %%xmm5, %%xmm2, %%xmm2") /* xmm2 = [den >= thresh] */
95 __ASM_EMIT("vcmpps $5, %%xmm5, %%xmm3, %%xmm3")
96 __ASM_EMIT("vblendvps %%xmm2, %%xmm0, %%xmm6, %%xmm0") /* xmm0 = den >= thresh) ? pan : dfl */
97 __ASM_EMIT("vblendvps %%xmm3, %%xmm1, %%xmm6, %%xmm1")
98 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst],%[off])")
99 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst],%[off])")
100 __ASM_EMIT("sub $8, %[count]")
101 __ASM_EMIT("add $0x20, %[off]")
102 /* 4x block */
103 __ASM_EMIT("4:")
104 __ASM_EMIT("add $4, %[count]")
105 __ASM_EMIT("jl 6f")
106 __ASM_EMIT("vandps 0x00(%[l],%[off]), %%xmm7, %%xmm2") /* xmm2 = fabsf(l) */
107 __ASM_EMIT("vandps 0x00(%[r],%[off]), %%xmm7, %%xmm0") /* xmm0 = fabsf(r) */
108 __ASM_EMIT("vaddps %%xmm0, %%xmm2, %%xmm2") /* xmm2 = den = fabsf(l) + fabsf(r) */
109 __ASM_EMIT("vdivps %%xmm2, %%xmm0, %%xmm0") /* xmm0 = pan = fabsf(r) / den */
110 __ASM_EMIT("vcmpps $5, %%xmm5, %%xmm2, %%xmm2") /* xmm2 = [den >= thresh] */
111 __ASM_EMIT("vblendvps %%xmm2, %%xmm0, %%xmm6, %%xmm0") /* xmm0 = den >= thresh) ? pan : dfl */
112 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst],%[off])")
113 __ASM_EMIT("sub $4, %[count]")
114 __ASM_EMIT("add $0x10, %[off]")
115 /* 1x blocks */
116 __ASM_EMIT("6:")
117 __ASM_EMIT("add $3, %[count]")
118 __ASM_EMIT("jl 8f")
119 __ASM_EMIT("7:")
120 __ASM_EMIT("vmovss 0x00(%[l],%[off]), %%xmm2")
121 __ASM_EMIT("vmovss 0x00(%[r],%[off]), %%xmm0")
122 __ASM_EMIT("vandps %%xmm2, %%xmm7, %%xmm2") /* xmm2 = fabsf(l) */
123 __ASM_EMIT("vandps %%xmm0, %%xmm7, %%xmm0") /* xmm2 = fabsf(r) */
124 __ASM_EMIT("vaddps %%xmm0, %%xmm2, %%xmm2") /* xmm2 = den = fabsf(l) + fabsf(r) */
125 __ASM_EMIT("vdivps %%xmm2, %%xmm0, %%xmm0") /* xmm0 = pan = fabsf(r) / den */
126 __ASM_EMIT("vcmpps $5, %%xmm5, %%xmm2, %%xmm2") /* xmm2 = [den >= thresh] */
127 __ASM_EMIT("vblendvps %%xmm2, %%xmm0, %%xmm6, %%xmm0") /* xmm0 = den >= thresh) ? pan : dfl */
128 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
129 __ASM_EMIT("add $0x04, %[off]")
130 __ASM_EMIT("dec %[count]")
131 __ASM_EMIT("jge 7b")
132 /* End */
133 __ASM_EMIT("8:")
134 : [count] "+r" (count), [off] "=&r" (off),
135 [dfl] "+Yz" (dfl)
136 : [dst] "r" (dst), [l] "r" (l), [r] "r" (r),
137 [CI] "m" (depan_lin_const_i),
138 [CF] "m" (depan_lin_const_f)
139 : "%xmm1", "%xmm2", "%xmm3",
140 "%xmm5", "%xmm6", "%xmm7"
141 );
142 }
143
144 IF_ARCH_X86(
145 static const float depan_eqpow_const_f[] __lsp_aligned32 =
146 {
147 LSP_DSP_VEC8(1e-36f)
148 };
149 );
150
151 void depan_eqpow(float *dst, const float *l, const float *r, float dfl, size_t count)
152 {
153 /*
154 const float sl = l[i] * l[i];
155 const float sr = r[i] * r[i];
156 const float den = sl + sr;
157 dst[i] = (den >= 1e-36f) ? sr / den : dfl;
158 */
159 IF_ARCH_X86(size_t off);
160 ARCH_X86_ASM
161 (
162 __ASM_EMIT("xor %[off], %[off]")
163 __ASM_EMIT("vshufps $0x00, %%xmm0, %%xmm0, %%xmm7") /* xmm7 = dfl */
164 __ASM_EMIT("sub $16, %[count]")
165 __ASM_EMIT("vmovaps %[CF], %%ymm6") /* ymm6 = thresh */
166 __ASM_EMIT("jb 2f")
167 __ASM_EMIT("vinsertf128 $1, %%xmm7, %%ymm7, %%ymm7") /* ymm7 = dfl */
168 /* 16x blocks */
169 __ASM_EMIT("1:")
170 __ASM_EMIT("vmovups 0x00(%[l],%[off]), %%ymm2") /* ymm2 = l */
171 __ASM_EMIT("vmovups 0x20(%[l],%[off]), %%ymm3")
172 __ASM_EMIT("vmovups 0x00(%[r],%[off]), %%ymm0") /* ymm0 = r */
173 __ASM_EMIT("vmovups 0x20(%[r],%[off]), %%ymm1")
174 __ASM_EMIT("vmulps %%ymm2, %%ymm2, %%ymm2") /* ymm2 = l*l */
175 __ASM_EMIT("vmulps %%ymm3, %%ymm3, %%ymm3")
176 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm0") /* ymm0 = r*r */
177 __ASM_EMIT("vmulps %%ymm1, %%ymm1, %%ymm1")
178 __ASM_EMIT("vaddps %%ymm0, %%ymm2, %%ymm2") /* ymm2 = den = l*l + r*r */
179 __ASM_EMIT("vaddps %%ymm1, %%ymm3, %%ymm3")
180 __ASM_EMIT("vdivps %%ymm2, %%ymm0, %%ymm0") /* ymm0 = pan = r*r / den */
181 __ASM_EMIT("vdivps %%ymm3, %%ymm1, %%ymm1")
182 __ASM_EMIT("vcmpps $5, %%ymm6, %%ymm2, %%ymm2") /* ymm2 = [den >= thresh] */
183 __ASM_EMIT("vcmpps $5, %%ymm6, %%ymm3, %%ymm3")
184 __ASM_EMIT("vblendvps %%ymm2, %%ymm0, %%ymm7, %%ymm0") /* ymm0 = den >= thresh) ? pan : dfl */
185 __ASM_EMIT("vblendvps %%ymm3, %%ymm1, %%ymm7, %%ymm1")
186 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
187 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
188 __ASM_EMIT("add $0x40, %[off]")
189 __ASM_EMIT("sub $16, %[count]")
190 __ASM_EMIT("jae 1b")
191 /* 8x block */
192 __ASM_EMIT("2:")
193 __ASM_EMIT("add $8, %[count]")
194 __ASM_EMIT("jl 4f")
195 __ASM_EMIT("vmovups 0x00(%[l],%[off]), %%xmm2") /* xmm2 = l */
196 __ASM_EMIT("vmovups 0x10(%[l],%[off]), %%xmm3")
197 __ASM_EMIT("vmovups 0x00(%[r],%[off]), %%xmm0") /* xmm0 = r */
198 __ASM_EMIT("vmovups 0x10(%[r],%[off]), %%xmm1")
199 __ASM_EMIT("vmulps %%xmm2, %%xmm2, %%xmm2") /* xmm2 = l*l */
200 __ASM_EMIT("vmulps %%xmm3, %%xmm3, %%xmm3")
201 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = r*r */
202 __ASM_EMIT("vmulps %%xmm1, %%xmm1, %%xmm1")
203 __ASM_EMIT("vaddps %%xmm0, %%xmm2, %%xmm2") /* xmm2 = den = l*l + r*r */
204 __ASM_EMIT("vaddps %%xmm1, %%xmm3, %%xmm3")
205 __ASM_EMIT("vdivps %%xmm2, %%xmm0, %%xmm0") /* xmm0 = pan = r*r / den */
206 __ASM_EMIT("vdivps %%xmm3, %%xmm1, %%xmm1")
207 __ASM_EMIT("vcmpps $5, %%xmm6, %%xmm2, %%xmm2") /* xmm2 = [den >= thresh] */
208 __ASM_EMIT("vcmpps $5, %%xmm6, %%xmm3, %%xmm3")
209 __ASM_EMIT("vblendvps %%xmm2, %%xmm0, %%xmm7, %%xmm0") /* xmm0 = den >= thresh) ? pan : dfl */
210 __ASM_EMIT("vblendvps %%xmm3, %%xmm1, %%xmm7, %%xmm1")
211 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst],%[off])")
212 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst],%[off])")
213 __ASM_EMIT("sub $8, %[count]")
214 __ASM_EMIT("add $0x20, %[off]")
215 /* 4x block */
216 __ASM_EMIT("4:")
217 __ASM_EMIT("add $4, %[count]")
218 __ASM_EMIT("jl 6f")
219 __ASM_EMIT("vmovups 0x00(%[l],%[off]), %%xmm2") /* xmm2 = l */
220 __ASM_EMIT("vmovups 0x00(%[r],%[off]), %%xmm0") /* xmm0 = r */
221 __ASM_EMIT("vmulps %%xmm2, %%xmm2, %%xmm2") /* xmm2 = l*l */
222 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = r*r */
223 __ASM_EMIT("vaddps %%xmm0, %%xmm2, %%xmm2") /* xmm2 = den = l*l + r*r */
224 __ASM_EMIT("vdivps %%xmm2, %%xmm0, %%xmm0") /* xmm0 = pan = r*r / den */
225 __ASM_EMIT("vcmpps $5, %%xmm6, %%xmm2, %%xmm2") /* xmm2 = [den >= thresh] */
226 __ASM_EMIT("vblendvps %%xmm2, %%xmm0, %%xmm7, %%xmm0") /* xmm0 = den >= thresh) ? pan : dfl */
227 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst],%[off])")
228 __ASM_EMIT("sub $4, %[count]")
229 __ASM_EMIT("add $0x10, %[off]")
230 /* 1x blocks */
231 __ASM_EMIT("6:")
232 __ASM_EMIT("add $3, %[count]")
233 __ASM_EMIT("jl 8f")
234 __ASM_EMIT("7:")
235 __ASM_EMIT("vmovss 0x00(%[l],%[off]), %%xmm2") /* xmm2 = l */
236 __ASM_EMIT("vmovss 0x00(%[r],%[off]), %%xmm0") /* xmm0 = r */
237 __ASM_EMIT("vmulps %%xmm2, %%xmm2, %%xmm2") /* xmm2 = l*l */
238 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = r*r */
239 __ASM_EMIT("vaddps %%xmm0, %%xmm2, %%xmm2") /* xmm2 = den = l*l + r*r */
240 __ASM_EMIT("vdivps %%xmm2, %%xmm0, %%xmm0") /* xmm0 = pan = r*r / den */
241 __ASM_EMIT("vcmpps $5, %%xmm6, %%xmm2, %%xmm2") /* xmm2 = [den >= thresh] */
242 __ASM_EMIT("vblendvps %%xmm2, %%xmm0, %%xmm7, %%xmm0") /* xmm0 = den >= thresh) ? pan : dfl */
243 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
244 __ASM_EMIT("add $0x04, %[off]")
245 __ASM_EMIT("dec %[count]")
246 __ASM_EMIT("jge 7b")
247 /* End */
248 __ASM_EMIT("8:")
249 : [count] "+r" (count), [off] "=&r" (off),
250 [dfl] "+Yz" (dfl)
251 : [dst] "r" (dst), [l] "r" (l), [r] "r" (r),
252 [CF] "m" (depan_eqpow_const_f)
253 : "%xmm1", "%xmm2", "%xmm3",
254 "%xmm6", "%xmm7"
255 );
256 }
257
258 void depan_eqpow_fma3(float *dst, const float *l, const float *r, float dfl, size_t count)
259 {
260 /*
261 const float sl = l[i] * l[i];
262 const float sr = r[i] * r[i];
263 const float den = sl + sr;
264 dst[i] = (den >= 1e-36f) ? sr / den : dfl;
265 */
266 IF_ARCH_X86(size_t off);
267 ARCH_X86_ASM
268 (
269 __ASM_EMIT("vshufps $0x00, %%xmm0, %%xmm0, %%xmm7") /* xmm7 = dfl */
270 __ASM_EMIT("vmovaps %[CF], %%ymm6") /* ymm6 = thresh */
271 __ASM_EMIT("xor %[off], %[off]")
272 __ASM_EMIT("vinsertf128 $1, %%xmm7, %%ymm7, %%ymm7") /* ymm7 = dfl */
273 __ASM_EMIT("sub $16, %[count]")
274 __ASM_EMIT("jb 2f")
275 /* 16x blocks */
276 __ASM_EMIT("1:")
277 __ASM_EMIT("vmovups 0x00(%[r],%[off]), %%ymm0") /* ymm0 = r */
278 __ASM_EMIT("vmovups 0x20(%[r],%[off]), %%ymm1")
279 __ASM_EMIT("vmovups 0x00(%[l],%[off]), %%ymm2") /* ymm2 = l */
280 __ASM_EMIT("vmovups 0x20(%[l],%[off]), %%ymm3")
281 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm0") /* ymm0 = r*r */
282 __ASM_EMIT("vmulps %%ymm1, %%ymm1, %%ymm1")
283 __ASM_EMIT("vfmadd132ps %%ymm2, %%ymm0, %%ymm2") /* ymm2 = den = l*l + r*r */
284 __ASM_EMIT("vfmadd132ps %%ymm3, %%ymm1, %%ymm3")
285 __ASM_EMIT("vdivps %%ymm2, %%ymm0, %%ymm0") /* ymm0 = pan = r*r / den */
286 __ASM_EMIT("vdivps %%ymm3, %%ymm1, %%ymm1")
287 __ASM_EMIT("vcmpps $5, %%ymm6, %%ymm2, %%ymm2") /* ymm2 = [den >= thresh] */
288 __ASM_EMIT("vcmpps $5, %%ymm6, %%ymm3, %%ymm3")
289 __ASM_EMIT("vblendvps %%ymm2, %%ymm0, %%ymm7, %%ymm0") /* ymm0 = den >= thresh) ? pan : dfl */
290 __ASM_EMIT("vblendvps %%ymm3, %%ymm1, %%ymm7, %%ymm1")
291 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
292 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
293 __ASM_EMIT("add $0x40, %[off]")
294 __ASM_EMIT("sub $16, %[count]")
295 __ASM_EMIT("jae 1b")
296 /* 8x block */
297 __ASM_EMIT("2:")
298 __ASM_EMIT("add $8, %[count]")
299 __ASM_EMIT("jl 4f")
300 __ASM_EMIT("vmovups 0x00(%[r],%[off]), %%xmm0") /* xmm0 = r */
301 __ASM_EMIT("vmovups 0x10(%[r],%[off]), %%xmm1")
302 __ASM_EMIT("vmovups 0x00(%[l],%[off]), %%xmm2") /* xmm2 = l */
303 __ASM_EMIT("vmovups 0x10(%[l],%[off]), %%xmm3")
304 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = r*r */
305 __ASM_EMIT("vmulps %%xmm1, %%xmm1, %%xmm1")
306 __ASM_EMIT("vfmadd132ps %%xmm2, %%xmm0, %%xmm2") /* xmm2 = den = l*l + r*r */
307 __ASM_EMIT("vfmadd132ps %%xmm3, %%xmm1, %%xmm3")
308 __ASM_EMIT("vdivps %%xmm2, %%xmm0, %%xmm0") /* xmm0 = pan = r*r / den */
309 __ASM_EMIT("vdivps %%xmm3, %%xmm1, %%xmm1")
310 __ASM_EMIT("vcmpps $5, %%xmm6, %%xmm2, %%xmm2") /* xmm2 = [den >= thresh] */
311 __ASM_EMIT("vcmpps $5, %%xmm6, %%xmm3, %%xmm3")
312 __ASM_EMIT("vblendvps %%xmm2, %%xmm0, %%xmm7, %%xmm0") /* xmm0 = den >= thresh) ? pan : dfl */
313 __ASM_EMIT("vblendvps %%xmm3, %%xmm1, %%xmm7, %%xmm1")
314 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst],%[off])")
315 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst],%[off])")
316 __ASM_EMIT("sub $8, %[count]")
317 __ASM_EMIT("add $0x20, %[off]")
318 /* 4x block */
319 __ASM_EMIT("4:")
320 __ASM_EMIT("add $4, %[count]")
321 __ASM_EMIT("jl 6f")
322 __ASM_EMIT("vmovups 0x00(%[r],%[off]), %%xmm0") /* xmm0 = r */
323 __ASM_EMIT("vmovups 0x00(%[l],%[off]), %%xmm2") /* xmm2 = l */
324 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = r*r */
325 __ASM_EMIT("vfmadd132ps %%xmm2, %%xmm0, %%xmm2") /* xmm2 = den = l*l + r*r */
326 __ASM_EMIT("vdivps %%xmm2, %%xmm0, %%xmm0") /* xmm0 = pan = r*r / den */
327 __ASM_EMIT("vcmpps $5, %%xmm6, %%xmm2, %%xmm2") /* xmm2 = [den >= thresh] */
328 __ASM_EMIT("vblendvps %%xmm2, %%xmm0, %%xmm7, %%xmm0") /* xmm0 = den >= thresh) ? pan : dfl */
329 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst],%[off])")
330 __ASM_EMIT("sub $4, %[count]")
331 __ASM_EMIT("add $0x10, %[off]")
332 /* 1x blocks */
333 __ASM_EMIT("6:")
334 __ASM_EMIT("add $3, %[count]")
335 __ASM_EMIT("jl 8f")
336 __ASM_EMIT("7:")
337 __ASM_EMIT("vmovss 0x00(%[l],%[off]), %%xmm2")
338 __ASM_EMIT("vmovss 0x00(%[r],%[off]), %%xmm0")
339 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = r*r */
340 __ASM_EMIT("vfmadd132ps %%xmm2, %%xmm0, %%xmm2") /* xmm2 = den = l*l + r*r */
341 __ASM_EMIT("vdivps %%xmm2, %%xmm0, %%xmm0") /* xmm0 = pan = r*r / den */
342 __ASM_EMIT("vcmpps $5, %%xmm6, %%xmm2, %%xmm2") /* xmm2 = [den >= thresh] */
343 __ASM_EMIT("vblendvps %%xmm2, %%xmm0, %%xmm7, %%xmm0") /* xmm0 = den >= thresh) ? pan : dfl */
344 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
345 __ASM_EMIT("add $0x04, %[off]")
346 __ASM_EMIT("dec %[count]")
347 __ASM_EMIT("jge 7b")
348 /* End */
349 __ASM_EMIT("8:")
350 : [count] "+r" (count), [off] "=&r" (off),
351 [dfl] "+Yz" (dfl)
352 : [dst] "r" (dst), [l] "r" (l), [r] "r" (r),
353 [CF] "m" (depan_eqpow_const_f)
354 : "%xmm1", "%xmm2", "%xmm3",
355 "%xmm6", "%xmm7"
356 );
357 }
358
359 } /* namespace avx */
360 } /* namespace lsp */
361
362
363 #endif /* INCLUDE_PRIVATE_DSP_ARCH_X86_AVX_PAN_H_ */