Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/sse/pcomplex.h

raw
1 /*
2 * Copyright (C) 2024 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2024 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_SSE_PCOMPLEX_H_
23 #define PRIVATE_DSP_ARCH_X86_SSE_PCOMPLEX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_SSE_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_SSE_IMPL */
28
29 namespace lsp
30 {
31 namespace sse
32 {
33 IF_ARCH_X86(
34 static const uint32_t pcomplex_div_const[] __lsp_aligned16 =
35 {
36 LSP_DSP_VEC4(0x3f800000),
37 LSP_DSP_VEC4(0x80000000)
38 };
39 );
40
41 void pcomplex_mul2(float *dst, const float *src, size_t count)
42 {
43 size_t off;
44
45 ARCH_X86_ASM
46 (
47 /* Check count */
48 __ASM_EMIT("xor %[off], %[off]")
49 __ASM_EMIT("sub $4, %[count]")
50 __ASM_EMIT("jb 3f")
51
52 __ASM_EMIT(".align 16")
53 __ASM_EMIT("2:")
54 /* Process vectorized data */
55 __ASM_EMIT("movups 0x00(%[dst], %[off]), %%xmm0") /* xmm0 = ar0 ai0 ar1 ai1 */
56 __ASM_EMIT("movups 0x10(%[dst], %[off]), %%xmm1") /* xmm1 = ar2 ai2 ar3 ai3 */
57 __ASM_EMIT("movups 0x00(%[src], %[off]), %%xmm4") /* xmm4 = br0 bi0 br1 bi1 */
58 __ASM_EMIT("movups 0x10(%[src], %[off]), %%xmm5") /* xmm5 = br2 bi2 br3 bi3 */
59 /* Do shuffle */
60 __ASM_EMIT("movaps %%xmm0, %%xmm2") /* xmm2 = ar0 ai0 ar1 ai1 */
61 __ASM_EMIT("movaps %%xmm4, %%xmm6") /* xmm6 = br0 bi0 br1 bi1 */
62 __ASM_EMIT("shufps $0x88, %%xmm1, %%xmm0") /* xmm0 = ar0 ar1 ar2 ar3 */
63 __ASM_EMIT("shufps $0x88, %%xmm5, %%xmm4") /* xmm4 = br0 br1 br2 br3 */
64 __ASM_EMIT("shufps $0xdd, %%xmm1, %%xmm2") /* xmm2 = ai0 ai1 ai2 ai3 */
65 __ASM_EMIT("shufps $0xdd, %%xmm5, %%xmm6") /* xmm6 = bi0 bi1 bi2 bi3 */
66 /* Calc multiplication */
67 __ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = ar0 ar1 ar2 ar3 */
68 __ASM_EMIT("mulps %%xmm4, %%xmm0") /* xmm0 = ar0*br0 ar1*br1 ar2*br2 ar3*br3 */
69 __ASM_EMIT("mulps %%xmm6, %%xmm1") /* xmm1 = ar0*bi0 ar1*bi1 ar2*bi2 ar3*bi3 */
70 __ASM_EMIT("mulps %%xmm2, %%xmm6") /* xmm6 = ai0*bi0 ai1*bi1 ai2*bi2 ai3*bi3 */
71 __ASM_EMIT("mulps %%xmm2, %%xmm4") /* xmm4 = ai0*br0 ai1*br1 ai2*br2 ai3*br3 */
72 __ASM_EMIT("addps %%xmm4, %%xmm1") /* xmm1 = ar[i]*bi[i] + ai[i]*br[i] = i0 i1 i2 i3 */
73 __ASM_EMIT("subps %%xmm6, %%xmm0") /* xmm0 = ar[i]*br[i] - ai[i]*bi[i] = r0 r1 r2 r3 */
74 /* Re-shuffle */
75 __ASM_EMIT("movaps %%xmm0, %%xmm2") /* xmm2 = r0 r1 r2 r3 */
76 __ASM_EMIT("unpcklps %%xmm1, %%xmm0") /* xmm0 = r0 i0 r1 i1 */
77 __ASM_EMIT("unpckhps %%xmm1, %%xmm2") /* xmm2 = r2 i2 r3 i3 */
78 /* Store */
79 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
80 __ASM_EMIT("movups %%xmm2, 0x10(%[dst], %[off])")
81 /* Repeat loop */
82 __ASM_EMIT("add $0x20, %[off]")
83 __ASM_EMIT("sub $4, %[count]")
84 __ASM_EMIT("jae 2b")
85
86 __ASM_EMIT("3:")
87 __ASM_EMIT("add $4, %[count]")
88 __ASM_EMIT("jle 5f")
89 /* Process scalar data */
90 __ASM_EMIT("4:")
91 /* Load */
92 __ASM_EMIT("movss 0x00(%[dst], %[off]), %%xmm0") /* xmm0 = ar */
93 __ASM_EMIT("movss 0x04(%[dst], %[off]), %%xmm2") /* xmm2 = ai */
94 __ASM_EMIT("movss 0x00(%[src], %[off]), %%xmm4") /* xmm4 = br */
95 __ASM_EMIT("movss 0x04(%[src], %[off]), %%xmm6") /* xmm6 = bi */
96 /* Calculate multiplication */
97 __ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = ar */
98 __ASM_EMIT("mulss %%xmm4, %%xmm0") /* xmm0 = ar*br */
99 __ASM_EMIT("mulss %%xmm6, %%xmm1") /* xmm1 = ar*bi */
100 __ASM_EMIT("mulss %%xmm2, %%xmm6") /* xmm6 = ai*bi */
101 __ASM_EMIT("mulss %%xmm2, %%xmm4") /* xmm4 = ai*br */
102 __ASM_EMIT("addss %%xmm4, %%xmm1") /* xmm1 = ar*bi + ai*br = i */
103 __ASM_EMIT("subss %%xmm6, %%xmm0") /* xmm0 = ar*br - ai*bi = r */
104 /* Store */
105 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
106 __ASM_EMIT("movss %%xmm1, 0x04(%[dst], %[off])")
107 /* Repeat loop */
108 __ASM_EMIT("add $0x08, %[off]")
109 __ASM_EMIT("dec %[count]")
110 __ASM_EMIT("jnz 4b")
111
112 /* Exit */
113 __ASM_EMIT("5:")
114
115 : [off] "=&r" (off), [count] "+r" (count)
116 : [dst] "r" (dst), [src] "r" (src)
117 : "cc", "memory",
118 "%xmm0", "%xmm1", "%xmm2", "%xmm4", "%xmm5", "%xmm6"
119 );
120 }
121
122 void pcomplex_mul3(float *dst, const float *src1, const float *src2, size_t count)
123 {
124 size_t off;
125
126 ARCH_X86_ASM
127 (
128 /* Check count */
129 __ASM_EMIT("xor %[off], %[off]")
130 __ASM_EMIT("sub $4, %[count]")
131 __ASM_EMIT("jb 3f")
132
133 __ASM_EMIT(".align 16")
134 __ASM_EMIT("2:")
135 /* Process vectorized data */
136 __ASM_EMIT("movups 0x00(%[src1], %[off]), %%xmm0") /* xmm0 = ar0 ai0 ar1 ai1 */
137 __ASM_EMIT("movups 0x10(%[src1], %[off]), %%xmm1") /* xmm1 = ar2 ai2 ar3 ai3 */
138 __ASM_EMIT("movups 0x00(%[src2], %[off]), %%xmm4") /* xmm4 = br0 bi0 br1 bi1 */
139 __ASM_EMIT("movups 0x10(%[src2], %[off]), %%xmm5") /* xmm5 = br2 bi2 br3 bi3 */
140 /* Do shuffle */
141 __ASM_EMIT("movaps %%xmm0, %%xmm2") /* xmm2 = ar0 ai0 ar1 ai1 */
142 __ASM_EMIT("movaps %%xmm4, %%xmm6") /* xmm6 = br0 bi0 br1 bi1 */
143 __ASM_EMIT("shufps $0x88, %%xmm1, %%xmm0") /* xmm0 = ar0 ar1 ar2 ar3 */
144 __ASM_EMIT("shufps $0x88, %%xmm5, %%xmm4") /* xmm4 = br0 br1 br2 br3 */
145 __ASM_EMIT("shufps $0xdd, %%xmm1, %%xmm2") /* xmm2 = ai0 ai1 ai2 ai3 */
146 __ASM_EMIT("shufps $0xdd, %%xmm5, %%xmm6") /* xmm6 = bi0 bi1 bi2 bi3 */
147 /* Calc multiplication */
148 __ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = ar0 ar1 ar2 ar3 */
149 __ASM_EMIT("mulps %%xmm4, %%xmm0") /* xmm0 = ar0*br0 ar1*br1 ar2*br2 ar3*br3 */
150 __ASM_EMIT("mulps %%xmm6, %%xmm1") /* xmm1 = ar0*bi0 ar1*bi1 ar2*bi2 ar3*bi3 */
151 __ASM_EMIT("mulps %%xmm2, %%xmm6") /* xmm6 = ai0*bi0 ai1*bi1 ai2*bi2 ai3*bi3 */
152 __ASM_EMIT("mulps %%xmm2, %%xmm4") /* xmm4 = ai0*br0 ai1*br1 ai2*br2 ai3*br3 */
153 __ASM_EMIT("addps %%xmm4, %%xmm1") /* xmm1 = ar[i]*bi[i] + ai[i]*br[i] = i0 i1 i2 i3 */
154 __ASM_EMIT("subps %%xmm6, %%xmm0") /* xmm0 = ar[i]*br[i] - ai[i]*bi[i] = r0 r1 r2 r3 */
155 /* Re-shuffle */
156 __ASM_EMIT("movaps %%xmm0, %%xmm2") /* xmm2 = r0 r1 r2 r3 */
157 __ASM_EMIT("unpcklps %%xmm1, %%xmm0") /* xmm0 = r0 i0 r1 i1 */
158 __ASM_EMIT("unpckhps %%xmm1, %%xmm2") /* xmm2 = r2 i2 r3 i3 */
159 /* Store */
160 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
161 __ASM_EMIT("movups %%xmm2, 0x10(%[dst], %[off])")
162 /* Repeat loop */
163 __ASM_EMIT("add $0x20, %[off]")
164 __ASM_EMIT("sub $4, %[count]")
165 __ASM_EMIT("jae 2b")
166
167 __ASM_EMIT("3:")
168 __ASM_EMIT("add $4, %[count]")
169 __ASM_EMIT("jle 5f")
170 /* Process scalar data */
171 __ASM_EMIT("4:")
172 /* Load */
173 __ASM_EMIT("movss 0x00(%[src1], %[off]), %%xmm0") /* xmm0 = ar */
174 __ASM_EMIT("movss 0x04(%[src1], %[off]), %%xmm2") /* xmm2 = ai */
175 __ASM_EMIT("movss 0x00(%[src2], %[off]), %%xmm4") /* xmm4 = br */
176 __ASM_EMIT("movss 0x04(%[src2], %[off]), %%xmm6") /* xmm6 = bi */
177 /* Calculate multiplication */
178 __ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = ar */
179 __ASM_EMIT("mulss %%xmm4, %%xmm0") /* xmm0 = ar*br */
180 __ASM_EMIT("mulss %%xmm6, %%xmm1") /* xmm1 = ar*bi */
181 __ASM_EMIT("mulss %%xmm2, %%xmm6") /* xmm6 = ai*bi */
182 __ASM_EMIT("mulss %%xmm2, %%xmm4") /* xmm4 = ai*br */
183 __ASM_EMIT("addss %%xmm4, %%xmm1") /* xmm1 = ar*bi + ai*br = i */
184 __ASM_EMIT("subss %%xmm6, %%xmm0") /* xmm0 = ar*br - ai*bi = r */
185 /* Store */
186 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
187 __ASM_EMIT("movss %%xmm1, 0x04(%[dst], %[off])")
188 /* Repeat loop */
189 __ASM_EMIT("add $0x08, %[off]")
190 __ASM_EMIT("dec %[count]")
191 __ASM_EMIT("jnz 4b")
192
193 /* Exit */
194 __ASM_EMIT("5:")
195
196 : [off] "=&r" (off), [count] "+r" (count)
197 : [dst] "r" (dst), [src1] "r" (src1), [src2] "r" (src2)
198 : "cc", "memory",
199 "%xmm0", "%xmm1", "%xmm2", "%xmm4", "%xmm5", "%xmm6"
200 );
201 }
202
203 void pcomplex_r2c(float *dst, const float *src, size_t count)
204 {
205 ARCH_X86_ASM
206 (
207 __ASM_EMIT("xorps %%xmm6, %%xmm6")
208 __ASM_EMIT("xorps %%xmm7, %%xmm7")
209
210 /* Do block processing */
211 __ASM_EMIT("cmp $16, %[count]")
212 __ASM_EMIT("jb 2f")
213 /* Do with 16x blocks */
214 __ASM_EMIT(".align 16")
215 __ASM_EMIT("1:")
216 __ASM_EMIT("movups 0x00(%[src]), %%xmm0") /* xmm0 = r0 r1 r2 r3 */
217 __ASM_EMIT("movups 0x10(%[src]), %%xmm1") /* xmm1 = r4 r5 r6 r7 */
218 __ASM_EMIT("movups 0x20(%[src]), %%xmm2") /* xmm2 = r8 r9 r10 r11 */
219 __ASM_EMIT("movups 0x30(%[src]), %%xmm3") /* xmm3 = r12 r13 r14 r15 */
220 __ASM_EMIT("movaps %%xmm0, %%xmm4")
221 __ASM_EMIT("movaps %%xmm1, %%xmm5")
222 __ASM_EMIT("unpcklps %%xmm6, %%xmm0")
223 __ASM_EMIT("unpcklps %%xmm7, %%xmm1")
224 __ASM_EMIT("unpckhps %%xmm6, %%xmm4")
225 __ASM_EMIT("unpckhps %%xmm7, %%xmm5")
226 __ASM_EMIT("movups %%xmm0, 0x00(%[dst])")
227 __ASM_EMIT("movups %%xmm4, 0x10(%[dst])")
228 __ASM_EMIT("movups %%xmm1, 0x20(%[dst])")
229 __ASM_EMIT("movups %%xmm5, 0x30(%[dst])")
230 __ASM_EMIT("movaps %%xmm2, %%xmm4")
231 __ASM_EMIT("movaps %%xmm3, %%xmm5")
232 __ASM_EMIT("unpcklps %%xmm6, %%xmm2")
233 __ASM_EMIT("unpcklps %%xmm7, %%xmm3")
234 __ASM_EMIT("unpckhps %%xmm6, %%xmm4")
235 __ASM_EMIT("unpckhps %%xmm7, %%xmm5")
236 __ASM_EMIT("movups %%xmm2, 0x40(%[dst])")
237 __ASM_EMIT("movups %%xmm4, 0x50(%[dst])")
238 __ASM_EMIT("movups %%xmm3, 0x60(%[dst])")
239 __ASM_EMIT("movups %%xmm5, 0x70(%[dst])")
240 /* Repeat loop */
241 __ASM_EMIT("sub $16, %[count]")
242 __ASM_EMIT("add $0x40, %[src]")
243 __ASM_EMIT("add $0x80, %[dst]")
244 __ASM_EMIT("cmp $16, %[count]")
245 __ASM_EMIT("jae 1b")
246 /* 4x iterations */
247 __ASM_EMIT("2:")
248 __ASM_EMIT("cmp $4, %[count]")
249 __ASM_EMIT("jb 4f")
250 __ASM_EMIT("3:")
251 __ASM_EMIT("movups 0x00(%[src]), %%xmm0")
252 __ASM_EMIT("movaps %%xmm0, %%xmm4")
253 __ASM_EMIT("unpcklps %%xmm6, %%xmm0")
254 __ASM_EMIT("unpckhps %%xmm7, %%xmm4")
255 __ASM_EMIT("movups %%xmm0, 0x00(%[dst])")
256 __ASM_EMIT("movups %%xmm4, 0x10(%[dst])")
257
258 __ASM_EMIT("sub $4, %[count]")
259 __ASM_EMIT("add $0x10, %[src]")
260 __ASM_EMIT("add $0x20, %[dst]")
261 __ASM_EMIT("cmp $4, %[count]")
262 __ASM_EMIT("jae 3b")
263 __ASM_EMIT("jmp 4f")
264
265 // 1x iterations
266 __ASM_EMIT("4:")
267 __ASM_EMIT("test %[count], %[count]")
268 __ASM_EMIT("jz 6f")
269
270 __ASM_EMIT("5:")
271 __ASM_EMIT("movss 0x00(%[src]), %%xmm0")
272 __ASM_EMIT("movlps %%xmm0, 0x00(%[dst])")
273 __ASM_EMIT("add $0x4, %[src]")
274 __ASM_EMIT("add $0x8, %[dst]")
275 __ASM_EMIT("dec %[count]")
276 __ASM_EMIT("jnz 5b")
277
278 // End of routine
279 __ASM_EMIT("6:")
280
281 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
282 :
283 : "cc", "memory",
284 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
285 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
286 );
287 }
288
289 void pcomplex_c2r(float *dst, const float *src, size_t count)
290 {
291 #define complex_to_real_core(MV_DST, MV_SRC) \
292 __ASM_EMIT("cmp $16, %[count]") \
293 __ASM_EMIT("jb 2f") \
294 /* Do with 16x blocks */ \
295 __ASM_EMIT(".align 16") \
296 __ASM_EMIT("1:") \
297 /* Load data */ \
298 __ASM_EMIT(MV_SRC " 0x00(%[src]), %%xmm0") /* xmm0 = r0 i0 r1 i1 */ \
299 __ASM_EMIT(MV_SRC " 0x10(%[src]), %%xmm1") /* xmm1 = r2 i2 r3 i3 */ \
300 __ASM_EMIT(MV_SRC " 0x20(%[src]), %%xmm2") \
301 __ASM_EMIT(MV_SRC " 0x30(%[src]), %%xmm3") \
302 __ASM_EMIT(MV_SRC " 0x40(%[src]), %%xmm4") \
303 __ASM_EMIT(MV_SRC " 0x50(%[src]), %%xmm5") \
304 __ASM_EMIT(MV_SRC " 0x60(%[src]), %%xmm6") \
305 __ASM_EMIT(MV_SRC " 0x70(%[src]), %%xmm7") \
306 /* Pack data */ \
307 __ASM_EMIT("shufps $0x88, %%xmm1, %%xmm0") /* xmm0 = r0 r1 r2 r3 */ \
308 __ASM_EMIT("shufps $0x88, %%xmm3, %%xmm2") \
309 __ASM_EMIT("shufps $0x88, %%xmm5, %%xmm4") \
310 __ASM_EMIT("shufps $0x88, %%xmm7, %%xmm6") \
311 /* Store data */ \
312 __ASM_EMIT(MV_DST " %%xmm0, 0x00(%[dst])") \
313 __ASM_EMIT(MV_DST " %%xmm2, 0x10(%[dst])") \
314 __ASM_EMIT(MV_DST " %%xmm4, 0x20(%[dst])") \
315 __ASM_EMIT(MV_DST " %%xmm6, 0x30(%[dst])") \
316 /* Repeat loop */ \
317 __ASM_EMIT("sub $16, %[count]") \
318 __ASM_EMIT("add $0x80, %[src]") \
319 __ASM_EMIT("add $0x40, %[dst]") \
320 __ASM_EMIT("cmp $16, %[count]") \
321 __ASM_EMIT("jae 1b") \
322 /* 4x iterations */ \
323 __ASM_EMIT("2:") \
324 __ASM_EMIT("cmp $4, %[count]") \
325 __ASM_EMIT("jb 4f") \
326 \
327 __ASM_EMIT("3:") \
328 __ASM_EMIT(MV_SRC " 0x00(%[src]), %%xmm0") \
329 __ASM_EMIT(MV_SRC " 0x10(%[src]), %%xmm1") \
330 __ASM_EMIT("shufps $0x88, %%xmm1, %%xmm0") \
331 __ASM_EMIT(MV_DST " %%xmm0, 0x00(%[dst])") \
332 \
333 __ASM_EMIT("sub $4, %[count]") \
334 __ASM_EMIT("add $0x20, %[src]") \
335 __ASM_EMIT("add $0x10, %[dst]") \
336 __ASM_EMIT("cmp $4, %[count]") \
337 __ASM_EMIT("jae 3b") \
338 __ASM_EMIT("jmp 4f")
339
340
341 ARCH_X86_ASM
342 (
343 /* Do block processing */
344 __ASM_EMIT("test $0x0f, %[dst]")
345 __ASM_EMIT("jnz 110f")
346 __ASM_EMIT("test $0x0f, %[src]")
347 __ASM_EMIT("jnz 101f")
348 complex_to_real_core("movaps", "movaps")
349 __ASM_EMIT("101:")
350 complex_to_real_core("movaps", "movups")
351
352 __ASM_EMIT("110:")
353 __ASM_EMIT("test $0x0f, %[src]")
354 __ASM_EMIT("jnz 111f")
355 complex_to_real_core("movups", "movaps")
356 __ASM_EMIT("111:")
357 complex_to_real_core("movups", "movups")
358
359 // 1x iterations
360 __ASM_EMIT("4:")
361 __ASM_EMIT("test %[count], %[count]")
362 __ASM_EMIT("jz 6f")
363
364 __ASM_EMIT("5:")
365 __ASM_EMIT("movss 0x00(%[src]), %%xmm0")
366 __ASM_EMIT("movss %%xmm0, 0x00(%[dst])")
367 __ASM_EMIT("add $0x8, %[src]")
368 __ASM_EMIT("add $0x4, %[dst]")
369 __ASM_EMIT("dec %[count]")
370 __ASM_EMIT("jnz 5b")
371
372 // End of routine
373 __ASM_EMIT("6:")
374
375 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
376 :
377 : "cc", "memory",
378 "%xmm0", "%xmm1", "%xmm2", "%xmm3", "%xmm4", "%xmm5", "%xmm6", "%xmm7"
379 );
380
381 #undef complex_to_real_core
382 }
383
384 void pcomplex_mod(float *dst, const float *src, size_t count)
385 {
386 size_t off;
387
388 ARCH_X86_ASM
389 (
390 __ASM_EMIT("xor %[off], %[off]")
391 __ASM_EMIT("sub $12, %[count]")
392 __ASM_EMIT("jb 2f")
393
394 // 12x blocks
395 __ASM_EMIT("1:")
396 __ASM_EMIT("movups 0x00(%[src], %[off], 2), %%xmm0")
397 __ASM_EMIT("movups 0x10(%[src], %[off], 2), %%xmm5")
398 __ASM_EMIT("movups 0x20(%[src], %[off], 2), %%xmm1")
399 __ASM_EMIT("movups 0x30(%[src], %[off], 2), %%xmm6")
400 __ASM_EMIT("movups 0x40(%[src], %[off], 2), %%xmm2")
401 __ASM_EMIT("movups 0x50(%[src], %[off], 2), %%xmm7")
402
403 __ASM_EMIT("movaps %%xmm0, %%xmm3")
404 __ASM_EMIT("movaps %%xmm1, %%xmm4")
405 __ASM_EMIT("shufps $0x88, %%xmm5, %%xmm0") /* xmm0 = re[0..3] */
406 __ASM_EMIT("shufps $0xdd, %%xmm5, %%xmm3") /* xmm3 = im[0..3] */
407 __ASM_EMIT("movaps %%xmm2, %%xmm5")
408 __ASM_EMIT("shufps $0x88, %%xmm6, %%xmm1") /* xmm1 = re[4..7] */
409 __ASM_EMIT("shufps $0xdd, %%xmm6, %%xmm4") /* xmm4 = im[4..7] */
410 __ASM_EMIT("shufps $0x88, %%xmm7, %%xmm2") /* xmm2 = re[8..11] */
411 __ASM_EMIT("shufps $0xdd, %%xmm7, %%xmm5") /* xmm5 = im[8..11] */
412
413 __ASM_EMIT("mulps %%xmm0, %%xmm0")
414 __ASM_EMIT("mulps %%xmm1, %%xmm1")
415 __ASM_EMIT("mulps %%xmm2, %%xmm2")
416 __ASM_EMIT("mulps %%xmm3, %%xmm3")
417 __ASM_EMIT("mulps %%xmm4, %%xmm4")
418 __ASM_EMIT("mulps %%xmm5, %%xmm5")
419 __ASM_EMIT("addps %%xmm3, %%xmm0")
420 __ASM_EMIT("addps %%xmm4, %%xmm1")
421 __ASM_EMIT("addps %%xmm5, %%xmm2")
422 __ASM_EMIT("sqrtps %%xmm0, %%xmm0")
423 __ASM_EMIT("sqrtps %%xmm1, %%xmm1")
424 __ASM_EMIT("sqrtps %%xmm2, %%xmm2")
425 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
426 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
427 __ASM_EMIT("movups %%xmm2, 0x20(%[dst], %[off])")
428 __ASM_EMIT("add $0x30, %[off]")
429 __ASM_EMIT("sub $12, %[count]")
430 __ASM_EMIT("jae 1b")
431
432 // 4x blocks
433 __ASM_EMIT("2:")
434 __ASM_EMIT("add $8, %[count]")
435 __ASM_EMIT("jl 4f")
436 __ASM_EMIT("3:")
437 __ASM_EMIT("movups 0x00(%[src], %[off], 2), %%xmm0")
438 __ASM_EMIT("movups 0x10(%[src], %[off], 2), %%xmm5")
439 __ASM_EMIT("movaps %%xmm0, %%xmm3")
440 __ASM_EMIT("shufps $0x88, %%xmm5, %%xmm0") /* xmm0 = re[0..3] */
441 __ASM_EMIT("shufps $0xdd, %%xmm5, %%xmm3") /* xmm3 = im[0..3] */
442 __ASM_EMIT("mulps %%xmm0, %%xmm0")
443 __ASM_EMIT("mulps %%xmm3, %%xmm3")
444 __ASM_EMIT("addps %%xmm3, %%xmm0")
445 __ASM_EMIT("sqrtps %%xmm0, %%xmm0")
446 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
447 __ASM_EMIT("add $0x10, %[off]")
448 __ASM_EMIT("sub $4, %[count]")
449 __ASM_EMIT("jae 3b")
450
451 // 1x blocks
452 __ASM_EMIT("4:")
453 __ASM_EMIT("add $3, %[count]")
454 __ASM_EMIT("jl 6f")
455 __ASM_EMIT("5:")
456 __ASM_EMIT("movss 0x00(%[src], %[off], 2), %%xmm0")
457 __ASM_EMIT("movss 0x04(%[src], %[off], 2), %%xmm3")
458 __ASM_EMIT("mulss %%xmm0, %%xmm0")
459 __ASM_EMIT("mulss %%xmm3, %%xmm3")
460 __ASM_EMIT("addss %%xmm3, %%xmm0")
461 __ASM_EMIT("sqrtss %%xmm0, %%xmm0")
462 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
463 __ASM_EMIT("add $0x4, %[off]")
464 __ASM_EMIT("dec %[count]")
465 __ASM_EMIT("jge 5b")
466
467 // End
468 __ASM_EMIT("6:")
469 : [count] "+r" (count), [off] "=&r" (off)
470 : [dst] "r" (dst), [src] "r" (src)
471 : "cc", "memory",
472 "%xmm0", "%xmm1", "%xmm2", "%xmm3", "%xmm4", "%xmm5", "%xmm6", "%xmm7"
473 );
474 }
475
476 void pcomplex_rcp2(float *dst, const float *src, size_t count)
477 {
478 ARCH_X86_ASM (
479 /* Do block processing */
480 __ASM_EMIT("test %[count], %[count]")
481 __ASM_EMIT("jz 50f")
482
483 __ASM_EMIT("sub $8, %[count]") /* count -= 8 */
484 __ASM_EMIT("jb 2f")
485 __ASM_EMIT("1:")
486 /* Perform 8x RCP */
487 __ASM_EMIT("movups 0x00(%[src]), %%xmm0") /* xmm0 = r0 i0 r1 i1 */
488 __ASM_EMIT("movups 0x10(%[src]), %%xmm4") /* xmm4 = r2 i2 r3 i3 */
489 __ASM_EMIT("movups 0x20(%[src]), %%xmm2") /* xmm2 = r4 i4 r5 i5 */
490 __ASM_EMIT("movups 0x30(%[src]), %%xmm5") /* xmm5 = r6 i6 r7 i7 */
491 /* Do shuffle */
492 __ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = r0 i0 r1 i1 */
493 __ASM_EMIT("movaps %%xmm2, %%xmm3") /* xmm3 = r4 i4 r5 i5 */
494 __ASM_EMIT("shufps $0x88, %%xmm4, %%xmm0") /* xmm0 = r0 r1 r2 r3 */
495 __ASM_EMIT("shufps $0x88, %%xmm5, %%xmm2") /* xmm2 = r4 r5 r6 r7 */
496 __ASM_EMIT("shufps $0xdd, %%xmm4, %%xmm1") /* xmm1 = i0 i1 i2 i3 */
497 __ASM_EMIT("shufps $0xdd, %%xmm5, %%xmm3") /* xmm3 = i4 i5 i6 i7 */
498 /* Perform operations */
499 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = r0 */
500 __ASM_EMIT("movaps %%xmm1, %%xmm5") /* xmm5 = i0 */
501 __ASM_EMIT("movaps %%xmm2, %%xmm6") /* xmm6 = r1 */
502 __ASM_EMIT("movaps %%xmm3, %%xmm7") /* xmm7 = i1 */
503 __ASM_EMIT("mulps %%xmm0, %%xmm4") /* xmm4 = r0*r0 */
504 __ASM_EMIT("mulps %%xmm1, %%xmm5") /* xmm5 = i0*i0 */
505 __ASM_EMIT("mulps %%xmm2, %%xmm6") /* xmm6 = r1*r1 */
506 __ASM_EMIT("mulps %%xmm3, %%xmm7") /* xmm7 = i1*i1 */
507 __ASM_EMIT("addps %%xmm5, %%xmm4") /* xmm4 = r0*r0 + i0*i0 */
508 __ASM_EMIT("addps %%xmm7, %%xmm6") /* xmm6 = r1*r1 + i1*i1 */
509 __ASM_EMIT("movaps 0x00(%[CC]), %%xmm5") /* xmm5 = 1 */
510 __ASM_EMIT("xorps 0x10(%[CC]), %%xmm1") /* xmm1 = -i0 */
511 __ASM_EMIT("movaps %%xmm5, %%xmm7") /* xmm7 = 1 */
512 __ASM_EMIT("xorps 0x10(%[CC]), %%xmm3") /* xmm3 = -i1 */
513 __ASM_EMIT("divps %%xmm4, %%xmm5") /* xmm5 = 1 / (r0*r0 + i0*i0) */
514 __ASM_EMIT("divps %%xmm6, %%xmm7") /* xmm7 = 1 / (r1*r1 + i1*i1) */
515 __ASM_EMIT("mulps %%xmm5, %%xmm0") /* xmm0 = r0' = r0 / (r0*r0 + i0*i0) */
516 __ASM_EMIT("mulps %%xmm7, %%xmm2") /* xmm2 = r1' = r1 / (r1*r1 + i1*i1) */
517 __ASM_EMIT("mulps %%xmm5, %%xmm1") /* xmm1 = i0' = -i0 / (r0*r0 + i0*i0) */
518 __ASM_EMIT("mulps %%xmm7, %%xmm3") /* xmm3 = i1' = -i1 / (r1*r1 + i1*i1) */
519 /* Do shuffle back */
520 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = r0' r1' r2' r3' */
521 __ASM_EMIT("movaps %%xmm2, %%xmm5") /* xmm5 = r4' r5' r6' r7' */
522 __ASM_EMIT("unpcklps %%xmm1, %%xmm0") /* xmm0 = r0' i0' r1' i1' */
523 __ASM_EMIT("unpcklps %%xmm3, %%xmm2") /* xmm2 = r4' i4' r5' i5' */
524 __ASM_EMIT("unpckhps %%xmm1, %%xmm4") /* xmm4 = r2' i2' r3' i3' */
525 __ASM_EMIT("unpckhps %%xmm3, %%xmm5") /* xmm5 = r6' i6' r7' i7' */
526
527 __ASM_EMIT("movups %%xmm0, 0x00(%[dst])") /* dst[0] = r0' i0' r1' i1' */
528 __ASM_EMIT("movups %%xmm4, 0x10(%[dst])") /* dst[1] = r2' i2' r3' i3' */
529 __ASM_EMIT("movups %%xmm2, 0x20(%[dst])") /* dst[2] = r4' i4' r5' i5' */
530 __ASM_EMIT("movups %%xmm5, 0x30(%[dst])") /* dst[3] = r6' i6' r7' i7' */
531 __ASM_EMIT("add $0x40, %[src]") /* src += 16 */
532 __ASM_EMIT("add $0x40, %[dst]") /* dst += 16 */
533 __ASM_EMIT("sub $8, %[count]") /* count -= 8 */
534 __ASM_EMIT("jae 1b")
535 /* Next step */
536 __ASM_EMIT("2:")
537 __ASM_EMIT("add $4, %[count]") /* count += 4 */
538 __ASM_EMIT("jl 10f")
539 /* Perform 4x RCP */
540 __ASM_EMIT("movups 0x00(%[src]), %%xmm0") /* xmm0 = r0 i0 r1 i1 */
541 __ASM_EMIT("movups 0x10(%[src]), %%xmm4") /* xmm4 = r2 i2 r3 i3 */
542 /* Do shuffle */
543 __ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = r0 i0 r1 i1 */
544 __ASM_EMIT("shufps $0x88, %%xmm4, %%xmm0") /* xmm0 = r0 r1 r2 r3 */
545 __ASM_EMIT("shufps $0xdd, %%xmm4, %%xmm1") /* xmm1 = i0 i1 i2 i3 */
546 /* Perform operations */
547 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = r0 */
548 __ASM_EMIT("movaps %%xmm1, %%xmm5") /* xmm5 = i0 */
549 __ASM_EMIT("mulps %%xmm0, %%xmm4") /* xmm4 = r0*r0 */
550 __ASM_EMIT("mulps %%xmm1, %%xmm5") /* xmm5 = i0*i0 */
551 __ASM_EMIT("addps %%xmm5, %%xmm4") /* xmm4 = r0*r0 + i0*i0 */
552 __ASM_EMIT("movaps 0x00(%[CC]), %%xmm5") /* xmm5 = 1 */
553 __ASM_EMIT("xorps 0x10(%[CC]), %%xmm1") /* xmm1 = -i0 */
554 __ASM_EMIT("divps %%xmm4, %%xmm5") /* xmm5 = 1 / (r0*r0 + i0*i0) */
555 __ASM_EMIT("mulps %%xmm5, %%xmm0") /* xmm0 = r0' = r0 / (r0*r0 + i0*i0) */
556 __ASM_EMIT("mulps %%xmm5, %%xmm1") /* xmm1 = i0' = -i0 / (r0*r0 + i0*i0) */
557 /* Do shuffle back */
558 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = r0' r1' r2' r3' */
559 __ASM_EMIT("unpcklps %%xmm1, %%xmm0") /* xmm0 = r0' i0' r1' i1' */
560 __ASM_EMIT("unpckhps %%xmm1, %%xmm4") /* xmm4 = r2' i2' r3' i3' */
561
562 __ASM_EMIT("movups %%xmm0, 0x00(%[dst])") /* dst[0] = r0' i0' r1' i1' */
563 __ASM_EMIT("movups %%xmm4, 0x10(%[dst])") /* dst[1] = r2' i2' r3' i3' */
564 __ASM_EMIT("add $0x20, %[src]") /* src += 8 */
565 __ASM_EMIT("add $0x20, %[dst]") /* dst += 8 */
566 __ASM_EMIT("sub $4, %[count]") /* count -= 4 */
567
568 /* 1x RCP */
569 __ASM_EMIT("10:")
570 __ASM_EMIT("add $4, %[count]") /* count += 4 */
571 __ASM_EMIT("jle 50f")
572 __ASM_EMIT("40:")
573 __ASM_EMIT("movss 0x00(%[src]), %%xmm0") /* xmm0 = r0 */
574 __ASM_EMIT("movss 0x04(%[src]), %%xmm1") /* xmm1 = i0 */
575 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = r0 */
576 __ASM_EMIT("movaps %%xmm1, %%xmm5") /* xmm5 = i0 */
577 __ASM_EMIT("mulss %%xmm0, %%xmm4") /* xmm4 = r0*r0 */
578 __ASM_EMIT("mulss %%xmm1, %%xmm5") /* xmm5 = i0*i0 */
579 __ASM_EMIT("addss %%xmm5, %%xmm4") /* xmm4 = r0*r0 + i0*i0 */
580 __ASM_EMIT("movaps 0x00(%[CC]), %%xmm5") /* xmm5 = 1 */
581 __ASM_EMIT("xorps 0x10(%[CC]), %%xmm1") /* xmm1 = -i0 */
582 __ASM_EMIT("divss %%xmm4, %%xmm5") /* xmm5 = 1 / (r0*r0 + i0*i0) */
583 __ASM_EMIT("mulss %%xmm5, %%xmm0") /* xmm0 = r0' = r0 / (r0*r0 + i0*i0) */
584 __ASM_EMIT("mulss %%xmm5, %%xmm1") /* xmm1 = i0' = -i0 / (r0*r0 + i0*i0) */
585 __ASM_EMIT("movss %%xmm0, 0x00(%[dst])") /* dst[0] = r0' */
586 __ASM_EMIT("movss %%xmm1, 0x04(%[dst])") /* dst[1] = i0' */
587 __ASM_EMIT("add $0x08, %[src]") /* src += 2 */
588 __ASM_EMIT("add $0x08, %[dst]") /* dst += 2 */
589 __ASM_EMIT("dec %[count]") /* count-- */
590 __ASM_EMIT("jnz 40b")
591
592 __ASM_EMIT("50:")
593 : [dst] "+r" (dst), [src] "+r" (src),
594 [count] "+r" (count)
595 : [CC] "r" (pcomplex_div_const)
596 : "cc", "memory",
597 "%xmm0", "%xmm1", "%xmm2", "%xmm3", "%xmm4", "%xmm5", "%xmm6", "%xmm7"
598 );
599 }
600
601 void pcomplex_rcp1(float *dst, size_t count)
602 {
603 ARCH_X86_ASM (
604 /* Do block processing */
605 __ASM_EMIT("test %[count], %[count]")
606 __ASM_EMIT("jz 50f")
607
608 __ASM_EMIT("sub $8, %[count]") /* count -= 8 */
609 __ASM_EMIT("jb 2f")
610 __ASM_EMIT("1:")
611 /* Perform 8x RCP */
612 __ASM_EMIT("movups 0x00(%[dst]), %%xmm0") /* xmm0 = r0 i0 r1 i1 */
613 __ASM_EMIT("movups 0x10(%[dst]), %%xmm4") /* xmm4 = r2 i2 r3 i3 */
614 __ASM_EMIT("movups 0x20(%[dst]), %%xmm2") /* xmm2 = r4 i4 r5 i5 */
615 __ASM_EMIT("movups 0x30(%[dst]), %%xmm5") /* xmm5 = r6 i6 r7 i7 */
616 /* Do shuffle */
617 __ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = r0 i0 r1 i1 */
618 __ASM_EMIT("movaps %%xmm2, %%xmm3") /* xmm3 = r4 i4 r5 i5 */
619 __ASM_EMIT("shufps $0x88, %%xmm4, %%xmm0") /* xmm0 = r0 r1 r2 r3 */
620 __ASM_EMIT("shufps $0x88, %%xmm5, %%xmm2") /* xmm2 = r4 r5 r6 r7 */
621 __ASM_EMIT("shufps $0xdd, %%xmm4, %%xmm1") /* xmm1 = i0 i1 i2 i3 */
622 __ASM_EMIT("shufps $0xdd, %%xmm5, %%xmm3") /* xmm3 = i4 i5 i6 i7 */
623 /* Perform operations */
624 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = r0 */
625 __ASM_EMIT("movaps %%xmm1, %%xmm5") /* xmm5 = i0 */
626 __ASM_EMIT("movaps %%xmm2, %%xmm6") /* xmm6 = r1 */
627 __ASM_EMIT("movaps %%xmm3, %%xmm7") /* xmm7 = i1 */
628 __ASM_EMIT("mulps %%xmm0, %%xmm4") /* xmm4 = r0*r0 */
629 __ASM_EMIT("mulps %%xmm1, %%xmm5") /* xmm5 = i0*i0 */
630 __ASM_EMIT("mulps %%xmm2, %%xmm6") /* xmm6 = r1*r1 */
631 __ASM_EMIT("mulps %%xmm3, %%xmm7") /* xmm7 = i1*i1 */
632 __ASM_EMIT("addps %%xmm5, %%xmm4") /* xmm4 = r0*r0 + i0*i0 */
633 __ASM_EMIT("addps %%xmm7, %%xmm6") /* xmm6 = r1*r1 + i1*i1 */
634 __ASM_EMIT("movaps 0x00(%[CC]), %%xmm5") /* xmm5 = 1 */
635 __ASM_EMIT("xorps 0x10(%[CC]), %%xmm1") /* xmm1 = -i0 */
636 __ASM_EMIT("movaps %%xmm5, %%xmm7") /* xmm7 = 1 */
637 __ASM_EMIT("xorps 0x10(%[CC]), %%xmm3") /* xmm3 = -i1 */
638 __ASM_EMIT("divps %%xmm4, %%xmm5") /* xmm5 = 1 / (r0*r0 + i0*i0) */
639 __ASM_EMIT("divps %%xmm6, %%xmm7") /* xmm7 = 1 / (r1*r1 + i1*i1) */
640 __ASM_EMIT("mulps %%xmm5, %%xmm0") /* xmm0 = r0' = r0 / (r0*r0 + i0*i0) */
641 __ASM_EMIT("mulps %%xmm7, %%xmm2") /* xmm2 = r1' = r1 / (r1*r1 + i1*i1) */
642 __ASM_EMIT("mulps %%xmm5, %%xmm1") /* xmm1 = i0' = -i0 / (r0*r0 + i0*i0) */
643 __ASM_EMIT("mulps %%xmm7, %%xmm3") /* xmm3 = i1' = -i1 / (r1*r1 + i1*i1) */
644 /* Do shuffle back */
645 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = r0' r1' r2' r3' */
646 __ASM_EMIT("movaps %%xmm2, %%xmm5") /* xmm5 = r4' r5' r6' r7' */
647 __ASM_EMIT("unpcklps %%xmm1, %%xmm0") /* xmm0 = r0' i0' r1' i1' */
648 __ASM_EMIT("unpcklps %%xmm3, %%xmm2") /* xmm2 = r4' i4' r5' i5' */
649 __ASM_EMIT("unpckhps %%xmm1, %%xmm4") /* xmm4 = r2' i2' r3' i3' */
650 __ASM_EMIT("unpckhps %%xmm3, %%xmm5") /* xmm5 = r6' i6' r7' i7' */
651
652 __ASM_EMIT("movups %%xmm0, 0x00(%[dst])") /* dst[0] = r0' i0' r1' i1' */
653 __ASM_EMIT("movups %%xmm4, 0x10(%[dst])") /* dst[1] = r2' i2' r3' i3' */
654 __ASM_EMIT("movups %%xmm2, 0x20(%[dst])") /* dst[2] = r4' i4' r5' i5' */
655 __ASM_EMIT("movups %%xmm5, 0x30(%[dst])") /* dst[3] = r6' i6' r7' i7' */
656 __ASM_EMIT("add $0x40, %[dst]") /* dst += 16 */
657 __ASM_EMIT("sub $8, %[count]") /* count -= 8 */
658 __ASM_EMIT("jae 1b")
659 /* Next step */
660 __ASM_EMIT("2:")
661 __ASM_EMIT("add $4, %[count]") /* count += 4 */
662 __ASM_EMIT("jl 10f")
663 /* Perform 4x RCP */
664 __ASM_EMIT("movups 0x00(%[dst]), %%xmm0") /* xmm0 = r0 i0 r1 i1 */
665 __ASM_EMIT("movups 0x10(%[dst]), %%xmm4") /* xmm4 = r2 i2 r3 i3 */
666 /* Do shuffle */
667 __ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = r0 i0 r1 i1 */
668 __ASM_EMIT("shufps $0x88, %%xmm4, %%xmm0") /* xmm0 = r0 r1 r2 r3 */
669 __ASM_EMIT("shufps $0xdd, %%xmm4, %%xmm1") /* xmm1 = i0 i1 i2 i3 */
670 /* Perform operations */
671 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = r0 */
672 __ASM_EMIT("movaps %%xmm1, %%xmm5") /* xmm5 = i0 */
673 __ASM_EMIT("mulps %%xmm0, %%xmm4") /* xmm4 = r0*r0 */
674 __ASM_EMIT("mulps %%xmm1, %%xmm5") /* xmm5 = i0*i0 */
675 __ASM_EMIT("addps %%xmm5, %%xmm4") /* xmm4 = r0*r0 + i0*i0 */
676 __ASM_EMIT("movaps 0x00(%[CC]), %%xmm5") /* xmm5 = 1 */
677 __ASM_EMIT("xorps 0x10(%[CC]), %%xmm1") /* xmm1 = -i0 */
678 __ASM_EMIT("divps %%xmm4, %%xmm5") /* xmm5 = 1 / (r0*r0 + i0*i0) */
679 __ASM_EMIT("mulps %%xmm5, %%xmm0") /* xmm0 = r0' = r0 / (r0*r0 + i0*i0) */
680 __ASM_EMIT("mulps %%xmm5, %%xmm1") /* xmm1 = i0' = -i0 / (r0*r0 + i0*i0) */
681 /* Do shuffle back */
682 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = r0' r1' r2' r3' */
683 __ASM_EMIT("unpcklps %%xmm1, %%xmm0") /* xmm0 = r0' i0' r1' i1' */
684 __ASM_EMIT("unpckhps %%xmm1, %%xmm4") /* xmm4 = r2' i2' r3' i3' */
685
686 __ASM_EMIT("movups %%xmm0, 0x00(%[dst])") /* dst[0] = r0' i0' r1' i1' */
687 __ASM_EMIT("movups %%xmm4, 0x10(%[dst])") /* dst[1] = r2' i2' r3' i3' */
688 __ASM_EMIT("add $0x20, %[dst]") /* dst += 8 */
689 __ASM_EMIT("sub $4, %[count]") /* count -= 4 */
690 /* 1x RCP */
691 __ASM_EMIT("10:")
692 __ASM_EMIT("add $4, %[count]") /* count += 4 */
693 __ASM_EMIT("jle 50f")
694 __ASM_EMIT("40:")
695 __ASM_EMIT("movss 0x00(%[dst]), %%xmm0") /* xmm0 = r0 */
696 __ASM_EMIT("movss 0x04(%[dst]), %%xmm1") /* xmm1 = i0 */
697 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = r0 */
698 __ASM_EMIT("movaps %%xmm1, %%xmm5") /* xmm5 = i0 */
699 __ASM_EMIT("mulss %%xmm0, %%xmm4") /* xmm4 = r0*r0 */
700 __ASM_EMIT("mulss %%xmm1, %%xmm5") /* xmm5 = i0*i0 */
701 __ASM_EMIT("addss %%xmm5, %%xmm4") /* xmm4 = r0*r0 + i0*i0 */
702 __ASM_EMIT("movaps 0x00(%[CC]), %%xmm5") /* xmm5 = 1 */
703 __ASM_EMIT("xorps 0x10(%[CC]), %%xmm1") /* xmm1 = -i0 */
704 __ASM_EMIT("divss %%xmm4, %%xmm5") /* xmm5 = 1 / (r0*r0 + i0*i0) */
705 __ASM_EMIT("mulss %%xmm5, %%xmm0") /* xmm0 = r0' = r0 / (r0*r0 + i0*i0) */
706 __ASM_EMIT("mulss %%xmm5, %%xmm1") /* xmm1 = i0' = -i0 / (r0*r0 + i0*i0) */
707 __ASM_EMIT("movss %%xmm0, 0x00(%[dst])") /* dst[0] = r0' */
708 __ASM_EMIT("movss %%xmm1, 0x04(%[dst])") /* dst[1] = i0' */
709 __ASM_EMIT("add $0x08, %[dst]") /* dst += 2 */
710 __ASM_EMIT("dec %[count]") /* count-- */
711 __ASM_EMIT("jnz 40b")
712
713 __ASM_EMIT("50:")
714 : [dst] "+r" (dst),
715 [count] "+r" (count)
716 : [CC] "r" (pcomplex_div_const)
717 : "cc", "memory",
718 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
719 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
720 );
721 }
722
723 #define PCOMPLEX_DIV_CORE(DST, T, B) \
724 __ASM_EMIT("xor %[off], %[off]") \
725 /* x4 blocks */ \
726 __ASM_EMIT("sub $4, %[count]") \
727 __ASM_EMIT("jb 2f") \
728 __ASM_EMIT("1:") \
729 __ASM_EMIT("movups 0x00(%[" B "], %[off]), %%xmm0") /* xmm0 = br0 bi0 br1 bi1 */ \
730 __ASM_EMIT("movups 0x10(%[" B "], %[off]), %%xmm4") /* xmm4 = br2 bi2 br3 bi3 */ \
731 __ASM_EMIT("movups 0x00(%[" T "], %[off]), %%xmm2") /* xmm2 = tr0 ti0 tr1 ti1 */ \
732 __ASM_EMIT("movups 0x10(%[" T "], %[off]), %%xmm6") /* xmm6 = tr2 ti2 tr3 ti3 */ \
733 __ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = br0 bi0 br1 bi1 */ \
734 __ASM_EMIT("movaps %%xmm2, %%xmm3") /* xmm3 = tr0 ti0 tr1 ti1 */ \
735 __ASM_EMIT("shufps $0x88, %%xmm4, %%xmm0") /* xmm0 = br */ \
736 __ASM_EMIT("shufps $0x88, %%xmm6, %%xmm2") /* xmm2 = tr */ \
737 __ASM_EMIT("shufps $0xdd, %%xmm4, %%xmm1") /* xmm1 = bi */ \
738 __ASM_EMIT("shufps $0xdd, %%xmm6, %%xmm3") /* xmm3 = ti */ \
739 __ASM_EMIT("movaps %%xmm0, %%xmm7") /* xmm7 = br */ \
740 __ASM_EMIT("movaps %%xmm1, %%xmm6") /* xmm6 = bi */ \
741 __ASM_EMIT("movaps %%xmm2, %%xmm4") /* xmm4 = tr */ \
742 __ASM_EMIT("movaps %%xmm3, %%xmm5") /* xmm5 = ti */ \
743 __ASM_EMIT("mulps %%xmm7, %%xmm7") /* xmm7 = br*br */ \
744 __ASM_EMIT("mulps %%xmm6, %%xmm6") /* xmm6 = bi*bi */ \
745 __ASM_EMIT("mulps %%xmm0, %%xmm2") /* xmm2 = tr*br */ \
746 __ASM_EMIT("mulps %%xmm0, %%xmm3") /* xmm3 = ti*br */ \
747 __ASM_EMIT("addps %%xmm6, %%xmm7") /* xmm7 = R = br*br + bi*bi */ \
748 __ASM_EMIT("movaps 0x00 + %[CC], %%xmm6") /* xmm6 = 1 */ \
749 __ASM_EMIT("mulps %%xmm1, %%xmm5") /* xmm5 = ti*bi */ \
750 __ASM_EMIT("mulps %%xmm1, %%xmm4") /* xmm4 = tr*bi */ \
751 __ASM_EMIT("divps %%xmm7, %%xmm6") /* xmm6 = 1/R */ \
752 __ASM_EMIT("addps %%xmm5, %%xmm2") /* xmm2 = r = tr*br + ti*bi */ \
753 __ASM_EMIT("subps %%xmm4, %%xmm3") /* xmm3 = i = ti*br - tr*bi */ \
754 __ASM_EMIT("mulps %%xmm6, %%xmm2") /* xmm2 = r/R */ \
755 __ASM_EMIT("mulps %%xmm6, %%xmm3") /* xmm3 = i/R */ \
756 __ASM_EMIT("movaps %%xmm2, %%xmm4") /* xmm2 = r/R */ \
757 __ASM_EMIT("unpcklps %%xmm3, %%xmm2") /* xmm2 = r0' i0' r1' i1' */ \
758 __ASM_EMIT("unpckhps %%xmm3, %%xmm4") /* xmm4 = r2' i2' r3' i3' */ \
759 __ASM_EMIT("movups %%xmm2, 0x00(%[" DST "], %[off])") \
760 __ASM_EMIT("movups %%xmm4, 0x10(%[" DST "], %[off])") \
761 __ASM_EMIT("add $0x20, %[off]") \
762 __ASM_EMIT("sub $4, %[count]") \
763 __ASM_EMIT("jae 1b") \
764 /* x1 blocks */ \
765 __ASM_EMIT("2:") \
766 __ASM_EMIT("add $3, %[count]") \
767 __ASM_EMIT("jl 4f") \
768 __ASM_EMIT("3:") \
769 __ASM_EMIT("movss 0x00(%[" B "], %[off]), %%xmm0") /* xmm0 = br */ \
770 __ASM_EMIT("movss 0x04(%[" B "], %[off]), %%xmm1") /* xmm1 = bi */ \
771 __ASM_EMIT("movss 0x00(%[" T "], %[off]), %%xmm2") /* xmm2 = tr */ \
772 __ASM_EMIT("movss 0x04(%[" T "], %[off]), %%xmm3") /* xmm3 = ti */ \
773 __ASM_EMIT("movaps %%xmm0, %%xmm7") /* xmm7 = br */ \
774 __ASM_EMIT("movaps %%xmm1, %%xmm6") /* xmm6 = bi */ \
775 __ASM_EMIT("movaps %%xmm2, %%xmm4") /* xmm4 = tr */ \
776 __ASM_EMIT("movaps %%xmm3, %%xmm5") /* xmm5 = ti */ \
777 __ASM_EMIT("mulss %%xmm7, %%xmm7") /* xmm7 = br*br */ \
778 __ASM_EMIT("mulss %%xmm6, %%xmm6") /* xmm6 = bi*bi */ \
779 __ASM_EMIT("mulss %%xmm0, %%xmm2") /* xmm2 = tr*br */ \
780 __ASM_EMIT("mulss %%xmm0, %%xmm3") /* xmm3 = ti*br */ \
781 __ASM_EMIT("addss %%xmm6, %%xmm7") /* xmm7 = R = br*br + bi*bi */ \
782 __ASM_EMIT("movaps 0x00 + %[CC], %%xmm6") /* xmm6 = 1 */ \
783 __ASM_EMIT("mulss %%xmm1, %%xmm5") /* xmm5 = ti*bi */ \
784 __ASM_EMIT("mulss %%xmm1, %%xmm4") /* xmm4 = tr*bi */ \
785 __ASM_EMIT("divss %%xmm7, %%xmm6") /* xmm6 = 1/R */ \
786 __ASM_EMIT("addss %%xmm5, %%xmm2") /* xmm2 = r = tr*br + ti*bi */ \
787 __ASM_EMIT("subss %%xmm4, %%xmm3") /* xmm3 = i = ti*br - tr*bi */ \
788 __ASM_EMIT("mulss %%xmm6, %%xmm2") /* xmm2 = r/R */ \
789 __ASM_EMIT("mulss %%xmm6, %%xmm3") /* xmm3 = i/R */ \
790 __ASM_EMIT("movss %%xmm2, 0x00(%[" DST "], %[off])") \
791 __ASM_EMIT("movss %%xmm3, 0x04(%[" DST "], %[off])") \
792 __ASM_EMIT("add $0x08, %[off]") \
793 __ASM_EMIT("dec %[count]") \
794 __ASM_EMIT("jge 3b") \
795 __ASM_EMIT("4:") \
796 /* end */
797
798 void pcomplex_div2(float *dst, const float *src, size_t count)
799 {
800 IF_ARCH_X86(size_t off);
801 ARCH_X86_ASM
802 (
803 PCOMPLEX_DIV_CORE("dst", "dst", "src")
804 : [count] "+r" (count), [off] "=&r" (off)
805 : [dst] "r" (dst), [src] "r" (src),
806 [CC] "o" (pcomplex_div_const)
807 : "cc", "memory",
808 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
809 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
810 );
811 }
812
813 void pcomplex_rdiv2(float *dst, const float *src, size_t count)
814 {
815 IF_ARCH_X86(size_t off);
816 ARCH_X86_ASM
817 (
818 PCOMPLEX_DIV_CORE("dst", "src", "dst")
819 : [count] "+r" (count), [off] "=&r" (off)
820 : [dst] "r" (dst), [src] "r" (src),
821 [CC] "o" (pcomplex_div_const)
822 : "cc", "memory",
823 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
824 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
825 );
826 }
827
828 void pcomplex_div3(float *dst, const float *t, const float *b, size_t count)
829 {
830 IF_ARCH_X86(size_t off);
831 ARCH_X86_ASM
832 (
833 PCOMPLEX_DIV_CORE("dst", "t", "b")
834 : [count] "+r" (count), [off] "=&r" (off)
835 : [dst] "r" (dst), [t] "r" (t), [b] "r" (b),
836 [CC] "o" (pcomplex_div_const)
837 : "cc", "memory",
838 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
839 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
840 );
841 }
842
843
844 void pcomplex_r2c_add2(float *dst, const float *src, size_t count)
845 {
846 IF_ARCH_X86(size_t off);
847 ARCH_X86_ASM
848 (
849 __ASM_EMIT("xor %[off], %[off]")
850 /* x4 blocks */
851 __ASM_EMIT("sub $4, %[count]") \
852 __ASM_EMIT("jb 2f") \
853 __ASM_EMIT("xorps %%xmm6, %%xmm6") /* xmm6 = 0 */
854 __ASM_EMIT("xorps %%xmm7, %%xmm7") /* xmm7 = 0 */
855 __ASM_EMIT("1:") \
856 __ASM_EMIT("movups 0x00(%[src], %[off]), %%xmm4") /* xmm4 = s0 s1 s2 s3 */
857 __ASM_EMIT("movups 0x00(%[dst], %[off], 2), %%xmm0") /* xmm0 = r0 i0 r1 i1 */
858 __ASM_EMIT("movaps %%xmm4, %%xmm5") /* xmm5 = s0 s1 s2 s3 */
859 __ASM_EMIT("movups 0x10(%[dst], %[off], 2), %%xmm1") /* xmm1 = r2 i2 r3 i3 */
860 __ASM_EMIT("unpcklps %%xmm6, %%xmm4") /* xmm4 = s0 0 s1 0 */
861 __ASM_EMIT("unpckhps %%xmm7, %%xmm5") /* xmm5 = s2 0 s3 0 */
862 __ASM_EMIT("addps %%xmm4, %%xmm0") /* xmm0 = r0+s0 i0 r1+s1 i1 */
863 __ASM_EMIT("addps %%xmm5, %%xmm1") /* xmm1 = r2+s2 i2 r3+s3 i3 */
864 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off], 2)")
865 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off], 2)")
866 __ASM_EMIT("add $0x10, %[off]") \
867 __ASM_EMIT("sub $4, %[count]") \
868 __ASM_EMIT("jae 1b") \
869 /* x1 blocks */ \
870 __ASM_EMIT("2:") \
871 __ASM_EMIT("add $3, %[count]") \
872 __ASM_EMIT("jl 4f") \
873 __ASM_EMIT("3:") \
874 __ASM_EMIT("movss 0x00(%[src], %[off]), %%xmm4") /* xmm4 = s0 */
875 __ASM_EMIT("movss 0x00(%[dst], %[off], 2), %%xmm0") /* xmm0 = r0 */
876 __ASM_EMIT("addss %%xmm4, %%xmm0") /* xmm0 = r0+s0 */
877 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off], 2)")
878 __ASM_EMIT("add $0x04, %[off]") \
879 __ASM_EMIT("dec %[count]") \
880 __ASM_EMIT("jge 3b") \
881 __ASM_EMIT("4:") \
882 /* end */
883
884 : [count] "+r" (count), [off] "=&r" (off)
885 : [dst] "r" (dst), [src] "r" (src)
886 : "cc", "memory",
887 "%xmm0", "%xmm1",
888 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
889 );
890 }
891
892 void pcomplex_r2c_sub2(float *dst, const float *src, size_t count)
893 {
894 IF_ARCH_X86(size_t off);
895 ARCH_X86_ASM
896 (
897 __ASM_EMIT("xor %[off], %[off]")
898 /* x4 blocks */
899 __ASM_EMIT("sub $4, %[count]")
900 __ASM_EMIT("jb 2f")
901 __ASM_EMIT("xorps %%xmm6, %%xmm6") /* xmm6 = 0 */
902 __ASM_EMIT("xorps %%xmm7, %%xmm7") /* xmm7 = 0 */
903 __ASM_EMIT("1:")
904 __ASM_EMIT("movups 0x00(%[src], %[off]), %%xmm4") /* xmm4 = s0 s1 s2 s3 */
905 __ASM_EMIT("movups 0x00(%[dst], %[off], 2), %%xmm0") /* xmm0 = r0 i0 r1 i1 */
906 __ASM_EMIT("movaps %%xmm4, %%xmm5") /* xmm5 = s0 s1 s2 s3 */
907 __ASM_EMIT("movups 0x10(%[dst], %[off], 2), %%xmm1") /* xmm1 = r2 i2 r3 i3 */
908 __ASM_EMIT("unpcklps %%xmm6, %%xmm4") /* xmm4 = s0 0 s1 0 */
909 __ASM_EMIT("unpckhps %%xmm7, %%xmm5") /* xmm5 = s2 0 s3 0 */
910 __ASM_EMIT("subps %%xmm4, %%xmm0") /* xmm0 = r0-s0 i0 r1-s1 i1 */
911 __ASM_EMIT("subps %%xmm5, %%xmm1") /* xmm1 = r2-s2 i2 r3-s3 i3 */
912 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off], 2)")
913 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off], 2)")
914 __ASM_EMIT("add $0x10, %[off]")
915 __ASM_EMIT("sub $4, %[count]")
916 __ASM_EMIT("jae 1b")
917 /* x1 blocks */
918 __ASM_EMIT("2:")
919 __ASM_EMIT("add $3, %[count]")
920 __ASM_EMIT("jl 4f")
921 __ASM_EMIT("3:")
922 __ASM_EMIT("movss 0x00(%[src], %[off]), %%xmm4") /* xmm4 = s0 */
923 __ASM_EMIT("movss 0x00(%[dst], %[off], 2), %%xmm0") /* xmm0 = r0 */
924 __ASM_EMIT("subss %%xmm4, %%xmm0") /* xmm0 = r0-s0 */
925 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off], 2)")
926 __ASM_EMIT("add $0x04, %[off]")
927 __ASM_EMIT("dec %[count]")
928 __ASM_EMIT("jge 3b")
929 __ASM_EMIT("4:")
930 /* end */
931
932 : [count] "+r" (count), [off] "=&r" (off)
933 : [dst] "r" (dst), [src] "r" (src)
934 : "cc", "memory",
935 "%xmm0", "%xmm1",
936 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
937 );
938 }
939
940 void pcomplex_r2c_rsub2(float *dst, const float *src, size_t count)
941 {
942 IF_ARCH_X86(size_t off);
943 ARCH_X86_ASM
944 (
945 __ASM_EMIT("xor %[off], %[off]")
946 __ASM_EMIT("xorps %%xmm6, %%xmm6") /* xmm6 = 0 */
947 /* x4 blocks */
948 __ASM_EMIT("sub $4, %[count]")
949 __ASM_EMIT("xorps %%xmm7, %%xmm7") /* xmm7 = 0 */
950 __ASM_EMIT("jb 2f")
951 __ASM_EMIT("1:")
952 __ASM_EMIT("movups 0x00(%[src], %[off]), %%xmm4") /* xmm4 = s0 s1 s2 s3 */
953 __ASM_EMIT("movups 0x00(%[dst], %[off], 2), %%xmm0") /* xmm0 = r0 i0 r1 i1 */
954 __ASM_EMIT("movaps %%xmm4, %%xmm5") /* xmm5 = s0 s1 s2 s3 */
955 __ASM_EMIT("movups 0x10(%[dst], %[off], 2), %%xmm1") /* xmm1 = r2 i2 r3 i3 */
956 __ASM_EMIT("unpcklps %%xmm6, %%xmm4") /* xmm4 = s0 0 s1 0 */
957 __ASM_EMIT("unpckhps %%xmm7, %%xmm5") /* xmm5 = s2 0 s3 0 */
958 __ASM_EMIT("subps %%xmm0, %%xmm4") /* xmm4 = s0-r0 -i0 s1-r1 */
959 __ASM_EMIT("subps %%xmm1, %%xmm5") /* xmm5 = s2-r2 -i2 s3-r3 */
960 __ASM_EMIT("movups %%xmm4, 0x00(%[dst], %[off], 2)")
961 __ASM_EMIT("movups %%xmm5, 0x10(%[dst], %[off], 2)")
962 __ASM_EMIT("add $0x10, %[off]")
963 __ASM_EMIT("sub $4, %[count]")
964 __ASM_EMIT("jae 1b")
965 /* x1 blocks */
966 __ASM_EMIT("2:")
967 __ASM_EMIT("add $3, %[count]")
968 __ASM_EMIT("jl 4f")
969 __ASM_EMIT("3:")
970 __ASM_EMIT("movss 0x00(%[src], %[off]), %%xmm4") /* xmm4 = s0 */
971 __ASM_EMIT("movlps 0x00(%[dst], %[off], 2), %%xmm0") /* xmm0 = r0 i0 */
972 __ASM_EMIT("unpcklps %%xmm6, %%xmm4") /* xmm4 = s0 0 */
973 __ASM_EMIT("subps %%xmm0, %%xmm4") /* xmm4 = s0-r0 -i0 */
974 __ASM_EMIT("movlps %%xmm4, 0x00(%[dst], %[off], 2)")
975 __ASM_EMIT("add $0x04, %[off]")
976 __ASM_EMIT("dec %[count]")
977 __ASM_EMIT("jge 3b")
978 __ASM_EMIT("4:")
979 /* end */
980
981 : [count] "+r" (count), [off] "=&r" (off)
982 : [dst] "r" (dst), [src] "r" (src)
983 : "cc", "memory",
984 "%xmm0", "%xmm1",
985 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
986 );
987 }
988
989 void pcomplex_r2c_mul2(float *dst, const float *src, size_t count)
990 {
991 IF_ARCH_X86(size_t off);
992 ARCH_X86_ASM
993 (
994 __ASM_EMIT("xor %[off], %[off]")
995 /* x8 blocks */
996 __ASM_EMIT("sub $8, %[count]")
997 __ASM_EMIT("jb 2f")
998 __ASM_EMIT("1:")
999 __ASM_EMIT("movups 0x00(%[src], %[off]), %%xmm4") /* xmm4 = s0 s1 s2 s3 */
1000 __ASM_EMIT("movups 0x10(%[src], %[off]), %%xmm6") /* xmm6 = s4 s5 s6 s7 */
1001 __ASM_EMIT("movups 0x00(%[dst], %[off], 2), %%xmm0") /* xmm0 = r0 i0 r1 i1 */
1002 __ASM_EMIT("movups 0x10(%[dst], %[off], 2), %%xmm1") /* xmm1 = r2 i2 r3 i3 */
1003 __ASM_EMIT("movups 0x20(%[dst], %[off], 2), %%xmm2") /* xmm2 = r0 i0 r1 i1 */
1004 __ASM_EMIT("movups 0x30(%[dst], %[off], 2), %%xmm3") /* xmm3 = r2 i2 r3 i3 */
1005 __ASM_EMIT("movaps %%xmm4, %%xmm5") /* xmm5 = s0 s1 s2 s3 */
1006 __ASM_EMIT("movaps %%xmm6, %%xmm7") /* xmm7 = s4 s5 s6 s7 */
1007 __ASM_EMIT("unpcklps %%xmm4, %%xmm4") /* xmm4 = s0 s0 s1 s1 */
1008 __ASM_EMIT("unpckhps %%xmm5, %%xmm5") /* xmm5 = s2 s2 s3 s3 */
1009 __ASM_EMIT("unpcklps %%xmm6, %%xmm6") /* xmm6 = s4 s4 s5 s5 */
1010 __ASM_EMIT("unpckhps %%xmm7, %%xmm7") /* xmm7 = s6 s6 s7 s7 */
1011 __ASM_EMIT("mulps %%xmm4, %%xmm0") /* xmm0 = r0*s0 i0*s0 r1*s1 i1*s1 */
1012 __ASM_EMIT("mulps %%xmm5, %%xmm1") /* xmm1 = r2*s2 i2*s2 r3*s3 i3*s3 */
1013 __ASM_EMIT("mulps %%xmm6, %%xmm2") /* xmm2 = r4*s4 i4*s4 r5*s5 i5*s5 */
1014 __ASM_EMIT("mulps %%xmm7, %%xmm3") /* xmm3 = r6*s6 i6*s6 r7*s7 i7*s7 */
1015 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off], 2)")
1016 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off], 2)")
1017 __ASM_EMIT("movups %%xmm2, 0x20(%[dst], %[off], 2)")
1018 __ASM_EMIT("movups %%xmm3, 0x30(%[dst], %[off], 2)")
1019 __ASM_EMIT("add $0x20, %[off]")
1020 __ASM_EMIT("sub $8, %[count]")
1021 __ASM_EMIT("jae 1b")
1022 /* x4 block */
1023 __ASM_EMIT("2:")
1024 __ASM_EMIT("add $4, %[count]")
1025 __ASM_EMIT("jl 4f")
1026 __ASM_EMIT("movups 0x00(%[src], %[off]), %%xmm4") /* xmm4 = s0 s1 s2 s3 */
1027 __ASM_EMIT("movups 0x00(%[dst], %[off], 2), %%xmm0") /* xmm0 = r0 i0 r1 i1 */
1028 __ASM_EMIT("movups 0x10(%[dst], %[off], 2), %%xmm1") /* xmm1 = r2 i2 r3 i3 */
1029 __ASM_EMIT("movaps %%xmm4, %%xmm5") /* xmm5 = s0 s1 s2 s3 */
1030 __ASM_EMIT("unpcklps %%xmm4, %%xmm4") /* xmm4 = s0 s0 s1 s1 */
1031 __ASM_EMIT("unpckhps %%xmm5, %%xmm5") /* xmm5 = s2 s2 s3 s3 */
1032 __ASM_EMIT("mulps %%xmm4, %%xmm0") /* xmm0 = r0*s0 i0*s0 r1*s1 i1*s1 */
1033 __ASM_EMIT("mulps %%xmm5, %%xmm1") /* xmm1 = r2*s2 i2*s2 r3*s3 i3*s3 */
1034 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off], 2)")
1035 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off], 2)")
1036 __ASM_EMIT("add $0x10, %[off]")
1037 __ASM_EMIT("sub $4, %[count]")
1038 /* x1 blocks */
1039 __ASM_EMIT("4:")
1040 __ASM_EMIT("add $3, %[count]")
1041 __ASM_EMIT("jl 6f")
1042 __ASM_EMIT("5:")
1043 __ASM_EMIT("movss 0x00(%[src], %[off]), %%xmm4") /* xmm4 = s0 */
1044 __ASM_EMIT("movlps 0x00(%[dst], %[off], 2), %%xmm0") /* xmm0 = r0 i0 */
1045 __ASM_EMIT("unpcklps %%xmm4, %%xmm4") /* xmm4 = s0 s0 */
1046 __ASM_EMIT("mulps %%xmm4, %%xmm0") /* xmm0 = r0*s0 i0*s0 */
1047 __ASM_EMIT("movlps %%xmm0, 0x00(%[dst], %[off], 2)")
1048 __ASM_EMIT("add $0x04, %[off]")
1049 __ASM_EMIT("dec %[count]")
1050 __ASM_EMIT("jge 5b")
1051 __ASM_EMIT("6:")
1052 /* end */
1053
1054 : [count] "+r" (count), [off] "=&r" (off)
1055 : [dst] "r" (dst), [src] "r" (src)
1056 : "cc", "memory",
1057 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1058 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1059 );
1060 }
1061
1062 void pcomplex_r2c_div2(float *dst, const float *src, size_t count)
1063 {
1064 IF_ARCH_X86(size_t off);
1065 ARCH_X86_ASM
1066 (
1067 __ASM_EMIT("xor %[off], %[off]")
1068 /* x8 blocks */
1069 __ASM_EMIT("sub $8, %[count]")
1070 __ASM_EMIT("jb 2f")
1071 __ASM_EMIT("1:")
1072 __ASM_EMIT("movups 0x00(%[src], %[off]), %%xmm4") /* xmm4 = s0 s1 s2 s3 */
1073 __ASM_EMIT("movups 0x10(%[src], %[off]), %%xmm6") /* xmm6 = s4 s5 s6 s7 */
1074 __ASM_EMIT("movups 0x00(%[dst], %[off], 2), %%xmm0") /* xmm0 = r0 i0 r1 i1 */
1075 __ASM_EMIT("movups 0x10(%[dst], %[off], 2), %%xmm1") /* xmm1 = r2 i2 r3 i3 */
1076 __ASM_EMIT("movups 0x20(%[dst], %[off], 2), %%xmm2") /* xmm2 = r0 i0 r1 i1 */
1077 __ASM_EMIT("movups 0x30(%[dst], %[off], 2), %%xmm3") /* xmm3 = r2 i2 r3 i3 */
1078 __ASM_EMIT("movaps %%xmm4, %%xmm5") /* xmm5 = s0 s1 s2 s3 */
1079 __ASM_EMIT("movaps %%xmm6, %%xmm7") /* xmm7 = s4 s5 s6 s7 */
1080 __ASM_EMIT("unpcklps %%xmm4, %%xmm4") /* xmm4 = s0 s0 s1 s1 */
1081 __ASM_EMIT("unpckhps %%xmm5, %%xmm5") /* xmm5 = s2 s2 s3 s3 */
1082 __ASM_EMIT("unpcklps %%xmm6, %%xmm6") /* xmm6 = s4 s4 s5 s5 */
1083 __ASM_EMIT("unpckhps %%xmm7, %%xmm7") /* xmm7 = s6 s6 s7 s7 */
1084 __ASM_EMIT("divps %%xmm4, %%xmm0") /* xmm0 = r0/s0 i0/s0 r1/s1 i1/s1 */
1085 __ASM_EMIT("divps %%xmm5, %%xmm1") /* xmm1 = r2/s2 i2/s2 r3/s3 i3/s3 */
1086 __ASM_EMIT("divps %%xmm6, %%xmm2") /* xmm2 = r4/s4 i4/s4 r5/s5 i5/s5 */
1087 __ASM_EMIT("divps %%xmm7, %%xmm3") /* xmm3 = r6/s6 i6/s6 r7/s7 i7/s7 */
1088 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off], 2)")
1089 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off], 2)")
1090 __ASM_EMIT("movups %%xmm2, 0x20(%[dst], %[off], 2)")
1091 __ASM_EMIT("movups %%xmm3, 0x30(%[dst], %[off], 2)")
1092 __ASM_EMIT("add $0x20, %[off]")
1093 __ASM_EMIT("sub $8, %[count]")
1094 __ASM_EMIT("jae 1b")
1095 /* x4 block */
1096 __ASM_EMIT("2:")
1097 __ASM_EMIT("add $4, %[count]")
1098 __ASM_EMIT("jl 4f")
1099 __ASM_EMIT("movups 0x00(%[src], %[off]), %%xmm4") /* xmm4 = s0 s1 s2 s3 */
1100 __ASM_EMIT("movups 0x00(%[dst], %[off], 2), %%xmm0") /* xmm0 = r0 i0 r1 i1 */
1101 __ASM_EMIT("movups 0x10(%[dst], %[off], 2), %%xmm1") /* xmm1 = r2 i2 r3 i3 */
1102 __ASM_EMIT("movaps %%xmm4, %%xmm5") /* xmm5 = s0 s1 s2 s3 */
1103 __ASM_EMIT("unpcklps %%xmm4, %%xmm4") /* xmm4 = s0 s0 s1 s1 */
1104 __ASM_EMIT("unpckhps %%xmm5, %%xmm5") /* xmm5 = s2 s2 s3 s3 */
1105 __ASM_EMIT("divps %%xmm4, %%xmm0") /* xmm0 = r0*s0 i0*s0 r1*s1 i1*s1 */
1106 __ASM_EMIT("divps %%xmm5, %%xmm1") /* xmm1 = r2*s2 i2*s2 r3*s3 i3*s3 */
1107 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off], 2)")
1108 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off], 2)")
1109 __ASM_EMIT("add $0x10, %[off]")
1110 __ASM_EMIT("sub $4, %[count]")
1111 /* x1 blocks */
1112 __ASM_EMIT("4:")
1113 __ASM_EMIT("add $3, %[count]")
1114 __ASM_EMIT("jl 6f")
1115 __ASM_EMIT("5:")
1116 __ASM_EMIT("movss 0x00(%[src], %[off]), %%xmm4") /* xmm4 = s0 */
1117 __ASM_EMIT("movlps 0x00(%[dst], %[off], 2), %%xmm0") /* xmm0 = r0 i0 */
1118 __ASM_EMIT("unpcklps %%xmm4, %%xmm4") /* xmm4 = s0 s0 */
1119 __ASM_EMIT("divps %%xmm4, %%xmm0") /* xmm0 = r0*s0 i0*s0 */
1120 __ASM_EMIT("movlps %%xmm0, 0x00(%[dst], %[off], 2)")
1121 __ASM_EMIT("add $0x04, %[off]")
1122 __ASM_EMIT("dec %[count]")
1123 __ASM_EMIT("jge 5b")
1124 __ASM_EMIT("6:")
1125 /* end */
1126
1127 : [count] "+r" (count), [off] "=&r" (off)
1128 : [dst] "r" (dst), [src] "r" (src)
1129 : "cc", "memory",
1130 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1131 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1132 );
1133 }
1134
1135 void pcomplex_r2c_rdiv2(float *dst, const float *src, size_t count)
1136 {
1137 IF_ARCH_X86(size_t off);
1138
1139 ARCH_X86_ASM (
1140 __ASM_EMIT("xor %[off], %[off]")
1141 /* x8 blocks */
1142 __ASM_EMIT("sub $8, %[count]") /* count -= 8 */
1143 __ASM_EMIT("jb 2f")
1144 __ASM_EMIT("1:")
1145 __ASM_EMIT("movups 0x00(%[dst], %[off], 2), %%xmm0") /* xmm0 = r0 i0 r1 i1 */
1146 __ASM_EMIT("movups 0x10(%[dst], %[off], 2), %%xmm4") /* xmm4 = r2 i2 r3 i3 */
1147 __ASM_EMIT("movups 0x20(%[dst], %[off], 2), %%xmm2") /* xmm2 = r4 i4 r5 i5 */
1148 __ASM_EMIT("movups 0x30(%[dst], %[off], 2), %%xmm5") /* xmm5 = r6 i6 r7 i7 */
1149 /* Do shuffle */
1150 __ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = r0 i0 r1 i1 */
1151 __ASM_EMIT("movaps %%xmm2, %%xmm3") /* xmm3 = r4 i4 r5 i5 */
1152 __ASM_EMIT("shufps $0x88, %%xmm4, %%xmm0") /* xmm0 = r0 r1 r2 r3 */
1153 __ASM_EMIT("shufps $0x88, %%xmm5, %%xmm2") /* xmm2 = r4 r5 r6 r7 */
1154 __ASM_EMIT("shufps $0xdd, %%xmm4, %%xmm1") /* xmm1 = i0 i1 i2 i3 */
1155 __ASM_EMIT("shufps $0xdd, %%xmm5, %%xmm3") /* xmm3 = i4 i5 i6 i7 */
1156 /* Perform operations */
1157 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = r0 */
1158 __ASM_EMIT("movaps %%xmm1, %%xmm5") /* xmm5 = i0 */
1159 __ASM_EMIT("movaps %%xmm2, %%xmm6") /* xmm6 = r1 */
1160 __ASM_EMIT("movaps %%xmm3, %%xmm7") /* xmm7 = i1 */
1161 __ASM_EMIT("mulps %%xmm0, %%xmm4") /* xmm4 = r0*r0 */
1162 __ASM_EMIT("mulps %%xmm1, %%xmm5") /* xmm5 = i0*i0 */
1163 __ASM_EMIT("mulps %%xmm2, %%xmm6") /* xmm6 = r1*r1 */
1164 __ASM_EMIT("mulps %%xmm3, %%xmm7") /* xmm7 = i1*i1 */
1165 __ASM_EMIT("addps %%xmm5, %%xmm4") /* xmm4 = r0*r0 + i0*i0 */
1166 __ASM_EMIT("addps %%xmm7, %%xmm6") /* xmm6 = r1*r1 + i1*i1 */
1167 __ASM_EMIT("movups 0x00(%[src], %[off]), %%xmm5") /* xmm5 = s0 */
1168 __ASM_EMIT("movups 0x10(%[src], %[off]), %%xmm7") /* xmm7 = s1 */
1169 __ASM_EMIT("xorps 0x10(%[CC]), %%xmm1") /* xmm1 = -i0 */
1170 __ASM_EMIT("xorps 0x10(%[CC]), %%xmm3") /* xmm3 = -i1 */
1171 __ASM_EMIT("divps %%xmm4, %%xmm5") /* xmm5 = s0 / (r0*r0 + i0*i0) */
1172 __ASM_EMIT("divps %%xmm6, %%xmm7") /* xmm7 = s1 / (r1*r1 + i1*i1) */
1173 __ASM_EMIT("mulps %%xmm5, %%xmm0") /* xmm0 = r0' = (s0*r0)/(r0*r0 + i0*i0) */
1174 __ASM_EMIT("mulps %%xmm7, %%xmm2") /* xmm2 = r1' = (s1*r1)/(r1*r1 + i1*i1) */
1175 __ASM_EMIT("mulps %%xmm5, %%xmm1") /* xmm1 = i0' = -(s0*i0)/(r0*r0 + i0*i0) */
1176 __ASM_EMIT("mulps %%xmm7, %%xmm3") /* xmm3 = i1' = -(s1*i1)/(r1*r1 + i1*i1) */
1177 /* Do shuffle back */
1178 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = r0' r1' r2' r3' */
1179 __ASM_EMIT("movaps %%xmm2, %%xmm5") /* xmm5 = r4' r5' r6' r7' */
1180 __ASM_EMIT("unpcklps %%xmm1, %%xmm0") /* xmm0 = r0' i0' r1' i1' */
1181 __ASM_EMIT("unpcklps %%xmm3, %%xmm2") /* xmm2 = r4' i4' r5' i5' */
1182 __ASM_EMIT("unpckhps %%xmm1, %%xmm4") /* xmm4 = r2' i2' r3' i3' */
1183 __ASM_EMIT("unpckhps %%xmm3, %%xmm5") /* xmm5 = r6' i6' r7' i7' */
1184 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off], 2)") /* dst[0] = r0' i0' r1' i1' */
1185 __ASM_EMIT("movups %%xmm4, 0x10(%[dst], %[off], 2)") /* dst[1] = r2' i2' r3' i3' */
1186 __ASM_EMIT("movups %%xmm2, 0x20(%[dst], %[off], 2)") /* dst[2] = r4' i4' r5' i5' */
1187 __ASM_EMIT("movups %%xmm5, 0x30(%[dst], %[off], 2)") /* dst[3] = r6' i6' r7' i7' */
1188 __ASM_EMIT("add $0x20, %[off]")
1189 __ASM_EMIT("sub $8, %[count]") /* count -= 8 */
1190 __ASM_EMIT("jae 1b")
1191
1192 /* x4 blocks */
1193 __ASM_EMIT("2:")
1194 __ASM_EMIT("add $4, %[count]") /* count += 4 */
1195 __ASM_EMIT("jl 4f")
1196 __ASM_EMIT("movups 0x00(%[dst], %[off], 2), %%xmm0") /* xmm0 = r0 i0 r1 i1 */
1197 __ASM_EMIT("movups 0x10(%[dst], %[off], 2), %%xmm4") /* xmm4 = r2 i2 r3 i3 */
1198 /* Do shuffle */
1199 __ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = r0 i0 r1 i1 */
1200 __ASM_EMIT("shufps $0x88, %%xmm4, %%xmm0") /* xmm0 = r0 r1 r2 r3 */
1201 __ASM_EMIT("shufps $0xdd, %%xmm4, %%xmm1") /* xmm1 = i0 i1 i2 i3 */
1202 /* Perform operations */
1203 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = r0 */
1204 __ASM_EMIT("movaps %%xmm1, %%xmm5") /* xmm5 = i0 */
1205 __ASM_EMIT("mulps %%xmm0, %%xmm4") /* xmm4 = r0*r0 */
1206 __ASM_EMIT("mulps %%xmm1, %%xmm5") /* xmm5 = i0*i0 */
1207 __ASM_EMIT("addps %%xmm5, %%xmm4") /* xmm4 = r0*r0 + i0*i0 */
1208 __ASM_EMIT("movups 0x00(%[src], %[off]), %%xmm5") /* xmm5 = s0 */
1209 __ASM_EMIT("xorps 0x10(%[CC]), %%xmm1") /* xmm1 = -i0 */
1210 __ASM_EMIT("divps %%xmm4, %%xmm5") /* xmm5 = s0 / (r0*r0 + i0*i0) */
1211 __ASM_EMIT("mulps %%xmm5, %%xmm0") /* xmm0 = r0' = (s0*r0) / (r0*r0 + i0*i0) */
1212 __ASM_EMIT("mulps %%xmm5, %%xmm1") /* xmm1 = i0' = -(s0*i0) / (r0*r0 + i0*i0) */
1213 /* Do shuffle back */
1214 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = r0' r1' r2' r3' */
1215 __ASM_EMIT("unpcklps %%xmm1, %%xmm0") /* xmm0 = r0' i0' r1' i1' */
1216 __ASM_EMIT("unpckhps %%xmm1, %%xmm4") /* xmm4 = r2' i2' r3' i3' */
1217 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off], 2)") /* dst[0] = r0' i0' r1' i1' */
1218 __ASM_EMIT("movups %%xmm4, 0x10(%[dst], %[off], 2)") /* dst[1] = r2' i2' r3' i3' */
1219 __ASM_EMIT("add $0x10, %[off]")
1220 __ASM_EMIT("sub $4, %[count]") /* count -= 4 */
1221 /* 1x RCP */
1222 __ASM_EMIT("4:")
1223 __ASM_EMIT("add $3, %[count]") /* count += 3 */
1224 __ASM_EMIT("jl 6f")
1225 __ASM_EMIT("5:")
1226 __ASM_EMIT("movss 0x00(%[dst], %[off], 2), %%xmm0") /* xmm0 = r0 */
1227 __ASM_EMIT("movss 0x04(%[dst], %[off], 2), %%xmm1") /* xmm1 = i0 */
1228 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = r0 */
1229 __ASM_EMIT("movaps %%xmm1, %%xmm5") /* xmm5 = i0 */
1230 __ASM_EMIT("mulss %%xmm0, %%xmm4") /* xmm4 = r0*r0 */
1231 __ASM_EMIT("mulss %%xmm1, %%xmm5") /* xmm5 = i0*i0 */
1232 __ASM_EMIT("addss %%xmm5, %%xmm4") /* xmm4 = r0*r0 + i0*i0 */
1233 __ASM_EMIT("movss 0x00(%[src], %[off]), %%xmm5") /* xmm5 = s0 */
1234 __ASM_EMIT("xorps 0x10(%[CC]), %%xmm1") /* xmm1 = -i0 */
1235 __ASM_EMIT("divss %%xmm4, %%xmm5") /* xmm5 = s0 / (r0*r0 + i0*i0) */
1236 __ASM_EMIT("mulss %%xmm5, %%xmm0") /* xmm0 = r0' = r0 / (r0*r0 + i0*i0) */
1237 __ASM_EMIT("mulss %%xmm5, %%xmm1") /* xmm1 = i0' = -i0 / (r0*r0 + i0*i0) */
1238 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off], 2)") /* dst[0] = r0' */
1239 __ASM_EMIT("movss %%xmm1, 0x04(%[dst], %[off], 2)") /* dst[1] = i0' */
1240 __ASM_EMIT("add $0x04, %[off]")
1241 __ASM_EMIT("dec %[count]")
1242 __ASM_EMIT("jge 5b")
1243
1244 __ASM_EMIT("6:")
1245 : [count] "+r" (count), [off] "=&r" (off)
1246 : [dst] "r" (dst), [src] "r" (src),
1247 [CC] "r" (pcomplex_div_const)
1248 : "cc", "memory",
1249 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1250 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1251 );
1252 }
1253
1254 IF_ARCH_X86(
1255 static const float pcomplex_corr_const[] __lsp_aligned16 =
1256 {
1257 LSP_DSP_VEC4(1e-36f),
1258 };
1259 );
1260
1261 void pcomplex_corr(float *dst_corr, const float *src1, const float *src2, size_t count)
1262 {
1263 IF_ARCH_X86(size_t off);
1264
1265 /*
1266 * src1[i] = a + j*b, src2[i] = c + j*d
1267 * den = (a*a + b*b)*(c*c + d*d)
1268 * nom = a*c + b*d
1269 * corr[i] = (den > threshold) ? nom / sqrt(den) : 0.0
1270 */
1271 ARCH_X86_ASM (
1272 __ASM_EMIT("xor %[off], %[off]")
1273 /* x4 blocks */
1274 __ASM_EMIT("sub $4, %[count]") /* count -= 4 */
1275 __ASM_EMIT("movaps %[CC], %%xmm7") /* xmm7 = threshold */
1276 __ASM_EMIT("jb 2f")
1277 __ASM_EMIT("1:")
1278 __ASM_EMIT("movups 0x00(%[src1], %[off], 2), %%xmm0") /* xmm0 = a0 b0 a1 b1 */
1279 __ASM_EMIT("movups 0x10(%[src1], %[off], 2), %%xmm4") /* xmm4 = a2 b2 a3 b3 */
1280 __ASM_EMIT("movups 0x00(%[src2], %[off], 2), %%xmm2") /* xmm2 = c0 d0 c1 d1 */
1281 __ASM_EMIT("movups 0x10(%[src2], %[off], 2), %%xmm5") /* xmm5 = c2 d2 c3 d3 */
1282 /* Do shuffle */
1283 __ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = a0 b0 a1 b1 */
1284 __ASM_EMIT("movaps %%xmm2, %%xmm3") /* xmm3 = c0 d0 c1 d1 */
1285 __ASM_EMIT("shufps $0x88, %%xmm4, %%xmm0") /* xmm0 = a = a0 a1 a2 a3 */
1286 __ASM_EMIT("shufps $0x88, %%xmm5, %%xmm2") /* xmm2 = c = c0 c1 c2 c3 */
1287 __ASM_EMIT("shufps $0xdd, %%xmm4, %%xmm1") /* xmm1 = b = b0 b1 b2 b3 */
1288 __ASM_EMIT("shufps $0xdd, %%xmm5, %%xmm3") /* xmm3 = d = d0 d1 d2 d3 */
1289 /* xmm0 = a, xmm1 = b, xmm2 = c, xmm3 = d */
1290 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = a */
1291 __ASM_EMIT("movaps %%xmm1, %%xmm5") /* xmm5 = b */
1292 __ASM_EMIT("mulps %%xmm2, %%xmm4") /* xmm4 = a*c */
1293 __ASM_EMIT("mulps %%xmm3, %%xmm5") /* xmm5 = b*d */
1294 __ASM_EMIT("mulps %%xmm0, %%xmm0") /* xmm0 = a*a */
1295 __ASM_EMIT("mulps %%xmm1, %%xmm1") /* xmm1 = b*b */
1296 __ASM_EMIT("mulps %%xmm2, %%xmm2") /* xmm2 = c*c */
1297 __ASM_EMIT("mulps %%xmm3, %%xmm3") /* xmm3 = d*d */
1298 __ASM_EMIT("addps %%xmm1, %%xmm0") /* xmm0 = a*a + b*b */
1299 __ASM_EMIT("addps %%xmm3, %%xmm2") /* xmm2 = c*c + d*d */
1300 __ASM_EMIT("mulps %%xmm2, %%xmm0") /* xmm0 = den = (a*a + b*b)*(c*c + d*d) */
1301 __ASM_EMIT("addps %%xmm5, %%xmm4") /* xmm4 = nom = a*c + b*d */
1302 __ASM_EMIT("sqrtps %%xmm0, %%xmm1") /* xmm1 = sqrt(den) */
1303 __ASM_EMIT("divps %%xmm1, %%xmm4") /* xmm4 = nom / sqrt(den) */
1304 __ASM_EMIT("cmpps $5, %%xmm7, %%xmm0") /* xmm0 = [den >= threshold] */
1305 __ASM_EMIT("andps %%xmm4, %%xmm0") /* xmm0 = (den >= threshold) ? nom / sqrt(den) : 0.0f */
1306 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])") /* dst[0] = v0 v1 v2 v3 */
1307 __ASM_EMIT("add $0x10, %[off]")
1308 __ASM_EMIT("sub $4, %[count]") /* count -= 4 */
1309 __ASM_EMIT("jae 1b")
1310 /* x1 blocks */
1311 __ASM_EMIT("2:")
1312 __ASM_EMIT("add $3, %[count]") /* count += 3 */
1313 __ASM_EMIT("jl 4f")
1314 __ASM_EMIT("3:")
1315 __ASM_EMIT("movss 0x00(%[src1], %[off], 2), %%xmm0") /* xmm0 = a */
1316 __ASM_EMIT("movss 0x04(%[src1], %[off], 2), %%xmm1") /* xmm1 = b */
1317 __ASM_EMIT("movss 0x00(%[src2], %[off], 2), %%xmm2") /* xmm2 = c */
1318 __ASM_EMIT("movss 0x04(%[src2], %[off], 2), %%xmm3") /* xmm3 = d */
1319 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = a */
1320 __ASM_EMIT("movaps %%xmm1, %%xmm5") /* xmm5 = b */
1321 __ASM_EMIT("mulss %%xmm2, %%xmm4") /* xmm4 = a*c */
1322 __ASM_EMIT("mulss %%xmm3, %%xmm5") /* xmm5 = b*d */
1323 __ASM_EMIT("mulss %%xmm0, %%xmm0") /* xmm0 = a*a */
1324 __ASM_EMIT("mulss %%xmm1, %%xmm1") /* xmm1 = b*b */
1325 __ASM_EMIT("mulss %%xmm2, %%xmm2") /* xmm2 = c*c */
1326 __ASM_EMIT("mulss %%xmm3, %%xmm3") /* xmm3 = d*d */
1327 __ASM_EMIT("addss %%xmm1, %%xmm0") /* xmm0 = a*a + b*b */
1328 __ASM_EMIT("addss %%xmm3, %%xmm2") /* xmm2 = c*c + d*d */
1329 __ASM_EMIT("mulss %%xmm2, %%xmm0") /* xmm0 = den = (a*a + b*b)*(c*c + d*d) */
1330 __ASM_EMIT("addss %%xmm5, %%xmm4") /* xmm4 = nom = a*c + b*d */
1331 __ASM_EMIT("sqrtss %%xmm0, %%xmm1") /* xmm1 = sqrt(den) */
1332 __ASM_EMIT("divss %%xmm1, %%xmm4") /* xmm4 = nom / sqrt(den) */
1333 __ASM_EMIT("cmpps $5, %%xmm7, %%xmm0") /* xmm0 = [den >= threshold] */
1334 __ASM_EMIT("andps %%xmm4, %%xmm0") /* xmm0 = (den >= threshold) ? nom / sqrt(den) : 0.0f */
1335 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])") /* dst[0] = v0 */
1336 __ASM_EMIT("add $0x04, %[off]")
1337 __ASM_EMIT("dec %[count]")
1338 __ASM_EMIT("jge 3b")
1339 /* End */
1340 __ASM_EMIT("4:")
1341
1342 : [count] "+r" (count), [off] "=&r" (off)
1343 : [dst] "r" (dst_corr), [src1] "r" (src1), [src2] "r" (src2),
1344 [CC] "m" (pcomplex_corr_const)
1345 : "cc", "memory",
1346 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1347 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1348 );
1349 }
1350
1351 } /* namespace sse */
1352 } /* namespace lsp */
1353
1354 #endif /* PRIVATE_DSP_ARCH_X86_SSE_PCOMPLEX_H_ */