Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/sse3/pcomplex.h

raw
1 /*
2 * Copyright (C) 2024 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2024 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_SSE3_PCOMPLEX_H_
23 #define PRIVATE_DSP_ARCH_X86_SSE3_PCOMPLEX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_SSE3_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_SSE3_IMPL */
28
29 namespace lsp
30 {
31 namespace sse3
32 {
33 IF_ARCH_X86(
34 static const uint32_t pcomplex_div_const[] __lsp_aligned16 =
35 {
36 LSP_DSP_VEC4(0x3f800000),
37 LSP_DSP_VEC4(0x80000000)
38 };
39 );
40
41 #define PCOMPLEX_MUL_CORE(DST, T, B) \
42 __ASM_EMIT("xor %[off], %[off]") \
43 /* x4 blocks */ \
44 __ASM_EMIT("sub $4, %[count]") \
45 __ASM_EMIT("jb 2f") \
46 __ASM_EMIT("1:") \
47 __ASM_EMIT("lddqu 0x00(%[" T "], %[off]), %%xmm0") /* xmm0 = ar0 ai0 ar1 ai1 */ \
48 __ASM_EMIT("lddqu 0x10(%[" T "], %[off]), %%xmm4") /* xmm4 = ar2 ai2 ar3 ai3 */ \
49 __ASM_EMIT("lddqu 0x00(%[" B "], %[off]), %%xmm1") /* xmm1 = br0 bi0 br1 bi1 */ \
50 __ASM_EMIT("lddqu 0x10(%[" B "], %[off]), %%xmm5") /* xmm5 = br2 bi2 br3 bi3 */ \
51 __ASM_EMIT("movsldup %%xmm0, %%xmm2") /* xmm2 = ar0 ar0 ar1 ar1 */ \
52 __ASM_EMIT("movsldup %%xmm4, %%xmm6") /* xmm6 = ar2 ar2 ar3 ar3 */ \
53 __ASM_EMIT("movshdup %%xmm0, %%xmm0") /* xmm0 = ai0 ai0 ai1 ai1 */ \
54 __ASM_EMIT("movshdup %%xmm4, %%xmm4") /* xmm4 = ai2 ai2 ai3 ai3 */ \
55 __ASM_EMIT("mulps %%xmm1, %%xmm0") /* xmm0 = ai0*br0 ai0*bi0 ai1*br1 ai1*bi1 */ \
56 __ASM_EMIT("mulps %%xmm5, %%xmm4") /* xmm4 = ai2*br2 ai2*bi2 ai3*br3 ai3*bi3 */ \
57 __ASM_EMIT("mulps %%xmm1, %%xmm2") /* xmm2 = ar0*br0 ar0*bi0 ar1*br1 ar1*bi1 */ \
58 __ASM_EMIT("mulps %%xmm5, %%xmm6") /* xmm6 = ar2*br2 ar2*bi2 ar3*br3 ar3*bi3 */ \
59 __ASM_EMIT("shufps $0xb1, %%xmm0, %%xmm0") /* xmm0 = ai0*bi0 ai0*br0 ai1*bi1 ai1*br1 */ \
60 __ASM_EMIT("shufps $0xb1, %%xmm4, %%xmm4") /* xmm4 = ai2*bi2 ai2*br2 ai3*bi3 ai3*br3 */ \
61 __ASM_EMIT("addsubps %%xmm0, %%xmm2") /* xmm2 = ar0*br0 - ai0*bi0 ar0*bi0 + ai0*br0 ar1*br1 - ai1*bi1 ar1*bi1 + ai1*br1 */ \
62 __ASM_EMIT("addsubps %%xmm4, %%xmm6") /* xmm6 = ar2*br2 - ai2*bi2 ar2*bi2 + ai2*br2 ar3*br3 - ai3*bi3 ar3*bi3 + ai3*br3 */ \
63 __ASM_EMIT("movdqu %%xmm2, 0x00(%[" DST "], %[off])") \
64 __ASM_EMIT("movdqu %%xmm6, 0x10(%[" DST "], %[off])") \
65 __ASM_EMIT("add $0x20, %[off]") \
66 __ASM_EMIT("sub $4, %[count]") \
67 __ASM_EMIT("jae 1b") \
68 __ASM_EMIT("2:") \
69 /* Process scalar data */ \
70 __ASM_EMIT("add $3, %[count]") \
71 __ASM_EMIT("jl 4f") \
72 __ASM_EMIT("3:") \
73 __ASM_EMIT("movlps 0x00(%[" T "], %[off]), %%xmm0") /* xmm0 = ar0 ai0 ar1 ai1 */ \
74 __ASM_EMIT("movlps 0x00(%[" B "], %[off]), %%xmm1") /* xmm1 = br0 bi0 br1 bi1 */ \
75 __ASM_EMIT("movsldup %%xmm0, %%xmm2") /* xmm2 = ar0 ar0 ar1 ar1 */ \
76 __ASM_EMIT("movshdup %%xmm0, %%xmm0") /* xmm0 = ai0 ai0 ai1 ai1 */ \
77 __ASM_EMIT("mulps %%xmm1, %%xmm0") /* xmm0 = ai0*br0 ai0*bi0 ai1*br1 ai1*bi1 */ \
78 __ASM_EMIT("mulps %%xmm1, %%xmm2") /* xmm2 = ar0*br0 ar0*bi0 ar1*br1 ar1*bi1 */ \
79 __ASM_EMIT("shufps $0xb1, %%xmm0, %%xmm0") /* xmm0 = ai0*bi0 ai0*br0 ai1*bi1 ai1*br1 */ \
80 __ASM_EMIT("addsubps %%xmm0, %%xmm2") /* xmm2 = ar0*br0 - ai0*bi0 ar0*bi0 + ai0*br0 ar1*br1 - ai1*bi1 ar1*bi1 + ai1*br1 */ \
81 __ASM_EMIT("movlps %%xmm2, 0x00(%[" DST "], %[off])") \
82 __ASM_EMIT("add $0x08, %[off]") \
83 __ASM_EMIT("dec %[count]") \
84 __ASM_EMIT("jge 3b") \
85 __ASM_EMIT("4:")
86
87 void pcomplex_mul3(float *dst, const float *src1, const float *src2, size_t count)
88 {
89 IF_ARCH_X86(size_t off);
90
91 ARCH_X86_ASM
92 (
93 PCOMPLEX_MUL_CORE("dst", "src1", "src2")
94 : [off] "=&r" (off),
95 [count] "+r" (count)
96 : [dst] "r" (dst), [src1] "r" (src1), [src2] "r" (src2)
97 : "cc", "memory",
98 "%xmm0", "%xmm1", "%xmm2", "%xmm4",
99 "%xmm5", "%xmm6"
100 );
101 }
102
103 void pcomplex_mul2(float *dst, const float *src, size_t count)
104 {
105 IF_ARCH_X86(size_t off);
106
107 ARCH_X86_ASM
108 (
109 PCOMPLEX_MUL_CORE("dst", "dst", "src")
110 : [off] "=&r" (off),
111 [count] "+r" (count)
112 : [dst] "r" (dst), [src] "r" (src)
113 : "cc", "memory",
114 "%xmm0", "%xmm1", "%xmm2", "%xmm4",
115 "%xmm5", "%xmm6"
116 );
117 }
118
119 #undef PCOMPLEX_MUL_CORE
120
121 #define PCOMPLEX_DIV_CORE(DST, T, B) \
122 __ASM_EMIT("xor %[off], %[off]") \
123 /* x4 blocks */ \
124 __ASM_EMIT("sub $4, %[count]") \
125 __ASM_EMIT("jb 2f") \
126 __ASM_EMIT("1:") \
127 __ASM_EMIT("lddqu 0x00(%[" T "], %[off]), %%xmm0") /* xmm0 = tr0 ti0 tr1 ti1 */ \
128 __ASM_EMIT("lddqu 0x10(%[" T "], %[off]), %%xmm4") \
129 __ASM_EMIT("lddqu 0x00(%[" B "], %[off]), %%xmm1") /* xmm1 = br0 bi0 br1 bi1 */ \
130 __ASM_EMIT("lddqu 0x10(%[" B "], %[off]), %%xmm5") \
131 __ASM_EMIT("movsldup %%xmm0, %%xmm2") /* xmm2 = tr0 tr0 tr1 tr1 */ \
132 __ASM_EMIT("movsldup %%xmm4, %%xmm6") \
133 __ASM_EMIT("movshdup %%xmm0, %%xmm0") /* xmm0 = ti0 ti0 ti1 ti1 */ \
134 __ASM_EMIT("movshdup %%xmm4, %%xmm4") \
135 __ASM_EMIT("mulps %%xmm1, %%xmm2") /* xmm2 = tr0*br0 tr0*bi0 tr1*br1 tr1*bi1 */ \
136 __ASM_EMIT("mulps %%xmm5, %%xmm6") \
137 __ASM_EMIT("mulps %%xmm1, %%xmm0") /* xmm0 = ti0*br0 ti0*bi0 ti1*br1 ti1*bi1 */ \
138 __ASM_EMIT("mulps %%xmm5, %%xmm4") \
139 __ASM_EMIT("xorps 0x10 + %[CC], %%xmm2") /* xmm2 = -tr0*br0 -tr0*bi0 -tr1*br1 -tr1*bi1 */ \
140 __ASM_EMIT("xorps 0x10 + %[CC], %%xmm6") \
141 __ASM_EMIT("mulps %%xmm1, %%xmm1") /* xmm1 = br0*br0 bi0*bi0 br1*br1 bi1*bi1 */ \
142 __ASM_EMIT("mulps %%xmm5, %%xmm5") \
143 __ASM_EMIT("shufps $0xb1, %%xmm0, %%xmm0") /* xmm0 = ti0*bi0 ti0*br0 ti1*bi1 ti1*br1 */ \
144 __ASM_EMIT("shufps $0xb1, %%xmm4, %%xmm4") \
145 __ASM_EMIT("movaps 0x00 + %[CC], %%xmm3") /* xmm3 = 1 */ \
146 __ASM_EMIT("haddps %%xmm5, %%xmm1") /* xmm1 = R0 R1 R2 R3 = br0*br0+bi0*bi0 br1*br1+bi1*bi1 */ \
147 __ASM_EMIT("divps %%xmm1, %%xmm3") /* xmm3 = 1/R0 1/R2 1/R2 1/R3 */ \
148 __ASM_EMIT("addsubps %%xmm2, %%xmm0") /* xmm0 = r0 i0 r1 i1 = ti0*bi0+tr0*br0 ti0*br0-tr0*bi0 ti1*bi1+tr1*br1 ti1*br1-tr1*bi1 */ \
149 __ASM_EMIT("addsubps %%xmm6, %%xmm4") \
150 __ASM_EMIT("movaps %%xmm3, %%xmm7") /* xmm7 = 1/R0 1/R2 1/R2 1/R3 */ \
151 __ASM_EMIT("unpcklps %%xmm3, %%xmm3") /* xmm3 = 1/R0 1/R0 1/R2 1/R2 */ \
152 __ASM_EMIT("unpckhps %%xmm7, %%xmm7") /* xmm7 = 1/R2 1/R2 1/R3 1/R3 */ \
153 __ASM_EMIT("mulps %%xmm3, %%xmm0") /* xmm0 = r0' i0' r1' i1' */ \
154 __ASM_EMIT("mulps %%xmm7, %%xmm4") \
155 __ASM_EMIT("movdqu %%xmm0, 0x00(%[" DST "], %[off])") \
156 __ASM_EMIT("movdqu %%xmm4, 0x10(%[" DST "], %[off])") \
157 __ASM_EMIT("add $0x20, %[off]") \
158 __ASM_EMIT("sub $4, %[count]") \
159 __ASM_EMIT("jae 1b") \
160 __ASM_EMIT("2:") \
161 /* Process scalar data */ \
162 __ASM_EMIT("add $3, %[count]") \
163 __ASM_EMIT("jl 4f") \
164 __ASM_EMIT("3:") \
165 __ASM_EMIT("movlps 0x00(%[" T "], %[off]), %%xmm0") /* xmm0 = tr ti */ \
166 __ASM_EMIT("movlps 0x00(%[" B "], %[off]), %%xmm1") /* xmm1 = br bi */ \
167 __ASM_EMIT("movsldup %%xmm0, %%xmm2") /* xmm2 = tr tr */ \
168 __ASM_EMIT("movshdup %%xmm0, %%xmm0") /* xmm0 = ti ti */ \
169 __ASM_EMIT("mulps %%xmm1, %%xmm2") /* xmm2 = tr*br tr*bi */ \
170 __ASM_EMIT("mulps %%xmm1, %%xmm0") /* xmm0 = ti*br ti*bi */ \
171 __ASM_EMIT("xorps 0x10 + %[CC], %%xmm2") /* xmm2 = -tr*br -tr*bi */ \
172 __ASM_EMIT("mulps %%xmm1, %%xmm1") /* xmm1 = br*br bi*bi */ \
173 __ASM_EMIT("shufps $0xb1, %%xmm0, %%xmm0") /* xmm0 = ti*bi ti*br */ \
174 __ASM_EMIT("haddps %%xmm1, %%xmm1") /* xmm1 = R = br*br+bi*bi */ \
175 __ASM_EMIT("addsubps %%xmm2, %%xmm0") /* xmm0 = r i = ti*bi+tr*br ti*br-tr*bi */ \
176 __ASM_EMIT("unpcklps %%xmm1, %%xmm1") /* xmm1 = R R */ \
177 __ASM_EMIT("divps %%xmm1, %%xmm0") /* xmm0 = r' i' */ \
178 __ASM_EMIT("movlps %%xmm0, 0x00(%[" DST "], %[off])") \
179 __ASM_EMIT("add $0x08, %[off]") \
180 __ASM_EMIT("dec %[count]") \
181 __ASM_EMIT("jge 3b") \
182 __ASM_EMIT("4:")
183
184 void pcomplex_div3(float *dst, const float *src1, const float *src2, size_t count)
185 {
186 size_t off;
187
188 ARCH_X86_ASM
189 (
190 PCOMPLEX_DIV_CORE("dst", "src1", "src2")
191 : [off] "=&r" (off),
192 [count] "+r" (count)
193 : [dst] "r" (dst), [src1] "r" (src1), [src2] "r" (src2),
194 [CC] "o" (pcomplex_div_const)
195 : "cc", "memory",
196 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
197 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
198 );
199 }
200
201 void pcomplex_div2(float *dst, const float *src, size_t count)
202 {
203 IF_ARCH_X86(size_t off);
204
205 ARCH_X86_ASM
206 (
207 PCOMPLEX_DIV_CORE("dst", "dst", "src")
208 : [off] "=&r" (off),
209 [count] "+r" (count)
210 : [dst] "r" (dst), [src] "r" (src),
211 [CC] "o" (pcomplex_div_const)
212 : "cc", "memory",
213 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
214 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
215 );
216 }
217
218 void pcomplex_rdiv2(float *dst, const float *src, size_t count)
219 {
220 IF_ARCH_X86(size_t off);
221
222 ARCH_X86_ASM
223 (
224 PCOMPLEX_DIV_CORE("dst", "src", "dst")
225 : [off] "=&r" (off),
226 [count] "+r" (count)
227 : [dst] "r" (dst), [src] "r" (src),
228 [CC] "o" (pcomplex_div_const)
229 : "cc", "memory",
230 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
231 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
232 );
233 }
234
235 #undef PCOMPLEX_DIV_CORE
236
237 void pcomplex_mod(float *dst, const float *src, size_t count)
238 {
239 IF_ARCH_X86(size_t off);
240
241 ARCH_X86_ASM
242 (
243 __ASM_EMIT("xor %[off], %[off]")
244 __ASM_EMIT("sub $16, %[count]")
245 __ASM_EMIT("jb 2f")
246
247 // 16x blocks
248 __ASM_EMIT("1:")
249 __ASM_EMIT("lddqu 0x00(%[src], %[off], 2), %%xmm0")
250 __ASM_EMIT("lddqu 0x10(%[src], %[off], 2), %%xmm1")
251 __ASM_EMIT("lddqu 0x20(%[src], %[off], 2), %%xmm2")
252 __ASM_EMIT("lddqu 0x30(%[src], %[off], 2), %%xmm3")
253 __ASM_EMIT("lddqu 0x40(%[src], %[off], 2), %%xmm4")
254 __ASM_EMIT("lddqu 0x50(%[src], %[off], 2), %%xmm5")
255 __ASM_EMIT("lddqu 0x60(%[src], %[off], 2), %%xmm6")
256 __ASM_EMIT("lddqu 0x70(%[src], %[off], 2), %%xmm7")
257
258 __ASM_EMIT("mulps %%xmm0, %%xmm0")
259 __ASM_EMIT("mulps %%xmm1, %%xmm1")
260 __ASM_EMIT("mulps %%xmm2, %%xmm2")
261 __ASM_EMIT("mulps %%xmm3, %%xmm3")
262 __ASM_EMIT("mulps %%xmm4, %%xmm4")
263 __ASM_EMIT("mulps %%xmm5, %%xmm5")
264 __ASM_EMIT("mulps %%xmm6, %%xmm6")
265 __ASM_EMIT("mulps %%xmm7, %%xmm7")
266 __ASM_EMIT("haddps %%xmm1, %%xmm0")
267 __ASM_EMIT("haddps %%xmm3, %%xmm2")
268 __ASM_EMIT("haddps %%xmm5, %%xmm4")
269 __ASM_EMIT("haddps %%xmm7, %%xmm6")
270 __ASM_EMIT("sqrtps %%xmm0, %%xmm0")
271 __ASM_EMIT("sqrtps %%xmm2, %%xmm2")
272 __ASM_EMIT("sqrtps %%xmm4, %%xmm4")
273 __ASM_EMIT("sqrtps %%xmm6, %%xmm6")
274
275 __ASM_EMIT("movdqu %%xmm0, 0x00(%[dst], %[off])")
276 __ASM_EMIT("movdqu %%xmm2, 0x10(%[dst], %[off])")
277 __ASM_EMIT("movdqu %%xmm4, 0x20(%[dst], %[off])")
278 __ASM_EMIT("movdqu %%xmm6, 0x30(%[dst], %[off])")
279 __ASM_EMIT("add $0x40, %[off]")
280 __ASM_EMIT("sub $16, %[count]")
281 __ASM_EMIT("jae 1b")
282
283 // 4x blocks
284 __ASM_EMIT("2:")
285 __ASM_EMIT("add $12, %[count]")
286 __ASM_EMIT("jl 4f")
287 __ASM_EMIT("3:")
288 __ASM_EMIT("lddqu 0x00(%[src], %[off], 2), %%xmm0")
289 __ASM_EMIT("lddqu 0x10(%[src], %[off], 2), %%xmm1")
290 __ASM_EMIT("mulps %%xmm0, %%xmm0")
291 __ASM_EMIT("mulps %%xmm1, %%xmm1")
292 __ASM_EMIT("haddps %%xmm1, %%xmm0")
293 __ASM_EMIT("sqrtps %%xmm0, %%xmm0")
294 __ASM_EMIT("movdqu %%xmm0, 0x00(%[dst], %[off])")
295 __ASM_EMIT("add $0x10, %[off]")
296 __ASM_EMIT("sub $4, %[count]")
297 __ASM_EMIT("jae 3b")
298
299 // 1x blocks
300 __ASM_EMIT("4:")
301 __ASM_EMIT("add $3, %[count]")
302 __ASM_EMIT("jl 6f")
303 __ASM_EMIT("5:")
304 __ASM_EMIT("movlps 0x00(%[src], %[off], 2), %%xmm0")
305 __ASM_EMIT("mulps %%xmm0, %%xmm0")
306 __ASM_EMIT("haddps %%xmm0, %%xmm0")
307 __ASM_EMIT("sqrtss %%xmm0, %%xmm0")
308 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
309 __ASM_EMIT("add $0x4, %[off]")
310 __ASM_EMIT("dec %[count]")
311 __ASM_EMIT("jge 5b")
312
313 // End
314 __ASM_EMIT("6:")
315 : [dst] "+r" (dst), [src] "+r" (src),
316 [count] "+r" (count), [off] "=&r" (off)
317 :
318 : "cc", "memory",
319 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
320 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
321 );
322 }
323
324 void x64_pcomplex_mul3(float *dst, const float *src1, const float *src2, size_t count)
325 {
326 IF_ARCH_X86_64(size_t off);
327
328 ARCH_X86_64_ASM
329 (
330 /* Do block processing */
331 __ASM_EMIT("xor %[off], %[off]")
332 __ASM_EMIT("sub $8, %[count]")
333 __ASM_EMIT("jb 3f")
334
335 __ASM_EMIT(".align 16")
336 __ASM_EMIT("2:")
337 /* Process vectorized data */
338 __ASM_EMIT("lddqu 0x00(%[src1], %[off]), %%xmm0") /* xmm0 = ar0 ai0 ar1 ai1 */
339 __ASM_EMIT("lddqu 0x10(%[src1], %[off]), %%xmm4") /* xmm4 = ar2 ai2 ar3 ai3 */
340 __ASM_EMIT("lddqu 0x20(%[src1], %[off]), %%xmm8")
341 __ASM_EMIT("lddqu 0x30(%[src1], %[off]), %%xmm12")
342 __ASM_EMIT("lddqu 0x00(%[src2], %[off]), %%xmm1") /* xmm1 = br0 bi0 br1 bi1 */
343 __ASM_EMIT("lddqu 0x10(%[src2], %[off]), %%xmm5") /* xmm5 = br2 bi2 br3 bi3 */
344 __ASM_EMIT("lddqu 0x20(%[src2], %[off]), %%xmm9")
345 __ASM_EMIT("lddqu 0x30(%[src2], %[off]), %%xmm13")
346 /* Calc multiplication */
347 __ASM_EMIT("movsldup %%xmm0, %%xmm2") /* xmm2 = ar0 ar0 ar1, ar1 */
348 __ASM_EMIT("movsldup %%xmm4, %%xmm6") /* xmm6 = ar2 ar2 ar3, ar3 */
349 __ASM_EMIT("movsldup %%xmm8, %%xmm10")
350 __ASM_EMIT("movsldup %%xmm12, %%xmm14")
351 __ASM_EMIT("movshdup %%xmm0, %%xmm0") /* xmm0 = ai0 ai0 ai1, ai1 */
352 __ASM_EMIT("movshdup %%xmm4, %%xmm4") /* xmm4 = ai2 ai2 ai3, ai3 */
353 __ASM_EMIT("movshdup %%xmm8, %%xmm8")
354 __ASM_EMIT("movshdup %%xmm12, %%xmm12")
355 __ASM_EMIT("mulps %%xmm1, %%xmm0") /* xmm0 = ai0*br0 ai0*bi0 ai1*br1 ai1*bi1 */
356 __ASM_EMIT("mulps %%xmm5, %%xmm4") /* xmm4 = ai2*br2 ai2*bi2 ai3*br3 ai3*bi3 */
357 __ASM_EMIT("mulps %%xmm9, %%xmm8")
358 __ASM_EMIT("mulps %%xmm13, %%xmm12")
359 __ASM_EMIT("mulps %%xmm1, %%xmm2") /* xmm2 = ar0*br0 ar0*bi0 ar1*br1 ar1*bi1 */
360 __ASM_EMIT("mulps %%xmm5, %%xmm6") /* xmm6 = ar2*br2 ar2*bi2 ar3*br3 ar3*bi3 */
361 __ASM_EMIT("mulps %%xmm9, %%xmm10")
362 __ASM_EMIT("mulps %%xmm13, %%xmm14")
363 __ASM_EMIT("shufps $0xb1, %%xmm0, %%xmm0") /* xmm0 = ai0*bi0 ai0*br0 ai1*bi1 ai1*br1 */
364 __ASM_EMIT("shufps $0xb1, %%xmm4, %%xmm4") /* xmm4 = ai2*bi2 ai2*br2 ai3*bi3 ai3*br3 */
365 __ASM_EMIT("shufps $0xb1, %%xmm8, %%xmm8")
366 __ASM_EMIT("shufps $0xb1, %%xmm12, %%xmm12")
367 __ASM_EMIT("addsubps %%xmm0, %%xmm2") /* xmm2 = ar0*br0 - ai0*bi0 ar0*bi0 + ai0*br0 ar1*br1 - ai1*bi1 ar1*bi1 + ai1*br1 */
368 __ASM_EMIT("addsubps %%xmm4, %%xmm6") /* xmm6 = ar2*br2 - ai2*bi2 ar2*bi2 + ai2*br2 ar3*br3 - ai3*bi3 ar3*bi3 + ai3*br3 */
369 __ASM_EMIT("addsubps %%xmm8, %%xmm10")
370 __ASM_EMIT("addsubps %%xmm12, %%xmm14")
371 /* Store */
372 __ASM_EMIT("movdqu %%xmm2, 0x00(%[dst], %[off])")
373 __ASM_EMIT("movdqu %%xmm6, 0x10(%[dst], %[off])")
374 __ASM_EMIT("movdqu %%xmm10, 0x20(%[dst], %[off])")
375 __ASM_EMIT("movdqu %%xmm14, 0x30(%[dst], %[off])")
376 /* Repeat loop */
377 __ASM_EMIT("add $0x40, %[off]")
378 __ASM_EMIT("sub $8, %[count]")
379 __ASM_EMIT("jae 2b")
380
381 /* 4-element block */
382 __ASM_EMIT("3:")
383 __ASM_EMIT("add $4, %[count]")
384 __ASM_EMIT("jl 4f")
385 /* Process vectorized data */
386 __ASM_EMIT("lddqu 0x00(%[src1], %[off]), %%xmm0") /* xmm0 = ar0 ai0 ar1 ai1 */
387 __ASM_EMIT("lddqu 0x10(%[src1], %[off]), %%xmm4") /* xmm4 = ar2 ai2 ar3 ai3 */
388 __ASM_EMIT("lddqu 0x00(%[src2], %[off]), %%xmm1") /* xmm1 = br0 bi0 br1 bi1 */
389 __ASM_EMIT("lddqu 0x10(%[src2], %[off]), %%xmm5") /* xmm5 = br2 bi2 br3 bi3 */
390 /* Calc multiplication */
391 __ASM_EMIT("movsldup %%xmm0, %%xmm2") /* xmm2 = ar0 ar0 ar1, ar1 */
392 __ASM_EMIT("movsldup %%xmm4, %%xmm6") /* xmm6 = ar2 ar2 ar3, ar3 */
393 __ASM_EMIT("movshdup %%xmm0, %%xmm0") /* xmm0 = ai0 ai0 ai1, ai1 */
394 __ASM_EMIT("movshdup %%xmm4, %%xmm4") /* xmm4 = ai2 ai2 ai3, ai3 */
395 __ASM_EMIT("mulps %%xmm1, %%xmm0") /* xmm0 = ai0*br0 ai0*bi0 ai1*br1 ai1*bi1 */
396 __ASM_EMIT("mulps %%xmm5, %%xmm4") /* xmm4 = ai2*br2 ai2*bi2 ai3*br3 ai3*bi3 */
397 __ASM_EMIT("mulps %%xmm1, %%xmm2") /* xmm2 = ar0*br0 ar0*bi0 ar1*br1 ar1*bi1 */
398 __ASM_EMIT("mulps %%xmm5, %%xmm6") /* xmm6 = ar2*br2 ar2*bi2 ar3*br3 ar3*bi3 */
399 __ASM_EMIT("shufps $0xb1, %%xmm0, %%xmm0") /* xmm0 = ai0*bi0 ai0*br0 ai1*bi1 ai1*br1 */
400 __ASM_EMIT("shufps $0xb1, %%xmm4, %%xmm4") /* xmm4 = ai2*bi2 ai2*br2 ai3*bi3 ai3*br3 */
401 __ASM_EMIT("addsubps %%xmm0, %%xmm2") /* xmm2 = ar0*br0 - ai0*bi0 ar0*bi0 + ai0*br0 ar1*br1 - ai1*bi1 ar1*bi1 + ai1*br1 */
402 __ASM_EMIT("addsubps %%xmm4, %%xmm6") /* xmm6 = ar2*br2 - ai2*bi2 ar2*bi2 + ai2*br2 ar3*br3 - ai3*bi3 ar3*bi3 + ai3*br3 */
403 /* Store */
404 __ASM_EMIT("movdqu %%xmm2, 0x00(%[dst], %[off])")
405 __ASM_EMIT("movdqu %%xmm6, 0x10(%[dst], %[off])")
406 /* Repeat loop */
407 __ASM_EMIT("add $0x20, %[off]")
408 __ASM_EMIT("sub $4, %[count]")
409
410 /* Check count again */
411 __ASM_EMIT("4:")
412 __ASM_EMIT("add $4, %[count]")
413 __ASM_EMIT("jle 6f")
414 /* Process scalar data */
415 __ASM_EMIT("5:")
416 /* Load */
417 __ASM_EMIT("movss 0x00(%[src1], %[off]), %%xmm0") /* xmm0 = ar */
418 __ASM_EMIT("movss 0x04(%[src1], %[off]), %%xmm2") /* xmm2 = ai */
419 __ASM_EMIT("movss 0x00(%[src2], %[off]), %%xmm4") /* xmm4 = br */
420 __ASM_EMIT("movss 0x04(%[src2], %[off]), %%xmm6") /* xmm6 = bi */
421 /* Calculate multiplication */
422 __ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = ar */
423 __ASM_EMIT("mulss %%xmm4, %%xmm0") /* xmm0 = ar*br */
424 __ASM_EMIT("mulss %%xmm6, %%xmm1") /* xmm1 = ar*bi */
425 __ASM_EMIT("mulss %%xmm2, %%xmm6") /* xmm6 = ai*bi */
426 __ASM_EMIT("mulss %%xmm2, %%xmm4") /* xmm4 = ai*br */
427 __ASM_EMIT("addss %%xmm4, %%xmm1") /* xmm1 = ar*bi + ai*br = i */
428 __ASM_EMIT("subss %%xmm6, %%xmm0") /* xmm0 = ar*br - ai*bi = r */
429 /* Store */
430 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
431 __ASM_EMIT("movss %%xmm1, 0x04(%[dst], %[off])")
432 /* Repeat loop */
433 __ASM_EMIT("add $0x08, %[off]")
434 __ASM_EMIT("dec %[count]")
435 __ASM_EMIT("jnz 5b")
436
437 /* Exit */
438 __ASM_EMIT("6:")
439
440 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
441 [off] "=&r" (off),
442 [count] "+r" (count)
443 :
444 : "cc", "memory",
445 "%xmm0", "%xmm1", "%xmm2",
446 "%xmm4", "%xmm5", "%xmm6",
447 "%xmm8", "%xmm9", "%xmm10",
448 "%xmm12", "%xmm13", "%xmm14"
449 );
450 }
451
452 void x64_pcomplex_mul2(float *dst, const float *src, size_t count)
453 {
454 IF_ARCH_X86_64(size_t off);
455
456 ARCH_X86_64_ASM
457 (
458 /* Do block processing */
459 __ASM_EMIT("xor %[off], %[off]")
460 __ASM_EMIT("sub $8, %[count]")
461 __ASM_EMIT("jb 3f")
462
463 __ASM_EMIT(".align 16")
464 __ASM_EMIT("2:")
465 /* Process vectorized data */
466 __ASM_EMIT("lddqu 0x00(%[dst], %[off]), %%xmm0") /* xmm0 = ar0 ai0 ar1 ai1 */
467 __ASM_EMIT("lddqu 0x10(%[dst], %[off]), %%xmm4") /* xmm4 = ar2 ai2 ar3 ai3 */
468 __ASM_EMIT("lddqu 0x20(%[dst], %[off]), %%xmm8")
469 __ASM_EMIT("lddqu 0x30(%[dst], %[off]), %%xmm12")
470 __ASM_EMIT("lddqu 0x00(%[src], %[off]), %%xmm1") /* xmm1 = br0 bi0 br1 bi1 */
471 __ASM_EMIT("lddqu 0x10(%[src], %[off]), %%xmm5") /* xmm5 = br2 bi2 br3 bi3 */
472 __ASM_EMIT("lddqu 0x20(%[src], %[off]), %%xmm9")
473 __ASM_EMIT("lddqu 0x30(%[src], %[off]), %%xmm13")
474 /* Calc multiplication */
475 __ASM_EMIT("movsldup %%xmm0, %%xmm2") /* xmm2 = ar0 ar0 ar1, ar1 */
476 __ASM_EMIT("movsldup %%xmm4, %%xmm6") /* xmm6 = ar2 ar2 ar3, ar3 */
477 __ASM_EMIT("movsldup %%xmm8, %%xmm10")
478 __ASM_EMIT("movsldup %%xmm12, %%xmm14")
479 __ASM_EMIT("movshdup %%xmm0, %%xmm0") /* xmm0 = ai0 ai0 ai1, ai1 */
480 __ASM_EMIT("movshdup %%xmm4, %%xmm4") /* xmm4 = ai2 ai2 ai3, ai3 */
481 __ASM_EMIT("movshdup %%xmm8, %%xmm8")
482 __ASM_EMIT("movshdup %%xmm12, %%xmm12")
483 __ASM_EMIT("mulps %%xmm1, %%xmm0") /* xmm0 = ai0*br0 ai0*bi0 ai1*br1 ai1*bi1 */
484 __ASM_EMIT("mulps %%xmm5, %%xmm4") /* xmm4 = ai2*br2 ai2*bi2 ai3*br3 ai3*bi3 */
485 __ASM_EMIT("mulps %%xmm9, %%xmm8")
486 __ASM_EMIT("mulps %%xmm13, %%xmm12")
487 __ASM_EMIT("mulps %%xmm1, %%xmm2") /* xmm2 = ar0*br0 ar0*bi0 ar1*br1 ar1*bi1 */
488 __ASM_EMIT("mulps %%xmm5, %%xmm6") /* xmm6 = ar2*br2 ar2*bi2 ar3*br3 ar3*bi3 */
489 __ASM_EMIT("mulps %%xmm9, %%xmm10")
490 __ASM_EMIT("mulps %%xmm13, %%xmm14")
491 __ASM_EMIT("shufps $0xb1, %%xmm0, %%xmm0") /* xmm0 = ai0*bi0 ai0*br0 ai1*bi1 ai1*br1 */
492 __ASM_EMIT("shufps $0xb1, %%xmm4, %%xmm4") /* xmm4 = ai2*bi2 ai2*br2 ai3*bi3 ai3*br3 */
493 __ASM_EMIT("shufps $0xb1, %%xmm8, %%xmm8")
494 __ASM_EMIT("shufps $0xb1, %%xmm12, %%xmm12")
495 __ASM_EMIT("addsubps %%xmm0, %%xmm2") /* xmm2 = ar0*br0 - ai0*bi0 ar0*bi0 + ai0*br0 ar1*br1 - ai1*bi1 ar1*bi1 + ai1*br1 */
496 __ASM_EMIT("addsubps %%xmm4, %%xmm6") /* xmm6 = ar2*br2 - ai2*bi2 ar2*bi2 + ai2*br2 ar3*br3 - ai3*bi3 ar3*bi3 + ai3*br3 */
497 __ASM_EMIT("addsubps %%xmm8, %%xmm10")
498 __ASM_EMIT("addsubps %%xmm12, %%xmm14")
499 /* Store */
500 __ASM_EMIT("movdqu %%xmm2, 0x00(%[dst], %[off])")
501 __ASM_EMIT("movdqu %%xmm6, 0x10(%[dst], %[off])")
502 __ASM_EMIT("movdqu %%xmm10, 0x20(%[dst], %[off])")
503 __ASM_EMIT("movdqu %%xmm14, 0x30(%[dst], %[off])")
504 /* Repeat loop */
505 __ASM_EMIT("add $0x40, %[off]")
506 __ASM_EMIT("sub $8, %[count]")
507 __ASM_EMIT("jae 2b")
508
509 /* 4-element block */
510 __ASM_EMIT("3:")
511 __ASM_EMIT("add $4, %[count]")
512 __ASM_EMIT("jl 4f")
513 /* Process vectorized data */
514 __ASM_EMIT("lddqu 0x00(%[dst], %[off]), %%xmm0") /* xmm0 = ar0 ai0 ar1 ai1 */
515 __ASM_EMIT("lddqu 0x10(%[dst], %[off]), %%xmm4") /* xmm4 = ar2 ai2 ar3 ai3 */
516 __ASM_EMIT("lddqu 0x00(%[src], %[off]), %%xmm1") /* xmm1 = br0 bi0 br1 bi1 */
517 __ASM_EMIT("lddqu 0x10(%[src], %[off]), %%xmm5") /* xmm5 = br2 bi2 br3 bi3 */
518 /* Calc multiplication */
519 __ASM_EMIT("movsldup %%xmm0, %%xmm2") /* xmm2 = ar0 ar0 ar1, ar1 */
520 __ASM_EMIT("movsldup %%xmm4, %%xmm6") /* xmm6 = ar2 ar2 ar3, ar3 */
521 __ASM_EMIT("movshdup %%xmm0, %%xmm0") /* xmm0 = ai0 ai0 ai1, ai1 */
522 __ASM_EMIT("movshdup %%xmm4, %%xmm4") /* xmm4 = ai2 ai2 ai3, ai3 */
523 __ASM_EMIT("mulps %%xmm1, %%xmm0") /* xmm0 = ai0*br0 ai0*bi0 ai1*br1 ai1*bi1 */
524 __ASM_EMIT("mulps %%xmm5, %%xmm4") /* xmm4 = ai2*br2 ai2*bi2 ai3*br3 ai3*bi3 */
525 __ASM_EMIT("mulps %%xmm1, %%xmm2") /* xmm2 = ar0*br0 ar0*bi0 ar1*br1 ar1*bi1 */
526 __ASM_EMIT("mulps %%xmm5, %%xmm6") /* xmm6 = ar2*br2 ar2*bi2 ar3*br3 ar3*bi3 */
527 __ASM_EMIT("shufps $0xb1, %%xmm0, %%xmm0") /* xmm0 = ai0*bi0 ai0*br0 ai1*bi1 ai1*br1 */
528 __ASM_EMIT("shufps $0xb1, %%xmm4, %%xmm4") /* xmm4 = ai2*bi2 ai2*br2 ai3*bi3 ai3*br3 */
529 __ASM_EMIT("addsubps %%xmm0, %%xmm2") /* xmm2 = ar0*br0 - ai0*bi0 ar0*bi0 + ai0*br0 ar1*br1 - ai1*bi1 ar1*bi1 + ai1*br1 */
530 __ASM_EMIT("addsubps %%xmm4, %%xmm6") /* xmm6 = ar2*br2 - ai2*bi2 ar2*bi2 + ai2*br2 ar3*br3 - ai3*bi3 ar3*bi3 + ai3*br3 */
531 /* Store */
532 __ASM_EMIT("movdqu %%xmm2, 0x00(%[dst], %[off])")
533 __ASM_EMIT("movdqu %%xmm6, 0x10(%[dst], %[off])")
534 /* Repeat loop */
535 __ASM_EMIT("add $0x20, %[off]")
536 __ASM_EMIT("sub $4, %[count]")
537
538 /* Check count again */
539 __ASM_EMIT("4:")
540 __ASM_EMIT("add $4, %[count]")
541 __ASM_EMIT("jle 6f")
542 /* Process scalar data */
543 __ASM_EMIT("5:")
544 /* Load */
545 __ASM_EMIT("movss 0x00(%[dst], %[off]), %%xmm0") /* xmm0 = ar */
546 __ASM_EMIT("movss 0x04(%[dst], %[off]), %%xmm2") /* xmm2 = ai */
547 __ASM_EMIT("movss 0x00(%[src], %[off]), %%xmm4") /* xmm4 = br */
548 __ASM_EMIT("movss 0x04(%[src], %[off]), %%xmm6") /* xmm6 = bi */
549 /* Calculate multiplication */
550 __ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = ar */
551 __ASM_EMIT("mulss %%xmm4, %%xmm0") /* xmm0 = ar*br */
552 __ASM_EMIT("mulss %%xmm6, %%xmm1") /* xmm1 = ar*bi */
553 __ASM_EMIT("mulss %%xmm2, %%xmm6") /* xmm6 = ai*bi */
554 __ASM_EMIT("mulss %%xmm2, %%xmm4") /* xmm4 = ai*br */
555 __ASM_EMIT("addss %%xmm4, %%xmm1") /* xmm1 = ar*bi + ai*br = i */
556 __ASM_EMIT("subss %%xmm6, %%xmm0") /* xmm0 = ar*br - ai*bi = r */
557 /* Store */
558 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
559 __ASM_EMIT("movss %%xmm1, 0x04(%[dst], %[off])")
560 /* Repeat loop */
561 __ASM_EMIT("add $0x08, %[off]")
562 __ASM_EMIT("dec %[count]")
563 __ASM_EMIT("jnz 5b")
564
565 /* Exit */
566 __ASM_EMIT("6:")
567
568 : [dst] "+r" (dst), [src] "+r" (src),
569 [off] "=&r" (off),
570 [count] "+r" (count)
571 :
572 : "cc", "memory",
573 "%xmm0", "%xmm1", "%xmm2",
574 "%xmm4", "%xmm5", "%xmm6",
575 "%xmm8", "%xmm9", "%xmm10",
576 "%xmm12", "%xmm13", "%xmm14"
577 );
578 }
579
580 void x64_pcomplex_mod(float *dst, const float *src, size_t count)
581 {
582 IF_ARCH_X86_64(size_t off);
583
584 ARCH_X86_64_ASM
585 (
586 __ASM_EMIT("xor %[off], %[off]")
587 __ASM_EMIT("sub $32, %[count]")
588 __ASM_EMIT("jb 2f")
589
590 // 32x blocks
591 __ASM_EMIT("1:")
592 __ASM_EMIT("lddqu 0x00(%[src], %[off], 2), %%xmm0")
593 __ASM_EMIT("lddqu 0x10(%[src], %[off], 2), %%xmm1")
594 __ASM_EMIT("lddqu 0x20(%[src], %[off], 2), %%xmm2")
595 __ASM_EMIT("lddqu 0x30(%[src], %[off], 2), %%xmm3")
596 __ASM_EMIT("lddqu 0x40(%[src], %[off], 2), %%xmm4")
597 __ASM_EMIT("lddqu 0x50(%[src], %[off], 2), %%xmm5")
598 __ASM_EMIT("lddqu 0x60(%[src], %[off], 2), %%xmm6")
599 __ASM_EMIT("lddqu 0x70(%[src], %[off], 2), %%xmm7")
600 __ASM_EMIT("lddqu 0x80(%[src], %[off], 2), %%xmm8")
601 __ASM_EMIT("lddqu 0x90(%[src], %[off], 2), %%xmm9")
602 __ASM_EMIT("lddqu 0xa0(%[src], %[off], 2), %%xmm10")
603 __ASM_EMIT("lddqu 0xb0(%[src], %[off], 2), %%xmm11")
604 __ASM_EMIT("lddqu 0xc0(%[src], %[off], 2), %%xmm12")
605 __ASM_EMIT("lddqu 0xd0(%[src], %[off], 2), %%xmm13")
606 __ASM_EMIT("lddqu 0xe0(%[src], %[off], 2), %%xmm14")
607 __ASM_EMIT("lddqu 0xf0(%[src], %[off], 2), %%xmm15")
608
609 __ASM_EMIT("mulps %%xmm0, %%xmm0")
610 __ASM_EMIT("mulps %%xmm1, %%xmm1")
611 __ASM_EMIT("mulps %%xmm2, %%xmm2")
612 __ASM_EMIT("mulps %%xmm3, %%xmm3")
613 __ASM_EMIT("mulps %%xmm4, %%xmm4")
614 __ASM_EMIT("mulps %%xmm5, %%xmm5")
615 __ASM_EMIT("mulps %%xmm6, %%xmm6")
616 __ASM_EMIT("mulps %%xmm7, %%xmm7")
617 __ASM_EMIT("mulps %%xmm8, %%xmm8")
618 __ASM_EMIT("mulps %%xmm9, %%xmm9")
619 __ASM_EMIT("mulps %%xmm10, %%xmm10")
620 __ASM_EMIT("mulps %%xmm11, %%xmm11")
621 __ASM_EMIT("mulps %%xmm12, %%xmm12")
622 __ASM_EMIT("mulps %%xmm13, %%xmm13")
623 __ASM_EMIT("mulps %%xmm14, %%xmm14")
624 __ASM_EMIT("mulps %%xmm15, %%xmm15")
625
626 __ASM_EMIT("haddps %%xmm1, %%xmm0")
627 __ASM_EMIT("haddps %%xmm3, %%xmm2")
628 __ASM_EMIT("haddps %%xmm5, %%xmm4")
629 __ASM_EMIT("haddps %%xmm7, %%xmm6")
630 __ASM_EMIT("haddps %%xmm9, %%xmm8")
631 __ASM_EMIT("haddps %%xmm11, %%xmm10")
632 __ASM_EMIT("haddps %%xmm13, %%xmm12")
633 __ASM_EMIT("haddps %%xmm15, %%xmm14")
634
635 __ASM_EMIT("sqrtps %%xmm0, %%xmm0")
636 __ASM_EMIT("sqrtps %%xmm2, %%xmm2")
637 __ASM_EMIT("sqrtps %%xmm4, %%xmm4")
638 __ASM_EMIT("sqrtps %%xmm6, %%xmm6")
639 __ASM_EMIT("sqrtps %%xmm8, %%xmm8")
640 __ASM_EMIT("sqrtps %%xmm10, %%xmm10")
641 __ASM_EMIT("sqrtps %%xmm12, %%xmm12")
642 __ASM_EMIT("sqrtps %%xmm14, %%xmm14")
643
644 __ASM_EMIT("movdqu %%xmm0, 0x00(%[dst], %[off])")
645 __ASM_EMIT("movdqu %%xmm2, 0x10(%[dst], %[off])")
646 __ASM_EMIT("movdqu %%xmm4, 0x20(%[dst], %[off])")
647 __ASM_EMIT("movdqu %%xmm6, 0x30(%[dst], %[off])")
648 __ASM_EMIT("movdqu %%xmm8, 0x40(%[dst], %[off])")
649 __ASM_EMIT("movdqu %%xmm10, 0x50(%[dst], %[off])")
650 __ASM_EMIT("movdqu %%xmm12, 0x60(%[dst], %[off])")
651 __ASM_EMIT("movdqu %%xmm14, 0x70(%[dst], %[off])")
652
653 __ASM_EMIT("add $0x80, %[off]")
654 __ASM_EMIT("sub $32, %[count]")
655 __ASM_EMIT("jae 1b")
656
657 // 16x blocks
658 __ASM_EMIT("2:")
659 __ASM_EMIT("add $16, %[count]")
660 __ASM_EMIT("jl 4f")
661
662 __ASM_EMIT("3:")
663 __ASM_EMIT("lddqu 0x00(%[src], %[off], 2), %%xmm0")
664 __ASM_EMIT("lddqu 0x10(%[src], %[off], 2), %%xmm1")
665 __ASM_EMIT("lddqu 0x20(%[src], %[off], 2), %%xmm2")
666 __ASM_EMIT("lddqu 0x30(%[src], %[off], 2), %%xmm3")
667 __ASM_EMIT("lddqu 0x40(%[src], %[off], 2), %%xmm4")
668 __ASM_EMIT("lddqu 0x50(%[src], %[off], 2), %%xmm5")
669 __ASM_EMIT("lddqu 0x60(%[src], %[off], 2), %%xmm6")
670 __ASM_EMIT("lddqu 0x70(%[src], %[off], 2), %%xmm7")
671
672 __ASM_EMIT("mulps %%xmm0, %%xmm0")
673 __ASM_EMIT("mulps %%xmm1, %%xmm1")
674 __ASM_EMIT("mulps %%xmm2, %%xmm2")
675 __ASM_EMIT("mulps %%xmm3, %%xmm3")
676 __ASM_EMIT("mulps %%xmm4, %%xmm4")
677 __ASM_EMIT("mulps %%xmm5, %%xmm5")
678 __ASM_EMIT("mulps %%xmm6, %%xmm6")
679 __ASM_EMIT("mulps %%xmm7, %%xmm7")
680 __ASM_EMIT("haddps %%xmm1, %%xmm0")
681 __ASM_EMIT("haddps %%xmm3, %%xmm2")
682 __ASM_EMIT("haddps %%xmm5, %%xmm4")
683 __ASM_EMIT("haddps %%xmm7, %%xmm6")
684 __ASM_EMIT("sqrtps %%xmm0, %%xmm0")
685 __ASM_EMIT("sqrtps %%xmm2, %%xmm2")
686 __ASM_EMIT("sqrtps %%xmm4, %%xmm4")
687 __ASM_EMIT("sqrtps %%xmm6, %%xmm6")
688
689 __ASM_EMIT("movdqu %%xmm0, 0x00(%[dst], %[off])")
690 __ASM_EMIT("movdqu %%xmm2, 0x10(%[dst], %[off])")
691 __ASM_EMIT("movdqu %%xmm4, 0x20(%[dst], %[off])")
692 __ASM_EMIT("movdqu %%xmm6, 0x30(%[dst], %[off])")
693 __ASM_EMIT("add $0x40, %[off]")
694 __ASM_EMIT("sub $16, %[count]")
695 __ASM_EMIT("jae 3b")
696
697 // 4x blocks
698 __ASM_EMIT("4:")
699 __ASM_EMIT("add $12, %[count]")
700 __ASM_EMIT("jl 6f")
701 __ASM_EMIT("5:")
702 __ASM_EMIT("lddqu 0x00(%[src], %[off], 2), %%xmm0")
703 __ASM_EMIT("lddqu 0x10(%[src], %[off], 2), %%xmm1")
704 __ASM_EMIT("mulps %%xmm0, %%xmm0")
705 __ASM_EMIT("mulps %%xmm1, %%xmm1")
706 __ASM_EMIT("haddps %%xmm1, %%xmm0")
707 __ASM_EMIT("sqrtps %%xmm0, %%xmm0")
708 __ASM_EMIT("movdqu %%xmm0, 0x00(%[dst], %[off])")
709 __ASM_EMIT("add $0x10, %[off]")
710 __ASM_EMIT("sub $4, %[count]")
711 __ASM_EMIT("jge 5b")
712
713 // 1x blocks
714 __ASM_EMIT("6:")
715 __ASM_EMIT("add $3, %[count]")
716 __ASM_EMIT("jl 8f")
717 __ASM_EMIT("7:")
718 __ASM_EMIT("movlps 0x00(%[src], %[off], 2), %%xmm0")
719 __ASM_EMIT("mulps %%xmm0, %%xmm0")
720 __ASM_EMIT("haddps %%xmm0, %%xmm0")
721 __ASM_EMIT("sqrtss %%xmm0, %%xmm0")
722 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
723 __ASM_EMIT("add $0x4, %[off]")
724 __ASM_EMIT("dec %[count]")
725 __ASM_EMIT("jge 7b")
726
727 // End
728 __ASM_EMIT("8:")
729 : [dst] "+r" (dst), [src] "+r" (src),
730 [count] "+r" (count), [off] "=&r" (off)
731 :
732 : "cc", "memory",
733 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
734 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
735 "%xmm8", "%xmm9", "%xmm10",
736 "%xmm12", "%xmm13", "%xmm14"
737 );
738 }
739
740 IF_ARCH_X86_64(
741 static const float pcomplex_corr_const[] __lsp_aligned16 =
742 {
743 LSP_DSP_VEC4(1e-36f),
744 };
745 );
746
747 void x64_pcomplex_corr(float *dst_corr, const float *src1, const float *src2, size_t count)
748 {
749 IF_ARCH_X86_64(size_t off);
750
751 /*
752 * src1[i] = a + j*b, src2[i] = c + j*d
753 * den = (a*a + b*b)*(c*c + d*d)
754 * nom = a*c + b*d
755 * corr[i] = (den > threshold) ? nom / sqrt(den) : 0.0
756 */
757 ARCH_X86_64_ASM (
758 __ASM_EMIT("xor %[off], %[off]")
759 /* x8 blocks */
760 __ASM_EMIT("sub $8, %[count]") /* count -= 8 */
761 __ASM_EMIT("movaps %[CC], %%xmm7") /* xmm7 = threshold */
762 __ASM_EMIT("jb 2f")
763 __ASM_EMIT("1:")
764 __ASM_EMIT("movups 0x00(%[src1], %[off], 2), %%xmm0") /* xmm0 = a0 b0 a1 b1 */
765 __ASM_EMIT("movups 0x10(%[src1], %[off], 2), %%xmm4") /* xmm4 = a2 b2 a3 b3 */
766 __ASM_EMIT("movups 0x20(%[src1], %[off], 2), %%xmm8") /* xmm8 = a4 b4 a5 b5 */
767 __ASM_EMIT("movups 0x30(%[src1], %[off], 2), %%xmm12") /* xmm12 = a6 b6 a7 b7 */
768 __ASM_EMIT("movups 0x00(%[src2], %[off], 2), %%xmm2") /* xmm2 = c0 d0 c1 d1 */
769 __ASM_EMIT("movups 0x10(%[src2], %[off], 2), %%xmm6") /* xmm6 = c2 d2 c3 d3 */
770 __ASM_EMIT("movups 0x20(%[src2], %[off], 2), %%xmm10") /* xmm10 = c4 d4 c5 d5 */
771 __ASM_EMIT("movups 0x30(%[src2], %[off], 2), %%xmm14") /* xmm14 = c6 d6 c7 d7 */
772 /* Do shuffle */
773 __ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = a0 b0 a1 b1 */
774 __ASM_EMIT("movaps %%xmm2, %%xmm3") /* xmm3 = c0 d0 c1 d1 */
775 __ASM_EMIT("movaps %%xmm8, %%xmm9") /* xmm9 = a4 b4 a5 b5 */
776 __ASM_EMIT("movaps %%xmm10, %%xmm11") /* xmm11 = c4 d4 c5 d5 */
777 __ASM_EMIT("shufps $0x88, %%xmm4, %%xmm0") /* xmm0 = A0 = a0 a1 a2 a3 */
778 __ASM_EMIT("shufps $0x88, %%xmm6, %%xmm2") /* xmm2 = C0 = c0 c1 c2 c3 */
779 __ASM_EMIT("shufps $0xdd, %%xmm4, %%xmm1") /* xmm1 = B0 = b0 b1 b2 b3 */
780 __ASM_EMIT("shufps $0xdd, %%xmm6, %%xmm3") /* xmm3 = D0 = d0 d1 d2 d3 */
781 __ASM_EMIT("shufps $0x88, %%xmm12, %%xmm8") /* xmm8 = A1 = a0 a1 a2 a3 */
782 __ASM_EMIT("shufps $0x88, %%xmm14, %%xmm10") /* xmm10 = C1 = c0 c1 c2 c3 */
783 __ASM_EMIT("shufps $0xdd, %%xmm12, %%xmm9") /* xmm9 = B1 = b0 b1 b2 b3 */
784 __ASM_EMIT("shufps $0xdd, %%xmm14, %%xmm11") /* xmm11 = D1 = d0 d1 d2 d3 */
785 /* xmm0 = A0, xmm1 = B0, xmm2 = C0, xmm3 = D0 */
786 /* xmm8 = A1, xmm9 = B1, xmm10 = C1, xmm11 = D1 */
787 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = A0 */
788 __ASM_EMIT("movaps %%xmm1, %%xmm5") /* xmm5 = B0 */
789 __ASM_EMIT("movaps %%xmm8, %%xmm12") /* xmm12 = A1 */
790 __ASM_EMIT("movaps %%xmm9, %%xmm13") /* xmm13 = B1 */
791 __ASM_EMIT("mulps %%xmm2, %%xmm4") /* xmm4 = A0*C0 */
792 __ASM_EMIT("mulps %%xmm3, %%xmm5") /* xmm5 = B0*D0 */
793 __ASM_EMIT("mulps %%xmm10, %%xmm12") /* xmm10 = A1*C1 */
794 __ASM_EMIT("mulps %%xmm11, %%xmm13") /* xmm13 = B1*D1 */
795 __ASM_EMIT("mulps %%xmm0, %%xmm0") /* xmm0 = A0*A0 */
796 __ASM_EMIT("mulps %%xmm1, %%xmm1") /* xmm1 = B0*B0 */
797 __ASM_EMIT("mulps %%xmm2, %%xmm2") /* xmm2 = C0*C0 */
798 __ASM_EMIT("mulps %%xmm3, %%xmm3") /* xmm3 = D0*D0 */
799 __ASM_EMIT("mulps %%xmm8, %%xmm8") /* xmm8 = A1*A1 */
800 __ASM_EMIT("mulps %%xmm9, %%xmm9") /* xmm9 = B1*B1 */
801 __ASM_EMIT("mulps %%xmm10, %%xmm10") /* xmm10 = C1*C1 */
802 __ASM_EMIT("mulps %%xmm11, %%xmm11") /* xmm11 = D1*D1 */
803 __ASM_EMIT("addps %%xmm1, %%xmm0") /* xmm0 = A0*A0 + B0*B0 */
804 __ASM_EMIT("addps %%xmm3, %%xmm2") /* xmm2 = C0*C0 + D0*D0 */
805 __ASM_EMIT("addps %%xmm9, %%xmm8") /* xmm8 = A1*A1 + B1*B1 */
806 __ASM_EMIT("addps %%xmm11, %%xmm10") /* xmm10 = C1*C1 + D1*D1 */
807 __ASM_EMIT("mulps %%xmm2, %%xmm0") /* xmm0 = den0 = (A0*A0 + B0*B0)*(C0*C0 + D0*D0) */
808 __ASM_EMIT("mulps %%xmm10, %%xmm8") /* xmm8 = den1 = (A1*A1 + B1*B1)*(C1*C1 + D1*D1) */
809 __ASM_EMIT("addps %%xmm5, %%xmm4") /* xmm4 = nom0 = A0*C0 + B0*D0 */
810 __ASM_EMIT("addps %%xmm13, %%xmm12") /* xmm12 = nom1 = A1*C1 + B1*D1 */
811 __ASM_EMIT("sqrtps %%xmm0, %%xmm1") /* xmm1 = sqrt(den0) */
812 __ASM_EMIT("sqrtps %%xmm8, %%xmm9") /* xmm9 = sqrt(den1) */
813 __ASM_EMIT("divps %%xmm1, %%xmm4") /* xmm4 = nom0 / sqrt(den0) */
814 __ASM_EMIT("divps %%xmm9, %%xmm12") /* xmm12 = nom1 / sqrt(den1) */
815 __ASM_EMIT("cmpps $5, %%xmm7, %%xmm0") /* xmm0 = [den0 >= threshold] */
816 __ASM_EMIT("cmpps $5, %%xmm7, %%xmm8") /* xmm8 = [den1 >= threshold] */
817 __ASM_EMIT("andps %%xmm4, %%xmm0") /* xmm0 = (den0 >= threshold) ? nom0 / sqrt(den0) : 0.0f */
818 __ASM_EMIT("andps %%xmm12, %%xmm8") /* xmm8 = (den0 >= threshold) ? nom0 / sqrt(den0) : 0.0f */
819 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])") /* dst[0] = v0 v1 v2 v3 */
820 __ASM_EMIT("movups %%xmm8, 0x10(%[dst], %[off])") /* dst[1] = v4 v5 v6 v7 */
821 __ASM_EMIT("add $0x20, %[off]")
822 __ASM_EMIT("sub $8, %[count]") /* count -= 8 */
823 __ASM_EMIT("jae 1b")
824 /* x4 block */
825 __ASM_EMIT("2:")
826 __ASM_EMIT("add $4, %[count]") /* count += 4 */
827 __ASM_EMIT("jl 4f")
828 __ASM_EMIT("movups 0x00(%[src1], %[off], 2), %%xmm0") /* xmm0 = a0 b0 a1 b1 */
829 __ASM_EMIT("movups 0x10(%[src1], %[off], 2), %%xmm4") /* xmm4 = a2 b2 a3 b3 */
830 __ASM_EMIT("movups 0x00(%[src2], %[off], 2), %%xmm2") /* xmm2 = c0 d0 c1 d1 */
831 __ASM_EMIT("movups 0x10(%[src2], %[off], 2), %%xmm6") /* xmm6 = c2 d2 c3 d3 */
832 /* Do shuffle */
833 __ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = a0 b0 a1 b1 */
834 __ASM_EMIT("movaps %%xmm2, %%xmm3") /* xmm3 = c0 d0 c1 d1 */
835 __ASM_EMIT("shufps $0x88, %%xmm4, %%xmm0") /* xmm0 = A0 = a0 a1 a2 a3 */
836 __ASM_EMIT("shufps $0x88, %%xmm6, %%xmm2") /* xmm2 = C0 = c0 c1 c2 c3 */
837 __ASM_EMIT("shufps $0xdd, %%xmm4, %%xmm1") /* xmm1 = B0 = b0 b1 b2 b3 */
838 __ASM_EMIT("shufps $0xdd, %%xmm6, %%xmm3") /* xmm3 = D0 = d0 d1 d2 d3 */
839 /* xmm0 = A0, xmm1 = B0, xmm2 = C0, xmm3 = D0 */
840 /* xmm8 = A1, xmm9 = B1, xmm10 = C1, xmm11 = D1 */
841 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = A0 */
842 __ASM_EMIT("movaps %%xmm1, %%xmm5") /* xmm5 = B0 */
843 __ASM_EMIT("mulps %%xmm2, %%xmm4") /* xmm4 = A0*C0 */
844 __ASM_EMIT("mulps %%xmm3, %%xmm5") /* xmm5 = B0*D0 */
845 __ASM_EMIT("mulps %%xmm0, %%xmm0") /* xmm0 = A0*A0 */
846 __ASM_EMIT("mulps %%xmm1, %%xmm1") /* xmm1 = B0*B0 */
847 __ASM_EMIT("mulps %%xmm2, %%xmm2") /* xmm2 = C0*C0 */
848 __ASM_EMIT("mulps %%xmm3, %%xmm3") /* xmm3 = D0*D0 */
849 __ASM_EMIT("addps %%xmm1, %%xmm0") /* xmm0 = A0*A0 + B0*B0 */
850 __ASM_EMIT("addps %%xmm3, %%xmm2") /* xmm2 = C0*C0 + D0*D0 */
851 __ASM_EMIT("mulps %%xmm2, %%xmm0") /* xmm0 = den0 = (A0*A0 + B0*B0)*(C0*C0 + D0*D0) */
852 __ASM_EMIT("addps %%xmm5, %%xmm4") /* xmm4 = nom0 = A0*C0 + B0*D0 */
853 __ASM_EMIT("sqrtps %%xmm0, %%xmm1") /* xmm1 = sqrt(den0) */
854 __ASM_EMIT("divps %%xmm1, %%xmm4") /* xmm4 = nom0 / sqrt(den0) */
855 __ASM_EMIT("cmpps $5, %%xmm7, %%xmm0") /* xmm0 = [den0 >= threshold] */
856 __ASM_EMIT("andps %%xmm4, %%xmm0") /* xmm0 = (den0 >= threshold) ? nom0 / sqrt(den0) : 0.0f */
857 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])") /* dst[0] = v0 v1 v2 v3 */
858 __ASM_EMIT("add $0x10, %[off]")
859 __ASM_EMIT("sub $4, %[count]") /* count -= 4 */
860 /* x1 blocks */
861 __ASM_EMIT("4:")
862 __ASM_EMIT("add $3, %[count]") /* count += 3 */
863 __ASM_EMIT("jl 6f")
864 __ASM_EMIT("5:")
865 __ASM_EMIT("movss 0x00(%[src1], %[off], 2), %%xmm0") /* xmm0 = a */
866 __ASM_EMIT("movss 0x04(%[src1], %[off], 2), %%xmm1") /* xmm1 = b */
867 __ASM_EMIT("movss 0x00(%[src2], %[off], 2), %%xmm2") /* xmm2 = c */
868 __ASM_EMIT("movss 0x04(%[src2], %[off], 2), %%xmm3") /* xmm3 = d */
869 __ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = a */
870 __ASM_EMIT("movaps %%xmm1, %%xmm5") /* xmm5 = b */
871 __ASM_EMIT("mulss %%xmm2, %%xmm4") /* xmm4 = a*c */
872 __ASM_EMIT("mulss %%xmm3, %%xmm5") /* xmm5 = b*d */
873 __ASM_EMIT("mulss %%xmm0, %%xmm0") /* xmm0 = a*a */
874 __ASM_EMIT("mulss %%xmm1, %%xmm1") /* xmm1 = b*b */
875 __ASM_EMIT("mulss %%xmm2, %%xmm2") /* xmm2 = c*c */
876 __ASM_EMIT("mulss %%xmm3, %%xmm3") /* xmm3 = d*d */
877 __ASM_EMIT("addss %%xmm1, %%xmm0") /* xmm0 = a*a + b*b */
878 __ASM_EMIT("addss %%xmm3, %%xmm2") /* xmm2 = c*c + d*d */
879 __ASM_EMIT("mulss %%xmm2, %%xmm0") /* xmm0 = den = (a*a + b*b)*(c*c + d*d) */
880 __ASM_EMIT("addss %%xmm5, %%xmm4") /* xmm4 = nom = a*c + b*d */
881 __ASM_EMIT("sqrtss %%xmm0, %%xmm1") /* xmm1 = sqrt(den) */
882 __ASM_EMIT("divss %%xmm1, %%xmm4") /* xmm4 = nom / sqrt(den) */
883 __ASM_EMIT("cmpps $5, %%xmm7, %%xmm0") /* xmm0 = [den >= threshold] */
884 __ASM_EMIT("andps %%xmm4, %%xmm0") /* xmm0 = (den >= threshold) ? nom / sqrt(den) : 0.0f */
885 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])") /* dst[0] = v0 */
886 __ASM_EMIT("add $0x04, %[off]")
887 __ASM_EMIT("dec %[count]")
888 __ASM_EMIT("jge 5b")
889 /* End */
890 __ASM_EMIT("6:")
891
892 : [count] "+r" (count), [off] "=&r" (off)
893 : [dst] "r" (dst_corr), [src1] "r" (src1), [src2] "r" (src2),
894 [CC] "m" (pcomplex_corr_const)
895 : "cc", "memory",
896 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
897 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
898 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
899 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
900 );
901 }
902
903
904 } /* namespace sse3 */
905 } /* namespace lsp */
906
907 #endif /* PRIVATE_DSP_ARCH_X86_SSE3_PCOMPLEX_H_ */