Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx/pcomplex.h

raw
1 /*
2 * Copyright (C) 2024 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2024 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX_PCOMPLEX_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX_PCOMPLEX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX_IMPL */
28
29 namespace lsp
30 {
31 namespace avx
32 {
33 IF_ARCH_X86(
34 static uint32_t pcomplex_div_const[] __lsp_aligned32 =
35 {
36 LSP_DSP_VEC8(0x3f800000), // 1.0
37 LSP_DSP_VEC8(0x80000000) // signbit
38 };
39 )
40
41 #define FMA_OFF(a, b) a
42 #define FMA_ON(a, b) b
43
44 #define PCOMPLEX_MULX_CORE(DST, SRC1, SRC2, SEL) \
45 /* Init */ \
46 __ASM_EMIT("xor %[off], %[off]") \
47 /* x8 block */ \
48 __ASM_EMIT("sub $8, %[count]") \
49 __ASM_EMIT("jb 2f") \
50 __ASM_EMIT("1:") \
51 __ASM_EMIT("vmovsldup 0x00(%[" SRC1 "], %[off]), %%ymm0") /* ymm0 = ar0 ar0 */ \
52 __ASM_EMIT("vmovsldup 0x20(%[" SRC1 "], %[off]), %%ymm1") \
53 __ASM_EMIT("vmovups 0x00(%[" SRC2 "], %[off]), %%ymm6") /* ymm6 = br0 bi0 */ \
54 __ASM_EMIT("vmovups 0x20(%[" SRC2 "], %[off]), %%ymm7") \
55 __ASM_EMIT("vshufps $0xb1, %%ymm6, %%ymm6, %%ymm4") /* ymm4 = bi0 br0 */ \
56 __ASM_EMIT("vmovshdup 0x00(%[" SRC1 "], %[off]), %%ymm2") /* ymm2 = ai0 ai0 */ \
57 __ASM_EMIT("vmovshdup 0x20(%[" SRC1 "], %[off]), %%ymm3") \
58 __ASM_EMIT("vshufps $0xb1, %%ymm7, %%ymm7, %%ymm5") \
59 __ASM_EMIT(SEL("vmulps %%ymm6, %%ymm0, %%ymm0", "")) /* ymm0 = ar0*br0 ar0*bi0 */ \
60 __ASM_EMIT(SEL("vmulps %%ymm7, %%ymm1, %%ymm1", "")) \
61 __ASM_EMIT("vmulps %%ymm4, %%ymm2, %%ymm2") /* ymm2 = ai0*bi0 ai0*br0 */ \
62 __ASM_EMIT("vmulps %%ymm5, %%ymm3, %%ymm3") \
63 __ASM_EMIT(SEL("vaddsubps %%ymm2, %%ymm0, %%ymm0", "vfmaddsub132ps %%ymm6, %%ymm2, %%ymm0")) /* ymm0 = ar0*br0-ai0*bi0 ar0*bi0+ai0*br0 ... */ \
64 __ASM_EMIT(SEL("vaddsubps %%ymm3, %%ymm1, %%ymm1", "vfmaddsub132ps %%ymm7, %%ymm3, %%ymm1")) \
65 __ASM_EMIT("vmovups %%ymm0, 0x00(%[" DST "], %[off])") \
66 __ASM_EMIT("vmovups %%ymm1, 0x20(%[" DST "], %[off])") \
67 __ASM_EMIT("add $0x40, %[off]") \
68 __ASM_EMIT("sub $8, %[count]") \
69 __ASM_EMIT("jae 1b") \
70 __ASM_EMIT("2:") \
71 /* x4 block */ \
72 __ASM_EMIT("add $4, %[count]") \
73 __ASM_EMIT("jl 4f") \
74 __ASM_EMIT("vmovups 0x00(%[" SRC2 "], %[off]), %%ymm6") /* ymm6 = br0 bi0 */ \
75 __ASM_EMIT("vmovsldup 0x00(%[" SRC1 "], %[off]), %%ymm0") /* ymm0 = ar0 ar0 */ \
76 __ASM_EMIT("vmovshdup 0x00(%[" SRC1 "], %[off]), %%ymm2") /* ymm2 = ai0 ai0 */ \
77 __ASM_EMIT("vshufps $0xb1, %%ymm6, %%ymm6, %%ymm4") /* xmm4 = bi0 br0 */ \
78 __ASM_EMIT(SEL("vmulps %%ymm6, %%ymm0, %%ymm0", "")) /* ymm0 = ar0*br0 ar0*bi0 */ \
79 __ASM_EMIT("vmulps %%ymm4, %%ymm2, %%ymm2") /* ymm2 = ai0*bi0 ai0*br0 */ \
80 __ASM_EMIT(SEL("vaddsubps %%ymm2, %%ymm0, %%ymm0", "vfmaddsub132ps %%ymm6, %%ymm2, %%ymm0")) /* ymm0 = ar0*br0-ai0*bi0 ar0*bi0+ai0*br0 ... */ \
81 __ASM_EMIT("vmovups %%ymm0, 0x00(%[" DST "], %[off])") \
82 __ASM_EMIT("add $0x20, %[off]") \
83 __ASM_EMIT("sub $4, %[count]") \
84 __ASM_EMIT("4:") \
85 /* x2 block */ \
86 __ASM_EMIT("add $2, %[count]") \
87 __ASM_EMIT("jl 6f") \
88 __ASM_EMIT("vmovups 0x00(%[" SRC2 "], %[off]), %%xmm6") /* xmm6 = br0 bi0 */ \
89 __ASM_EMIT("vmovsldup 0x00(%[" SRC1 "], %[off]), %%xmm0") /* xmm0 = ar0 ar0 */ \
90 __ASM_EMIT("vmovshdup 0x00(%[" SRC1 "], %[off]), %%xmm2") /* xmm2 = ai0 ai0 */ \
91 __ASM_EMIT("vshufps $0xb1, %%xmm6, %%xmm6, %%xmm4") /* xmm4 = bi0 br0 */ \
92 __ASM_EMIT(SEL("vmulps %%xmm6, %%xmm0, %%xmm0", "")) /* xmm0 = ar0*br0 ar0*bi0 */ \
93 __ASM_EMIT("vmulps %%xmm4, %%xmm2, %%xmm2") /* xmm2 = ai0*bi0 ai0*br0 */ \
94 __ASM_EMIT(SEL("vaddsubps %%xmm2, %%xmm0, %%xmm0", "vfmaddsub132ps %%xmm6, %%xmm2, %%xmm0")) /* xmm0 = ar0*br0-ai0*bi0 ar0*bi0+ai0*br0 ... */ \
95 __ASM_EMIT("vmovups %%xmm0, 0x00(%[" DST "], %[off])") \
96 __ASM_EMIT("add $0x10, %[off]") \
97 __ASM_EMIT("sub $2, %[count]") \
98 __ASM_EMIT("6:") \
99 /* x1 block */ \
100 __ASM_EMIT("add $1, %[count]") \
101 __ASM_EMIT("jl 8f") \
102 __ASM_EMIT("vmovlps 0x00(%[" SRC1 "], %[off]), %%xmm4, %%xmm4") /* xmm4 = ar0 ai0 */ \
103 __ASM_EMIT("vmovlps 0x00(%[" SRC2 "], %[off]), %%xmm6, %%xmm6") /* xmm6 = br0 bi0 */ \
104 __ASM_EMIT("vmovsldup %%xmm4, %%xmm0") /* xmm0 = ar0 ar0 */ \
105 __ASM_EMIT("vmovshdup %%xmm4, %%xmm2") /* xmm2 = ai0 ai0 */ \
106 __ASM_EMIT("vshufps $0xb1, %%xmm6, %%xmm6, %%xmm4") /* xmm4 = bi0 br0 */ \
107 __ASM_EMIT(SEL("vmulps %%xmm6, %%xmm0, %%xmm0", "")) /* xmm0 = ar0*br0 ar0*bi0 */ \
108 __ASM_EMIT("vmulps %%xmm4, %%xmm2, %%xmm2") /* xmm2 = ai0*bi0 ai0*br0 */ \
109 __ASM_EMIT(SEL("vaddsubps %%xmm2, %%xmm0, %%xmm0", "vfmaddsub132ps %%xmm6, %%xmm2, %%xmm0")) /* xmm0 = ar0*br0-ai0*bi0 ar0*bi0+ai0*br0 ... */ \
110 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[" DST "], %[off])") \
111 __ASM_EMIT("8:") \
112 /* end */
113
114 /*
115 * Register allocation:
116 * ymm4 = a1
117 * ymm5 = a2
118 * ymm6 = b1
119 * ymm7 = b2
120 */
121 void pcomplex_mul3(float *dst, const float *src1, const float *src2, size_t count)
122 {
123 IF_ARCH_X86(size_t off);
124 ARCH_X86_ASM
125 (
126 PCOMPLEX_MULX_CORE("dst", "src1", "src2", FMA_OFF)
127 : [off] "=&r" (off),
128 [count] "+r" (count)
129 : [dst] "r" (dst), [src1] "r" (src1), [src2] "r" (src2)
130 : "cc", "memory",
131 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
132 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
133 );
134 }
135
136 void pcomplex_mul2(float *dst, const float *src, size_t count)
137 {
138 IF_ARCH_X86(size_t off);
139 ARCH_X86_ASM
140 (
141 PCOMPLEX_MULX_CORE("dst", "dst", "src", FMA_OFF)
142 : [off] "=&r" (off),
143 [count] "+r" (count)
144 : [dst] "r" (dst), [src] "r" (src)
145 : "cc", "memory",
146 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
147 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
148 );
149 }
150
151 void pcomplex_mul3_fma3(float *dst, const float *src1, const float *src2, size_t count)
152 {
153 IF_ARCH_X86(size_t off);
154 ARCH_X86_ASM
155 (
156 PCOMPLEX_MULX_CORE("dst", "src1", "src2", FMA_ON)
157 : [off] "=&r" (off),
158 [count] "+r" (count)
159 : [dst] "r" (dst), [src1] "r" (src1), [src2] "r" (src2)
160 : "cc", "memory",
161 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
162 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
163 );
164 }
165
166 void pcomplex_mul2_fma3(float *dst, const float *src, size_t count)
167 {
168 IF_ARCH_X86(size_t off);
169 ARCH_X86_ASM
170 (
171 PCOMPLEX_MULX_CORE("dst", "dst", "src", FMA_ON)
172 : [off] "=&r" (off),
173 [count] "+r" (count)
174 : [dst] "r" (dst), [src] "r" (src)
175 : "cc", "memory",
176 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
177 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
178 );
179 }
180
181 #undef PCOMPLEX_MULX_CORE
182
183 void pcomplex_mod(float *dst, const float *src, size_t count)
184 {
185 // Strided-load technique is used to improve performance
186 IF_ARCH_X86(size_t off);
187 ARCH_X86_ASM
188 (
189 __ASM_EMIT("xor %[off], %[off]")
190 // 16x blocks
191 __ASM_EMIT("sub $16, %[count]")
192 __ASM_EMIT("jb 2f")
193 __ASM_EMIT("1:")
194 __ASM_EMIT("vmovups 0x000(%[src], %[off], 2), %%xmm0")
195 __ASM_EMIT("vmovups 0x010(%[src], %[off], 2), %%xmm2")
196 __ASM_EMIT("vinsertf128 $1, 0x020(%[src], %[off], 2), %%ymm0, %%ymm0")
197 __ASM_EMIT("vinsertf128 $1, 0x030(%[src], %[off], 2), %%ymm2, %%ymm2")
198 __ASM_EMIT("vmovups 0x040(%[src], %[off], 2), %%xmm1")
199 __ASM_EMIT("vmovups 0x050(%[src], %[off], 2), %%xmm3")
200 __ASM_EMIT("vinsertf128 $1, 0x060(%[src], %[off], 2), %%ymm1, %%ymm1")
201 __ASM_EMIT("vinsertf128 $1, 0x070(%[src], %[off], 2), %%ymm3, %%ymm3")
202 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm0")
203 __ASM_EMIT("vmulps %%ymm2, %%ymm2, %%ymm2")
204 __ASM_EMIT("vmulps %%ymm1, %%ymm1, %%ymm1")
205 __ASM_EMIT("vmulps %%ymm3, %%ymm3, %%ymm3")
206 __ASM_EMIT("vhaddps %%ymm2, %%ymm0, %%ymm0")
207 __ASM_EMIT("vhaddps %%ymm3, %%ymm1, %%ymm1")
208 __ASM_EMIT("vsqrtps %%ymm0, %%ymm0")
209 __ASM_EMIT("vsqrtps %%ymm1, %%ymm1")
210 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
211 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
212 __ASM_EMIT("add $0x40, %[off]")
213 __ASM_EMIT("sub $16, %[count]")
214 __ASM_EMIT("jae 1b")
215 __ASM_EMIT("2:")
216 // 8x block
217 __ASM_EMIT("add $8, %[count]")
218 __ASM_EMIT("jl 4f")
219 __ASM_EMIT("vmovups 0x000(%[src], %[off], 2), %%xmm0")
220 __ASM_EMIT("vmovups 0x010(%[src], %[off], 2), %%xmm2")
221 __ASM_EMIT("vinsertf128 $1, 0x020(%[src], %[off], 2), %%ymm0, %%ymm0")
222 __ASM_EMIT("vinsertf128 $1, 0x030(%[src], %[off], 2), %%ymm2, %%ymm2")
223 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm0")
224 __ASM_EMIT("vmulps %%ymm2, %%ymm2, %%ymm2")
225 __ASM_EMIT("vhaddps %%ymm2, %%ymm0, %%ymm0")
226 __ASM_EMIT("vsqrtps %%ymm0, %%ymm0")
227 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
228 __ASM_EMIT("sub $8, %[count]")
229 __ASM_EMIT("add $0x20, %[off]")
230 __ASM_EMIT("4:")
231 // 4x block
232 __ASM_EMIT("add $4, %[count]")
233 __ASM_EMIT("jl 6f")
234 __ASM_EMIT("5:")
235 __ASM_EMIT("vmovups 0x000(%[src], %[off], 2), %%xmm0")
236 __ASM_EMIT("vmovups 0x010(%[src], %[off], 2), %%xmm2")
237 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm0")
238 __ASM_EMIT("vmulps %%xmm2, %%xmm2, %%xmm2")
239 __ASM_EMIT("vhaddps %%xmm2, %%xmm0, %%xmm0")
240 __ASM_EMIT("vsqrtps %%xmm0, %%xmm0")
241 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
242 __ASM_EMIT("sub $4, %[count]")
243 __ASM_EMIT("add $0x10, %[off]")
244 __ASM_EMIT("6:")
245 // 2x block
246 __ASM_EMIT("add $2, %[count]")
247 __ASM_EMIT("jl 8f")
248 __ASM_EMIT("vmovups 0x000(%[src], %[off], 2), %%xmm0")
249 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm0")
250 __ASM_EMIT("vhaddps %%xmm0, %%xmm0, %%xmm0")
251 __ASM_EMIT("vsqrtps %%xmm0, %%xmm0")
252 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst], %[off])")
253 __ASM_EMIT("sub $2, %[count]")
254 __ASM_EMIT("add $0x08, %[off]")
255 __ASM_EMIT("8:")
256 // 1x block
257 __ASM_EMIT("add $1, %[count]")
258 __ASM_EMIT("jl 10f")
259 __ASM_EMIT("vmovlps 0x000(%[src], %[off], 2), %%xmm0, %%xmm0")
260 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm0")
261 __ASM_EMIT("vhaddps %%xmm0, %%xmm0, %%xmm0")
262 __ASM_EMIT("vsqrtps %%xmm0, %%xmm0")
263 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
264 __ASM_EMIT("10:")
265 // End
266
267 : [count] "+r" (count), [off] "=&r" (off)
268 : [dst] "r" (dst), [src] "r" (src)
269 : "cc", "memory",
270 "%xmm0", "%xmm1", "%xmm2", "%xmm3", "%xmm4", "%xmm5", "%xmm6", "%xmm7"
271 );
272 }
273
274 #define PCOMPLEX_DIV_CORE(DST, T, B, SEL) \
275 /* Init */ \
276 __ASM_EMIT("xor %[off], %[off]") \
277 /* x8 block */ \
278 __ASM_EMIT("sub $8, %[count]") \
279 __ASM_EMIT("jb 2f") \
280 __ASM_EMIT("1:") \
281 __ASM_EMIT("vmovups 0x00(%[" T "], %[off]), %%ymm0") /* ymm0 = tr ti */ \
282 __ASM_EMIT("vmovups 0x20(%[" T "], %[off]), %%ymm4") \
283 __ASM_EMIT("vmovups 0x00(%[" B "], %[off]), %%ymm1") /* ymm1 = br bi */ \
284 __ASM_EMIT("vmovups 0x20(%[" B "], %[off]), %%ymm5") \
285 __ASM_EMIT("vmovshdup %%ymm0, %%ymm2") /* ymm2 = ti ti */ \
286 __ASM_EMIT("vmovshdup %%ymm4, %%ymm6") \
287 __ASM_EMIT("vmovsldup %%ymm0, %%ymm0") /* ymm0 = tr tr */ \
288 __ASM_EMIT("vmovsldup %%ymm4, %%ymm4") \
289 __ASM_EMIT("vmulps %%ymm1, %%ymm1, %%ymm3") /* ymm3 = br*br bi*bi */ \
290 __ASM_EMIT("vmulps %%ymm5, %%ymm5, %%ymm7") \
291 __ASM_EMIT("vmulps %%ymm1, %%ymm0, %%ymm0") /* ymm0 = tr*br tr*bi */ \
292 __ASM_EMIT("vmulps %%ymm5, %%ymm4, %%ymm4") \
293 __ASM_EMIT("vhaddps %%ymm7, %%ymm3, %%ymm3") /* ymm3 = R0 R1 R4 R5 R2 R3 R6 R7 */ \
294 __ASM_EMIT(SEL("vxorps 0x20 + %[CC], %%ymm0, %%ymm0", "")) /* ymm0 = -tr*br -tr*bi */ \
295 __ASM_EMIT(SEL("vxorps 0x20 + %[CC], %%ymm4, %%ymm4", "")) \
296 __ASM_EMIT("vmovaps 0x00 + %[CC], %%ymm7") /* ymm7 = 1 */ \
297 __ASM_EMIT("vdivps %%ymm3, %%ymm7, %%ymm3") /* ymm3 = 1/R0 1/R1 1/R4 1/R5 1/R2 1/R3 1/R6 1/R7 */ \
298 __ASM_EMIT("vshufps $0xb1, %%ymm1, %%ymm1, %%ymm1") /* ymm1 = bi br */ \
299 __ASM_EMIT("vshufps $0xb1, %%ymm5, %%ymm5, %%ymm5") \
300 __ASM_EMIT("vunpckhps %%ymm3, %%ymm3, %%ymm7") /* ymm7 = 1/R4 1/R4 1/R5 1/R5 1/R6 1/R6 1/R7 1/R7 */ \
301 __ASM_EMIT("vunpcklps %%ymm3, %%ymm3, %%ymm3") /* ymm3 = 1/R0 1/R0 1/R1 1/R1 1/R2 1/R2 1/R3 1/R3 */ \
302 __ASM_EMIT(SEL("vmulps %%ymm1, %%ymm2, %%ymm2", "")) /* ymm2 = ti*bi ti*br */ \
303 __ASM_EMIT(SEL("vmulps %%ymm5, %%ymm6, %%ymm6", "")) \
304 __ASM_EMIT(SEL("vaddsubps %%ymm0, %%ymm2, %%ymm0", "")) /* ymm0 = r i = ti*bi+tr*br ti*br-tr*bi */ \
305 __ASM_EMIT(SEL("vaddsubps %%ymm4, %%ymm6, %%ymm4", "")) \
306 __ASM_EMIT(SEL("", "vfmsubadd231ps %%ymm1, %%ymm2, %%ymm0")) /* ymm0 = r i = ti*bi+tr*br ti*br-tr*bi */ \
307 __ASM_EMIT(SEL("", "vfmsubadd231ps %%ymm5, %%ymm6, %%ymm4")) \
308 __ASM_EMIT("vmulps %%ymm3, %%ymm0, %%ymm0") /* ymm0 = r' i' */ \
309 __ASM_EMIT("vmulps %%ymm7, %%ymm4, %%ymm4") \
310 __ASM_EMIT("vmovups %%ymm0, 0x00(%[" DST "], %[off])") \
311 __ASM_EMIT("vmovups %%ymm4, 0x20(%[" DST "], %[off])") \
312 __ASM_EMIT("add $0x40, %[off]") \
313 __ASM_EMIT("sub $8, %[count]") \
314 __ASM_EMIT("jae 1b") \
315 __ASM_EMIT("2:") \
316 /* x4 block */ \
317 __ASM_EMIT("add $4, %[count]") \
318 __ASM_EMIT("jl 4f") \
319 __ASM_EMIT("vmovups 0x00(%[" T "], %[off]), %%xmm0") /* xmm0 = tr ti */ \
320 __ASM_EMIT("vmovups 0x10(%[" T "], %[off]), %%xmm4") \
321 __ASM_EMIT("vmovups 0x00(%[" B "], %[off]), %%xmm1") /* xmm1 = br bi */ \
322 __ASM_EMIT("vmovups 0x10(%[" B "], %[off]), %%xmm5") \
323 __ASM_EMIT("vmovshdup %%xmm0, %%xmm2") /* xmm2 = ti ti */ \
324 __ASM_EMIT("vmovshdup %%xmm4, %%xmm6") \
325 __ASM_EMIT("vmovsldup %%xmm0, %%xmm0") /* xmm0 = tr tr */ \
326 __ASM_EMIT("vmovsldup %%xmm4, %%xmm4") \
327 __ASM_EMIT("vmulps %%xmm1, %%xmm1, %%xmm3") /* xmm3 = br*br bi*bi */ \
328 __ASM_EMIT("vmulps %%xmm5, %%xmm5, %%xmm7") \
329 __ASM_EMIT("vmulps %%xmm1, %%xmm0, %%xmm0") /* xmm0 = tr*br tr*bi */ \
330 __ASM_EMIT("vmulps %%xmm5, %%xmm4, %%xmm4") \
331 __ASM_EMIT("vhaddps %%xmm7, %%xmm3, %%xmm3") /* xmm3 = R0 R1 R2 R3 */ \
332 __ASM_EMIT(SEL("vxorps 0x20 + %[CC], %%xmm0, %%xmm0", "")) /* xmm0 = -tr*br -tr*bi */ \
333 __ASM_EMIT(SEL("vxorps 0x20 + %[CC], %%xmm4, %%xmm4", "")) \
334 __ASM_EMIT("vmovaps 0x00 + %[CC], %%xmm7") /* xmm7 = 1 */ \
335 __ASM_EMIT("vdivps %%xmm3, %%xmm7, %%xmm3") /* xmm3 = 1/R0 1/R1 1/R2 1/R3 */ \
336 __ASM_EMIT("vshufps $0xb1, %%xmm1, %%xmm1, %%xmm1") /* xmm1 = bi br */ \
337 __ASM_EMIT("vshufps $0xb1, %%xmm5, %%xmm5, %%xmm5") \
338 __ASM_EMIT("vunpckhps %%xmm3, %%xmm3, %%xmm7") /* xmm7 = 1/R2 1/R2 1/R3 1/R3 */ \
339 __ASM_EMIT("vunpcklps %%xmm3, %%xmm3, %%xmm3") /* xmm3 = 1/R0 1/R0 1/R1 1/R1 */ \
340 __ASM_EMIT(SEL("vmulps %%xmm1, %%xmm2, %%xmm2", "")) /* xmm2 = ti*bi ti*br */ \
341 __ASM_EMIT(SEL("vmulps %%xmm5, %%xmm6, %%xmm6", "")) \
342 __ASM_EMIT(SEL("vaddsubps %%xmm0, %%xmm2, %%xmm0", "")) /* xmm0 = r i = ti*bi+tr*br ti*br-tr*bi */ \
343 __ASM_EMIT(SEL("vaddsubps %%xmm4, %%xmm6, %%xmm4", "")) \
344 __ASM_EMIT(SEL("", "vfmsubadd231ps %%xmm1, %%xmm2, %%xmm0")) /* xmm0 = r i = ti*bi+tr*br ti*br-tr*bi */ \
345 __ASM_EMIT(SEL("", "vfmsubadd231ps %%xmm5, %%xmm6, %%xmm4")) \
346 __ASM_EMIT("vmulps %%xmm3, %%xmm0, %%xmm0") /* xmm0 = r' i' */ \
347 __ASM_EMIT("vmulps %%xmm7, %%xmm4, %%xmm4") \
348 __ASM_EMIT("vmovups %%xmm0, 0x00(%[" DST "], %[off])") \
349 __ASM_EMIT("vmovups %%xmm4, 0x10(%[" DST "], %[off])") \
350 __ASM_EMIT("add $0x20, %[off]") \
351 __ASM_EMIT("sub $4, %[count]") \
352 __ASM_EMIT("4:") \
353 /* x2 block */ \
354 __ASM_EMIT("add $2, %[count]") \
355 __ASM_EMIT("jl 6f") \
356 __ASM_EMIT("vmovups 0x00(%[" T "], %[off]), %%xmm0") /* xmm0 = tr ti */ \
357 __ASM_EMIT("vmovups 0x00(%[" B "], %[off]), %%xmm1") /* xmm1 = br bi */ \
358 __ASM_EMIT("vmovshdup %%xmm0, %%xmm2") /* xmm2 = ti ti */ \
359 __ASM_EMIT("vmovsldup %%xmm0, %%xmm0") /* xmm0 = tr tr */ \
360 __ASM_EMIT("vmulps %%xmm1, %%xmm1, %%xmm3") /* xmm3 = br*br bi*bi */ \
361 __ASM_EMIT("vmulps %%xmm1, %%xmm0, %%xmm0") /* xmm0 = tr*br tr*bi */ \
362 __ASM_EMIT("vhaddps %%xmm3, %%xmm3, %%xmm3") /* xmm3 = R0 R1 */ \
363 __ASM_EMIT(SEL("vxorps 0x20 + %[CC], %%xmm0, %%xmm0", "")) /* xmm0 = -tr*br -tr*bi */ \
364 __ASM_EMIT("vmovaps 0x00 + %[CC], %%xmm7") /* xmm7 = 1 */ \
365 __ASM_EMIT("vdivps %%xmm3, %%xmm7, %%xmm3") /* xmm3 = 1/R0 1/R1 1/R2 1/R3 */ \
366 __ASM_EMIT("vshufps $0xb1, %%xmm1, %%xmm1, %%xmm1") /* xmm1 = bi br */ \
367 __ASM_EMIT("vunpckhps %%xmm3, %%xmm3, %%xmm7") /* xmm7 = 1/R2 1/R2 1/R3 1/R3 */ \
368 __ASM_EMIT("vunpcklps %%xmm3, %%xmm3, %%xmm3") /* xmm3 = 1/R0 1/R0 1/R1 1/R1 */ \
369 __ASM_EMIT(SEL("vmulps %%xmm1, %%xmm2, %%xmm2", "")) /* xmm2 = ti*bi ti*br */ \
370 __ASM_EMIT(SEL("vaddsubps %%xmm0, %%xmm2, %%xmm0", "")) /* xmm0 = r i = ti*bi+tr*br ti*br-tr*bi */ \
371 __ASM_EMIT(SEL("", "vfmsubadd231ps %%xmm1, %%xmm2, %%xmm0")) /* xmm0 = r i = ti*bi+tr*br ti*br-tr*bi */ \
372 __ASM_EMIT("vmulps %%xmm3, %%xmm0, %%xmm0") /* xmm0 = r' i' */ \
373 __ASM_EMIT("vmovups %%xmm0, 0x00(%[" DST "], %[off])") \
374 __ASM_EMIT("add $0x10, %[off]") \
375 __ASM_EMIT("sub $2, %[count]") \
376 __ASM_EMIT("6:") \
377 /* x1 block */ \
378 __ASM_EMIT("add $1, %[count]") \
379 __ASM_EMIT("jl 8f") \
380 __ASM_EMIT("vmovlps 0x00(%[" T "], %[off]), %%xmm0, %%xmm0")/* xmm0 = tr ti */ \
381 __ASM_EMIT("vmovlps 0x00(%[" B "], %[off]), %%xmm1, %%xmm1")/* xmm1 = br bi */ \
382 __ASM_EMIT("vmovshdup %%xmm0, %%xmm2") /* xmm2 = ti ti */ \
383 __ASM_EMIT("vmovsldup %%xmm0, %%xmm0") /* xmm0 = tr tr */ \
384 __ASM_EMIT("vmulps %%xmm1, %%xmm1, %%xmm3") /* xmm3 = br*br bi*bi */ \
385 __ASM_EMIT("vmulps %%xmm1, %%xmm0, %%xmm0") /* xmm0 = tr*br tr*bi */ \
386 __ASM_EMIT("vhaddps %%xmm3, %%xmm3, %%xmm3") /* xmm3 = R0 R1 */ \
387 __ASM_EMIT(SEL("vxorps 0x20 + %[CC], %%xmm0, %%xmm0", "")) /* xmm0 = -tr*br -tr*bi */ \
388 __ASM_EMIT("vmovaps 0x00 + %[CC], %%xmm7") /* xmm7 = 1 */ \
389 __ASM_EMIT("vdivps %%xmm3, %%xmm7, %%xmm3") /* xmm3 = 1/R0 1/R1 1/R2 1/R3 */ \
390 __ASM_EMIT("vshufps $0xb1, %%xmm1, %%xmm1, %%xmm1") /* xmm1 = bi br */ \
391 __ASM_EMIT("vunpckhps %%xmm3, %%xmm3, %%xmm7") /* xmm7 = 1/R2 1/R2 1/R3 1/R3 */ \
392 __ASM_EMIT("vunpcklps %%xmm3, %%xmm3, %%xmm3") /* xmm3 = 1/R0 1/R0 1/R1 1/R1 */ \
393 __ASM_EMIT(SEL("vmulps %%xmm1, %%xmm2, %%xmm2", "")) /* xmm2 = ti*bi ti*br */ \
394 __ASM_EMIT(SEL("vaddsubps %%xmm0, %%xmm2, %%xmm0", "")) /* xmm0 = r i = ti*bi+tr*br ti*br-tr*bi */ \
395 __ASM_EMIT(SEL("", "vfmsubadd231ps %%xmm1, %%xmm2, %%xmm0")) /* xmm0 = r i = ti*bi+tr*br ti*br-tr*bi */ \
396 __ASM_EMIT("vmulps %%xmm3, %%xmm0, %%xmm0") /* xmm0 = r' i' */ \
397 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[" DST "], %[off])") \
398 __ASM_EMIT("8:") \
399 /* end */
400
401 void pcomplex_div3(float *dst, const float *t, const float *b, size_t count)
402 {
403 IF_ARCH_X86(size_t off);
404 ARCH_X86_ASM
405 (
406 PCOMPLEX_DIV_CORE("dst", "t", "b", FMA_OFF)
407 : [off] "=&r" (off),
408 [count] "+r" (count)
409 : [dst] "r" (dst), [t] "r" (t), [b] "r" (b),
410 [CC] "o" (pcomplex_div_const)
411 : "cc", "memory",
412 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
413 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
414 );
415 }
416
417 void pcomplex_div2(float *dst, const float *src, size_t count)
418 {
419 IF_ARCH_X86(size_t off);
420 ARCH_X86_ASM
421 (
422 PCOMPLEX_DIV_CORE("dst", "dst", "src", FMA_OFF)
423 : [off] "=&r" (off),
424 [count] "+r" (count)
425 : [dst] "r" (dst), [src] "r" (src),
426 [CC] "o" (pcomplex_div_const)
427 : "cc", "memory",
428 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
429 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
430 );
431 }
432
433 void pcomplex_rdiv2(float *dst, const float *src, size_t count)
434 {
435 IF_ARCH_X86(size_t off);
436 ARCH_X86_ASM
437 (
438 PCOMPLEX_DIV_CORE("dst", "src", "dst", FMA_OFF)
439 : [off] "=&r" (off),
440 [count] "+r" (count)
441 : [dst] "r" (dst), [src] "r" (src),
442 [CC] "o" (pcomplex_div_const)
443 : "cc", "memory",
444 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
445 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
446 );
447 }
448
449 void pcomplex_div3_fma3(float *dst, const float *t, const float *b, size_t count)
450 {
451 IF_ARCH_X86(size_t off);
452 ARCH_X86_ASM
453 (
454 PCOMPLEX_DIV_CORE("dst", "t", "b", FMA_ON)
455 : [off] "=&r" (off),
456 [count] "+r" (count)
457 : [dst] "r" (dst), [t] "r" (t), [b] "r" (b),
458 [CC] "o" (pcomplex_div_const)
459 : "cc", "memory",
460 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
461 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
462 );
463 }
464
465 void pcomplex_div2_fma3(float *dst, const float *src, size_t count)
466 {
467 IF_ARCH_X86(size_t off);
468 ARCH_X86_ASM
469 (
470 PCOMPLEX_DIV_CORE("dst", "dst", "src", FMA_ON)
471 : [off] "=&r" (off),
472 [count] "+r" (count)
473 : [dst] "r" (dst), [src] "r" (src),
474 [CC] "o" (pcomplex_div_const)
475 : "cc", "memory",
476 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
477 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
478 );
479 }
480
481 void pcomplex_rdiv2_fma3(float *dst, const float *src, size_t count)
482 {
483 IF_ARCH_X86(size_t off);
484 ARCH_X86_ASM
485 (
486 PCOMPLEX_DIV_CORE("dst", "src", "dst", FMA_ON)
487 : [off] "=&r" (off),
488 [count] "+r" (count)
489 : [dst] "r" (dst), [src] "r" (src),
490 [CC] "o" (pcomplex_div_const)
491 : "cc", "memory",
492 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
493 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
494 );
495 }
496
497 #undef PCOMPLEX_DIV_CORE
498
499 #define PCOMPLEX_RCP_CORE(DST, SRC) \
500 /* Init */ \
501 __ASM_EMIT("xor %[off], %[off]") \
502 /* x16 block */ \
503 __ASM_EMIT("sub $16, %[count]") \
504 __ASM_EMIT("jb 2f") \
505 __ASM_EMIT("1:") \
506 __ASM_EMIT("vmovups 0x00(%[" SRC "], %[off]), %%ymm0") /* ymm0 = r0 i0 */ \
507 __ASM_EMIT("vmovups 0x20(%[" SRC "], %[off]), %%ymm1") \
508 __ASM_EMIT("vmovups 0x40(%[" SRC "], %[off]), %%ymm2") \
509 __ASM_EMIT("vmovups 0x60(%[" SRC "], %[off]), %%ymm3") \
510 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm4") /* ymm0 = r0*r0 i0*i0 */ \
511 __ASM_EMIT("vmulps %%ymm1, %%ymm1, %%ymm5") \
512 __ASM_EMIT("vmulps %%ymm2, %%ymm2, %%ymm6") \
513 __ASM_EMIT("vmulps %%ymm3, %%ymm3, %%ymm7") \
514 __ASM_EMIT("vhaddps %%ymm5, %%ymm4, %%ymm4") /* ymm4 = R = r0*r0+i0*i0 */ \
515 __ASM_EMIT("vhaddps %%ymm7, %%ymm6, %%ymm6") \
516 __ASM_EMIT("vmovaps 0x00(%[CC]), %%ymm5") /* ymm5 = 1 */ \
517 __ASM_EMIT("vdivps %%ymm4, %%ymm5, %%ymm4") /* ymm4 = 1/R */ \
518 __ASM_EMIT("vdivps %%ymm6, %%ymm5, %%ymm6") \
519 __ASM_EMIT("vxorps 0x20(%[CC]), %%ymm4, %%ymm5") /* ymm5 = -1/R */ \
520 __ASM_EMIT("vunpckhps %%ymm5, %%ymm4, %%ymm7") /* ymm7 = 1/R -1/R */ \
521 __ASM_EMIT("vunpcklps %%ymm5, %%ymm4, %%ymm5") \
522 __ASM_EMIT("vmulps %%ymm5, %%ymm0, %%ymm0") /* ymm0 = r0/R -i0/R */ \
523 __ASM_EMIT("vmulps %%ymm7, %%ymm1, %%ymm1") \
524 __ASM_EMIT("vxorps 0x20(%[CC]), %%ymm6, %%ymm5") /* ymm5 = -1/R2 */ \
525 __ASM_EMIT("vunpckhps %%ymm5, %%ymm6, %%ymm7") /* ymm7 = 1/R2 -1/R2 */ \
526 __ASM_EMIT("vunpcklps %%ymm5, %%ymm6, %%ymm5") \
527 __ASM_EMIT("vmulps %%ymm5, %%ymm2, %%ymm2") /* ymm0 = r1/R2 -i1/R2 */ \
528 __ASM_EMIT("vmulps %%ymm7, %%ymm3, %%ymm3") \
529 __ASM_EMIT("vmovups %%ymm0, 0x00(%[" DST "], %[off])") \
530 __ASM_EMIT("vmovups %%ymm1, 0x20(%[" DST "], %[off])") \
531 __ASM_EMIT("vmovups %%ymm2, 0x40(%[" DST "], %[off])") \
532 __ASM_EMIT("vmovups %%ymm3, 0x60(%[" DST "], %[off])") \
533 __ASM_EMIT("add $0x80, %[off]") \
534 __ASM_EMIT("sub $16, %[count]") \
535 __ASM_EMIT("jae 1b") \
536 __ASM_EMIT("2:") \
537 /* x8 block */ \
538 __ASM_EMIT("add $8, %[count]") \
539 __ASM_EMIT("jl 4f") \
540 __ASM_EMIT("vmovups 0x00(%[" SRC "], %[off]), %%ymm0") /* ymm0 = r0 i0 */ \
541 __ASM_EMIT("vmovups 0x20(%[" SRC "], %[off]), %%ymm1") \
542 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm4") /* ymm0 = r0*r0 + i0*i0 */ \
543 __ASM_EMIT("vmulps %%ymm1, %%ymm1, %%ymm5") \
544 __ASM_EMIT("vhaddps %%ymm5, %%ymm4, %%ymm4") /* ymm4 = R = r0*r0+i0*i0 */ \
545 __ASM_EMIT("vmovaps 0x00(%[CC]), %%ymm5") /* ymm5 = 1 */ \
546 __ASM_EMIT("vdivps %%ymm4, %%ymm5, %%ymm4") /* ymm4 = 1/R */ \
547 __ASM_EMIT("vxorps 0x20(%[CC]), %%ymm4, %%ymm5") /* ymm5 = -1/R */ \
548 __ASM_EMIT("vunpckhps %%ymm5, %%ymm4, %%ymm7") /* ymm7 = 1/R -1/R */ \
549 __ASM_EMIT("vunpcklps %%ymm5, %%ymm4, %%ymm5") \
550 __ASM_EMIT("vmulps %%ymm5, %%ymm0, %%ymm0") /* ymm0 = r0/R -i0/R */ \
551 __ASM_EMIT("vmulps %%ymm7, %%ymm1, %%ymm1") \
552 __ASM_EMIT("vmovups %%ymm0, 0x00(%[" DST "], %[off])") \
553 __ASM_EMIT("vmovups %%ymm1, 0x20(%[" DST "], %[off])") \
554 __ASM_EMIT("add $0x40, %[off]") \
555 __ASM_EMIT("sub $8, %[count]") \
556 __ASM_EMIT("4:") \
557 /* x4 block */ \
558 __ASM_EMIT("add $4, %[count]") \
559 __ASM_EMIT("jl 6f") \
560 __ASM_EMIT("vmovups 0x00(%[" SRC "], %[off]), %%ymm0") /* ymm0 = r0 i0 */ \
561 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm4") /* ymm0 = r0*r0 + i0*i0 */ \
562 __ASM_EMIT("vhaddps %%ymm4, %%ymm4, %%ymm4") /* ymm4 = R = r0*r0+i0*i0 */ \
563 __ASM_EMIT("vmovaps 0x00(%[CC]), %%ymm5") /* ymm5 = 1 */ \
564 __ASM_EMIT("vdivps %%ymm4, %%ymm5, %%ymm4") /* ymm4 = 1/R */ \
565 __ASM_EMIT("vxorps 0x20(%[CC]), %%ymm4, %%ymm5") /* ymm5 = -1/R */ \
566 __ASM_EMIT("vunpcklps %%ymm5, %%ymm4, %%ymm5") /* ymm7 = 1/R -1/R */ \
567 __ASM_EMIT("vmulps %%ymm5, %%ymm0, %%ymm0") /* ymm0 = r0/R -i0/R */ \
568 __ASM_EMIT("vmovups %%ymm0, 0x00(%[" DST "], %[off])") \
569 __ASM_EMIT("add $0x20, %[off]") \
570 __ASM_EMIT("sub $4, %[count]") \
571 __ASM_EMIT("6:") \
572 /* x2 block */ \
573 __ASM_EMIT("add $2, %[count]") \
574 __ASM_EMIT("jl 8f") \
575 __ASM_EMIT("vmovups 0x00(%[" SRC "], %[off]), %%xmm0") /* xmm0 = r0 i0 */ \
576 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm4") /* xmm0 = r0*r0 + i0*i0 */ \
577 __ASM_EMIT("vhaddps %%xmm4, %%xmm4, %%xmm4") /* xmm4 = R = r0*r0+i0*i0 */ \
578 __ASM_EMIT("vmovaps 0x00(%[CC]), %%xmm5") /* xmm5 = 1 */ \
579 __ASM_EMIT("vdivps %%xmm4, %%xmm5, %%xmm4") /* xmm4 = 1/R */ \
580 __ASM_EMIT("vxorps 0x20(%[CC]), %%xmm4, %%xmm5") /* xmm5 = -1/R */ \
581 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm5") /* xmm7 = 1/R -1/R */ \
582 __ASM_EMIT("vmulps %%xmm5, %%xmm0, %%xmm0") /* xmm0 = r0/R -i0/R */ \
583 __ASM_EMIT("vmovups %%xmm0, 0x00(%[" DST "], %[off])") \
584 __ASM_EMIT("add $0x10, %[off]") \
585 __ASM_EMIT("sub $2, %[count]") \
586 __ASM_EMIT("8:") \
587 /* x1 block */ \
588 __ASM_EMIT("add $1, %[count]") \
589 __ASM_EMIT("jl 10f") \
590 __ASM_EMIT("vmovlps 0x00(%[" SRC "], %[off]), %%xmm0, %%xmm0") /* xmm0 = r0 i0 */ \
591 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm4") /* xmm0 = r0*r0 + i0*i0 */ \
592 __ASM_EMIT("vhaddps %%xmm4, %%xmm4, %%xmm4") /* xmm4 = R = r0*r0+i0*i0 */ \
593 __ASM_EMIT("vmovaps 0x00(%[CC]), %%xmm5") /* xmm5 = 1 */ \
594 __ASM_EMIT("vdivps %%xmm4, %%xmm5, %%xmm4") /* xmm4 = 1/R */ \
595 __ASM_EMIT("vxorps 0x20(%[CC]), %%xmm4, %%xmm5") /* xmm5 = -1/R */ \
596 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm5") /* xmm7 = 1/R -1/R */ \
597 __ASM_EMIT("vmulps %%xmm5, %%xmm0, %%xmm0") /* xmm0 = r0/R -i0/R */ \
598 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[" DST "], %[off])") \
599 __ASM_EMIT("10:") \
600 /* end */
601
602 void pcomplex_rcp1(float *dst, size_t count)
603 {
604 IF_ARCH_X86(size_t off);
605 ARCH_X86_ASM
606 (
607 PCOMPLEX_RCP_CORE("dst", "dst")
608 : [off] "=&r" (off),
609 [count] "+r" (count)
610 : [dst] "r" (dst),
611 [CC] "r" (pcomplex_div_const)
612 : "cc", "memory",
613 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
614 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
615 );
616 }
617
618 void pcomplex_rcp2(float *dst, const float *src, size_t count)
619 {
620 IF_ARCH_X86(size_t off);
621 ARCH_X86_ASM
622 (
623 PCOMPLEX_RCP_CORE("dst", "src")
624 : [off] "=&r" (off),
625 [count] "+r" (count)
626 : [dst] "r" (dst), [src] "r" (src),
627 [CC] "r" (pcomplex_div_const)
628 : "cc", "memory",
629 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
630 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
631 );
632 }
633
634 #undef PCOMPLEX_RCP_CORE
635
636 #undef FMA_OFF
637 #undef FMA_ON
638
639 void pcomplex_r2c_add2(float *dst, const float *src, size_t count)
640 {
641 IF_ARCH_X86(size_t off);
642 ARCH_X86_ASM
643 (
644 __ASM_EMIT("xor %[off], %[off]")
645 /* x16 blocks */
646 __ASM_EMIT("sub $16, %[count]")
647 __ASM_EMIT("vxorps %%ymm6, %%ymm6, %%ymm6") /* ymm6 = 0 */
648 __ASM_EMIT("vxorps %%ymm7, %%ymm7, %%ymm7") /* ymm7 = 0 */
649 __ASM_EMIT("jb 2f") \
650 __ASM_EMIT("1:") \
651 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%ymm0") /* ymm0 = s0 s1 s2 s3 s4 s5 s6 s7 */
652 __ASM_EMIT("vmovups 0x20(%[src], %[off]), %%ymm2")
653 __ASM_EMIT("vunpckhps %%ymm6, %%ymm0, %%ymm1") /* ymm1 = s2 0 s3 0 s6 0 s7 0 */
654 __ASM_EMIT("vunpckhps %%ymm6, %%ymm2, %%ymm3")
655 __ASM_EMIT("vunpcklps %%ymm6, %%ymm0, %%ymm0") /* ymm0 = s0 0 s1 0 s4 0 s5 0 */
656 __ASM_EMIT("vunpcklps %%ymm6, %%ymm2, %%ymm2")
657 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4") /* xmm4 = s4 0 s5 0 */
658 __ASM_EMIT("vextractf128 $1, %%ymm2, %%xmm5")
659 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm0, %%ymm0") /* ymm0 = s0 0 s1 0 s2 0 s3 0 */
660 __ASM_EMIT("vinsertf128 $1, %%xmm3, %%ymm2, %%ymm2")
661 __ASM_EMIT("vinsertf128 $0, %%xmm4, %%ymm1, %%ymm1") /* ymm1 = s4 0 s5 0 s6 0 s7 0 */
662 __ASM_EMIT("vinsertf128 $0, %%xmm5, %%ymm3, %%ymm3")
663 __ASM_EMIT("vaddps 0x00(%[dst], %[off], 2), %%ymm0, %%ymm0") /* ymm0 = r0+s0 i0 r1+s1 i1 r2+s2 i2 r3+s3 i3 */
664 __ASM_EMIT("vaddps 0x20(%[dst], %[off], 2), %%ymm1, %%ymm1")
665 __ASM_EMIT("vaddps 0x40(%[dst], %[off], 2), %%ymm2, %%ymm2")
666 __ASM_EMIT("vaddps 0x60(%[dst], %[off], 2), %%ymm3, %%ymm3")
667 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off], 2)")
668 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off], 2)")
669 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off], 2)")
670 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off], 2)")
671 __ASM_EMIT("add $0x40, %[off]")
672 __ASM_EMIT("sub $16, %[count]")
673 __ASM_EMIT("jae 1b")
674 /* x8 block */
675 __ASM_EMIT("2:")
676 __ASM_EMIT("add $8, %[count]")
677 __ASM_EMIT("jl 4f")
678 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
679 __ASM_EMIT("vmovups 0x10(%[src], %[off]), %%xmm2")
680 __ASM_EMIT("vunpckhps %%xmm6, %%xmm0, %%xmm1") /* xmm1 = s2 0 s3 0 */
681 __ASM_EMIT("vunpckhps %%xmm6, %%xmm2, %%xmm3")
682 __ASM_EMIT("vunpcklps %%xmm6, %%xmm0, %%xmm0") /* xmm0 = s0 0 s1 0 */
683 __ASM_EMIT("vunpcklps %%xmm6, %%xmm2, %%xmm2")
684 __ASM_EMIT("vaddps 0x00(%[dst], %[off], 2), %%xmm0, %%xmm0") /* xmm0 = r0+s0 i0 r1+s1 i1 r2+s2 i2 r3+s3 i3 */
685 __ASM_EMIT("vaddps 0x10(%[dst], %[off], 2), %%xmm1, %%xmm1")
686 __ASM_EMIT("vaddps 0x20(%[dst], %[off], 2), %%xmm2, %%xmm2")
687 __ASM_EMIT("vaddps 0x30(%[dst], %[off], 2), %%xmm3, %%xmm3")
688 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
689 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
690 __ASM_EMIT("vmovups %%xmm2, 0x20(%[dst], %[off], 2)")
691 __ASM_EMIT("vmovups %%xmm3, 0x30(%[dst], %[off], 2)")
692 __ASM_EMIT("sub $8, %[count]")
693 __ASM_EMIT("add $0x20, %[off]")
694 /* x4 blocks */
695 __ASM_EMIT("4:")
696 __ASM_EMIT("add $4, %[count]")
697 __ASM_EMIT("jl 6f")
698 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
699 __ASM_EMIT("vunpckhps %%xmm6, %%xmm0, %%xmm1") /* xmm1 = s2 0 s3 0 */
700 __ASM_EMIT("vunpcklps %%xmm6, %%xmm0, %%xmm0") /* xmm0 = s0 0 s1 0 */
701 __ASM_EMIT("vaddps 0x00(%[dst], %[off], 2), %%xmm0, %%xmm0") /* xmm0 = r0+s0 i0 r1+s1 i1 r2+s2 i2 r3+s3 i3 */
702 __ASM_EMIT("vaddps 0x10(%[dst], %[off], 2), %%xmm1, %%xmm1")
703 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
704 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
705 __ASM_EMIT("sub $4, %[count]")
706 __ASM_EMIT("add $0x10, %[off]")
707 /* x1 blocks */
708 __ASM_EMIT("6:")
709 __ASM_EMIT("add $3, %[count]")
710 __ASM_EMIT("jl 8f")
711 __ASM_EMIT("7:")
712 __ASM_EMIT("vmovss 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 */
713 __ASM_EMIT("vaddss 0x00(%[dst], %[off], 2), %%xmm0, %%xmm0") /* xmm0 = r0 + s0 */
714 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off], 2)")
715 __ASM_EMIT("add $0x04, %[off]")
716 __ASM_EMIT("dec %[count]")
717 __ASM_EMIT("jge 7b")
718 __ASM_EMIT("8:")
719
720 : [count] "+r" (count), [off] "=&r" (off)
721 : [dst] "r" (dst), [src] "r" (src)
722 : "cc", "memory",
723 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
724 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
725 );
726 }
727
728 void pcomplex_r2c_rsub2(float *dst, const float *src, size_t count)
729 {
730 IF_ARCH_X86(size_t off);
731 ARCH_X86_ASM
732 (
733 __ASM_EMIT("xor %[off], %[off]")
734 /* x16 blocks */
735 __ASM_EMIT("sub $16, %[count]")
736 __ASM_EMIT("vxorps %%ymm6, %%ymm6, %%ymm6") /* ymm6 = 0 */
737 __ASM_EMIT("vxorps %%ymm7, %%ymm7, %%ymm7") /* ymm7 = 0 */
738 __ASM_EMIT("jb 2f") \
739 __ASM_EMIT("1:") \
740 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%ymm0") /* ymm0 = s0 s1 s2 s3 s4 s5 s6 s7 */
741 __ASM_EMIT("vmovups 0x20(%[src], %[off]), %%ymm2")
742 __ASM_EMIT("vunpckhps %%ymm6, %%ymm0, %%ymm1") /* ymm1 = s2 0 s3 0 s6 0 s7 0 */
743 __ASM_EMIT("vunpckhps %%ymm6, %%ymm2, %%ymm3")
744 __ASM_EMIT("vunpcklps %%ymm6, %%ymm0, %%ymm0") /* ymm0 = s0 0 s1 0 s4 0 s5 0 */
745 __ASM_EMIT("vunpcklps %%ymm6, %%ymm2, %%ymm2")
746 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4") /* xmm4 = s4 0 s5 0 */
747 __ASM_EMIT("vextractf128 $1, %%ymm2, %%xmm5")
748 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm0, %%ymm0") /* ymm0 = s0 0 s1 0 s2 0 s3 0 */
749 __ASM_EMIT("vinsertf128 $1, %%xmm3, %%ymm2, %%ymm2")
750 __ASM_EMIT("vinsertf128 $0, %%xmm4, %%ymm1, %%ymm1") /* ymm1 = s4 0 s5 0 s6 0 s7 0 */
751 __ASM_EMIT("vinsertf128 $0, %%xmm5, %%ymm3, %%ymm3")
752 __ASM_EMIT("vsubps 0x00(%[dst], %[off], 2), %%ymm0, %%ymm0") /* ymm0 = r0-s0 i0 r1-s1 i1 r2-s2 i2 r3-s3 i3 */
753 __ASM_EMIT("vsubps 0x20(%[dst], %[off], 2), %%ymm1, %%ymm1")
754 __ASM_EMIT("vsubps 0x40(%[dst], %[off], 2), %%ymm2, %%ymm2")
755 __ASM_EMIT("vsubps 0x60(%[dst], %[off], 2), %%ymm3, %%ymm3")
756 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off], 2)")
757 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off], 2)")
758 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off], 2)")
759 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off], 2)")
760 __ASM_EMIT("add $0x40, %[off]")
761 __ASM_EMIT("sub $16, %[count]")
762 __ASM_EMIT("jae 1b")
763 /* x8 block */
764 __ASM_EMIT("2:")
765 __ASM_EMIT("add $8, %[count]")
766 __ASM_EMIT("jl 4f")
767 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
768 __ASM_EMIT("vmovups 0x10(%[src], %[off]), %%xmm2")
769 __ASM_EMIT("vunpckhps %%xmm6, %%xmm0, %%xmm1") /* xmm1 = s2 0 s3 0 */
770 __ASM_EMIT("vunpckhps %%xmm6, %%xmm2, %%xmm3")
771 __ASM_EMIT("vunpcklps %%xmm6, %%xmm0, %%xmm0") /* xmm0 = s0 0 s1 0 */
772 __ASM_EMIT("vunpcklps %%xmm6, %%xmm2, %%xmm2")
773 __ASM_EMIT("vsubps 0x00(%[dst], %[off], 2), %%xmm0, %%xmm0") /* xmm0 = r0-s0 i0 r1-s1 i1 r2-s2 i2 r3-s3 i3 */
774 __ASM_EMIT("vsubps 0x10(%[dst], %[off], 2), %%xmm1, %%xmm1")
775 __ASM_EMIT("vsubps 0x20(%[dst], %[off], 2), %%xmm2, %%xmm2")
776 __ASM_EMIT("vsubps 0x30(%[dst], %[off], 2), %%xmm3, %%xmm3")
777 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
778 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
779 __ASM_EMIT("vmovups %%xmm2, 0x20(%[dst], %[off], 2)")
780 __ASM_EMIT("vmovups %%xmm3, 0x30(%[dst], %[off], 2)")
781 __ASM_EMIT("sub $8, %[count]")
782 __ASM_EMIT("add $0x20, %[off]")
783 /* x4 blocks */
784 __ASM_EMIT("4:")
785 __ASM_EMIT("add $4, %[count]")
786 __ASM_EMIT("jl 6f")
787 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
788 __ASM_EMIT("vunpckhps %%xmm6, %%xmm0, %%xmm1") /* xmm1 = s2 0 s3 0 */
789 __ASM_EMIT("vunpcklps %%xmm6, %%xmm0, %%xmm0") /* xmm0 = s0 0 s1 0 */
790 __ASM_EMIT("vsubps 0x00(%[dst], %[off], 2), %%xmm0, %%xmm0") /* xmm0 = r0-s0 i0 r1-s1 i1 r2-s2 i2 r3-s3 i3 */
791 __ASM_EMIT("vsubps 0x10(%[dst], %[off], 2), %%xmm1, %%xmm1")
792 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
793 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
794 __ASM_EMIT("sub $4, %[count]")
795 __ASM_EMIT("add $0x10, %[off]")
796 /* x1 blocks */
797 __ASM_EMIT("6:")
798 __ASM_EMIT("add $3, %[count]")
799 __ASM_EMIT("jl 8f")
800 __ASM_EMIT("7:")
801 __ASM_EMIT("vmovss 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 0 */
802 __ASM_EMIT("vmovlps 0x00(%[dst], %[off], 2), %%xmm4, %%xmm4")
803 __ASM_EMIT("vsubps %%xmm4, %%xmm0, %%xmm0") /* xmm0 = s0-r0 -i0 */
804 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst], %[off], 2)")
805 __ASM_EMIT("add $0x04, %[off]")
806 __ASM_EMIT("dec %[count]")
807 __ASM_EMIT("jge 7b")
808 __ASM_EMIT("8:")
809
810 : [count] "+r" (count), [off] "=&r" (off)
811 : [dst] "r" (dst), [src] "r" (src)
812 : "cc", "memory",
813 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
814 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
815 );
816 }
817
818 void pcomplex_r2c_sub2(float *dst, const float *src, size_t count)
819 {
820 IF_ARCH_X86(size_t off);
821 ARCH_X86_ASM
822 (
823 __ASM_EMIT("xor %[off], %[off]")
824 /* x16 blocks */
825 __ASM_EMIT("sub $16, %[count]")
826 __ASM_EMIT("vxorps %%ymm6, %%ymm6, %%ymm6") /* ymm6 = 0 */
827 __ASM_EMIT("vxorps %%ymm7, %%ymm7, %%ymm7") /* ymm7 = 0 */
828 __ASM_EMIT("jb 2f") \
829 __ASM_EMIT("1:") \
830 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%ymm0") /* ymm0 = s0 s1 s2 s3 s4 s5 s6 s7 */
831 __ASM_EMIT("vmovups 0x20(%[src], %[off]), %%ymm2")
832 __ASM_EMIT("vunpckhps %%ymm6, %%ymm0, %%ymm1") /* ymm1 = s2 0 s3 0 s6 0 s7 0 */
833 __ASM_EMIT("vunpckhps %%ymm6, %%ymm2, %%ymm3")
834 __ASM_EMIT("vunpcklps %%ymm6, %%ymm0, %%ymm0") /* ymm0 = s0 0 s1 0 s4 0 s5 0 */
835 __ASM_EMIT("vunpcklps %%ymm6, %%ymm2, %%ymm2")
836 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4") /* xmm4 = s4 0 s5 0 */
837 __ASM_EMIT("vextractf128 $1, %%ymm2, %%xmm5")
838 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm0, %%ymm0") /* ymm0 = s0 0 s1 0 s2 0 s3 0 */
839 __ASM_EMIT("vinsertf128 $1, %%xmm3, %%ymm2, %%ymm2")
840 __ASM_EMIT("vinsertf128 $0, %%xmm4, %%ymm1, %%ymm1") /* ymm1 = s4 0 s5 0 s6 0 s7 0 */
841 __ASM_EMIT("vinsertf128 $0, %%xmm5, %%ymm3, %%ymm3")
842 __ASM_EMIT("vmovups 0x00(%[dst], %[off], 2), %%ymm4") /* ymm4 = r0 i0 r1 i1 r2 i2 r3 i3 */
843 __ASM_EMIT("vmovups 0x20(%[dst], %[off], 2), %%ymm5")
844 __ASM_EMIT("vsubps %%ymm0, %%ymm4, %%ymm0") /* ymm0 = s0-r0 -i0 s1-r1 -i1 s2-r2 -i2 s3-r3 -i3 */
845 __ASM_EMIT("vsubps %%ymm1, %%ymm5, %%ymm1")
846 __ASM_EMIT("vmovups 0x40(%[dst], %[off], 2), %%ymm4")
847 __ASM_EMIT("vmovups 0x60(%[dst], %[off], 2), %%ymm5")
848 __ASM_EMIT("vsubps %%ymm2, %%ymm4, %%ymm2")
849 __ASM_EMIT("vsubps %%ymm3, %%ymm5, %%ymm3")
850 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off], 2)")
851 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off], 2)")
852 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off], 2)")
853 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off], 2)")
854 __ASM_EMIT("add $0x40, %[off]")
855 __ASM_EMIT("sub $16, %[count]")
856 __ASM_EMIT("jae 1b")
857 /* x8 block */
858 __ASM_EMIT("2:")
859 __ASM_EMIT("add $8, %[count]")
860 __ASM_EMIT("jl 4f")
861 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
862 __ASM_EMIT("vmovups 0x10(%[src], %[off]), %%xmm2")
863 __ASM_EMIT("vunpckhps %%xmm6, %%xmm0, %%xmm1") /* xmm1 = s2 0 s3 0 */
864 __ASM_EMIT("vunpckhps %%xmm6, %%xmm2, %%xmm3")
865 __ASM_EMIT("vunpcklps %%xmm6, %%xmm0, %%xmm0") /* xmm0 = s0 0 s1 0 */
866 __ASM_EMIT("vunpcklps %%xmm6, %%xmm2, %%xmm2")
867 __ASM_EMIT("vmovups 0x00(%[dst], %[off], 2), %%xmm4") /* xmm4 = r0 i0 r1 i1 r2 i2 r3 i3 */
868 __ASM_EMIT("vmovups 0x10(%[dst], %[off], 2), %%xmm5")
869 __ASM_EMIT("vsubps %%xmm0, %%xmm4, %%xmm0") /* xmm0 = s0-r0 -i0 s1-r1 -i1 s2-r2 -i2 s3-r3 -i3 */
870 __ASM_EMIT("vsubps %%xmm1, %%xmm5, %%xmm1")
871 __ASM_EMIT("vmovups 0x20(%[dst], %[off], 2), %%xmm4")
872 __ASM_EMIT("vmovups 0x30(%[dst], %[off], 2), %%xmm5")
873 __ASM_EMIT("vsubps %%xmm2, %%xmm4, %%xmm2")
874 __ASM_EMIT("vsubps %%xmm3, %%xmm5, %%xmm3")
875 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
876 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
877 __ASM_EMIT("vmovups %%xmm2, 0x20(%[dst], %[off], 2)")
878 __ASM_EMIT("vmovups %%xmm3, 0x30(%[dst], %[off], 2)")
879 __ASM_EMIT("sub $8, %[count]")
880 __ASM_EMIT("add $0x20, %[off]")
881 /* x4 blocks */
882 __ASM_EMIT("4:")
883 __ASM_EMIT("add $4, %[count]")
884 __ASM_EMIT("jl 6f")
885 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
886 __ASM_EMIT("vunpckhps %%xmm6, %%xmm0, %%xmm1") /* xmm1 = s2 0 s3 0 */
887 __ASM_EMIT("vunpcklps %%xmm6, %%xmm0, %%xmm0") /* xmm0 = s0 0 s1 0 */
888 __ASM_EMIT("vmovups 0x00(%[dst], %[off], 2), %%xmm4") /* xmm4 = r0 i0 r1 i1 r2 i2 r3 i3 */
889 __ASM_EMIT("vmovups 0x10(%[dst], %[off], 2), %%xmm5")
890 __ASM_EMIT("vsubps %%xmm0, %%xmm4, %%xmm0") /* xmm0 = s0-r0 -i0 s1-r1 -i1 s2-r2 -i2 s3-r3 -i3 */
891 __ASM_EMIT("vsubps %%xmm1, %%xmm5, %%xmm1")
892 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
893 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
894 __ASM_EMIT("sub $4, %[count]")
895 __ASM_EMIT("add $0x10, %[off]")
896 /* x1 blocks */
897 __ASM_EMIT("6:")
898 __ASM_EMIT("add $3, %[count]")
899 __ASM_EMIT("jl 8f")
900 __ASM_EMIT("7:")
901 __ASM_EMIT("vmovss 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 0 */
902 __ASM_EMIT("vmovlps 0x00(%[dst], %[off], 2), %%xmm4, %%xmm4") /* xmm4 = r0 i0 */
903 __ASM_EMIT("vsubps %%xmm0, %%xmm4, %%xmm0") /* xmm0 = s0-r0 -i0 */
904 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst], %[off], 2)")
905 __ASM_EMIT("add $0x04, %[off]")
906 __ASM_EMIT("dec %[count]")
907 __ASM_EMIT("jge 7b")
908 __ASM_EMIT("8:")
909
910 : [count] "+r" (count), [off] "=&r" (off)
911 : [dst] "r" (dst), [src] "r" (src)
912 : "cc", "memory",
913 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
914 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
915 );
916 }
917
918 void pcomplex_r2c_mul2(float *dst, const float *src, size_t count)
919 {
920 IF_ARCH_X86(size_t off);
921 ARCH_X86_ASM
922 (
923 __ASM_EMIT("xor %[off], %[off]")
924 /* x16 blocks */
925 __ASM_EMIT("sub $16, %[count]")
926 __ASM_EMIT("jb 2f") \
927 __ASM_EMIT("1:") \
928 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%ymm0") /* ymm0 = s0 s1 s2 s3 s4 s5 s6 s7 */
929 __ASM_EMIT("vmovups 0x20(%[src], %[off]), %%ymm2")
930 __ASM_EMIT("vunpckhps %%ymm0, %%ymm0, %%ymm1") /* ymm1 = s2 s2 s3 s3 s6 s6 s7 s7 */
931 __ASM_EMIT("vunpckhps %%ymm2, %%ymm2, %%ymm3")
932 __ASM_EMIT("vunpcklps %%ymm0, %%ymm0, %%ymm0") /* ymm0 = s0 s0 s1 s1 s4 s4 s5 s5 */
933 __ASM_EMIT("vunpcklps %%ymm2, %%ymm2, %%ymm2")
934 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4") /* xmm4 = s4 s4 s5 s5 */
935 __ASM_EMIT("vextractf128 $1, %%ymm2, %%xmm5")
936 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm0, %%ymm0") /* ymm0 = s0 s0 s1 s1 s2 s2 s3 s3 */
937 __ASM_EMIT("vinsertf128 $1, %%xmm3, %%ymm2, %%ymm2")
938 __ASM_EMIT("vinsertf128 $0, %%xmm4, %%ymm1, %%ymm1") /* ymm1 = s4 s4 s5 s5 s6 s6 s7 s7 */
939 __ASM_EMIT("vinsertf128 $0, %%xmm5, %%ymm3, %%ymm3")
940 __ASM_EMIT("vmulps 0x00(%[dst], %[off], 2), %%ymm0, %%ymm0") /* ymm0 = r0*s0 i0*s0 r1*s1 i1*s1 r2*s2 i2*s2 r3*s3 i3*s3 */
941 __ASM_EMIT("vmulps 0x20(%[dst], %[off], 2), %%ymm1, %%ymm1")
942 __ASM_EMIT("vmulps 0x40(%[dst], %[off], 2), %%ymm2, %%ymm2")
943 __ASM_EMIT("vmulps 0x60(%[dst], %[off], 2), %%ymm3, %%ymm3")
944 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off], 2)")
945 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off], 2)")
946 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off], 2)")
947 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off], 2)")
948 __ASM_EMIT("add $0x40, %[off]")
949 __ASM_EMIT("sub $16, %[count]")
950 __ASM_EMIT("jae 1b")
951 /* x8 block */
952 __ASM_EMIT("2:")
953 __ASM_EMIT("add $8, %[count]")
954 __ASM_EMIT("jl 4f")
955 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
956 __ASM_EMIT("vmovups 0x10(%[src], %[off]), %%xmm2")
957 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm1") /* xmm1 = s2 s2 s3 s3 */
958 __ASM_EMIT("vunpckhps %%xmm2, %%xmm2, %%xmm3")
959 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = s0 s0 s1 s1 */
960 __ASM_EMIT("vunpcklps %%xmm2, %%xmm2, %%xmm2")
961 __ASM_EMIT("vmulps 0x00(%[dst], %[off], 2), %%xmm0, %%xmm0") /* xmm0 = r0*s0 i0*s0 r1*s1 i1*s1 */
962 __ASM_EMIT("vmulps 0x10(%[dst], %[off], 2), %%xmm1, %%xmm1")
963 __ASM_EMIT("vmulps 0x20(%[dst], %[off], 2), %%xmm2, %%xmm2")
964 __ASM_EMIT("vmulps 0x30(%[dst], %[off], 2), %%xmm3, %%xmm3")
965 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
966 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
967 __ASM_EMIT("vmovups %%xmm2, 0x20(%[dst], %[off], 2)")
968 __ASM_EMIT("vmovups %%xmm3, 0x30(%[dst], %[off], 2)")
969 __ASM_EMIT("sub $8, %[count]")
970 __ASM_EMIT("add $0x20, %[off]")
971 /* x4 blocks */
972 __ASM_EMIT("4:")
973 __ASM_EMIT("add $4, %[count]")
974 __ASM_EMIT("jl 6f")
975 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
976 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm1") /* xmm1 = s2 s2 s3 s3 */
977 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = s0 s0 s1 s1 */
978 __ASM_EMIT("vmulps 0x00(%[dst], %[off], 2), %%xmm0, %%xmm0") /* xmm4 = r0*s0 i0*s0 r1*s1 i1*s1 */
979 __ASM_EMIT("vmulps 0x10(%[dst], %[off], 2), %%xmm1, %%xmm1")
980 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
981 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
982 __ASM_EMIT("sub $4, %[count]")
983 __ASM_EMIT("add $0x10, %[off]")
984 /* x1 blocks */
985 __ASM_EMIT("6:")
986 __ASM_EMIT("add $3, %[count]")
987 __ASM_EMIT("jl 8f")
988 __ASM_EMIT("7:")
989 __ASM_EMIT("vmovss 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 0 */
990 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = s0 s0 */
991 __ASM_EMIT("vmulps 0x00(%[dst], %[off], 2), %%xmm0, %%xmm0") /* xmm0 = r0*s0 i0*s0 */
992 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst], %[off], 2)")
993 __ASM_EMIT("add $0x04, %[off]")
994 __ASM_EMIT("dec %[count]")
995 __ASM_EMIT("jge 7b")
996 __ASM_EMIT("8:")
997
998 : [count] "+r" (count), [off] "=&r" (off)
999 : [dst] "r" (dst), [src] "r" (src)
1000 : "cc", "memory",
1001 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1002 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1003 );
1004 }
1005
1006 void pcomplex_r2c_div2(float *dst, const float *src, size_t count)
1007 {
1008 IF_ARCH_X86(size_t off);
1009 ARCH_X86_ASM
1010 (
1011 __ASM_EMIT("xor %[off], %[off]")
1012 /* x16 blocks */
1013 __ASM_EMIT("sub $16, %[count]")
1014 __ASM_EMIT("jb 2f") \
1015 __ASM_EMIT("1:") \
1016 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%ymm0") /* ymm0 = s0 s1 s2 s3 s4 s5 s6 s7 */
1017 __ASM_EMIT("vmovups 0x20(%[src], %[off]), %%ymm2")
1018 __ASM_EMIT("vunpckhps %%ymm0, %%ymm0, %%ymm1") /* ymm1 = s2 s2 s3 s3 s6 s6 s7 s7 */
1019 __ASM_EMIT("vunpckhps %%ymm2, %%ymm2, %%ymm3")
1020 __ASM_EMIT("vunpcklps %%ymm0, %%ymm0, %%ymm0") /* ymm0 = s0 s0 s1 s1 s4 s4 s5 s5 */
1021 __ASM_EMIT("vunpcklps %%ymm2, %%ymm2, %%ymm2")
1022 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4") /* xmm4 = s4 s4 s5 s5 */
1023 __ASM_EMIT("vextractf128 $1, %%ymm2, %%xmm5")
1024 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm0, %%ymm0") /* ymm0 = s0 s0 s1 s1 s2 s2 s3 s3 */
1025 __ASM_EMIT("vinsertf128 $1, %%xmm3, %%ymm2, %%ymm2")
1026 __ASM_EMIT("vinsertf128 $0, %%xmm4, %%ymm1, %%ymm1") /* ymm1 = s4 s4 s5 s5 s6 s6 s7 s7 */
1027 __ASM_EMIT("vinsertf128 $0, %%xmm5, %%ymm3, %%ymm3")
1028 __ASM_EMIT("vmovups 0x00(%[dst], %[off], 2), %%ymm4")
1029 __ASM_EMIT("vmovups 0x20(%[dst], %[off], 2), %%ymm5")
1030 __ASM_EMIT("vmovups 0x40(%[dst], %[off], 2), %%ymm6")
1031 __ASM_EMIT("vmovups 0x60(%[dst], %[off], 2), %%ymm7")
1032 __ASM_EMIT("vdivps %%ymm0, %%ymm4, %%ymm0") /* ymm0 = r0/s0 i0/s0 r1/s1 i1/s1 r2/s2 i2/s2 r3/s3 i3/s3 */
1033 __ASM_EMIT("vdivps %%ymm1, %%ymm5, %%ymm1")
1034 __ASM_EMIT("vdivps %%ymm2, %%ymm6, %%ymm2")
1035 __ASM_EMIT("vdivps %%ymm3, %%ymm7, %%ymm3")
1036 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off], 2)")
1037 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off], 2)")
1038 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off], 2)")
1039 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off], 2)")
1040 __ASM_EMIT("add $0x40, %[off]")
1041 __ASM_EMIT("sub $16, %[count]")
1042 __ASM_EMIT("jae 1b")
1043 /* x8 block */
1044 __ASM_EMIT("2:")
1045 __ASM_EMIT("add $8, %[count]")
1046 __ASM_EMIT("jl 4f")
1047 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
1048 __ASM_EMIT("vmovups 0x10(%[src], %[off]), %%xmm2")
1049 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm1") /* xmm1 = s2 s2 s3 s3 */
1050 __ASM_EMIT("vunpckhps %%xmm2, %%xmm2, %%xmm3")
1051 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = s0 s0 s1 s1 */
1052 __ASM_EMIT("vunpcklps %%xmm2, %%xmm2, %%xmm2")
1053 __ASM_EMIT("vmovups 0x00(%[dst], %[off], 2), %%xmm4")
1054 __ASM_EMIT("vmovups 0x10(%[dst], %[off], 2), %%xmm5")
1055 __ASM_EMIT("vmovups 0x20(%[dst], %[off], 2), %%xmm6")
1056 __ASM_EMIT("vmovups 0x30(%[dst], %[off], 2), %%xmm7")
1057 __ASM_EMIT("vdivps %%xmm0, %%xmm4, %%xmm0") /* xmm0 = r0/s0 i0/s0 r1/s1 i1/s1 */
1058 __ASM_EMIT("vdivps %%xmm1, %%xmm5, %%xmm1")
1059 __ASM_EMIT("vdivps %%xmm2, %%xmm6, %%xmm2")
1060 __ASM_EMIT("vdivps %%xmm3, %%xmm7, %%xmm3")
1061 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
1062 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
1063 __ASM_EMIT("vmovups %%xmm2, 0x20(%[dst], %[off], 2)")
1064 __ASM_EMIT("vmovups %%xmm3, 0x30(%[dst], %[off], 2)")
1065 __ASM_EMIT("sub $8, %[count]")
1066 __ASM_EMIT("add $0x20, %[off]")
1067 /* x4 blocks */
1068 __ASM_EMIT("4:")
1069 __ASM_EMIT("add $4, %[count]")
1070 __ASM_EMIT("jl 6f")
1071 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
1072 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm1") /* xmm1 = s2 s2 s3 s3 */
1073 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = s0 s0 s1 s1 */
1074 __ASM_EMIT("vmovups 0x00(%[dst], %[off], 2), %%xmm4")
1075 __ASM_EMIT("vmovups 0x10(%[dst], %[off], 2), %%xmm5")
1076 __ASM_EMIT("vdivps %%xmm0, %%xmm4, %%xmm0") /* xmm0 = r0/s0 i0/s0 r1/s1 i1/s1 */
1077 __ASM_EMIT("vdivps %%xmm1, %%xmm5, %%xmm1")
1078 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
1079 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
1080 __ASM_EMIT("sub $4, %[count]")
1081 __ASM_EMIT("add $0x10, %[off]")
1082 /* x1 blocks */
1083 __ASM_EMIT("6:")
1084 __ASM_EMIT("add $3, %[count]")
1085 __ASM_EMIT("jl 8f")
1086 __ASM_EMIT("7:")
1087 __ASM_EMIT("vmovss 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 0 */
1088 __ASM_EMIT("vmovlps 0x00(%[dst], %[off], 2), %%xmm4, %%xmm4") /* xmm4 = r0 i0 */
1089 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = s0 s0 */
1090 __ASM_EMIT("vdivps %%xmm0, %%xmm4, %%xmm0") /* xmm0 = r0/s0 i0/s0 */
1091 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst], %[off], 2)")
1092 __ASM_EMIT("add $0x04, %[off]")
1093 __ASM_EMIT("dec %[count]")
1094 __ASM_EMIT("jge 7b")
1095 __ASM_EMIT("8:")
1096
1097 : [count] "+r" (count), [off] "=&r" (off)
1098 : [dst] "r" (dst), [src] "r" (src)
1099 : "cc", "memory",
1100 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1101 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1102 );
1103 }
1104
1105 void pcomplex_r2c_rdiv2(float *dst, const float *src, size_t count)
1106 {
1107 IF_ARCH_X86(size_t off);
1108 ARCH_X86_ASM
1109 (
1110 /* Init */
1111 __ASM_EMIT("xor %[off], %[off]")
1112 /* x8 blocks */
1113 __ASM_EMIT("sub $8, %[count]")
1114 __ASM_EMIT("jb 2f")
1115 __ASM_EMIT("1:")
1116 __ASM_EMIT("vmovups 0x00(%[dst], %[off], 2), %%ymm0") /* ymm0 = r0 i0 */
1117 __ASM_EMIT("vmovups 0x20(%[dst], %[off], 2), %%ymm1")
1118 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%ymm2") /* ymm2 = s0 s1 s2 s3 s4 s5 s6 s7 */
1119 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm4") /* ymm0 = r0*r0 + i0*i0 */
1120 __ASM_EMIT("vmulps %%ymm1, %%ymm1, %%ymm5")
1121 __ASM_EMIT("vunpckhps %%ymm2, %%ymm2, %%ymm3") /* ymm3 = s2 s2 s3 s3 s6 s6 s7 s7 */
1122 __ASM_EMIT("vunpcklps %%ymm2, %%ymm2, %%ymm2") /* ymm2 = s0 s0 s1 s1 s4 s4 s5 s5 */
1123 __ASM_EMIT("vhaddps %%ymm5, %%ymm4, %%ymm4") /* ymm4 = R = r0*r0+i0*i0 */
1124 __ASM_EMIT("vmovups 0x00(%[CC]), %%ymm5") /* ymm5 = 1 */
1125 __ASM_EMIT("vextractf128 $1, %%ymm2, %%xmm6") /* xmm6 = s4 s4 s5 s5 */
1126 __ASM_EMIT("vdivps %%ymm4, %%ymm5, %%ymm4") /* ymm4 = 1/R */
1127 __ASM_EMIT("vinsertf128 $1, %%xmm3, %%ymm2, %%ymm2") /* ymm2 = s0 s0 s1 s1 s2 s2 s3 s3 */
1128 __ASM_EMIT("vxorps 0x20(%[CC]), %%ymm4, %%ymm5") /* ymm5 = -1/R */
1129 __ASM_EMIT("vinsertf128 $0, %%xmm6, %%ymm3, %%ymm3") /* ymm3 = s4 s4 s5 s5 s6 s6 s7 s7 */
1130 __ASM_EMIT("vunpckhps %%ymm5, %%ymm4, %%ymm7") /* ymm7 = 1/R -1/R */
1131 __ASM_EMIT("vunpcklps %%ymm5, %%ymm4, %%ymm5")
1132 __ASM_EMIT("vmulps %%ymm5, %%ymm0, %%ymm0") /* ymm0 = r0/R -i0/R */
1133 __ASM_EMIT("vmulps %%ymm7, %%ymm1, %%ymm1")
1134 __ASM_EMIT("vmulps %%ymm2, %%ymm0, %%ymm0") /* ymm0 = (r0*s0)/R -(i0*s0)/R */
1135 __ASM_EMIT("vmulps %%ymm3, %%ymm1, %%ymm1")
1136 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off], 2)")
1137 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off], 2)")
1138 __ASM_EMIT("add $0x20, %[off]")
1139 __ASM_EMIT("sub $8, %[count]")
1140 __ASM_EMIT("jae 1b")
1141 __ASM_EMIT("2:")
1142 /* x4 block */
1143 __ASM_EMIT("add $4, %[count]")
1144 __ASM_EMIT("jl 4f")
1145 __ASM_EMIT("vmovups 0x00(%[dst], %[off], 2), %%ymm0") /* xmm0 = r0 i0 */
1146 __ASM_EMIT("vmovups 0x10(%[dst], %[off], 2), %%xmm1")
1147 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm4") /* xmm0 = r0*r0 + i0*i0 */
1148 __ASM_EMIT("vmulps %%xmm1, %%xmm1, %%xmm5")
1149 __ASM_EMIT("vhaddps %%xmm5, %%xmm4, %%xmm4") /* xmm4 = R = r0*r0+i0*i0 */
1150 __ASM_EMIT("vmovups 0x00(%[CC]), %%xmm5") /* xmm5 = 1 */
1151 __ASM_EMIT("vdivps %%xmm4, %%xmm5, %%xmm4") /* xmm4 = 1/R */
1152 __ASM_EMIT("vxorps 0x20(%[CC]), %%xmm4, %%xmm5") /* xmm5 = -1/R */
1153 __ASM_EMIT("vunpckhps %%xmm5, %%xmm4, %%xmm7") /* xmm7 = 1/R -1/R */
1154 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm5")
1155 __ASM_EMIT("vmulps %%xmm5, %%xmm0, %%xmm0") /* xmm0 = r0/R -i0/R */
1156 __ASM_EMIT("vmulps %%xmm7, %%xmm1, %%xmm1")
1157 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm4") /* xmm4 = s0 s1 s2 s3 */
1158 __ASM_EMIT("vunpckhps %%xmm4, %%xmm4, %%xmm6") /* xmm6 = s2 s2 s3 s3 */
1159 __ASM_EMIT("vunpcklps %%xmm4, %%xmm4, %%xmm4") /* xmm4 = s0 s0 s1 s1 */
1160 __ASM_EMIT("vmulps %%xmm4, %%xmm0, %%xmm0") /* xmm0 = (r0*s0)/R -(i0*s0)/R */
1161 __ASM_EMIT("vmulps %%xmm6, %%xmm1, %%xmm1")
1162 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
1163 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
1164 __ASM_EMIT("add $0x10, %[off]")
1165 __ASM_EMIT("sub $4, %[count]")
1166 __ASM_EMIT("4:")
1167 /* x2 block */
1168 __ASM_EMIT("add $2, %[count]")
1169 __ASM_EMIT("jl 6f")
1170 __ASM_EMIT("vmovups 0x00(%[dst], %[off], 2), %%xmm0") /* xmm0 = r0 i0 */
1171 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm4") /* xmm0 = r0*r0 + i0*i0 */
1172 __ASM_EMIT("vhaddps %%xmm4, %%xmm4, %%xmm4") /* xmm4 = R = r0*r0+i0*i0 */
1173 __ASM_EMIT("vmovlps 0x00(%[src], %[off]), %%xmm5, %%xmm5") /* xmm5 = s0 */
1174 __ASM_EMIT("vdivps %%xmm4, %%xmm5, %%xmm4") /* xmm4 = s0/R */
1175 __ASM_EMIT("vxorps 0x20(%[CC]), %%xmm4, %%xmm5") /* xmm5 = -s0/R */
1176 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm5") /* xmm7 = s0/R -s0/R */
1177 __ASM_EMIT("vmulps %%xmm5, %%xmm0, %%xmm0") /* xmm0 = (s0*r0)/R -(s0*i0)/R */
1178 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
1179 __ASM_EMIT("add $0x08, %[off]")
1180 __ASM_EMIT("sub $2, %[count]")
1181 __ASM_EMIT("6:")
1182 /* x1 block */
1183 __ASM_EMIT("add $1, %[count]")
1184 __ASM_EMIT("jl 8f")
1185 __ASM_EMIT("vmovlps 0x00(%[dst], %[off], 2), %%xmm0, %%xmm0")/* xmm0 = r0 i0 */
1186 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm4") /* xmm0 = r0*r0 + i0*i0 */
1187 __ASM_EMIT("vhaddps %%xmm4, %%xmm4, %%xmm4") /* xmm4 = R = r0*r0+i0*i0 */
1188 __ASM_EMIT("vmovss 0x00(%[src], %[off]), %%xmm5") /* xmm5 = s0 */
1189 __ASM_EMIT("vdivps %%xmm4, %%xmm5, %%xmm4") /* xmm4 = s0/R */
1190 __ASM_EMIT("vxorps 0x20(%[CC]), %%xmm4, %%xmm5") /* xmm5 = -s0/R */
1191 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm5") /* xmm7 = s0/R -s0/R */
1192 __ASM_EMIT("vmulps %%xmm5, %%xmm0, %%xmm0") /* xmm0 = (r0*s0)/R -(i0*s0)/R */
1193 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst], %[off], 2)")
1194 __ASM_EMIT("8:")
1195 /* end */
1196
1197 : [off] "=&r" (off), [count] "+r" (count)
1198 : [dst] "r" (dst), [src] "r" (src),
1199 [CC] "r" (pcomplex_div_const)
1200 : "cc", "memory",
1201 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1202 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1203 );
1204 }
1205
1206 void pcomplex_r2c(float *dst, const float *src, size_t count)
1207 {
1208 ARCH_X86_ASM
1209 (
1210 __ASM_EMIT("vxorps %%ymm6, %%ymm6, %%ymm6")
1211 __ASM_EMIT("vxorps %%ymm7, %%ymm7, %%ymm7")
1212 /* x16 block */
1213 __ASM_EMIT("sub $16, %[count]")
1214 __ASM_EMIT("jb 2f")
1215 __ASM_EMIT("1:")
1216 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
1217 __ASM_EMIT("vmovups 0x10(%[src]), %%xmm1")
1218 __ASM_EMIT("vmovups 0x20(%[src]), %%xmm2")
1219 __ASM_EMIT("vmovups 0x30(%[src]), %%xmm3")
1220 __ASM_EMIT("vunpckhps %%xmm6, %%xmm0, %%xmm4") /* xmm4 = s2 0 s3 0 s6 0 s7 0 */
1221 __ASM_EMIT("vunpckhps %%xmm7, %%xmm1, %%xmm5")
1222 __ASM_EMIT("vunpcklps %%xmm6, %%xmm0, %%xmm0") /* xmm0 = s0 0 s1 0 s4 0 s5 0 */
1223 __ASM_EMIT("vunpcklps %%xmm7, %%xmm1, %%xmm1")
1224 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1225 __ASM_EMIT("vmovups %%xmm4, 0x10(%[dst])")
1226 __ASM_EMIT("vmovups %%xmm1, 0x20(%[dst])")
1227 __ASM_EMIT("vmovups %%xmm5, 0x30(%[dst])")
1228 __ASM_EMIT("vunpckhps %%xmm6, %%xmm2, %%xmm4") /* xmm4 = s2 0 s3 0 s6 0 s7 0 */
1229 __ASM_EMIT("vunpckhps %%xmm7, %%xmm3, %%xmm5")
1230 __ASM_EMIT("vunpcklps %%xmm6, %%xmm2, %%xmm2") /* xmm0 = s0 0 s1 0 s4 0 s5 0 */
1231 __ASM_EMIT("vunpcklps %%xmm7, %%xmm3, %%xmm3")
1232 __ASM_EMIT("vmovups %%xmm2, 0x40(%[dst])")
1233 __ASM_EMIT("vmovups %%xmm4, 0x50(%[dst])")
1234 __ASM_EMIT("vmovups %%xmm3, 0x60(%[dst])")
1235 __ASM_EMIT("vmovups %%xmm5, 0x70(%[dst])")
1236 __ASM_EMIT("add $0x40, %[src]")
1237 __ASM_EMIT("add $0x80, %[dst]")
1238 __ASM_EMIT("sub $16, %[count]")
1239 __ASM_EMIT("jae 1b")
1240 __ASM_EMIT("2:")
1241 /* x8 block */
1242 __ASM_EMIT("add $8, %[count]")
1243 __ASM_EMIT("jl 4f")
1244 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
1245 __ASM_EMIT("vmovups 0x10(%[src]), %%xmm2")
1246 __ASM_EMIT("vunpckhps %%xmm6, %%xmm0, %%xmm1") /* xmm1 = s2 0 s3 0 */
1247 __ASM_EMIT("vunpckhps %%xmm7, %%xmm2, %%xmm3")
1248 __ASM_EMIT("vunpcklps %%xmm6, %%xmm0, %%xmm0") /* xmm0 = s0 0 s1 0 */
1249 __ASM_EMIT("vunpcklps %%xmm7, %%xmm2, %%xmm2")
1250 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1251 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst])")
1252 __ASM_EMIT("vmovups %%xmm2, 0x20(%[dst])")
1253 __ASM_EMIT("vmovups %%xmm3, 0x30(%[dst])")
1254 __ASM_EMIT("sub $8, %[count]")
1255 __ASM_EMIT("add $0x20, %[src]")
1256 __ASM_EMIT("add $0x40, %[dst]")
1257 __ASM_EMIT("4:")
1258 /* x4 block */
1259 __ASM_EMIT("add $4, %[count]")
1260 __ASM_EMIT("jl 6f")
1261 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
1262 __ASM_EMIT("vunpckhps %%xmm6, %%xmm0, %%xmm1") /* xmm1 = s2 0 s3 0 */
1263 __ASM_EMIT("vunpcklps %%xmm7, %%xmm0, %%xmm0") /* xmm0 = s0 0 s1 0 */
1264 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1265 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst])")
1266 __ASM_EMIT("sub $4, %[count]")
1267 __ASM_EMIT("add $0x10, %[src]")
1268 __ASM_EMIT("add $0x20, %[dst]")
1269 __ASM_EMIT("6:")
1270 /* x1 blocks */
1271 __ASM_EMIT("add $3, %[count]")
1272 __ASM_EMIT("jl 8f")
1273 __ASM_EMIT("7:")
1274 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1275 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst])")
1276 __ASM_EMIT("add $0x4, %[src]")
1277 __ASM_EMIT("add $0x8, %[dst]")
1278 __ASM_EMIT("dec %[count]")
1279 __ASM_EMIT("jge 7b")
1280 __ASM_EMIT("8:")
1281
1282 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1283 :
1284 : "cc", "memory",
1285 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1286 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1287 );
1288 }
1289
1290 IF_ARCH_X86(
1291 static const float pcomplex_corr_const[] __lsp_aligned32 =
1292 {
1293 LSP_DSP_VEC8(1e-36f),
1294 };
1295 );
1296
1297 void pcomplex_corr(float *dst_corr, const float *src1, const float *src2, size_t count)
1298 {
1299 IF_ARCH_X86(size_t off);
1300
1301 /*
1302 * src1[i] = a + j*b, src2[i] = c + j*d
1303 * den = (a*a + b*b)*(c*c + d*d)
1304 * nom = a*c + b*d
1305 * corr[i] = (den > threshold) ? nom / sqrt(den) : 0.0
1306 */
1307 ARCH_X86_ASM (
1308 __ASM_EMIT("xor %[off], %[off]")
1309 /* x8 blocks */
1310 __ASM_EMIT("sub $8, %[count]") /* count -= 8 */
1311 __ASM_EMIT("vmovaps %[CC], %%ymm7") /* ymm7 = threshold */
1312 __ASM_EMIT("jb 2f")
1313 __ASM_EMIT("1:")
1314 __ASM_EMIT("vmovups 0x00(%[src1], %[off], 2), %%xmm0") /* xmm0 = a0 b0 a1 b1 */
1315 __ASM_EMIT("vmovups 0x10(%[src1], %[off], 2), %%xmm4") /* xmm4 = a2 b2 a3 b3 */
1316 __ASM_EMIT("vmovups 0x20(%[src1], %[off], 2), %%xmm1") /* xmm1 = a4 b4 a5 b5 */
1317 __ASM_EMIT("vmovups 0x30(%[src1], %[off], 2), %%xmm5") /* xmm5 = a6 b6 a7 b7 */
1318 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm0, %%ymm0") /* ymm0 = a0 b0 a1 b1 a4 b4 a5 b5 */
1319 __ASM_EMIT("vinsertf128 $1, %%xmm5, %%ymm4, %%ymm4") /* ymm4 = a2 b2 a3 b3 a6 b6 a7 b7 */
1320 __ASM_EMIT("vmovups 0x00(%[src2], %[off], 2), %%xmm2") /* xmm2 = c0 d0 c1 d1 */
1321 __ASM_EMIT("vmovups 0x10(%[src2], %[off], 2), %%xmm6") /* xmm6 = c2 d2 c3 d3 */
1322 __ASM_EMIT("vmovups 0x20(%[src2], %[off], 2), %%xmm1") /* xmm1 = c4 d4 c5 d5 */
1323 __ASM_EMIT("vmovups 0x30(%[src2], %[off], 2), %%xmm5") /* xmm5 = c6 d6 c7 d7 */
1324 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm2, %%ymm2") /* ymm2 = c0 d0 c1 d1 c4 d4 c5 d5 */
1325 __ASM_EMIT("vinsertf128 $1, %%xmm5, %%ymm6, %%ymm6") /* ymm6 = c2 d2 c3 d3 c6 d6 c7 d7 */
1326 /* Do shuffle */
1327 __ASM_EMIT("vshufps $0xdd, %%ymm4, %%ymm0, %%ymm1") /* ymm1 = b = b0 b1 b2 b3 b4 b5 b6 b7 */
1328 __ASM_EMIT("vshufps $0xdd, %%ymm6, %%ymm2, %%ymm3") /* ymm3 = d = d0 d1 d2 d3 d4 d5 d6 d7 */
1329 __ASM_EMIT("vshufps $0x88, %%ymm4, %%ymm0, %%ymm0") /* ymm0 = a = a0 a1 a2 a3 a4 a5 a6 a7 */
1330 __ASM_EMIT("vshufps $0x88, %%ymm6, %%ymm2, %%ymm2") /* ymm2 = c = c0 c1 c2 c3 c4 c5 c6 c7 */
1331 /* ymm0 = a, ymm1 = b, ymm2 = c, ymm3 = d */
1332 __ASM_EMIT("vmulps %%ymm0, %%ymm2, %%ymm4") /* ymm4 = a*c */
1333 __ASM_EMIT("vmulps %%ymm1, %%ymm3, %%ymm5") /* ymm5 = b*d */
1334 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm0") /* ymm0 = a*a */
1335 __ASM_EMIT("vmulps %%ymm1, %%ymm1, %%ymm1") /* ymm1 = b*b */
1336 __ASM_EMIT("vmulps %%ymm2, %%ymm2, %%ymm2") /* ymm2 = c*c */
1337 __ASM_EMIT("vmulps %%ymm3, %%ymm3, %%ymm3") /* ymm3 = d*d */
1338 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") /* ymm0 = a*a + b*b */
1339 __ASM_EMIT("vaddps %%ymm3, %%ymm2, %%ymm2") /* ymm2 = c*c + d*d */
1340 __ASM_EMIT("vmulps %%ymm2, %%ymm0, %%ymm0") /* ymm0 = den = (a*a + b*b)*(c*c + d*d) */
1341 __ASM_EMIT("vaddps %%ymm5, %%ymm4, %%ymm4") /* ymm4 = nom = a*c + b*d */
1342 __ASM_EMIT("vsqrtps %%ymm0, %%ymm1") /* ymm1 = sqrt(den) */
1343 __ASM_EMIT("vdivps %%ymm1, %%ymm4, %%ymm4") /* ymm4 = nom / sqrt(den) */
1344 __ASM_EMIT("vcmpps $5, %%ymm7, %%ymm0, %%ymm0") /* ymm0 = [den >= threshold] */
1345 __ASM_EMIT("vandps %%ymm4, %%ymm0, %%ymm0") /* ymm0 = (den >= threshold) ? nom / sqrt(den) : 0.0f */
1346 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])") /* dst[0] = v0 v1 v2 v3 v4 v5 v6 v7 */
1347 __ASM_EMIT("add $0x20, %[off]")
1348 __ASM_EMIT("sub $8, %[count]") /* count -= 8 */
1349 __ASM_EMIT("jae 1b")
1350 /* x4 block */
1351 __ASM_EMIT("2:")
1352 __ASM_EMIT("add $4, %[count]") /* count += 4 */
1353 __ASM_EMIT("jl 4f")
1354 __ASM_EMIT("vmovups 0x00(%[src1], %[off], 2), %%xmm0") /* xmm0 = a0 b0 a1 b1 */
1355 __ASM_EMIT("vmovups 0x10(%[src1], %[off], 2), %%xmm4") /* xmm4 = a2 b2 a3 b3 */
1356 __ASM_EMIT("vmovups 0x00(%[src2], %[off], 2), %%xmm2") /* xmm2 = c0 d0 c1 d1 */
1357 __ASM_EMIT("vmovups 0x10(%[src2], %[off], 2), %%xmm6") /* xmm6 = c2 d2 c3 d3 */
1358 /* Do shuffle */
1359 __ASM_EMIT("vshufps $0xdd, %%xmm4, %%xmm0, %%xmm1") /* xmm1 = b = b0 b1 b2 b3 */
1360 __ASM_EMIT("vshufps $0xdd, %%xmm6, %%xmm2, %%xmm3") /* xmm3 = d = d0 d1 d2 d3 */
1361 __ASM_EMIT("vshufps $0x88, %%xmm4, %%xmm0, %%xmm0") /* xmm0 = a = a0 a1 a2 a3 */
1362 __ASM_EMIT("vshufps $0x88, %%xmm6, %%xmm2, %%xmm2") /* xmm2 = c = c0 c1 c2 c3 */
1363 /* xmm0 = a, xmm1 = b, xmm2 = c, xmm3 = d */
1364 __ASM_EMIT("vmulps %%xmm0, %%xmm2, %%xmm4") /* xmm4 = a*c */
1365 __ASM_EMIT("vmulps %%xmm1, %%xmm3, %%xmm5") /* xmm5 = b*d */
1366 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = a*a */
1367 __ASM_EMIT("vmulps %%xmm1, %%xmm1, %%xmm1") /* xmm1 = b*b */
1368 __ASM_EMIT("vmulps %%xmm2, %%xmm2, %%xmm2") /* xmm2 = c*c */
1369 __ASM_EMIT("vmulps %%xmm3, %%xmm3, %%xmm3") /* xmm3 = d*d */
1370 __ASM_EMIT("vaddps %%xmm1, %%xmm0, %%xmm0") /* xmm0 = a*a + b*b */
1371 __ASM_EMIT("vaddps %%xmm3, %%xmm2, %%xmm2") /* xmm2 = c*c + d*d */
1372 __ASM_EMIT("vmulps %%xmm2, %%xmm0, %%xmm0") /* xmm0 = den = (a*a + b*b)*(c*c + d*d) */
1373 __ASM_EMIT("vaddps %%xmm5, %%xmm4, %%xmm4") /* xmm4 = nom = a*c + b*d */
1374 __ASM_EMIT("vsqrtps %%xmm0, %%xmm1") /* xmm1 = sqrt(den) */
1375 __ASM_EMIT("vdivps %%xmm1, %%xmm4, %%xmm4") /* xmm4 = nom / sqrt(den) */
1376 __ASM_EMIT("vcmpps $5, %%xmm7, %%xmm0, %%xmm0") /* xmm0 = [den >= threshold] */
1377 __ASM_EMIT("vandps %%xmm4, %%xmm0, %%xmm0") /* xmm0 = (den >= threshold) ? nom / sqrt(den) : 0.0f */
1378 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])") /* dst[0] = v0 v1 v2 v3 v4 v5 v6 v7 */
1379 __ASM_EMIT("add $0x10, %[off]")
1380 __ASM_EMIT("sub $4, %[count]") /* count -= 4 */
1381 /* x1 blocks */
1382 __ASM_EMIT("4:")
1383 __ASM_EMIT("add $3, %[count]") /* count += 3 */
1384 __ASM_EMIT("jl 6f")
1385 __ASM_EMIT("5:")
1386 __ASM_EMIT("vmovss 0x00(%[src1], %[off], 2), %%xmm0") /* xmm0 = a */
1387 __ASM_EMIT("vmovss 0x04(%[src1], %[off], 2), %%xmm1") /* xmm1 = b */
1388 __ASM_EMIT("vmovss 0x00(%[src2], %[off], 2), %%xmm2") /* xmm2 = c */
1389 __ASM_EMIT("vmovss 0x04(%[src2], %[off], 2), %%xmm3") /* xmm3 = d */
1390 __ASM_EMIT("vmulss %%xmm0, %%xmm2, %%xmm4") /* xmm4 = a*c */
1391 __ASM_EMIT("vmulss %%xmm1, %%xmm3, %%xmm5") /* xmm5 = b*d */
1392 __ASM_EMIT("vmulss %%xmm0, %%xmm0, %%xmm0") /* xmm0 = a*a */
1393 __ASM_EMIT("vmulss %%xmm1, %%xmm1, %%xmm1") /* xmm1 = b*b */
1394 __ASM_EMIT("vmulss %%xmm2, %%xmm2, %%xmm2") /* xmm2 = c*c */
1395 __ASM_EMIT("vmulss %%xmm3, %%xmm3, %%xmm3") /* xmm3 = d*d */
1396 __ASM_EMIT("vaddss %%xmm1, %%xmm0, %%xmm0") /* xmm0 = a*a + b*b */
1397 __ASM_EMIT("vaddss %%xmm3, %%xmm2, %%xmm2") /* xmm2 = c*c + d*d */
1398 __ASM_EMIT("vmulss %%xmm2, %%xmm0, %%xmm0") /* xmm0 = den = (a*a + b*b)*(c*c + d*d) */
1399 __ASM_EMIT("vaddss %%xmm5, %%xmm4, %%xmm4") /* xmm4 = nom = a*c + b*d */
1400 __ASM_EMIT("vsqrtss %%xmm0, %%xmm1, %%xmm1") /* xmm1 = sqrt(den) */
1401 __ASM_EMIT("vdivss %%xmm1, %%xmm4, %%xmm4") /* xmm4 = nom / sqrt(den) */
1402 __ASM_EMIT("vcmpps $5, %%xmm7, %%xmm0, %%xmm0") /* xmm0 = [den >= threshold] */
1403 __ASM_EMIT("vandps %%xmm4, %%xmm0, %%xmm0") /* xmm0 = (den >= threshold) ? nom / sqrt(den) : 0.0f */
1404 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])") /* dst[0] = v0 */
1405 __ASM_EMIT("add $0x04, %[off]")
1406 __ASM_EMIT("dec %[count]")
1407 __ASM_EMIT("jge 5b")
1408 /* End */
1409 __ASM_EMIT("6:")
1410
1411 : [count] "+r" (count), [off] "=&r" (off)
1412 : [dst] "r" (dst_corr), [src1] "r" (src1), [src2] "r" (src2),
1413 [CC] "m" (pcomplex_corr_const)
1414 : "cc", "memory",
1415 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1416 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1417 );
1418 }
1419
1420 void pcomplex_corr_fma3(float *dst_corr, const float *src1, const float *src2, size_t count)
1421 {
1422 IF_ARCH_X86(size_t off);
1423
1424 /*
1425 * src1[i] = a + j*b, src2[i] = c + j*d
1426 * den = (a*a + b*b)*(c*c + d*d)
1427 * nom = a*c + b*d
1428 * corr[i] = (den > threshold) ? nom / sqrt(den) : 0.0
1429 */
1430 ARCH_X86_ASM (
1431 __ASM_EMIT("xor %[off], %[off]")
1432 /* x8 blocks */
1433 __ASM_EMIT("sub $8, %[count]") /* count -= 8 */
1434 __ASM_EMIT("vmovaps %[CC], %%ymm7") /* ymm7 = threshold */
1435 __ASM_EMIT("jb 2f")
1436 __ASM_EMIT("1:")
1437 __ASM_EMIT("vmovups 0x00(%[src1], %[off], 2), %%xmm0") /* xmm0 = a0 b0 a1 b1 */
1438 __ASM_EMIT("vmovups 0x10(%[src1], %[off], 2), %%xmm4") /* xmm4 = a2 b2 a3 b3 */
1439 __ASM_EMIT("vmovups 0x20(%[src1], %[off], 2), %%xmm1") /* xmm1 = a4 b4 a5 b5 */
1440 __ASM_EMIT("vmovups 0x30(%[src1], %[off], 2), %%xmm5") /* xmm5 = a6 b6 a7 b7 */
1441 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm0, %%ymm0") /* ymm0 = a0 b0 a1 b1 a4 b4 a5 b5 */
1442 __ASM_EMIT("vinsertf128 $1, %%xmm5, %%ymm4, %%ymm4") /* ymm4 = a2 b2 a3 b3 a6 b6 a7 b7 */
1443 __ASM_EMIT("vmovups 0x00(%[src2], %[off], 2), %%xmm2") /* xmm2 = c0 d0 c1 d1 */
1444 __ASM_EMIT("vmovups 0x10(%[src2], %[off], 2), %%xmm6") /* xmm6 = c2 d2 c3 d3 */
1445 __ASM_EMIT("vmovups 0x20(%[src2], %[off], 2), %%xmm1") /* xmm1 = c4 d4 c5 d5 */
1446 __ASM_EMIT("vmovups 0x30(%[src2], %[off], 2), %%xmm5") /* xmm5 = c6 d6 c7 d7 */
1447 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm2, %%ymm2") /* ymm2 = c0 d0 c1 d1 c4 d4 c5 d5 */
1448 __ASM_EMIT("vinsertf128 $1, %%xmm5, %%ymm6, %%ymm6") /* ymm6 = c2 d2 c3 d3 c6 d6 c7 d7 */
1449 /* Do shuffle */
1450 __ASM_EMIT("vshufps $0xdd, %%ymm4, %%ymm0, %%ymm1") /* ymm1 = b = b0 b1 b2 b3 b4 b5 b6 b7 */
1451 __ASM_EMIT("vshufps $0xdd, %%ymm6, %%ymm2, %%ymm3") /* ymm3 = d = d0 d1 d2 d3 d4 d5 d6 d7 */
1452 __ASM_EMIT("vshufps $0x88, %%ymm4, %%ymm0, %%ymm0") /* ymm0 = a = a0 a1 a2 a3 a4 a5 a6 a7 */
1453 __ASM_EMIT("vshufps $0x88, %%ymm6, %%ymm2, %%ymm2") /* ymm2 = c = c0 c1 c2 c3 c4 c5 c6 c7 */
1454 /* ymm0 = a, ymm1 = b, ymm2 = c, ymm3 = d */
1455 __ASM_EMIT("vmulps %%ymm0, %%ymm2, %%ymm4") /* ymm4 = a*c */
1456 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm0") /* ymm0 = a*a */
1457 __ASM_EMIT("vmulps %%ymm2, %%ymm2, %%ymm2") /* ymm2 = c*c */
1458 __ASM_EMIT("vfmadd231ps %%ymm1, %%ymm3, %%ymm4") /* ymm4 = nom = a*c + b*d */
1459 __ASM_EMIT("vfmadd231ps %%ymm1, %%ymm1, %%ymm0") /* ymm0 = a*a + b*b */
1460 __ASM_EMIT("vfmadd231ps %%ymm3, %%ymm3, %%ymm2") /* ymm2 = c*c + d*d */
1461 __ASM_EMIT("vmulps %%ymm2, %%ymm0, %%ymm0") /* ymm0 = den = (a*a + b*b)*(c*c + d*d) */
1462 __ASM_EMIT("vsqrtps %%ymm0, %%ymm1") /* ymm1 = sqrt(den) */
1463 __ASM_EMIT("vdivps %%ymm1, %%ymm4, %%ymm4") /* ymm4 = nom / sqrt(den) */
1464 __ASM_EMIT("vcmpps $5, %%ymm7, %%ymm0, %%ymm0") /* ymm0 = [den >= threshold] */
1465 __ASM_EMIT("vandps %%ymm4, %%ymm0, %%ymm0") /* ymm0 = (den >= threshold) ? nom / sqrt(den) : 0.0f */
1466 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])") /* dst[0] = v0 v1 v2 v3 v4 v5 v6 v7 */
1467 __ASM_EMIT("add $0x20, %[off]")
1468 __ASM_EMIT("sub $8, %[count]") /* count -= 8 */
1469 __ASM_EMIT("jae 1b")
1470 /* x4 block */
1471 __ASM_EMIT("2:")
1472 __ASM_EMIT("add $4, %[count]") /* count += 4 */
1473 __ASM_EMIT("jl 4f")
1474 __ASM_EMIT("vmovups 0x00(%[src1], %[off], 2), %%xmm0") /* xmm0 = a0 b0 a1 b1 */
1475 __ASM_EMIT("vmovups 0x10(%[src1], %[off], 2), %%xmm4") /* xmm4 = a2 b2 a3 b3 */
1476 __ASM_EMIT("vmovups 0x00(%[src2], %[off], 2), %%xmm2") /* xmm2 = c0 d0 c1 d1 */
1477 __ASM_EMIT("vmovups 0x10(%[src2], %[off], 2), %%xmm6") /* xmm6 = c2 d2 c3 d3 */
1478 /* Do shuffle */
1479 __ASM_EMIT("vshufps $0xdd, %%xmm4, %%xmm0, %%xmm1") /* xmm1 = b = b0 b1 b2 b3 */
1480 __ASM_EMIT("vshufps $0xdd, %%xmm6, %%xmm2, %%xmm3") /* xmm3 = d = d0 d1 d2 d3 */
1481 __ASM_EMIT("vshufps $0x88, %%xmm4, %%xmm0, %%xmm0") /* xmm0 = a = a0 a1 a2 a3 */
1482 __ASM_EMIT("vshufps $0x88, %%xmm6, %%xmm2, %%xmm2") /* xmm2 = c = c0 c1 c2 c3 */
1483 /* xmm0 = a, xmm1 = b, xmm2 = c, xmm3 = d */
1484 __ASM_EMIT("vmulps %%xmm0, %%xmm2, %%xmm4") /* xmm4 = a*c */
1485 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = a*a */
1486 __ASM_EMIT("vmulps %%xmm2, %%xmm2, %%xmm2") /* xmm2 = c*c */
1487 __ASM_EMIT("vfmadd231ps %%xmm1, %%xmm3, %%xmm4") /* xmm4 = nom = a*c + b*d */
1488 __ASM_EMIT("vfmadd231ps %%xmm1, %%xmm1, %%xmm0") /* xmm0 = a*a + b*b */
1489 __ASM_EMIT("vfmadd231ps %%xmm3, %%xmm3, %%xmm2") /* xmm2 = c*c + d*d */
1490 __ASM_EMIT("vmulps %%xmm2, %%xmm0, %%xmm0") /* xmm0 = den = (a*a + b*b)*(c*c + d*d) */
1491 __ASM_EMIT("vsqrtps %%xmm0, %%xmm1") /* xmm1 = sqrt(den) */
1492 __ASM_EMIT("vdivps %%xmm1, %%xmm4, %%xmm4") /* xmm4 = nom / sqrt(den) */
1493 __ASM_EMIT("vcmpps $5, %%xmm7, %%xmm0, %%xmm0") /* xmm0 = [den >= threshold] */
1494 __ASM_EMIT("vandps %%xmm4, %%xmm0, %%xmm0") /* xmm0 = (den >= threshold) ? nom / sqrt(den) : 0.0f */
1495 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])") /* dst[0] = v0 v1 v2 v3 v4 v5 v6 v7 */
1496 __ASM_EMIT("add $0x10, %[off]")
1497 __ASM_EMIT("sub $4, %[count]") /* count -= 4 */
1498 /* x1 blocks */
1499 __ASM_EMIT("4:")
1500 __ASM_EMIT("add $3, %[count]") /* count += 3 */
1501 __ASM_EMIT("jl 6f")
1502 __ASM_EMIT("5:")
1503 __ASM_EMIT("vmovss 0x00(%[src1], %[off], 2), %%xmm0") /* xmm0 = a */
1504 __ASM_EMIT("vmovss 0x04(%[src1], %[off], 2), %%xmm1") /* xmm1 = b */
1505 __ASM_EMIT("vmovss 0x00(%[src2], %[off], 2), %%xmm2") /* xmm2 = c */
1506 __ASM_EMIT("vmovss 0x04(%[src2], %[off], 2), %%xmm3") /* xmm3 = d */
1507 __ASM_EMIT("vmulss %%xmm0, %%xmm2, %%xmm4") /* xmm4 = a*c */
1508 __ASM_EMIT("vmulss %%xmm0, %%xmm0, %%xmm0") /* xmm0 = a*a */
1509 __ASM_EMIT("vmulss %%xmm2, %%xmm2, %%xmm2") /* xmm2 = c*c */
1510 __ASM_EMIT("vfmadd231ss %%xmm1, %%xmm3, %%xmm4") /* xmm4 = nom = a*c + b*d */
1511 __ASM_EMIT("vfmadd231ss %%xmm1, %%xmm1, %%xmm0") /* xmm0 = a*a + b*b */
1512 __ASM_EMIT("vfmadd231ss %%xmm3, %%xmm3, %%xmm2") /* xmm2 = c*c + d*d */
1513 __ASM_EMIT("vmulss %%xmm2, %%xmm0, %%xmm0") /* xmm0 = den = (a*a + b*b)*(c*c + d*d) */
1514 __ASM_EMIT("vsqrtss %%xmm0, %%xmm1, %%xmm1") /* xmm1 = sqrt(den) */
1515 __ASM_EMIT("vdivss %%xmm1, %%xmm4, %%xmm4") /* xmm4 = nom / sqrt(den) */
1516 __ASM_EMIT("vcmpps $5, %%xmm7, %%xmm0, %%xmm0") /* xmm0 = [den >= threshold] */
1517 __ASM_EMIT("vandps %%xmm4, %%xmm0, %%xmm0") /* xmm0 = (den >= threshold) ? nom / sqrt(den) : 0.0f */
1518 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])") /* dst[0] = v0 */
1519 __ASM_EMIT("add $0x04, %[off]")
1520 __ASM_EMIT("dec %[count]")
1521 __ASM_EMIT("jge 5b")
1522 /* End */
1523 __ASM_EMIT("6:")
1524
1525 : [count] "+r" (count), [off] "=&r" (off)
1526 : [dst] "r" (dst_corr), [src1] "r" (src1), [src2] "r" (src2),
1527 [CC] "m" (pcomplex_corr_const)
1528 : "cc", "memory",
1529 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1530 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1531 );
1532 }
1533
1534 } /* namespace avx */
1535 } /* namespace lsp */
1536
1537 #endif /* PRIVATE_DSP_ARCH_X86_AVX_PCOMPLEX_H_ */