Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx512/pcomplex.h

raw
1 /*
2 * Copyright (C) 2024 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2024 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 1 окт. 2023 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_PCOMPLEX_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX512_PCOMPLEX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_IMPL */
28
29 namespace lsp
30 {
31 namespace avx512
32 {
33 #define FMA_OFF(a, b) a
34 #define FMA_ON(a, b) b
35
36 #define PCOMPLEX_MULX_CORE(DST, SRC1, SRC2) \
37 /* Init */ \
38 __ASM_EMIT("xor %[off], %[off]") \
39 /* x16 blocks */ \
40 __ASM_EMIT("sub $16, %[count]") \
41 __ASM_EMIT("jb 2f") \
42 __ASM_EMIT("1:") \
43 __ASM_EMIT("vmovsldup 0x00(%[" SRC1 "], %[off]), %%zmm0") /* zmm0 = ar0 ar0 */ \
44 __ASM_EMIT("vmovsldup 0x40(%[" SRC1 "], %[off]), %%zmm1") \
45 __ASM_EMIT("vmovups 0x00(%[" SRC2 "], %[off]), %%zmm6") /* zmm6 = br0 bi0 */ \
46 __ASM_EMIT("vmovups 0x40(%[" SRC2 "], %[off]), %%zmm7") \
47 __ASM_EMIT("vshufps $0xb1, %%zmm6, %%zmm6, %%zmm4") /* zmm4 = bi0 br0 */ \
48 __ASM_EMIT("vmovshdup 0x00(%[" SRC1 "], %[off]), %%zmm2") /* zmm2 = ai0 ai0 */ \
49 __ASM_EMIT("vmovshdup 0x40(%[" SRC1 "], %[off]), %%zmm3") \
50 __ASM_EMIT("vshufps $0xb1, %%zmm7, %%zmm7, %%zmm5") \
51 __ASM_EMIT("vmulps %%zmm4, %%zmm2, %%zmm2") /* zmm2 = ai0*bi0 ai0*br0 */ \
52 __ASM_EMIT("vmulps %%zmm5, %%zmm3, %%zmm3") \
53 __ASM_EMIT("vfmaddsub132ps %%zmm6, %%zmm2, %%zmm0") /* zmm0 = ar0*br0-ai0*bi0 ar0*bi0+ai0*br0 ... */ \
54 __ASM_EMIT("vfmaddsub132ps %%zmm7, %%zmm3, %%zmm1") \
55 __ASM_EMIT("vmovups %%zmm0, 0x00(%[" DST "], %[off])") \
56 __ASM_EMIT("vmovups %%zmm1, 0x40(%[" DST "], %[off])") \
57 __ASM_EMIT("add $0x80, %[off]") \
58 __ASM_EMIT("sub $16, %[count]") \
59 __ASM_EMIT("jae 1b") \
60 __ASM_EMIT("2:") \
61 /* x8 block */ \
62 __ASM_EMIT("add $8, %[count]") \
63 __ASM_EMIT("jl 4f") \
64 __ASM_EMIT("vmovsldup 0x00(%[" SRC1 "], %[off]), %%ymm0") /* ymm0 = ar0 ar0 */ \
65 __ASM_EMIT("vmovsldup 0x20(%[" SRC1 "], %[off]), %%ymm1") \
66 __ASM_EMIT("vmovups 0x00(%[" SRC2 "], %[off]), %%ymm6") /* ymm6 = br0 bi0 */ \
67 __ASM_EMIT("vmovups 0x20(%[" SRC2 "], %[off]), %%ymm7") \
68 __ASM_EMIT("vshufps $0xb1, %%ymm6, %%ymm6, %%ymm4") /* ymm4 = bi0 br0 */ \
69 __ASM_EMIT("vmovshdup 0x00(%[" SRC1 "], %[off]), %%ymm2") /* ymm2 = ai0 ai0 */ \
70 __ASM_EMIT("vmovshdup 0x20(%[" SRC1 "], %[off]), %%ymm3") \
71 __ASM_EMIT("vshufps $0xb1, %%ymm7, %%ymm7, %%ymm5") \
72 __ASM_EMIT("vmulps %%ymm4, %%ymm2, %%ymm2") /* ymm2 = ai0*bi0 ai0*br0 */ \
73 __ASM_EMIT("vmulps %%ymm5, %%ymm3, %%ymm3") \
74 __ASM_EMIT("vfmaddsub132ps %%ymm6, %%ymm2, %%ymm0") /* ymm0 = ar0*br0-ai0*bi0 ar0*bi0+ai0*br0 ... */ \
75 __ASM_EMIT("vfmaddsub132ps %%ymm7, %%ymm3, %%ymm1") \
76 __ASM_EMIT("vmovups %%ymm0, 0x00(%[" DST "], %[off])") \
77 __ASM_EMIT("vmovups %%ymm1, 0x20(%[" DST "], %[off])") \
78 __ASM_EMIT("sub $8, %[count]") \
79 __ASM_EMIT("add $0x40, %[off]") \
80 __ASM_EMIT("4:") \
81 /* x4 block */ \
82 __ASM_EMIT("add $4, %[count]") \
83 __ASM_EMIT("jl 6f") \
84 __ASM_EMIT("vmovsldup 0x00(%[" SRC1 "], %[off]), %%xmm0") /* xmm0 = ar0 ar0 */ \
85 __ASM_EMIT("vmovsldup 0x10(%[" SRC1 "], %[off]), %%xmm1") \
86 __ASM_EMIT("vmovups 0x00(%[" SRC2 "], %[off]), %%xmm6") /* xmm6 = br0 bi0 */ \
87 __ASM_EMIT("vmovups 0x10(%[" SRC2 "], %[off]), %%xmm7") \
88 __ASM_EMIT("vshufps $0xb1, %%xmm6, %%xmm6, %%xmm4") /* xmm4 = bi0 br0 */ \
89 __ASM_EMIT("vmovshdup 0x00(%[" SRC1 "], %[off]), %%xmm2") /* xmm2 = ai0 ai0 */ \
90 __ASM_EMIT("vmovshdup 0x10(%[" SRC1 "], %[off]), %%xmm3") \
91 __ASM_EMIT("vshufps $0xb1, %%xmm7, %%xmm7, %%xmm5") \
92 __ASM_EMIT("vmulps %%xmm4, %%xmm2, %%xmm2") /* xmm2 = ai0*bi0 ai0*br0 */ \
93 __ASM_EMIT("vmulps %%xmm5, %%xmm3, %%xmm3") \
94 __ASM_EMIT("vfmaddsub132ps %%xmm6, %%xmm2, %%xmm0") /* xmm0 = ar0*br0-ai0*bi0 ar0*bi0+ai0*br0 ... */ \
95 __ASM_EMIT("vfmaddsub132ps %%xmm7, %%xmm3, %%xmm1") \
96 __ASM_EMIT("vmovups %%xmm0, 0x00(%[" DST "], %[off])") \
97 __ASM_EMIT("vmovups %%xmm1, 0x10(%[" DST "], %[off])") \
98 __ASM_EMIT("add $0x20, %[off]") \
99 __ASM_EMIT("sub $4, %[count]") \
100 __ASM_EMIT("6:") \
101 /* x2 block */ \
102 __ASM_EMIT("add $2, %[count]") \
103 __ASM_EMIT("jl 8f") \
104 __ASM_EMIT("vmovups 0x00(%[" SRC2 "], %[off]), %%xmm6") /* xmm6 = br0 bi0 */ \
105 __ASM_EMIT("vmovsldup 0x00(%[" SRC1 "], %[off]), %%xmm0") /* xmm0 = ar0 ar0 */ \
106 __ASM_EMIT("vmovshdup 0x00(%[" SRC1 "], %[off]), %%xmm2") /* xmm2 = ai0 ai0 */ \
107 __ASM_EMIT("vshufps $0xb1, %%xmm6, %%xmm6, %%xmm4") /* xmm4 = bi0 br0 */ \
108 __ASM_EMIT("vmulps %%xmm4, %%xmm2, %%xmm2") /* xmm2 = ai0*bi0 ai0*br0 */ \
109 __ASM_EMIT("vfmaddsub132ps %%xmm6, %%xmm2, %%xmm0") /* xmm0 = ar0*br0-ai0*bi0 ar0*bi0+ai0*br0 ... */ \
110 __ASM_EMIT("vmovups %%xmm0, 0x00(%[" DST "], %[off])") \
111 __ASM_EMIT("add $0x10, %[off]") \
112 __ASM_EMIT("sub $2, %[count]") \
113 __ASM_EMIT("8:") \
114 /* x1 block */ \
115 __ASM_EMIT("add $1, %[count]") \
116 __ASM_EMIT("jl 10f") \
117 __ASM_EMIT("vmovlps 0x00(%[" SRC1 "], %[off]), %%xmm4, %%xmm4") /* xmm4 = ar0 ai0 */ \
118 __ASM_EMIT("vmovlps 0x00(%[" SRC2 "], %[off]), %%xmm6, %%xmm6") /* xmm6 = br0 bi0 */ \
119 __ASM_EMIT("vmovsldup %%xmm4, %%xmm0") /* xmm0 = ar0 ar0 */ \
120 __ASM_EMIT("vmovshdup %%xmm4, %%xmm2") /* xmm2 = ai0 ai0 */ \
121 __ASM_EMIT("vshufps $0xb1, %%xmm6, %%xmm6, %%xmm4") /* xmm4 = bi0 br0 */ \
122 __ASM_EMIT("vmulps %%xmm4, %%xmm2, %%xmm2") /* xmm2 = ai0*bi0 ai0*br0 */ \
123 __ASM_EMIT("vfmaddsub132ps %%xmm6, %%xmm2, %%xmm0") /* xmm0 = ar0*br0-ai0*bi0 ar0*bi0+ai0*br0 ... */ \
124 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[" DST "], %[off])") \
125 __ASM_EMIT("10:") \
126 /* end */
127
128 void pcomplex_mul3(float *dst, const float *src1, const float *src2, size_t count)
129 {
130 IF_ARCH_X86(size_t off);
131 ARCH_X86_ASM
132 (
133 PCOMPLEX_MULX_CORE("dst", "src1", "src2")
134 : [off] "=&r" (off),
135 [count] "+r" (count)
136 : [dst] "r" (dst), [src1] "r" (src1), [src2] "r" (src2)
137 : "cc", "memory",
138 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
139 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
140 );
141 }
142
143 void pcomplex_mul2(float *dst, const float *src, size_t count)
144 {
145 IF_ARCH_X86(size_t off);
146 ARCH_X86_ASM
147 (
148 PCOMPLEX_MULX_CORE("dst", "dst", "src")
149 : [off] "=&r" (off),
150 [count] "+r" (count)
151 : [dst] "r" (dst), [src] "r" (src)
152 : "cc", "memory",
153 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
154 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
155 );
156 }
157
158 #undef PCOMPLEX_MULX_CORE
159
160 static const uint16_t pcomplex_mod_kmask[] =
161 {
162 0x5555,
163 0xaaaa
164 };
165
166 void pcomplex_mod(float *dst, const float *src, size_t count)
167 {
168 // Strided-load technique is used to improve performance
169 IF_ARCH_X86(size_t off);
170 ARCH_X86_ASM
171 (
172 __ASM_EMIT("xor %[off], %[off]")
173 // 32x blocks
174 __ASM_EMIT("sub $32, %[count]")
175 __ASM_EMIT("jb 2f")
176 __ASM_EMIT("kmovw 0x00 + %[kmask], %%k4") // k4 = 0x5555 /* even indices */
177 __ASM_EMIT("1:")
178 __ASM_EMIT("vmovups 0x000(%[src], %[off], 2), %%zmm0") // zmm0 = r00 i00 ...
179 __ASM_EMIT("vmovups 0x040(%[src], %[off], 2), %%zmm1")
180 __ASM_EMIT("vmovups 0x080(%[src], %[off], 2), %%zmm2")
181 __ASM_EMIT("vmovups 0x0c0(%[src], %[off], 2), %%zmm3")
182 __ASM_EMIT("vmulps %%zmm0, %%zmm0, %%zmm0") // zmm0 = r00*r00 i00*i00
183 __ASM_EMIT("vmulps %%zmm1, %%zmm1, %%zmm1")
184 __ASM_EMIT("vmulps %%zmm2, %%zmm2, %%zmm2")
185 __ASM_EMIT("vmulps %%zmm3, %%zmm3, %%zmm3")
186 __ASM_EMIT("vmovshdup %%zmm0, %%zmm4") // zmm4 = i00*i00 i00*i00
187 __ASM_EMIT("vmovshdup %%zmm1, %%zmm5")
188 __ASM_EMIT("vmovshdup %%zmm2, %%zmm6")
189 __ASM_EMIT("vmovshdup %%zmm3, %%zmm7")
190 __ASM_EMIT("vaddps %%zmm4, %%zmm0, %%zmm0") // zmm0 = r00*r00+i00*i00 i00*i00+i00*i00
191 __ASM_EMIT("vaddps %%zmm5, %%zmm1, %%zmm1")
192 __ASM_EMIT("vaddps %%zmm6, %%zmm2, %%zmm2")
193 __ASM_EMIT("vaddps %%zmm7, %%zmm3, %%zmm3")
194 __ASM_EMIT("vcompressps %%zmm0, %%zmm0 %{%%k4%}") // ymm0 = r00 ...
195 __ASM_EMIT("vcompressps %%zmm1, %%zmm1 %{%%k4%}")
196 __ASM_EMIT("vcompressps %%zmm2, %%zmm2 %{%%k4%}")
197 __ASM_EMIT("vcompressps %%zmm3, %%zmm3 %{%%k4%}")
198 __ASM_EMIT("vinsertf64x4 $1, %%ymm1, %%zmm0, %%zmm0") // zmm0 = q00 ...
199 __ASM_EMIT("vinsertf64x4 $1, %%ymm3, %%zmm2, %%zmm2")
200 __ASM_EMIT("vsqrtps %%zmm0, %%zmm0")
201 __ASM_EMIT("vsqrtps %%zmm2, %%zmm2")
202 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
203 __ASM_EMIT("vmovups %%zmm2, 0x40(%[dst], %[off])")
204 __ASM_EMIT("add $0x80, %[off]")
205 __ASM_EMIT("sub $32, %[count]")
206 __ASM_EMIT("jae 1b")
207 __ASM_EMIT("2:")
208 // 16x blocks
209 __ASM_EMIT("add $16, %[count]")
210 __ASM_EMIT("jl 4f")
211 __ASM_EMIT("vmovups 0x000(%[src], %[off], 2), %%xmm0")
212 __ASM_EMIT("vmovups 0x010(%[src], %[off], 2), %%xmm2")
213 __ASM_EMIT("vinsertf128 $1, 0x020(%[src], %[off], 2), %%ymm0, %%ymm0")
214 __ASM_EMIT("vinsertf128 $1, 0x030(%[src], %[off], 2), %%ymm2, %%ymm2")
215 __ASM_EMIT("vmovups 0x040(%[src], %[off], 2), %%xmm1")
216 __ASM_EMIT("vmovups 0x050(%[src], %[off], 2), %%xmm3")
217 __ASM_EMIT("vinsertf128 $1, 0x060(%[src], %[off], 2), %%ymm1, %%ymm1")
218 __ASM_EMIT("vinsertf128 $1, 0x070(%[src], %[off], 2), %%ymm3, %%ymm3")
219 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm0")
220 __ASM_EMIT("vmulps %%ymm2, %%ymm2, %%ymm2")
221 __ASM_EMIT("vmulps %%ymm1, %%ymm1, %%ymm1")
222 __ASM_EMIT("vmulps %%ymm3, %%ymm3, %%ymm3")
223 __ASM_EMIT("vhaddps %%ymm2, %%ymm0, %%ymm0")
224 __ASM_EMIT("vhaddps %%ymm3, %%ymm1, %%ymm1")
225 __ASM_EMIT("vsqrtps %%ymm0, %%ymm0")
226 __ASM_EMIT("vsqrtps %%ymm1, %%ymm1")
227 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
228 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
229 __ASM_EMIT("sub $16, %[count]")
230 __ASM_EMIT("add $0x40, %[off]")
231 __ASM_EMIT("4:")
232 // 8x block
233 __ASM_EMIT("add $8, %[count]")
234 __ASM_EMIT("jl 6f")
235 __ASM_EMIT("vmovups 0x000(%[src], %[off], 2), %%xmm0")
236 __ASM_EMIT("vmovups 0x010(%[src], %[off], 2), %%xmm2")
237 __ASM_EMIT("vinsertf128 $1, 0x020(%[src], %[off], 2), %%ymm0, %%ymm0")
238 __ASM_EMIT("vinsertf128 $1, 0x030(%[src], %[off], 2), %%ymm2, %%ymm2")
239 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm0")
240 __ASM_EMIT("vmulps %%ymm2, %%ymm2, %%ymm2")
241 __ASM_EMIT("vhaddps %%ymm2, %%ymm0, %%ymm0")
242 __ASM_EMIT("vsqrtps %%ymm0, %%ymm0")
243 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
244 __ASM_EMIT("sub $8, %[count]")
245 __ASM_EMIT("add $0x20, %[off]")
246 __ASM_EMIT("6:")
247 // 4x block
248 __ASM_EMIT("add $4, %[count]")
249 __ASM_EMIT("jl 8f")
250 __ASM_EMIT("vmovups 0x000(%[src], %[off], 2), %%xmm0")
251 __ASM_EMIT("vmovups 0x010(%[src], %[off], 2), %%xmm2")
252 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm0")
253 __ASM_EMIT("vmulps %%xmm2, %%xmm2, %%xmm2")
254 __ASM_EMIT("vhaddps %%xmm2, %%xmm0, %%xmm0")
255 __ASM_EMIT("vsqrtps %%xmm0, %%xmm0")
256 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
257 __ASM_EMIT("sub $4, %[count]")
258 __ASM_EMIT("add $0x10, %[off]")
259 __ASM_EMIT("8:")
260 // 2x block
261 __ASM_EMIT("add $2, %[count]")
262 __ASM_EMIT("jl 10f")
263 __ASM_EMIT("vmovups 0x000(%[src], %[off], 2), %%xmm0")
264 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm0")
265 __ASM_EMIT("vhaddps %%xmm0, %%xmm0, %%xmm0")
266 __ASM_EMIT("vsqrtps %%xmm0, %%xmm0")
267 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst], %[off])")
268 __ASM_EMIT("sub $2, %[count]")
269 __ASM_EMIT("add $0x08, %[off]")
270 __ASM_EMIT("10:")
271 // 1x block
272 __ASM_EMIT("add $1, %[count]")
273 __ASM_EMIT("jl 12f")
274 __ASM_EMIT("vmovlps 0x000(%[src], %[off], 2), %%xmm0, %%xmm0")
275 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm0")
276 __ASM_EMIT("vhaddps %%xmm0, %%xmm0, %%xmm0")
277 __ASM_EMIT("vsqrtps %%xmm0, %%xmm0")
278 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
279 __ASM_EMIT("12:")
280 // End
281
282 : [count] "+r" (count), [off] "=&r" (off)
283 : [dst] "r" (dst), [src] "r" (src),
284 [kmask] "o" (pcomplex_mod_kmask)
285 : "cc", "memory",
286 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
287 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
288 "%k4"
289 );
290 }
291
292 IF_ARCH_X86(
293 static uint32_t pcomplex_div_const[] __lsp_aligned64 =
294 {
295 LSP_DSP_VEC16(0x3f800000), // 1.0
296 LSP_DSP_VEC16(0x80000000), // signbits
297 LSP_DSP_VEC8x2(0x00000000, 0x80000000) // signbits
298 };
299 )
300
301 #define PCOMPLEX_DIV_CORE(DST, T, B) \
302 /* Init */ \
303 __ASM_EMIT("xor %[off], %[off]") \
304 /* x16 block */ \
305 __ASM_EMIT("sub $16, %[count]") \
306 __ASM_EMIT("jb 2f") \
307 __ASM_EMIT("1:") \
308 __ASM_EMIT("vmovups 0x00(%[" T "], %[off]), %%zmm0") /* zmm0 = tr ti */ \
309 __ASM_EMIT("vmovups 0x40(%[" T "], %[off]), %%zmm4") \
310 __ASM_EMIT("vmovups 0x00(%[" B "], %[off]), %%zmm1") /* zmm1 = br bi */ \
311 __ASM_EMIT("vmovups 0x40(%[" B "], %[off]), %%zmm5") \
312 __ASM_EMIT("vmovshdup %%zmm0, %%zmm2") /* zmm2 = ti ti */ \
313 __ASM_EMIT("vmovshdup %%zmm4, %%zmm6") \
314 __ASM_EMIT("vmovsldup %%zmm0, %%zmm0") /* zmm0 = tr tr */ \
315 __ASM_EMIT("vmovsldup %%zmm4, %%zmm4") \
316 __ASM_EMIT("vmulps %%zmm1, %%zmm0, %%zmm0") /* zmm0 = tr*br tr*bi */ \
317 __ASM_EMIT("vmulps %%zmm5, %%zmm4, %%zmm4") \
318 __ASM_EMIT("vshufps $0xb1, %%zmm1, %%zmm1, %%zmm1") /* zmm1 = bi br */ \
319 __ASM_EMIT("vshufps $0xb1, %%zmm5, %%zmm5, %%zmm5") \
320 __ASM_EMIT("vfmsubadd231ps %%zmm1, %%zmm2, %%zmm0") /* zmm0 = r i = ti*bi+tr*br ti*br-tr*bi */ \
321 __ASM_EMIT("vfmsubadd231ps %%zmm5, %%zmm6, %%zmm4") \
322 __ASM_EMIT("vmulps %%zmm1, %%zmm1, %%zmm1") /* zmm1 = bi*bi br*br */ \
323 __ASM_EMIT("vmulps %%zmm5, %%zmm5, %%zmm5") \
324 __ASM_EMIT("vmovshdup %%zmm1, %%zmm3") /* zmm3 = br*br br*br */ \
325 __ASM_EMIT("vmovshdup %%zmm5, %%zmm7") \
326 __ASM_EMIT("vaddps %%zmm1, %%zmm3, %%zmm1") /* zmm1 = br*br+bi*bi br*br+br*br */ \
327 __ASM_EMIT("vaddps %%zmm5, %%zmm7, %%zmm5") \
328 __ASM_EMIT("vmovsldup %%zmm1, %%zmm1") /* zmm1 = br*br+bi*bi br*br+bi*bi */ \
329 __ASM_EMIT("vmovsldup %%zmm5, %%zmm5") \
330 __ASM_EMIT("vdivps %%zmm1, %%zmm0, %%zmm0") /* zmm0 = r' i' */ \
331 __ASM_EMIT("vdivps %%zmm5, %%zmm4, %%zmm4") \
332 __ASM_EMIT("vmovups %%zmm0, 0x00(%[" DST "], %[off])") \
333 __ASM_EMIT("vmovups %%zmm4, 0x40(%[" DST "], %[off])") \
334 __ASM_EMIT("add $0x80, %[off]") \
335 __ASM_EMIT("sub $16, %[count]") \
336 __ASM_EMIT("jae 1b") \
337 __ASM_EMIT("2:") \
338 /* x8 block */ \
339 __ASM_EMIT("add $8, %[count]") \
340 __ASM_EMIT("jl 4f") \
341 __ASM_EMIT("vmovups 0x00(%[" T "], %[off]), %%ymm0") /* ymm0 = tr ti */ \
342 __ASM_EMIT("vmovups 0x20(%[" T "], %[off]), %%ymm4") \
343 __ASM_EMIT("vmovups 0x00(%[" B "], %[off]), %%ymm1") /* ymm1 = br bi */ \
344 __ASM_EMIT("vmovups 0x20(%[" B "], %[off]), %%ymm5") \
345 __ASM_EMIT("vmovshdup %%ymm0, %%ymm2") /* ymm2 = ti ti */ \
346 __ASM_EMIT("vmovshdup %%ymm4, %%ymm6") \
347 __ASM_EMIT("vmovsldup %%ymm0, %%ymm0") /* ymm0 = tr tr */ \
348 __ASM_EMIT("vmovsldup %%ymm4, %%ymm4") \
349 __ASM_EMIT("vmulps %%ymm1, %%ymm1, %%ymm3") /* ymm3 = br*br bi*bi */ \
350 __ASM_EMIT("vmulps %%ymm5, %%ymm5, %%ymm7") \
351 __ASM_EMIT("vmulps %%ymm1, %%ymm0, %%ymm0") /* ymm0 = tr*br tr*bi */ \
352 __ASM_EMIT("vmulps %%ymm5, %%ymm4, %%ymm4") \
353 __ASM_EMIT("vhaddps %%ymm7, %%ymm3, %%ymm3") /* ymm3 = R0 R1 R4 R5 R2 R3 R6 R7 */ \
354 __ASM_EMIT("vmovaps 0x00 + %[CC], %%ymm7") /* ymm7 = 1 */ \
355 __ASM_EMIT("vdivps %%ymm3, %%ymm7, %%ymm3") /* ymm3 = 1/R0 1/R1 1/R4 1/R5 1/R2 1/R3 1/R6 1/R7 */ \
356 __ASM_EMIT("vshufps $0xb1, %%ymm1, %%ymm1, %%ymm1") /* ymm1 = bi br */ \
357 __ASM_EMIT("vshufps $0xb1, %%ymm5, %%ymm5, %%ymm5") \
358 __ASM_EMIT("vunpckhps %%ymm3, %%ymm3, %%ymm7") /* ymm7 = 1/R4 1/R4 1/R5 1/R5 1/R6 1/R6 1/R7 1/R7 */ \
359 __ASM_EMIT("vunpcklps %%ymm3, %%ymm3, %%ymm3") /* ymm3 = 1/R0 1/R0 1/R1 1/R1 1/R2 1/R2 1/R3 1/R3 */ \
360 __ASM_EMIT("vfmsubadd231ps %%ymm1, %%ymm2, %%ymm0") /* ymm0 = r i = ti*bi+tr*br ti*br-tr*bi */ \
361 __ASM_EMIT("vfmsubadd231ps %%ymm5, %%ymm6, %%ymm4") \
362 __ASM_EMIT("vmulps %%ymm3, %%ymm0, %%ymm0") /* ymm0 = r' i' */ \
363 __ASM_EMIT("vmulps %%ymm7, %%ymm4, %%ymm4") \
364 __ASM_EMIT("vmovups %%ymm0, 0x00(%[" DST "], %[off])") \
365 __ASM_EMIT("vmovups %%ymm4, 0x20(%[" DST "], %[off])") \
366 __ASM_EMIT("sub $8, %[count]") \
367 __ASM_EMIT("add $0x40, %[off]") \
368 __ASM_EMIT("4:") \
369 /* x4 block */ \
370 __ASM_EMIT("add $4, %[count]") \
371 __ASM_EMIT("jl 6f") \
372 __ASM_EMIT("vmovups 0x00(%[" T "], %[off]), %%xmm0") /* xmm0 = tr ti */ \
373 __ASM_EMIT("vmovups 0x10(%[" T "], %[off]), %%xmm4") \
374 __ASM_EMIT("vmovups 0x00(%[" B "], %[off]), %%xmm1") /* xmm1 = br bi */ \
375 __ASM_EMIT("vmovups 0x10(%[" B "], %[off]), %%xmm5") \
376 __ASM_EMIT("vmovshdup %%xmm0, %%xmm2") /* xmm2 = ti ti */ \
377 __ASM_EMIT("vmovshdup %%xmm4, %%xmm6") \
378 __ASM_EMIT("vmovsldup %%xmm0, %%xmm0") /* xmm0 = tr tr */ \
379 __ASM_EMIT("vmovsldup %%xmm4, %%xmm4") \
380 __ASM_EMIT("vmulps %%xmm1, %%xmm1, %%xmm3") /* xmm3 = br*br bi*bi */ \
381 __ASM_EMIT("vmulps %%xmm5, %%xmm5, %%xmm7") \
382 __ASM_EMIT("vmulps %%xmm1, %%xmm0, %%xmm0") /* xmm0 = tr*br tr*bi */ \
383 __ASM_EMIT("vmulps %%xmm5, %%xmm4, %%xmm4") \
384 __ASM_EMIT("vhaddps %%xmm7, %%xmm3, %%xmm3") /* xmm3 = R0 R1 R2 R3 */ \
385 __ASM_EMIT("vmovaps 0x00 + %[CC], %%xmm7") /* xmm7 = 1 */ \
386 __ASM_EMIT("vdivps %%xmm3, %%xmm7, %%xmm3") /* xmm3 = 1/R0 1/R1 1/R2 1/R3 */ \
387 __ASM_EMIT("vshufps $0xb1, %%xmm1, %%xmm1, %%xmm1") /* xmm1 = bi br */ \
388 __ASM_EMIT("vshufps $0xb1, %%xmm5, %%xmm5, %%xmm5") \
389 __ASM_EMIT("vunpckhps %%xmm3, %%xmm3, %%xmm7") /* xmm7 = 1/R2 1/R2 1/R3 1/R3 */ \
390 __ASM_EMIT("vunpcklps %%xmm3, %%xmm3, %%xmm3") /* xmm3 = 1/R0 1/R0 1/R1 1/R1 */ \
391 __ASM_EMIT("vfmsubadd231ps %%xmm1, %%xmm2, %%xmm0") /* xmm0 = r i = ti*bi+tr*br ti*br-tr*bi */ \
392 __ASM_EMIT("vfmsubadd231ps %%xmm5, %%xmm6, %%xmm4") \
393 __ASM_EMIT("vmulps %%xmm3, %%xmm0, %%xmm0") /* xmm0 = r' i' */ \
394 __ASM_EMIT("vmulps %%xmm7, %%xmm4, %%xmm4") \
395 __ASM_EMIT("vmovups %%xmm0, 0x00(%[" DST "], %[off])") \
396 __ASM_EMIT("vmovups %%xmm4, 0x10(%[" DST "], %[off])") \
397 __ASM_EMIT("add $0x20, %[off]") \
398 __ASM_EMIT("sub $4, %[count]") \
399 __ASM_EMIT("6:") \
400 /* x2 block */ \
401 __ASM_EMIT("add $2, %[count]") \
402 __ASM_EMIT("jl 8f") \
403 __ASM_EMIT("vmovups 0x00(%[" T "], %[off]), %%xmm0") /* xmm0 = tr ti */ \
404 __ASM_EMIT("vmovups 0x00(%[" B "], %[off]), %%xmm1") /* xmm1 = br bi */ \
405 __ASM_EMIT("vmovshdup %%xmm0, %%xmm2") /* xmm2 = ti ti */ \
406 __ASM_EMIT("vmovsldup %%xmm0, %%xmm0") /* xmm0 = tr tr */ \
407 __ASM_EMIT("vmulps %%xmm1, %%xmm1, %%xmm3") /* xmm3 = br*br bi*bi */ \
408 __ASM_EMIT("vmulps %%xmm1, %%xmm0, %%xmm0") /* xmm0 = tr*br tr*bi */ \
409 __ASM_EMIT("vhaddps %%xmm3, %%xmm3, %%xmm3") /* xmm3 = R0 R1 */ \
410 __ASM_EMIT("vmovaps 0x00 + %[CC], %%xmm7") /* xmm7 = 1 */ \
411 __ASM_EMIT("vdivps %%xmm3, %%xmm7, %%xmm3") /* xmm3 = 1/R0 1/R1 1/R2 1/R3 */ \
412 __ASM_EMIT("vshufps $0xb1, %%xmm1, %%xmm1, %%xmm1") /* xmm1 = bi br */ \
413 __ASM_EMIT("vunpckhps %%xmm3, %%xmm3, %%xmm7") /* xmm7 = 1/R2 1/R2 1/R3 1/R3 */ \
414 __ASM_EMIT("vunpcklps %%xmm3, %%xmm3, %%xmm3") /* xmm3 = 1/R0 1/R0 1/R1 1/R1 */ \
415 __ASM_EMIT("vfmsubadd231ps %%xmm1, %%xmm2, %%xmm0") /* xmm0 = r i = ti*bi+tr*br ti*br-tr*bi */ \
416 __ASM_EMIT("vmulps %%xmm3, %%xmm0, %%xmm0") /* xmm0 = r' i' */ \
417 __ASM_EMIT("vmovups %%xmm0, 0x00(%[" DST "], %[off])") \
418 __ASM_EMIT("add $0x10, %[off]") \
419 __ASM_EMIT("sub $2, %[count]") \
420 __ASM_EMIT("8:") \
421 /* x1 block */ \
422 __ASM_EMIT("add $1, %[count]") \
423 __ASM_EMIT("jl 10f") \
424 __ASM_EMIT("vmovlps 0x00(%[" T "], %[off]), %%xmm0, %%xmm0")/* xmm0 = tr ti */ \
425 __ASM_EMIT("vmovlps 0x00(%[" B "], %[off]), %%xmm1, %%xmm1")/* xmm1 = br bi */ \
426 __ASM_EMIT("vmovshdup %%xmm0, %%xmm2") /* xmm2 = ti ti */ \
427 __ASM_EMIT("vmovsldup %%xmm0, %%xmm0") /* xmm0 = tr tr */ \
428 __ASM_EMIT("vmulps %%xmm1, %%xmm1, %%xmm3") /* xmm3 = br*br bi*bi */ \
429 __ASM_EMIT("vmulps %%xmm1, %%xmm0, %%xmm0") /* xmm0 = tr*br tr*bi */ \
430 __ASM_EMIT("vhaddps %%xmm3, %%xmm3, %%xmm3") /* xmm3 = R0 R1 */ \
431 __ASM_EMIT("vmovaps 0x00 + %[CC], %%xmm7") /* xmm7 = 1 */ \
432 __ASM_EMIT("vdivps %%xmm3, %%xmm7, %%xmm3") /* xmm3 = 1/R0 1/R1 1/R2 1/R3 */ \
433 __ASM_EMIT("vshufps $0xb1, %%xmm1, %%xmm1, %%xmm1") /* xmm1 = bi br */ \
434 __ASM_EMIT("vunpckhps %%xmm3, %%xmm3, %%xmm7") /* xmm7 = 1/R2 1/R2 1/R3 1/R3 */ \
435 __ASM_EMIT("vunpcklps %%xmm3, %%xmm3, %%xmm3") /* xmm3 = 1/R0 1/R0 1/R1 1/R1 */ \
436 __ASM_EMIT("vfmsubadd231ps %%xmm1, %%xmm2, %%xmm0") /* xmm0 = r i = ti*bi+tr*br ti*br-tr*bi */ \
437 __ASM_EMIT("vmulps %%xmm3, %%xmm0, %%xmm0") /* xmm0 = r' i' */ \
438 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[" DST "], %[off])") \
439 __ASM_EMIT("10:") \
440 /* end */
441
442 void pcomplex_div3(float *dst, const float *t, const float *b, size_t count)
443 {
444 IF_ARCH_X86(size_t off);
445 ARCH_X86_ASM
446 (
447 PCOMPLEX_DIV_CORE("dst", "t", "b")
448 : [off] "=&r" (off),
449 [count] "+r" (count)
450 : [dst] "r" (dst), [t] "r" (t), [b] "r" (b),
451 [CC] "o" (pcomplex_div_const)
452 : "cc", "memory",
453 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
454 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
455 );
456 }
457
458 void pcomplex_div2(float *dst, const float *src, size_t count)
459 {
460 IF_ARCH_X86(size_t off);
461 ARCH_X86_ASM
462 (
463 PCOMPLEX_DIV_CORE("dst", "dst", "src")
464 : [off] "=&r" (off),
465 [count] "+r" (count)
466 : [dst] "r" (dst), [src] "r" (src),
467 [CC] "o" (pcomplex_div_const)
468 : "cc", "memory",
469 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
470 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
471 );
472 }
473
474 void pcomplex_rdiv2(float *dst, const float *src, size_t count)
475 {
476 IF_ARCH_X86(size_t off);
477 ARCH_X86_ASM
478 (
479 PCOMPLEX_DIV_CORE("dst", "src", "dst")
480 : [off] "=&r" (off),
481 [count] "+r" (count)
482 : [dst] "r" (dst), [src] "r" (src),
483 [CC] "o" (pcomplex_div_const)
484 : "cc", "memory",
485 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
486 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
487 );
488 }
489
490 static const uint16_t pcomplex_r2c_expand[] =
491 {
492 0x5555
493 };
494
495 void pcomplex_r2c_add2(float *dst, const float *src, size_t count)
496 {
497 IF_ARCH_X86(size_t off);
498 ARCH_X86_ASM
499 (
500 __ASM_EMIT("xor %[off], %[off]")
501 /* x64 blocks */
502 __ASM_EMIT("sub $64, %[count]")
503 __ASM_EMIT("jb 2f")
504 __ASM_EMIT("kmovw %[CC], %%k4") /* k4 = 0x5555 */
505 __ASM_EMIT("1:")
506 __ASM_EMIT("vexpandps 0x00(%[src], %[off]), %%zmm0 %{%%k4%}%{z%}")/* zmm0 = s0 0 s1 0 s2 0 s3 0 s4 0 s5 0 s6 0 s7 0 */
507 __ASM_EMIT("vexpandps 0x20(%[src], %[off]), %%zmm1 %{%%k4%}%{z%}")
508 __ASM_EMIT("vexpandps 0x40(%[src], %[off]), %%zmm2 %{%%k4%}%{z%}")
509 __ASM_EMIT("vexpandps 0x60(%[src], %[off]), %%zmm3 %{%%k4%}%{z%}")
510 __ASM_EMIT("vexpandps 0x80(%[src], %[off]), %%zmm4 %{%%k4%}%{z%}")
511 __ASM_EMIT("vexpandps 0xa0(%[src], %[off]), %%zmm5 %{%%k4%}%{z%}")
512 __ASM_EMIT("vexpandps 0xc0(%[src], %[off]), %%zmm6 %{%%k4%}%{z%}")
513 __ASM_EMIT("vmovups 0xe0(%[src], %[off]), %%ymm7")
514 __ASM_EMIT("vexpandps %%zmm7, %%zmm7 %{%%k4%}%{z%}")
515 __ASM_EMIT("vaddps 0x000(%[dst], %[off], 2), %%zmm0, %%zmm0") /* zmm0 = r0+s0 i0 r1+s1 i1 r2+s2 i2 r3+s3 i3 */
516 __ASM_EMIT("vaddps 0x040(%[dst], %[off], 2), %%zmm1, %%zmm1")
517 __ASM_EMIT("vaddps 0x080(%[dst], %[off], 2), %%zmm2, %%zmm2")
518 __ASM_EMIT("vaddps 0x0c0(%[dst], %[off], 2), %%zmm3, %%zmm3")
519 __ASM_EMIT("vaddps 0x100(%[dst], %[off], 2), %%zmm4, %%zmm4")
520 __ASM_EMIT("vaddps 0x140(%[dst], %[off], 2), %%zmm5, %%zmm5")
521 __ASM_EMIT("vaddps 0x180(%[dst], %[off], 2), %%zmm6, %%zmm6")
522 __ASM_EMIT("vaddps 0x1c0(%[dst], %[off], 2), %%zmm7, %%zmm7")
523 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst], %[off], 2)")
524 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst], %[off], 2)")
525 __ASM_EMIT("vmovups %%zmm2, 0x080(%[dst], %[off], 2)")
526 __ASM_EMIT("vmovups %%zmm3, 0x0c0(%[dst], %[off], 2)")
527 __ASM_EMIT("vmovups %%zmm4, 0x100(%[dst], %[off], 2)")
528 __ASM_EMIT("vmovups %%zmm5, 0x140(%[dst], %[off], 2)")
529 __ASM_EMIT("vmovups %%zmm6, 0x180(%[dst], %[off], 2)")
530 __ASM_EMIT("vmovups %%zmm7, 0x1c0(%[dst], %[off], 2)")
531 __ASM_EMIT("add $0x100, %[off]")
532 __ASM_EMIT("sub $64, %[count]")
533 __ASM_EMIT("jae 1b")
534 __ASM_EMIT("2:")
535 /* x16 blocks */
536 __ASM_EMIT("add $48, %[count]")
537 __ASM_EMIT("vxorps %%ymm6, %%ymm6, %%ymm6") /* ymm6 = 0 */
538 __ASM_EMIT("vxorps %%ymm7, %%ymm7, %%ymm7") /* ymm7 = 0 */
539 __ASM_EMIT("jl 4f") \
540 __ASM_EMIT("3:") \
541 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%ymm0") /* ymm0 = s0 s1 s2 s3 s4 s5 s6 s7 */
542 __ASM_EMIT("vmovups 0x20(%[src], %[off]), %%ymm2")
543 __ASM_EMIT("vunpckhps %%ymm6, %%ymm0, %%ymm1") /* ymm1 = s2 0 s3 0 s6 0 s7 0 */
544 __ASM_EMIT("vunpckhps %%ymm6, %%ymm2, %%ymm3")
545 __ASM_EMIT("vunpcklps %%ymm6, %%ymm0, %%ymm0") /* ymm0 = s0 0 s1 0 s4 0 s5 0 */
546 __ASM_EMIT("vunpcklps %%ymm6, %%ymm2, %%ymm2")
547 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4") /* xmm4 = s4 0 s5 0 */
548 __ASM_EMIT("vextractf128 $1, %%ymm2, %%xmm5")
549 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm0, %%ymm0") /* ymm0 = s0 0 s1 0 s2 0 s3 0 */
550 __ASM_EMIT("vinsertf128 $1, %%xmm3, %%ymm2, %%ymm2")
551 __ASM_EMIT("vinsertf128 $0, %%xmm4, %%ymm1, %%ymm1") /* ymm1 = s4 0 s5 0 s6 0 s7 0 */
552 __ASM_EMIT("vinsertf128 $0, %%xmm5, %%ymm3, %%ymm3")
553 __ASM_EMIT("vaddps 0x00(%[dst], %[off], 2), %%ymm0, %%ymm0") /* ymm0 = r0+s0 i0 r1+s1 i1 r2+s2 i2 r3+s3 i3 */
554 __ASM_EMIT("vaddps 0x20(%[dst], %[off], 2), %%ymm1, %%ymm1")
555 __ASM_EMIT("vaddps 0x40(%[dst], %[off], 2), %%ymm2, %%ymm2")
556 __ASM_EMIT("vaddps 0x60(%[dst], %[off], 2), %%ymm3, %%ymm3")
557 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off], 2)")
558 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off], 2)")
559 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off], 2)")
560 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off], 2)")
561 __ASM_EMIT("add $0x40, %[off]")
562 __ASM_EMIT("sub $16, %[count]")
563 __ASM_EMIT("jge 3b")
564 __ASM_EMIT("4:")
565 /* x8 block */
566 __ASM_EMIT("add $8, %[count]")
567 __ASM_EMIT("jl 6f")
568 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
569 __ASM_EMIT("vmovups 0x10(%[src], %[off]), %%xmm2")
570 __ASM_EMIT("vunpckhps %%xmm6, %%xmm0, %%xmm1") /* xmm1 = s2 0 s3 0 */
571 __ASM_EMIT("vunpckhps %%xmm6, %%xmm2, %%xmm3")
572 __ASM_EMIT("vunpcklps %%xmm6, %%xmm0, %%xmm0") /* xmm0 = s0 0 s1 0 */
573 __ASM_EMIT("vunpcklps %%xmm6, %%xmm2, %%xmm2")
574 __ASM_EMIT("vaddps 0x00(%[dst], %[off], 2), %%xmm0, %%xmm0") /* xmm0 = r0+s0 i0 r1+s1 i1 r2+s2 i2 r3+s3 i3 */
575 __ASM_EMIT("vaddps 0x10(%[dst], %[off], 2), %%xmm1, %%xmm1")
576 __ASM_EMIT("vaddps 0x20(%[dst], %[off], 2), %%xmm2, %%xmm2")
577 __ASM_EMIT("vaddps 0x30(%[dst], %[off], 2), %%xmm3, %%xmm3")
578 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
579 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
580 __ASM_EMIT("vmovups %%xmm2, 0x20(%[dst], %[off], 2)")
581 __ASM_EMIT("vmovups %%xmm3, 0x30(%[dst], %[off], 2)")
582 __ASM_EMIT("sub $8, %[count]")
583 __ASM_EMIT("add $0x20, %[off]")
584 __ASM_EMIT("6:")
585 /* x4 blocks */
586 __ASM_EMIT("add $4, %[count]")
587 __ASM_EMIT("jl 8f")
588 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
589 __ASM_EMIT("vunpckhps %%xmm6, %%xmm0, %%xmm1") /* xmm1 = s2 0 s3 0 */
590 __ASM_EMIT("vunpcklps %%xmm6, %%xmm0, %%xmm0") /* xmm0 = s0 0 s1 0 */
591 __ASM_EMIT("vaddps 0x00(%[dst], %[off], 2), %%xmm0, %%xmm0") /* xmm0 = r0+s0 i0 r1+s1 i1 r2+s2 i2 r3+s3 i3 */
592 __ASM_EMIT("vaddps 0x10(%[dst], %[off], 2), %%xmm1, %%xmm1")
593 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
594 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
595 __ASM_EMIT("sub $4, %[count]")
596 __ASM_EMIT("add $0x10, %[off]")
597 __ASM_EMIT("8:")
598 /* x1 blocks */
599 __ASM_EMIT("add $3, %[count]")
600 __ASM_EMIT("jl 10f")
601 __ASM_EMIT("9:")
602 __ASM_EMIT("vmovss 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 */
603 __ASM_EMIT("vaddss 0x00(%[dst], %[off], 2), %%xmm0, %%xmm0") /* xmm0 = r0 + s0 */
604 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off], 2)")
605 __ASM_EMIT("add $0x04, %[off]")
606 __ASM_EMIT("dec %[count]")
607 __ASM_EMIT("jge 9b")
608 __ASM_EMIT("10:")
609
610 : [count] "+r" (count), [off] "=&r" (off)
611 : [dst] "r" (dst), [src] "r" (src),
612 [CC] "o" (pcomplex_r2c_expand)
613 : "cc", "memory",
614 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
615 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
616 "%k4"
617 );
618 }
619
620 void pcomplex_r2c_rsub2(float *dst, const float *src, size_t count)
621 {
622 IF_ARCH_X86(size_t off);
623 ARCH_X86_ASM
624 (
625 __ASM_EMIT("xor %[off], %[off]")
626 /* x64 blocks */
627 __ASM_EMIT("sub $64, %[count]")
628 __ASM_EMIT("jb 2f")
629 __ASM_EMIT("kmovw %[CC], %%k4") /* k4 = 0x5555 */
630 __ASM_EMIT("1:")
631 __ASM_EMIT("vexpandps 0x00(%[src], %[off]), %%zmm0 %{%%k4%}%{z%}")/* zmm0 = s0 0 ... */
632 __ASM_EMIT("vexpandps 0x20(%[src], %[off]), %%zmm1 %{%%k4%}%{z%}")
633 __ASM_EMIT("vexpandps 0x40(%[src], %[off]), %%zmm2 %{%%k4%}%{z%}")
634 __ASM_EMIT("vexpandps 0x60(%[src], %[off]), %%zmm3 %{%%k4%}%{z%}")
635 __ASM_EMIT("vexpandps 0x80(%[src], %[off]), %%zmm4 %{%%k4%}%{z%}")
636 __ASM_EMIT("vexpandps 0xa0(%[src], %[off]), %%zmm5 %{%%k4%}%{z%}")
637 __ASM_EMIT("vexpandps 0xc0(%[src], %[off]), %%zmm6 %{%%k4%}%{z%}")
638 __ASM_EMIT("vmovups 0xe0(%[src], %[off]), %%ymm7")
639 __ASM_EMIT("vexpandps %%zmm7, %%zmm7 %{%%k4%}%{z%}")
640 __ASM_EMIT("vsubps 0x000(%[dst], %[off], 2), %%zmm0, %%zmm0") /* zmm0 = s0-r0 i0 ... */
641 __ASM_EMIT("vsubps 0x040(%[dst], %[off], 2), %%zmm1, %%zmm1")
642 __ASM_EMIT("vsubps 0x080(%[dst], %[off], 2), %%zmm2, %%zmm2")
643 __ASM_EMIT("vsubps 0x0c0(%[dst], %[off], 2), %%zmm3, %%zmm3")
644 __ASM_EMIT("vsubps 0x100(%[dst], %[off], 2), %%zmm4, %%zmm4")
645 __ASM_EMIT("vsubps 0x140(%[dst], %[off], 2), %%zmm5, %%zmm5")
646 __ASM_EMIT("vsubps 0x180(%[dst], %[off], 2), %%zmm6, %%zmm6")
647 __ASM_EMIT("vsubps 0x1c0(%[dst], %[off], 2), %%zmm7, %%zmm7")
648 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst], %[off], 2)")
649 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst], %[off], 2)")
650 __ASM_EMIT("vmovups %%zmm2, 0x080(%[dst], %[off], 2)")
651 __ASM_EMIT("vmovups %%zmm3, 0x0c0(%[dst], %[off], 2)")
652 __ASM_EMIT("vmovups %%zmm4, 0x100(%[dst], %[off], 2)")
653 __ASM_EMIT("vmovups %%zmm5, 0x140(%[dst], %[off], 2)")
654 __ASM_EMIT("vmovups %%zmm6, 0x180(%[dst], %[off], 2)")
655 __ASM_EMIT("vmovups %%zmm7, 0x1c0(%[dst], %[off], 2)")
656 __ASM_EMIT("add $0x100, %[off]")
657 __ASM_EMIT("sub $64, %[count]")
658 __ASM_EMIT("jae 1b")
659 __ASM_EMIT("2:")
660 /* x16 blocks */
661 __ASM_EMIT("add $48, %[count]")
662 __ASM_EMIT("vxorps %%ymm6, %%ymm6, %%ymm6") /* ymm6 = 0 */
663 __ASM_EMIT("vxorps %%ymm7, %%ymm7, %%ymm7") /* ymm7 = 0 */
664 __ASM_EMIT("jl 4f") \
665 __ASM_EMIT("3:") \
666 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%ymm0") /* ymm0 = s0 s1 s2 s3 s4 s5 s6 s7 */
667 __ASM_EMIT("vmovups 0x20(%[src], %[off]), %%ymm2")
668 __ASM_EMIT("vunpckhps %%ymm6, %%ymm0, %%ymm1") /* ymm1 = s2 0 s3 0 s6 0 s7 0 */
669 __ASM_EMIT("vunpckhps %%ymm6, %%ymm2, %%ymm3")
670 __ASM_EMIT("vunpcklps %%ymm6, %%ymm0, %%ymm0") /* ymm0 = s0 0 s1 0 s4 0 s5 0 */
671 __ASM_EMIT("vunpcklps %%ymm6, %%ymm2, %%ymm2")
672 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4") /* xmm4 = s4 0 s5 0 */
673 __ASM_EMIT("vextractf128 $1, %%ymm2, %%xmm5")
674 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm0, %%ymm0") /* ymm0 = s0 0 s1 0 s2 0 s3 0 */
675 __ASM_EMIT("vinsertf128 $1, %%xmm3, %%ymm2, %%ymm2")
676 __ASM_EMIT("vinsertf128 $0, %%xmm4, %%ymm1, %%ymm1") /* ymm1 = s4 0 s5 0 s6 0 s7 0 */
677 __ASM_EMIT("vinsertf128 $0, %%xmm5, %%ymm3, %%ymm3")
678 __ASM_EMIT("vsubps 0x00(%[dst], %[off], 2), %%ymm0, %%ymm0") /* ymm0 = s0-r0 i0 ... */
679 __ASM_EMIT("vsubps 0x20(%[dst], %[off], 2), %%ymm1, %%ymm1")
680 __ASM_EMIT("vsubps 0x40(%[dst], %[off], 2), %%ymm2, %%ymm2")
681 __ASM_EMIT("vsubps 0x60(%[dst], %[off], 2), %%ymm3, %%ymm3")
682 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off], 2)")
683 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off], 2)")
684 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off], 2)")
685 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off], 2)")
686 __ASM_EMIT("add $0x40, %[off]")
687 __ASM_EMIT("sub $16, %[count]")
688 __ASM_EMIT("jge 3b")
689 __ASM_EMIT("4:")
690 /* x8 block */
691 __ASM_EMIT("add $8, %[count]")
692 __ASM_EMIT("jl 6f")
693 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
694 __ASM_EMIT("vmovups 0x10(%[src], %[off]), %%xmm2")
695 __ASM_EMIT("vunpckhps %%xmm6, %%xmm0, %%xmm1") /* xmm1 = s2 0 s3 0 */
696 __ASM_EMIT("vunpckhps %%xmm6, %%xmm2, %%xmm3")
697 __ASM_EMIT("vunpcklps %%xmm6, %%xmm0, %%xmm0") /* xmm0 = s0 0 s1 0 */
698 __ASM_EMIT("vunpcklps %%xmm6, %%xmm2, %%xmm2")
699 __ASM_EMIT("vsubps 0x00(%[dst], %[off], 2), %%xmm0, %%xmm0") /* xmm0 = s0-r0 i0 ... */
700 __ASM_EMIT("vsubps 0x10(%[dst], %[off], 2), %%xmm1, %%xmm1")
701 __ASM_EMIT("vsubps 0x20(%[dst], %[off], 2), %%xmm2, %%xmm2")
702 __ASM_EMIT("vsubps 0x30(%[dst], %[off], 2), %%xmm3, %%xmm3")
703 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
704 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
705 __ASM_EMIT("vmovups %%xmm2, 0x20(%[dst], %[off], 2)")
706 __ASM_EMIT("vmovups %%xmm3, 0x30(%[dst], %[off], 2)")
707 __ASM_EMIT("sub $8, %[count]")
708 __ASM_EMIT("add $0x20, %[off]")
709 __ASM_EMIT("6:")
710 /* x4 blocks */
711 __ASM_EMIT("add $4, %[count]")
712 __ASM_EMIT("jl 8f")
713 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
714 __ASM_EMIT("vunpckhps %%xmm6, %%xmm0, %%xmm1") /* xmm1 = s2 0 s3 0 */
715 __ASM_EMIT("vunpcklps %%xmm6, %%xmm0, %%xmm0") /* xmm0 = s0 0 s1 0 */
716 __ASM_EMIT("vsubps 0x00(%[dst], %[off], 2), %%xmm0, %%xmm0") /* xmm0 = s0-r0 i0 ... */
717 __ASM_EMIT("vsubps 0x10(%[dst], %[off], 2), %%xmm1, %%xmm1")
718 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
719 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
720 __ASM_EMIT("sub $4, %[count]")
721 __ASM_EMIT("add $0x10, %[off]")
722 __ASM_EMIT("8:")
723 /* x1 blocks */
724 __ASM_EMIT("add $3, %[count]")
725 __ASM_EMIT("jl 10f")
726 __ASM_EMIT("9:")
727 __ASM_EMIT("vmovss 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 0 */
728 __ASM_EMIT("vmovlps 0x00(%[dst], %[off], 2), %%xmm4, %%xmm4")
729 __ASM_EMIT("vsubps %%xmm4, %%xmm0, %%xmm0") /* xmm0 = s0-r0 -i0 */
730 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst], %[off], 2)")
731 __ASM_EMIT("add $0x04, %[off]")
732 __ASM_EMIT("dec %[count]")
733 __ASM_EMIT("jge 9b")
734 __ASM_EMIT("10:")
735
736 : [count] "+r" (count), [off] "=&r" (off)
737 : [dst] "r" (dst), [src] "r" (src),
738 [CC] "o" (pcomplex_r2c_expand)
739 : "cc", "memory",
740 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
741 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
742 "%k4"
743 );
744 }
745
746 void pcomplex_r2c_sub2(float *dst, const float *src, size_t count)
747 {
748 IF_ARCH_X86(size_t off);
749 ARCH_X86_ASM
750 (
751 __ASM_EMIT("xor %[off], %[off]")
752 /* x32 blocks */
753 __ASM_EMIT("sub $32, %[count]")
754 __ASM_EMIT("kmovw %[CC], %%k4") /* k4 = 0x5555 */
755 __ASM_EMIT("jb 2f")
756 __ASM_EMIT("1:")
757 __ASM_EMIT("vexpandps 0x00(%[src], %[off]), %%zmm0 %{%%k4%}%{z%}")/* zmm0 = s0 0 ... */
758 __ASM_EMIT("vexpandps 0x20(%[src], %[off]), %%zmm1 %{%%k4%}%{z%}")
759 __ASM_EMIT("vexpandps 0x40(%[src], %[off]), %%zmm2 %{%%k4%}%{z%}")
760 __ASM_EMIT("vmovups 0x60(%[src], %[off]), %%ymm3")
761 __ASM_EMIT("vexpandps %%zmm3, %%zmm3 %{%%k4%}%{z%}")
762 __ASM_EMIT("vmovups 0x00(%[dst], %[off], 2), %%zmm4") /* zmm4 = r0 i0 ... */
763 __ASM_EMIT("vmovups 0x40(%[dst], %[off], 2), %%zmm5")
764 __ASM_EMIT("vmovups 0x80(%[dst], %[off], 2), %%zmm6")
765 __ASM_EMIT("vmovups 0xc0(%[dst], %[off], 2), %%zmm7")
766 __ASM_EMIT("vsubps %%zmm0, %%zmm4, %%zmm0") /* zmm0 = r0-s0 i0 ... */
767 __ASM_EMIT("vsubps %%zmm1, %%zmm5, %%zmm1")
768 __ASM_EMIT("vsubps %%zmm2, %%zmm6, %%zmm2")
769 __ASM_EMIT("vsubps %%zmm3, %%zmm7, %%zmm3")
770 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst], %[off], 2)")
771 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst], %[off], 2)")
772 __ASM_EMIT("vmovups %%zmm2, 0x080(%[dst], %[off], 2)")
773 __ASM_EMIT("vmovups %%zmm3, 0x0c0(%[dst], %[off], 2)")
774 __ASM_EMIT("add $0x80, %[off]")
775 __ASM_EMIT("sub $32, %[count]")
776 __ASM_EMIT("jae 1b")
777 __ASM_EMIT("2:")
778 /* x16 block */
779 __ASM_EMIT("add $16, %[count]")
780 __ASM_EMIT("vxorps %%ymm6, %%ymm6, %%ymm6") /* ymm6 = 0 */
781 __ASM_EMIT("vxorps %%ymm7, %%ymm7, %%ymm7") /* ymm7 = 0 */
782 __ASM_EMIT("jl 4f")
783 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%ymm0") /* ymm0 = s0 s1 s2 s3 s4 s5 s6 s7 */
784 __ASM_EMIT("vmovups 0x20(%[src], %[off]), %%ymm2")
785 __ASM_EMIT("vunpckhps %%ymm6, %%ymm0, %%ymm1") /* ymm1 = s2 0 s3 0 s6 0 s7 0 */
786 __ASM_EMIT("vunpckhps %%ymm6, %%ymm2, %%ymm3")
787 __ASM_EMIT("vunpcklps %%ymm6, %%ymm0, %%ymm0") /* ymm0 = s0 0 s1 0 s4 0 s5 0 */
788 __ASM_EMIT("vunpcklps %%ymm6, %%ymm2, %%ymm2")
789 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4") /* xmm4 = s4 0 s5 0 */
790 __ASM_EMIT("vextractf128 $1, %%ymm2, %%xmm5")
791 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm0, %%ymm0") /* ymm0 = s0 0 s1 0 s2 0 s3 0 */
792 __ASM_EMIT("vinsertf128 $1, %%xmm3, %%ymm2, %%ymm2")
793 __ASM_EMIT("vinsertf128 $0, %%xmm4, %%ymm1, %%ymm1") /* ymm1 = s4 0 s5 0 s6 0 s7 0 */
794 __ASM_EMIT("vinsertf128 $0, %%xmm5, %%ymm3, %%ymm3")
795 __ASM_EMIT("vmovups 0x00(%[dst], %[off], 2), %%ymm4") /* ymm4 = r0 i0 r1 i1 r2 i2 r3 i3 */
796 __ASM_EMIT("vmovups 0x20(%[dst], %[off], 2), %%ymm5")
797 __ASM_EMIT("vsubps %%ymm0, %%ymm4, %%ymm0") /* ymm0 = s0-r0 -i0 s1-r1 -i1 s2-r2 -i2 s3-r3 -i3 */
798 __ASM_EMIT("vsubps %%ymm1, %%ymm5, %%ymm1")
799 __ASM_EMIT("vmovups 0x40(%[dst], %[off], 2), %%ymm4")
800 __ASM_EMIT("vmovups 0x60(%[dst], %[off], 2), %%ymm5")
801 __ASM_EMIT("vsubps %%ymm2, %%ymm4, %%ymm2")
802 __ASM_EMIT("vsubps %%ymm3, %%ymm5, %%ymm3")
803 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off], 2)")
804 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off], 2)")
805 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off], 2)")
806 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off], 2)")
807 __ASM_EMIT("sub $16, %[count]")
808 __ASM_EMIT("add $0x40, %[off]")
809 __ASM_EMIT("4:")
810 /* x8 block */
811 __ASM_EMIT("add $8, %[count]")
812 __ASM_EMIT("jl 6f")
813 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
814 __ASM_EMIT("vmovups 0x10(%[src], %[off]), %%xmm2")
815 __ASM_EMIT("vunpckhps %%xmm6, %%xmm0, %%xmm1") /* xmm1 = s2 0 s3 0 */
816 __ASM_EMIT("vunpckhps %%xmm6, %%xmm2, %%xmm3")
817 __ASM_EMIT("vunpcklps %%xmm6, %%xmm0, %%xmm0") /* xmm0 = s0 0 s1 0 */
818 __ASM_EMIT("vunpcklps %%xmm6, %%xmm2, %%xmm2")
819 __ASM_EMIT("vmovups 0x00(%[dst], %[off], 2), %%xmm4") /* xmm4 = r0 i0 r1 i1 r2 i2 r3 i3 */
820 __ASM_EMIT("vmovups 0x10(%[dst], %[off], 2), %%xmm5")
821 __ASM_EMIT("vsubps %%xmm0, %%xmm4, %%xmm0") /* xmm0 = s0-r0 -i0 s1-r1 -i1 s2-r2 -i2 s3-r3 -i3 */
822 __ASM_EMIT("vsubps %%xmm1, %%xmm5, %%xmm1")
823 __ASM_EMIT("vmovups 0x20(%[dst], %[off], 2), %%xmm4")
824 __ASM_EMIT("vmovups 0x30(%[dst], %[off], 2), %%xmm5")
825 __ASM_EMIT("vsubps %%xmm2, %%xmm4, %%xmm2")
826 __ASM_EMIT("vsubps %%xmm3, %%xmm5, %%xmm3")
827 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
828 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
829 __ASM_EMIT("vmovups %%xmm2, 0x20(%[dst], %[off], 2)")
830 __ASM_EMIT("vmovups %%xmm3, 0x30(%[dst], %[off], 2)")
831 __ASM_EMIT("sub $8, %[count]")
832 __ASM_EMIT("add $0x20, %[off]")
833 __ASM_EMIT("6:")
834 /* x4 blocks */
835 __ASM_EMIT("add $4, %[count]")
836 __ASM_EMIT("jl 8f")
837 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
838 __ASM_EMIT("vunpckhps %%xmm6, %%xmm0, %%xmm1") /* xmm1 = s2 0 s3 0 */
839 __ASM_EMIT("vunpcklps %%xmm6, %%xmm0, %%xmm0") /* xmm0 = s0 0 s1 0 */
840 __ASM_EMIT("vmovups 0x00(%[dst], %[off], 2), %%xmm4") /* xmm4 = r0 i0 r1 i1 r2 i2 r3 i3 */
841 __ASM_EMIT("vmovups 0x10(%[dst], %[off], 2), %%xmm5")
842 __ASM_EMIT("vsubps %%xmm0, %%xmm4, %%xmm0") /* xmm0 = s0-r0 -i0 s1-r1 -i1 s2-r2 -i2 s3-r3 -i3 */
843 __ASM_EMIT("vsubps %%xmm1, %%xmm5, %%xmm1")
844 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
845 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
846 __ASM_EMIT("sub $4, %[count]")
847 __ASM_EMIT("add $0x10, %[off]")
848 __ASM_EMIT("8:")
849 /* x1 blocks */
850 __ASM_EMIT("add $3, %[count]")
851 __ASM_EMIT("jl 10f")
852 __ASM_EMIT("9:")
853 __ASM_EMIT("vmovss 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 0 */
854 __ASM_EMIT("vmovlps 0x00(%[dst], %[off], 2), %%xmm4, %%xmm4") /* xmm4 = r0 i0 */
855 __ASM_EMIT("vsubps %%xmm0, %%xmm4, %%xmm0") /* xmm0 = s0-r0 -i0 */
856 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst], %[off], 2)")
857 __ASM_EMIT("add $0x04, %[off]")
858 __ASM_EMIT("dec %[count]")
859 __ASM_EMIT("jge 9b")
860 __ASM_EMIT("10:")
861
862 : [count] "+r" (count), [off] "=&r" (off)
863 : [dst] "r" (dst), [src] "r" (src),
864 [CC] "o" (pcomplex_r2c_expand)
865 : "cc", "memory",
866 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
867 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
868 "%k4"
869 );
870 }
871
872 void pcomplex_r2c_mul2(float *dst, const float *src, size_t count)
873 {
874 IF_ARCH_X86(size_t off);
875 ARCH_X86_ASM
876 (
877 __ASM_EMIT("xor %[off], %[off]")
878 /* x64 blocks */
879 __ASM_EMIT("sub $64, %[count]")
880 __ASM_EMIT("kmovw %[CC], %%k4") /* k4 = 0x5555 */
881 __ASM_EMIT("jb 2f")
882 __ASM_EMIT("1:")
883 __ASM_EMIT("vexpandps 0x00(%[src], %[off]), %%zmm0 %{%%k4%}%{z%}")/* zmm0 = s0 0 ... */
884 __ASM_EMIT("vexpandps 0x20(%[src], %[off]), %%zmm1 %{%%k4%}%{z%}")
885 __ASM_EMIT("vexpandps 0x40(%[src], %[off]), %%zmm2 %{%%k4%}%{z%}")
886 __ASM_EMIT("vexpandps 0x60(%[src], %[off]), %%zmm3 %{%%k4%}%{z%}")
887 __ASM_EMIT("vexpandps 0x80(%[src], %[off]), %%zmm4 %{%%k4%}%{z%}")
888 __ASM_EMIT("vexpandps 0xa0(%[src], %[off]), %%zmm5 %{%%k4%}%{z%}")
889 __ASM_EMIT("vexpandps 0xc0(%[src], %[off]), %%zmm6 %{%%k4%}%{z%}")
890 __ASM_EMIT("vmovups 0xe0(%[src], %[off]), %%ymm7")
891 __ASM_EMIT("vexpandps %%zmm7, %%zmm7 %{%%k4%}%{z%}")
892 __ASM_EMIT("vmovsldup %%zmm0, %%zmm0") /* zmm0 = s0 s0 ... */
893 __ASM_EMIT("vmovsldup %%zmm1, %%zmm1")
894 __ASM_EMIT("vmovsldup %%zmm2, %%zmm2")
895 __ASM_EMIT("vmovsldup %%zmm3, %%zmm3")
896 __ASM_EMIT("vmovsldup %%zmm4, %%zmm4")
897 __ASM_EMIT("vmovsldup %%zmm5, %%zmm5")
898 __ASM_EMIT("vmovsldup %%zmm6, %%zmm6")
899 __ASM_EMIT("vmovsldup %%zmm7, %%zmm7")
900 __ASM_EMIT("vmulps 0x000(%[dst], %[off], 2), %%zmm0, %%zmm0") /* zmm4 = s0*r0 s0*i0 ... */
901 __ASM_EMIT("vmulps 0x040(%[dst], %[off], 2), %%zmm1, %%zmm1")
902 __ASM_EMIT("vmulps 0x080(%[dst], %[off], 2), %%zmm2, %%zmm2")
903 __ASM_EMIT("vmulps 0x0c0(%[dst], %[off], 2), %%zmm3, %%zmm3")
904 __ASM_EMIT("vmulps 0x100(%[dst], %[off], 2), %%zmm4, %%zmm4")
905 __ASM_EMIT("vmulps 0x140(%[dst], %[off], 2), %%zmm5, %%zmm5")
906 __ASM_EMIT("vmulps 0x180(%[dst], %[off], 2), %%zmm6, %%zmm6")
907 __ASM_EMIT("vmulps 0x1c0(%[dst], %[off], 2), %%zmm7, %%zmm7")
908 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst], %[off], 2)")
909 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst], %[off], 2)")
910 __ASM_EMIT("vmovups %%zmm2, 0x080(%[dst], %[off], 2)")
911 __ASM_EMIT("vmovups %%zmm3, 0x0c0(%[dst], %[off], 2)")
912 __ASM_EMIT("vmovups %%zmm4, 0x100(%[dst], %[off], 2)")
913 __ASM_EMIT("vmovups %%zmm5, 0x140(%[dst], %[off], 2)")
914 __ASM_EMIT("vmovups %%zmm6, 0x180(%[dst], %[off], 2)")
915 __ASM_EMIT("vmovups %%zmm7, 0x1c0(%[dst], %[off], 2)")
916 __ASM_EMIT("add $0x100, %[off]")
917 __ASM_EMIT("sub $64, %[count]")
918 __ASM_EMIT("jae 1b")
919 __ASM_EMIT("2:")
920 /* x16 block */
921 __ASM_EMIT("add $48, %[count]")
922 __ASM_EMIT("jl 4f")
923 __ASM_EMIT("3:")
924 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%ymm0") /* ymm0 = s0 s1 s2 s3 s4 s5 s6 s7 */
925 __ASM_EMIT("vmovups 0x20(%[src], %[off]), %%ymm2")
926 __ASM_EMIT("vunpckhps %%ymm0, %%ymm0, %%ymm1") /* ymm1 = s2 s2 s3 s3 s6 s6 s7 s7 */
927 __ASM_EMIT("vunpckhps %%ymm2, %%ymm2, %%ymm3")
928 __ASM_EMIT("vunpcklps %%ymm0, %%ymm0, %%ymm0") /* ymm0 = s0 s0 s1 s1 s4 s4 s5 s5 */
929 __ASM_EMIT("vunpcklps %%ymm2, %%ymm2, %%ymm2")
930 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4") /* xmm4 = s4 s4 s5 s5 */
931 __ASM_EMIT("vextractf128 $1, %%ymm2, %%xmm5")
932 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm0, %%ymm0") /* ymm0 = s0 s0 s1 s1 s2 s2 s3 s3 */
933 __ASM_EMIT("vinsertf128 $1, %%xmm3, %%ymm2, %%ymm2")
934 __ASM_EMIT("vinsertf128 $0, %%xmm4, %%ymm1, %%ymm1") /* ymm1 = s4 s4 s5 s5 s6 s6 s7 s7 */
935 __ASM_EMIT("vinsertf128 $0, %%xmm5, %%ymm3, %%ymm3")
936 __ASM_EMIT("vmulps 0x00(%[dst], %[off], 2), %%ymm0, %%ymm0") /* ymm0 = r0*s0 i0*s0 r1*s1 i1*s1 r2*s2 i2*s2 r3*s3 i3*s3 */
937 __ASM_EMIT("vmulps 0x20(%[dst], %[off], 2), %%ymm1, %%ymm1")
938 __ASM_EMIT("vmulps 0x40(%[dst], %[off], 2), %%ymm2, %%ymm2")
939 __ASM_EMIT("vmulps 0x60(%[dst], %[off], 2), %%ymm3, %%ymm3")
940 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off], 2)")
941 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off], 2)")
942 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off], 2)")
943 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off], 2)")
944 __ASM_EMIT("add $0x40, %[off]")
945 __ASM_EMIT("sub $16, %[count]")
946 __ASM_EMIT("jge 3b")
947 __ASM_EMIT("4:")
948 /* x8 block */
949 __ASM_EMIT("add $8, %[count]")
950 __ASM_EMIT("jl 6f")
951 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
952 __ASM_EMIT("vmovups 0x10(%[src], %[off]), %%xmm2")
953 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm1") /* xmm1 = s2 s2 s3 s3 */
954 __ASM_EMIT("vunpckhps %%xmm2, %%xmm2, %%xmm3")
955 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = s0 s0 s1 s1 */
956 __ASM_EMIT("vunpcklps %%xmm2, %%xmm2, %%xmm2")
957 __ASM_EMIT("vmulps 0x00(%[dst], %[off], 2), %%xmm0, %%xmm0") /* xmm0 = r0*s0 i0*s0 r1*s1 i1*s1 */
958 __ASM_EMIT("vmulps 0x10(%[dst], %[off], 2), %%xmm1, %%xmm1")
959 __ASM_EMIT("vmulps 0x20(%[dst], %[off], 2), %%xmm2, %%xmm2")
960 __ASM_EMIT("vmulps 0x30(%[dst], %[off], 2), %%xmm3, %%xmm3")
961 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
962 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
963 __ASM_EMIT("vmovups %%xmm2, 0x20(%[dst], %[off], 2)")
964 __ASM_EMIT("vmovups %%xmm3, 0x30(%[dst], %[off], 2)")
965 __ASM_EMIT("sub $8, %[count]")
966 __ASM_EMIT("add $0x20, %[off]")
967 __ASM_EMIT("6:")
968 /* x4 block */
969 __ASM_EMIT("add $4, %[count]")
970 __ASM_EMIT("jl 8f")
971 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
972 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm1") /* xmm1 = s2 s2 s3 s3 */
973 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = s0 s0 s1 s1 */
974 __ASM_EMIT("vmulps 0x00(%[dst], %[off], 2), %%xmm0, %%xmm0") /* xmm4 = r0*s0 i0*s0 r1*s1 i1*s1 */
975 __ASM_EMIT("vmulps 0x10(%[dst], %[off], 2), %%xmm1, %%xmm1")
976 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
977 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
978 __ASM_EMIT("sub $4, %[count]")
979 __ASM_EMIT("add $0x10, %[off]")
980 __ASM_EMIT("8:")
981 /* x1 blocks */
982 __ASM_EMIT("add $3, %[count]")
983 __ASM_EMIT("jl 10f")
984 __ASM_EMIT("9:")
985 __ASM_EMIT("vmovss 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 0 */
986 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = s0 s0 */
987 __ASM_EMIT("vmulps 0x00(%[dst], %[off], 2), %%xmm0, %%xmm0") /* xmm0 = r0*s0 i0*s0 */
988 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst], %[off], 2)")
989 __ASM_EMIT("add $0x04, %[off]")
990 __ASM_EMIT("dec %[count]")
991 __ASM_EMIT("jge 9b")
992 __ASM_EMIT("10:")
993
994 : [count] "+r" (count), [off] "=&r" (off)
995 : [dst] "r" (dst), [src] "r" (src),
996 [CC] "o" (pcomplex_r2c_expand)
997 : "cc", "memory",
998 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
999 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1000 "%k4"
1001 );
1002 }
1003
1004 void pcomplex_r2c_div2(float *dst, const float *src, size_t count)
1005 {
1006 IF_ARCH_X86(size_t off);
1007 ARCH_X86_ASM
1008 (
1009 __ASM_EMIT("xor %[off], %[off]")
1010 /* x32 blocks */
1011 __ASM_EMIT("sub $32, %[count]")
1012 __ASM_EMIT("kmovw %[CC], %%k4") /* k4 = 0x5555 */
1013 __ASM_EMIT("jb 2f") \
1014 __ASM_EMIT("1:") \
1015 __ASM_EMIT("vexpandps 0x00(%[src], %[off]), %%zmm0 %{%%k4%}%{z%}")/* zmm0 = s0 0 ... */
1016 __ASM_EMIT("vexpandps 0x20(%[src], %[off]), %%zmm1 %{%%k4%}%{z%}")
1017 __ASM_EMIT("vexpandps 0x40(%[src], %[off]), %%zmm2 %{%%k4%}%{z%}")
1018 __ASM_EMIT("vmovups 0x60(%[src], %[off]), %%ymm3")
1019 __ASM_EMIT("vexpandps %%zmm3, %%zmm3 %{%%k4%}%{z%}")
1020 __ASM_EMIT("vmovups 0x000(%[dst], %[off], 2), %%zmm4") /* zmm4 = r0 i0 ... */
1021 __ASM_EMIT("vmovups 0x040(%[dst], %[off], 2), %%zmm5")
1022 __ASM_EMIT("vmovups 0x080(%[dst], %[off], 2), %%zmm6")
1023 __ASM_EMIT("vmovups 0x0c0(%[dst], %[off], 2), %%zmm7")
1024 __ASM_EMIT("vmovsldup %%zmm0, %%zmm0") /* zmm0 = s0 s0 ... */
1025 __ASM_EMIT("vmovsldup %%zmm1, %%zmm1")
1026 __ASM_EMIT("vmovsldup %%zmm2, %%zmm2")
1027 __ASM_EMIT("vmovsldup %%zmm3, %%zmm3")
1028 __ASM_EMIT("vdivps %%zmm0, %%zmm4, %%zmm0") /* ymm0 = r0/s0 i0/s0 r1/s1 i1/s1 r2/s2 i2/s2 r3/s3 i3/s3 */
1029 __ASM_EMIT("vdivps %%zmm1, %%zmm5, %%zmm1")
1030 __ASM_EMIT("vdivps %%zmm2, %%zmm6, %%zmm2")
1031 __ASM_EMIT("vdivps %%zmm3, %%zmm7, %%zmm3")
1032 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst], %[off], 2)")
1033 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst], %[off], 2)")
1034 __ASM_EMIT("vmovups %%zmm2, 0x080(%[dst], %[off], 2)")
1035 __ASM_EMIT("vmovups %%zmm3, 0x0c0(%[dst], %[off], 2)")
1036 __ASM_EMIT("add $0x80, %[off]")
1037 __ASM_EMIT("sub $32, %[count]")
1038 __ASM_EMIT("jae 1b")
1039 __ASM_EMIT("2:")
1040 /* x16 block */
1041 __ASM_EMIT("add $16, %[count]")
1042 __ASM_EMIT("jl 4f") \
1043 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%ymm0") /* ymm0 = s0 s1 s2 s3 s4 s5 s6 s7 */
1044 __ASM_EMIT("vmovups 0x20(%[src], %[off]), %%ymm2")
1045 __ASM_EMIT("vunpckhps %%ymm0, %%ymm0, %%ymm1") /* ymm1 = s2 s2 s3 s3 s6 s6 s7 s7 */
1046 __ASM_EMIT("vunpckhps %%ymm2, %%ymm2, %%ymm3")
1047 __ASM_EMIT("vunpcklps %%ymm0, %%ymm0, %%ymm0") /* ymm0 = s0 s0 s1 s1 s4 s4 s5 s5 */
1048 __ASM_EMIT("vunpcklps %%ymm2, %%ymm2, %%ymm2")
1049 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4") /* xmm4 = s4 s4 s5 s5 */
1050 __ASM_EMIT("vextractf128 $1, %%ymm2, %%xmm5")
1051 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm0, %%ymm0") /* ymm0 = s0 s0 s1 s1 s2 s2 s3 s3 */
1052 __ASM_EMIT("vinsertf128 $1, %%xmm3, %%ymm2, %%ymm2")
1053 __ASM_EMIT("vinsertf128 $0, %%xmm4, %%ymm1, %%ymm1") /* ymm1 = s4 s4 s5 s5 s6 s6 s7 s7 */
1054 __ASM_EMIT("vinsertf128 $0, %%xmm5, %%ymm3, %%ymm3")
1055 __ASM_EMIT("vmovups 0x00(%[dst], %[off], 2), %%ymm4")
1056 __ASM_EMIT("vmovups 0x20(%[dst], %[off], 2), %%ymm5")
1057 __ASM_EMIT("vmovups 0x40(%[dst], %[off], 2), %%ymm6")
1058 __ASM_EMIT("vmovups 0x60(%[dst], %[off], 2), %%ymm7")
1059 __ASM_EMIT("vdivps %%ymm0, %%ymm4, %%ymm0") /* ymm0 = r0/s0 i0/s0 r1/s1 i1/s1 r2/s2 i2/s2 r3/s3 i3/s3 */
1060 __ASM_EMIT("vdivps %%ymm1, %%ymm5, %%ymm1")
1061 __ASM_EMIT("vdivps %%ymm2, %%ymm6, %%ymm2")
1062 __ASM_EMIT("vdivps %%ymm3, %%ymm7, %%ymm3")
1063 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off], 2)")
1064 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off], 2)")
1065 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off], 2)")
1066 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off], 2)")
1067 __ASM_EMIT("sub $16, %[count]")
1068 __ASM_EMIT("add $0x40, %[off]")
1069 __ASM_EMIT("4:")
1070 /* x8 block */
1071 __ASM_EMIT("add $8, %[count]")
1072 __ASM_EMIT("jl 6f")
1073 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
1074 __ASM_EMIT("vmovups 0x10(%[src], %[off]), %%xmm2")
1075 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm1") /* xmm1 = s2 s2 s3 s3 */
1076 __ASM_EMIT("vunpckhps %%xmm2, %%xmm2, %%xmm3")
1077 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = s0 s0 s1 s1 */
1078 __ASM_EMIT("vunpcklps %%xmm2, %%xmm2, %%xmm2")
1079 __ASM_EMIT("vmovups 0x00(%[dst], %[off], 2), %%xmm4")
1080 __ASM_EMIT("vmovups 0x10(%[dst], %[off], 2), %%xmm5")
1081 __ASM_EMIT("vmovups 0x20(%[dst], %[off], 2), %%xmm6")
1082 __ASM_EMIT("vmovups 0x30(%[dst], %[off], 2), %%xmm7")
1083 __ASM_EMIT("vdivps %%xmm0, %%xmm4, %%xmm0") /* xmm0 = r0/s0 i0/s0 r1/s1 i1/s1 */
1084 __ASM_EMIT("vdivps %%xmm1, %%xmm5, %%xmm1")
1085 __ASM_EMIT("vdivps %%xmm2, %%xmm6, %%xmm2")
1086 __ASM_EMIT("vdivps %%xmm3, %%xmm7, %%xmm3")
1087 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
1088 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
1089 __ASM_EMIT("vmovups %%xmm2, 0x20(%[dst], %[off], 2)")
1090 __ASM_EMIT("vmovups %%xmm3, 0x30(%[dst], %[off], 2)")
1091 __ASM_EMIT("sub $8, %[count]")
1092 __ASM_EMIT("add $0x20, %[off]")
1093 __ASM_EMIT("6:")
1094 /* x4 blocks */
1095 __ASM_EMIT("add $4, %[count]")
1096 __ASM_EMIT("jl 8f")
1097 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
1098 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm1") /* xmm1 = s2 s2 s3 s3 */
1099 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = s0 s0 s1 s1 */
1100 __ASM_EMIT("vmovups 0x00(%[dst], %[off], 2), %%xmm4")
1101 __ASM_EMIT("vmovups 0x10(%[dst], %[off], 2), %%xmm5")
1102 __ASM_EMIT("vdivps %%xmm0, %%xmm4, %%xmm0") /* xmm0 = r0/s0 i0/s0 r1/s1 i1/s1 */
1103 __ASM_EMIT("vdivps %%xmm1, %%xmm5, %%xmm1")
1104 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
1105 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
1106 __ASM_EMIT("sub $4, %[count]")
1107 __ASM_EMIT("add $0x10, %[off]")
1108 __ASM_EMIT("8:")
1109 /* x1 blocks */
1110 __ASM_EMIT("add $3, %[count]")
1111 __ASM_EMIT("jl 10f")
1112 __ASM_EMIT("9:")
1113 __ASM_EMIT("vmovss 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 0 */
1114 __ASM_EMIT("vmovlps 0x00(%[dst], %[off], 2), %%xmm4, %%xmm4") /* xmm4 = r0 i0 */
1115 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = s0 s0 */
1116 __ASM_EMIT("vdivps %%xmm0, %%xmm4, %%xmm0") /* xmm0 = r0/s0 i0/s0 */
1117 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst], %[off], 2)")
1118 __ASM_EMIT("add $0x04, %[off]")
1119 __ASM_EMIT("dec %[count]")
1120 __ASM_EMIT("jge 9b")
1121 __ASM_EMIT("10:")
1122
1123 : [count] "+r" (count), [off] "=&r" (off)
1124 : [dst] "r" (dst), [src] "r" (src),
1125 [CC] "o" (pcomplex_r2c_expand)
1126 : "cc", "memory",
1127 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1128 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1129 "%k4"
1130 );
1131 }
1132
1133 void pcomplex_r2c(float *dst, const float *src, size_t count)
1134 {
1135 IF_ARCH_X86(size_t off);
1136 ARCH_X86_ASM
1137 (
1138 __ASM_EMIT("xor %[off], %[off]")
1139 /* x64 blocks */
1140 __ASM_EMIT("sub $64, %[count]")
1141 __ASM_EMIT("jb 2f")
1142 __ASM_EMIT("kmovw %[CC], %%k4") /* k4 = 0x5555 */
1143 __ASM_EMIT("1:")
1144 __ASM_EMIT("vexpandps 0x00(%[src], %[off]), %%zmm0 %{%%k4%}%{z%}")/* zmm0 = s0 0 s1 0 s2 0 s3 0 s4 0 s5 0 s6 0 s7 0 */
1145 __ASM_EMIT("vexpandps 0x20(%[src], %[off]), %%zmm1 %{%%k4%}%{z%}")
1146 __ASM_EMIT("vexpandps 0x40(%[src], %[off]), %%zmm2 %{%%k4%}%{z%}")
1147 __ASM_EMIT("vexpandps 0x60(%[src], %[off]), %%zmm3 %{%%k4%}%{z%}")
1148 __ASM_EMIT("vexpandps 0x80(%[src], %[off]), %%zmm4 %{%%k4%}%{z%}")
1149 __ASM_EMIT("vexpandps 0xa0(%[src], %[off]), %%zmm5 %{%%k4%}%{z%}")
1150 __ASM_EMIT("vexpandps 0xc0(%[src], %[off]), %%zmm6 %{%%k4%}%{z%}")
1151 __ASM_EMIT("vmovups 0xe0(%[src], %[off]), %%ymm7")
1152 __ASM_EMIT("vexpandps %%zmm7, %%zmm7 %{%%k4%}%{z%}")
1153 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst], %[off], 2)")
1154 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst], %[off], 2)")
1155 __ASM_EMIT("vmovups %%zmm2, 0x080(%[dst], %[off], 2)")
1156 __ASM_EMIT("vmovups %%zmm3, 0x0c0(%[dst], %[off], 2)")
1157 __ASM_EMIT("vmovups %%zmm4, 0x100(%[dst], %[off], 2)")
1158 __ASM_EMIT("vmovups %%zmm5, 0x140(%[dst], %[off], 2)")
1159 __ASM_EMIT("vmovups %%zmm6, 0x180(%[dst], %[off], 2)")
1160 __ASM_EMIT("vmovups %%zmm7, 0x1c0(%[dst], %[off], 2)")
1161 __ASM_EMIT("add $0x100, %[off]")
1162 __ASM_EMIT("sub $64, %[count]")
1163 __ASM_EMIT("jae 1b")
1164 __ASM_EMIT("2:")
1165 /* x16 blocks */
1166 __ASM_EMIT("add $48, %[count]")
1167 __ASM_EMIT("vxorps %%ymm6, %%ymm6, %%ymm6") /* ymm6 = 0 */
1168 __ASM_EMIT("vxorps %%ymm7, %%ymm7, %%ymm7") /* ymm7 = 0 */
1169 __ASM_EMIT("jl 4f") \
1170 __ASM_EMIT("3:") \
1171 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%ymm0") /* ymm0 = s0 s1 s2 s3 s4 s5 s6 s7 */
1172 __ASM_EMIT("vmovups 0x20(%[src], %[off]), %%ymm2")
1173 __ASM_EMIT("vunpckhps %%ymm6, %%ymm0, %%ymm1") /* ymm1 = s2 0 s3 0 s6 0 s7 0 */
1174 __ASM_EMIT("vunpckhps %%ymm6, %%ymm2, %%ymm3")
1175 __ASM_EMIT("vunpcklps %%ymm6, %%ymm0, %%ymm0") /* ymm0 = s0 0 s1 0 s4 0 s5 0 */
1176 __ASM_EMIT("vunpcklps %%ymm6, %%ymm2, %%ymm2")
1177 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4") /* xmm4 = s4 0 s5 0 */
1178 __ASM_EMIT("vextractf128 $1, %%ymm2, %%xmm5")
1179 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm0, %%ymm0") /* ymm0 = s0 0 s1 0 s2 0 s3 0 */
1180 __ASM_EMIT("vinsertf128 $1, %%xmm3, %%ymm2, %%ymm2")
1181 __ASM_EMIT("vinsertf128 $0, %%xmm4, %%ymm1, %%ymm1") /* ymm1 = s4 0 s5 0 s6 0 s7 0 */
1182 __ASM_EMIT("vinsertf128 $0, %%xmm5, %%ymm3, %%ymm3")
1183 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off], 2)")
1184 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off], 2)")
1185 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off], 2)")
1186 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off], 2)")
1187 __ASM_EMIT("add $0x40, %[off]")
1188 __ASM_EMIT("sub $16, %[count]")
1189 __ASM_EMIT("jge 3b")
1190 __ASM_EMIT("4:")
1191 /* x8 block */
1192 __ASM_EMIT("add $8, %[count]")
1193 __ASM_EMIT("jl 6f")
1194 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
1195 __ASM_EMIT("vmovups 0x10(%[src], %[off]), %%xmm2")
1196 __ASM_EMIT("vunpckhps %%xmm6, %%xmm0, %%xmm1") /* xmm1 = s2 0 s3 0 */
1197 __ASM_EMIT("vunpckhps %%xmm6, %%xmm2, %%xmm3")
1198 __ASM_EMIT("vunpcklps %%xmm6, %%xmm0, %%xmm0") /* xmm0 = s0 0 s1 0 */
1199 __ASM_EMIT("vunpcklps %%xmm6, %%xmm2, %%xmm2")
1200 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
1201 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
1202 __ASM_EMIT("vmovups %%xmm2, 0x20(%[dst], %[off], 2)")
1203 __ASM_EMIT("vmovups %%xmm3, 0x30(%[dst], %[off], 2)")
1204 __ASM_EMIT("sub $8, %[count]")
1205 __ASM_EMIT("add $0x20, %[off]")
1206 __ASM_EMIT("6:")
1207 /* x4 blocks */
1208 __ASM_EMIT("add $4, %[count]")
1209 __ASM_EMIT("jl 8f")
1210 __ASM_EMIT("vmovups 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 s1 s2 s3 */
1211 __ASM_EMIT("vunpckhps %%xmm6, %%xmm0, %%xmm1") /* xmm1 = s2 0 s3 0 */
1212 __ASM_EMIT("vunpcklps %%xmm6, %%xmm0, %%xmm0") /* xmm0 = s0 0 s1 0 */
1213 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off], 2)")
1214 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off], 2)")
1215 __ASM_EMIT("sub $4, %[count]")
1216 __ASM_EMIT("add $0x10, %[off]")
1217 __ASM_EMIT("8:")
1218 /* x1 blocks */
1219 __ASM_EMIT("add $3, %[count]")
1220 __ASM_EMIT("jl 10f")
1221 __ASM_EMIT("9:")
1222 __ASM_EMIT("vmovss 0x00(%[src], %[off]), %%xmm0") /* xmm0 = s0 */
1223 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst], %[off], 2)")
1224 __ASM_EMIT("add $0x04, %[off]")
1225 __ASM_EMIT("dec %[count]")
1226 __ASM_EMIT("jge 9b")
1227 __ASM_EMIT("10:")
1228
1229 : [count] "+r" (count), [off] "=&r" (off)
1230 : [dst] "r" (dst), [src] "r" (src),
1231 [CC] "o" (pcomplex_r2c_expand)
1232 : "cc", "memory",
1233 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1234 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1235 "%k4"
1236 );
1237 }
1238
1239 void pcomplex_c2r(float *dst, const float *src, size_t count)
1240 {
1241 IF_ARCH_X86(size_t off);
1242 ARCH_X86_ASM
1243 (
1244 __ASM_EMIT("xor %[off], %[off]")
1245 /* x64 blocks */
1246 __ASM_EMIT("sub $64, %[count]")
1247 __ASM_EMIT("kmovw %[CC], %%k4") /* k4 = 0x5555 */
1248 __ASM_EMIT("jb 2f")
1249 __ASM_EMIT("1:")
1250 __ASM_EMIT("vmovups 0x000(%[src], %[off], 2), %%zmm0") /* zmm0 = s0 i0 s1 i0 s2 i2 s3 i3 s4 i4 s5 i5 s6 i6 s7 i7 */
1251 __ASM_EMIT("vmovups 0x040(%[src], %[off], 2), %%zmm1")
1252 __ASM_EMIT("vmovups 0x080(%[src], %[off], 2), %%zmm2")
1253 __ASM_EMIT("vmovups 0x0c0(%[src], %[off], 2), %%zmm3")
1254 __ASM_EMIT("vmovups 0x100(%[src], %[off], 2), %%zmm4")
1255 __ASM_EMIT("vmovups 0x140(%[src], %[off], 2), %%zmm5")
1256 __ASM_EMIT("vmovups 0x180(%[src], %[off], 2), %%zmm6")
1257 __ASM_EMIT("vmovups 0x1c0(%[src], %[off], 2), %%zmm7")
1258 __ASM_EMIT("vcompressps %%zmm0, %%zmm0 %{%%k4%}%{z%}") /* zmm0 = s0 s1 s2 s3 s4 s5 s6 s7 */
1259 __ASM_EMIT("vcompressps %%zmm1, %%zmm1 %{%%k4%}%{z%}")
1260 __ASM_EMIT("vcompressps %%zmm2, %%zmm2 %{%%k4%}%{z%}")
1261 __ASM_EMIT("vcompressps %%zmm3, %%zmm3 %{%%k4%}%{z%}")
1262 __ASM_EMIT("vcompressps %%zmm4, %%zmm4 %{%%k4%}%{z%}")
1263 __ASM_EMIT("vcompressps %%zmm5, %%zmm5 %{%%k4%}%{z%}")
1264 __ASM_EMIT("vcompressps %%zmm6, %%zmm6 %{%%k4%}%{z%}")
1265 __ASM_EMIT("vcompressps %%zmm7, %%zmm7 %{%%k4%}%{z%}")
1266 __ASM_EMIT("vmovups %%ymm0, 0x000(%[dst], %[off])")
1267 __ASM_EMIT("vmovups %%ymm1, 0x020(%[dst], %[off])")
1268 __ASM_EMIT("vmovups %%ymm2, 0x040(%[dst], %[off])")
1269 __ASM_EMIT("vmovups %%ymm3, 0x060(%[dst], %[off])")
1270 __ASM_EMIT("vmovups %%ymm4, 0x080(%[dst], %[off])")
1271 __ASM_EMIT("vmovups %%ymm5, 0x0a0(%[dst], %[off])")
1272 __ASM_EMIT("vmovups %%ymm6, 0x0c0(%[dst], %[off])")
1273 __ASM_EMIT("vmovups %%ymm7, 0x0e0(%[dst], %[off])")
1274 __ASM_EMIT("add $0x100, %[off]")
1275 __ASM_EMIT("sub $64, %[count]")
1276 __ASM_EMIT("jae 1b")
1277 __ASM_EMIT("2:")
1278 /* x16 blocks */
1279 __ASM_EMIT("add $48, %[count]")
1280 __ASM_EMIT("jl 4f") \
1281 __ASM_EMIT("3:") \
1282 __ASM_EMIT("vmovups 0x000(%[src], %[off], 2), %%zmm0") /* zmm0 = s0 i0 s1 i1 s2 i2 s3 i3 s4 i4 s5 i5 s6 i6 s7 i7 */
1283 __ASM_EMIT("vmovups 0x040(%[src], %[off], 2), %%zmm1")
1284 __ASM_EMIT("vcompressps %%zmm0, %%zmm0 %{%%k4%}%{z%}") /* zmm0 = s0 s1 s2 s3 s4 s5 s6 s7 */
1285 __ASM_EMIT("vcompressps %%zmm1, %%zmm1 %{%%k4%}%{z%}")
1286 __ASM_EMIT("vmovups %%ymm0, 0x000(%[dst], %[off])")
1287 __ASM_EMIT("vmovups %%ymm1, 0x020(%[dst], %[off])")
1288 __ASM_EMIT("add $0x40, %[off]")
1289 __ASM_EMIT("sub $16, %[count]")
1290 __ASM_EMIT("jge 3b")
1291 __ASM_EMIT("4:")
1292 /* x8 block */
1293 __ASM_EMIT("add $8, %[count]")
1294 __ASM_EMIT("jl 6f")
1295 __ASM_EMIT("vmovups 0x00(%[src], %[off], 2), %%xmm0") /* xmm0 = s0 i0 s1 i1 */
1296 __ASM_EMIT("vmovups 0x10(%[src], %[off], 2), %%xmm1") /* xmm1 = s2 i2 s3 i3 */
1297 __ASM_EMIT("vmovups 0x20(%[src], %[off], 2), %%xmm2")
1298 __ASM_EMIT("vmovups 0x30(%[src], %[off], 2), %%xmm3")
1299 __ASM_EMIT("vshufps $0x88, %%xmm1, %%xmm0, %%xmm0") /* xmm0 = s0 s1 s2 s3 */
1300 __ASM_EMIT("vshufps $0x88, %%xmm3, %%xmm2, %%xmm2")
1301 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
1302 __ASM_EMIT("vmovups %%xmm2, 0x10(%[dst], %[off])")
1303 __ASM_EMIT("sub $8, %[count]")
1304 __ASM_EMIT("add $0x20, %[off]")
1305 __ASM_EMIT("6:")
1306 /* x4 blocks */
1307 __ASM_EMIT("add $4, %[count]")
1308 __ASM_EMIT("jl 8f")
1309 __ASM_EMIT("vmovups 0x00(%[src], %[off], 2), %%xmm0") /* xmm0 = s0 i0 s1 i1 */
1310 __ASM_EMIT("vmovups 0x10(%[src], %[off], 2), %%xmm1") /* xmm1 = s2 i2 s3 i3 */
1311 __ASM_EMIT("vshufps $0x88, %%xmm1, %%xmm0, %%xmm0") /* xmm0 = s0 s1 s2 s3 */
1312 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
1313 __ASM_EMIT("sub $4, %[count]")
1314 __ASM_EMIT("add $0x10, %[off]")
1315 __ASM_EMIT("8:")
1316 /* x1 blocks */
1317 __ASM_EMIT("add $3, %[count]")
1318 __ASM_EMIT("jl 10f")
1319 __ASM_EMIT("9:")
1320 __ASM_EMIT("vmovss 0x00(%[src], %[off], 2), %%xmm0") /* xmm0 = s0 */
1321 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
1322 __ASM_EMIT("add $0x04, %[off]")
1323 __ASM_EMIT("dec %[count]")
1324 __ASM_EMIT("jge 9b")
1325 __ASM_EMIT("10:")
1326
1327 : [count] "+r" (count), [off] "=&r" (off)
1328 : [dst] "r" (dst), [src] "r" (src),
1329 [CC] "o" (pcomplex_r2c_expand)
1330 : "cc", "memory",
1331 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1332 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1333 "%k4"
1334 );
1335 }
1336
1337 IF_ARCH_X86(
1338 static const float pcomplex_corr_const[] __lsp_aligned64 =
1339 {
1340 LSP_DSP_VEC16(1e-36f),
1341 };
1342 );
1343
1344 IF_ARCH_X86(
1345 static const uint32_t pcomplex_corr_perm_const[] __lsp_aligned64 =
1346 {
1347 0, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24, 26, 28, 30,
1348 1, 3, 5, 7, 9, 11, 13, 15, 17, 19, 21, 23, 25, 27, 29, 31,
1349 };
1350 );
1351
1352 void pcomplex_corr(float *dst_corr, const float *src1, const float *src2, size_t count)
1353 {
1354 IF_ARCH_X86(size_t off);
1355
1356 /*
1357 * src1[i] = a + j*b, src2[i] = c + j*d
1358 * den = (a*a + b*b)*(c*c + d*d)
1359 * nom = a*c + b*d
1360 * corr[i] = (den > threshold) ? nom / sqrt(den) : 0.0
1361 */
1362 ARCH_X86_ASM (
1363 __ASM_EMIT("xor %[off], %[off]")
1364 /* x16 blocks */
1365 __ASM_EMIT("sub $16, %[count]") /* count -= 16 */
1366 __ASM_EMIT("vmovaps %[CC], %%zmm7") /* zmm7 = threshold */
1367 __ASM_EMIT64("vmovaps 0x00 + %[PP], %%zmm8") /* zmm8 = even indices */
1368 __ASM_EMIT64("vmovaps 0x40 + %[PP], %%zmm9") /* zmm9 = odd indices */
1369 __ASM_EMIT("jb 2f")
1370 __ASM_EMIT("1:")
1371 __ASM_EMIT("vmovups 0x00(%[src1], %[off], 2), %%zmm2") /* zmm2 = a0 b0 a1 b1 a2 b2 a3 b3 a4 b4 a5 b5 a6 b6 a7 b7 */
1372 __ASM_EMIT("vmovups 0x40(%[src1], %[off], 2), %%zmm3") /* zmm3 = a8 b8 a9 b9 a10 b10 a11 b11 a12 b12 a13 b13 a14 b14 a15 b15 */
1373 __ASM_EMIT("vmovups 0x00(%[src2], %[off], 2), %%zmm4") /* zmm4 = c0 d0 c1 d1 c2 d2 c3 d3 c4 d4 c5 d5 c6 d6 c7 d7 */
1374 __ASM_EMIT("vmovups 0x40(%[src2], %[off], 2), %%zmm5") /* zmm5 = c8 d8 c9 d9 c10 d10 c11 d11 c12 d12 c13 d13 c14 d14 c15 d15 */
1375 __ASM_EMIT32("vmovaps 0x00 + %[PP], %%zmm0") /* zmm0 = even indices */
1376 __ASM_EMIT32("vmovaps 0x40 + %[PP], %%zmm1") /* zmm1 = odd indices */
1377 __ASM_EMIT64("vmovaps %%zmm8, %%zmm0") /* zmm0 = even indices */
1378 __ASM_EMIT64("vmovaps %%zmm9, %%zmm1") /* zmm1 = odd indices */
1379 __ASM_EMIT("vpermi2ps %%zmm3, %%zmm2, %%zmm0") /* zmm0 = a = a0 a1 a2 a3 a4 a5 a6 a7 a8 a9 a10 a11 a12 a13 a14 a15 */
1380 __ASM_EMIT("vpermi2ps %%zmm3, %%zmm2, %%zmm1") /* zmm1 = b = b0 b1 b2 b3 b4 b5 b6 b7 b8 b9 b10 b11 b12 b13 b14 b15 */
1381 __ASM_EMIT32("vmovaps 0x00 + %[PP], %%zmm2") /* zmm2 = even indices */
1382 __ASM_EMIT32("vmovaps 0x40 + %[PP], %%zmm3") /* zmm3 = odd indices */
1383 __ASM_EMIT64("vmovaps %%zmm8, %%zmm2") /* zmm2 = even indices */
1384 __ASM_EMIT64("vmovaps %%zmm9, %%zmm3") /* zmm3 = odd indices */
1385 __ASM_EMIT("vpermi2ps %%zmm5, %%zmm4, %%zmm2") /* zmm2 = c = c0 c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 */
1386 __ASM_EMIT("vpermi2ps %%zmm5, %%zmm4, %%zmm3") /* zmm3 = d = d0 d1 d2 d3 d4 d5 d6 d7 d8 d9 d10 d11 d12 d13 d14 d15 */
1387 /* zmm0 = a, zmm1 = b, zmm2 = c, zmm3 = d */
1388 __ASM_EMIT("vmulps %%zmm0, %%zmm2, %%zmm4") /* zmm4 = a*c */
1389 __ASM_EMIT("vmulps %%zmm0, %%zmm0, %%zmm0") /* zmm0 = a*a */
1390 __ASM_EMIT("vmulps %%zmm2, %%zmm2, %%zmm2") /* zmm2 = c*c */
1391 __ASM_EMIT("vfmadd231ps %%zmm1, %%zmm3, %%zmm4") /* zmm4 = nom = a*c + b*d */
1392 __ASM_EMIT("vfmadd231ps %%zmm1, %%zmm1, %%zmm0") /* zmm0 = a*a + b*b */
1393 __ASM_EMIT("vfmadd231ps %%zmm3, %%zmm3, %%zmm2") /* zmm2 = c*c + d*d */
1394 __ASM_EMIT("vmulps %%zmm2, %%zmm0, %%zmm0") /* zmm0 = den = (a*a + b*b)*(c*c + d*d) */
1395 __ASM_EMIT("vsqrtps %%zmm0, %%zmm1") /* zmm1 = sqrt(den) */
1396 __ASM_EMIT("vdivps %%zmm1, %%zmm4, %%zmm4") /* zmm4 = nom / sqrt(den) */
1397 __ASM_EMIT("vcmpps $5, %%zmm7, %%zmm0, %%k1") /* k1 = [den >= threshold] */
1398 __ASM_EMIT("vmovaps %%zmm4, %%zmm0 %{%%k1%}%{z%}") /* zmm0 = (den >= threshold) ? nom / sqrt(den) : 0.0f */
1399 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])") /* dst[0]= v0 v1 v2 v3 v4 v5 v6 v7 v8 v9 v10 v11 v12 v13 v14 v15 */
1400 __ASM_EMIT("add $0x40, %[off]")
1401 __ASM_EMIT("sub $16, %[count]") /* count -= 16 */
1402 __ASM_EMIT("jae 1b")
1403 /* x8 blocks */
1404 __ASM_EMIT("2:")
1405 __ASM_EMIT("add $8, %[count]") /* count += 8 */
1406 __ASM_EMIT("jl 4f")
1407 __ASM_EMIT("vmovups 0x00(%[src1], %[off], 2), %%xmm0") /* xmm0 = a0 b0 a1 b1 */
1408 __ASM_EMIT("vmovups 0x10(%[src1], %[off], 2), %%xmm4") /* xmm4 = a2 b2 a3 b3 */
1409 __ASM_EMIT("vmovups 0x20(%[src1], %[off], 2), %%xmm1") /* xmm1 = a4 b4 a5 b5 */
1410 __ASM_EMIT("vmovups 0x30(%[src1], %[off], 2), %%xmm5") /* xmm5 = a6 b6 a7 b7 */
1411 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm0, %%ymm0") /* ymm0 = a0 b0 a1 b1 a4 b4 a5 b5 */
1412 __ASM_EMIT("vinsertf128 $1, %%xmm5, %%ymm4, %%ymm4") /* ymm4 = a2 b2 a3 b3 a6 b6 a7 b7 */
1413 __ASM_EMIT("vmovups 0x00(%[src2], %[off], 2), %%xmm2") /* xmm2 = c0 d0 c1 d1 */
1414 __ASM_EMIT("vmovups 0x10(%[src2], %[off], 2), %%xmm6") /* xmm6 = c2 d2 c3 d3 */
1415 __ASM_EMIT("vmovups 0x20(%[src2], %[off], 2), %%xmm1") /* xmm1 = c4 d4 c5 d5 */
1416 __ASM_EMIT("vmovups 0x30(%[src2], %[off], 2), %%xmm5") /* xmm5 = c6 d6 c7 d7 */
1417 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm2, %%ymm2") /* ymm2 = c0 d0 c1 d1 c4 d4 c5 d5 */
1418 __ASM_EMIT("vinsertf128 $1, %%xmm5, %%ymm6, %%ymm6") /* ymm6 = c2 d2 c3 d3 c6 d6 c7 d7 */
1419 __ASM_EMIT("vshufps $0xdd, %%ymm4, %%ymm0, %%ymm1") /* ymm1 = b = b0 b1 b2 b3 b4 b5 b6 b7 */
1420 __ASM_EMIT("vshufps $0xdd, %%ymm6, %%ymm2, %%ymm3") /* ymm3 = d = d0 d1 d2 d3 d4 d5 d6 d7 */
1421 __ASM_EMIT("vshufps $0x88, %%ymm4, %%ymm0, %%ymm0") /* ymm0 = a = a0 a1 a2 a3 a4 a5 a6 a7 */
1422 __ASM_EMIT("vshufps $0x88, %%ymm6, %%ymm2, %%ymm2") /* ymm2 = c = c0 c1 c2 c3 c4 c5 c6 c7 */
1423 /* ymm0 = a, ymm1 = b, ymm2 = c, ymm3 = d */
1424 __ASM_EMIT("vmulps %%ymm0, %%ymm2, %%ymm4") /* ymm4 = a*c */
1425 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm0") /* ymm0 = a*a */
1426 __ASM_EMIT("vmulps %%ymm2, %%ymm2, %%ymm2") /* ymm2 = c*c */
1427 __ASM_EMIT("vfmadd231ps %%ymm1, %%ymm3, %%ymm4") /* ymm4 = nom = a*c + b*d */
1428 __ASM_EMIT("vfmadd231ps %%ymm1, %%ymm1, %%ymm0") /* ymm0 = a*a + b*b */
1429 __ASM_EMIT("vfmadd231ps %%ymm3, %%ymm3, %%ymm2") /* ymm2 = c*c + d*d */
1430 __ASM_EMIT("vmulps %%ymm2, %%ymm0, %%ymm0") /* ymm0 = den = (a*a + b*b)*(c*c + d*d) */
1431 __ASM_EMIT("vsqrtps %%ymm0, %%ymm1") /* ymm1 = sqrt(den) */
1432 __ASM_EMIT("vdivps %%ymm1, %%ymm4, %%ymm4") /* ymm4 = nom / sqrt(den) */
1433 __ASM_EMIT("vcmpps $5, %%ymm7, %%ymm0, %%ymm0") /* ymm0 = [den >= threshold] */
1434 __ASM_EMIT("vandps %%ymm4, %%ymm0, %%ymm0") /* ymm0 = (den >= threshold) ? nom / sqrt(den) : 0.0f */
1435 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])") /* dst[0] = v0 v1 v2 v3 v4 v5 v6 v7 */
1436 __ASM_EMIT("add $0x20, %[off]")
1437 __ASM_EMIT("sub $8, %[count]") /* count -= 8 */
1438 __ASM_EMIT("jae 1b")
1439 /* x4 block */
1440 __ASM_EMIT("4:")
1441 __ASM_EMIT("add $4, %[count]") /* count += 4 */
1442 __ASM_EMIT("jl 6f")
1443 __ASM_EMIT("vmovups 0x00(%[src1], %[off], 2), %%xmm0") /* xmm0 = a0 b0 a1 b1 */
1444 __ASM_EMIT("vmovups 0x10(%[src1], %[off], 2), %%xmm4") /* xmm4 = a2 b2 a3 b3 */
1445 __ASM_EMIT("vmovups 0x00(%[src2], %[off], 2), %%xmm2") /* xmm2 = c0 d0 c1 d1 */
1446 __ASM_EMIT("vmovups 0x10(%[src2], %[off], 2), %%xmm6") /* xmm6 = c2 d2 c3 d3 */
1447 __ASM_EMIT("vshufps $0xdd, %%xmm4, %%xmm0, %%xmm1") /* xmm1 = b = b0 b1 b2 b3 */
1448 __ASM_EMIT("vshufps $0xdd, %%xmm6, %%xmm2, %%xmm3") /* xmm3 = d = d0 d1 d2 d3 */
1449 __ASM_EMIT("vshufps $0x88, %%xmm4, %%xmm0, %%xmm0") /* xmm0 = a = a0 a1 a2 a3 */
1450 __ASM_EMIT("vshufps $0x88, %%xmm6, %%xmm2, %%xmm2") /* xmm2 = c = c0 c1 c2 c3 */
1451 /* xmm0 = a, xmm1 = b, xmm2 = c, xmm3 = d */
1452 __ASM_EMIT("vmulps %%xmm0, %%xmm2, %%xmm4") /* xmm4 = a*c */
1453 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = a*a */
1454 __ASM_EMIT("vmulps %%xmm2, %%xmm2, %%xmm2") /* xmm2 = c*c */
1455 __ASM_EMIT("vfmadd231ps %%xmm1, %%xmm3, %%xmm4") /* xmm4 = nom = a*c + b*d */
1456 __ASM_EMIT("vfmadd231ps %%xmm1, %%xmm1, %%xmm0") /* xmm0 = a*a + b*b */
1457 __ASM_EMIT("vfmadd231ps %%xmm3, %%xmm3, %%xmm2") /* xmm2 = c*c + d*d */
1458 __ASM_EMIT("vmulps %%xmm2, %%xmm0, %%xmm0") /* xmm0 = den = (a*a + b*b)*(c*c + d*d) */
1459 __ASM_EMIT("vsqrtps %%xmm0, %%xmm1") /* xmm1 = sqrt(den) */
1460 __ASM_EMIT("vdivps %%xmm1, %%xmm4, %%xmm4") /* xmm4 = nom / sqrt(den) */
1461 __ASM_EMIT("vcmpps $5, %%xmm7, %%xmm0, %%xmm0") /* xmm0 = [den >= threshold] */
1462 __ASM_EMIT("vandps %%xmm4, %%xmm0, %%xmm0") /* xmm0 = (den >= threshold) ? nom / sqrt(den) : 0.0f */
1463 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])") /* dst[0] = v0 v1 v2 v3 v4 v5 v6 v7 */
1464 __ASM_EMIT("add $0x10, %[off]")
1465 __ASM_EMIT("sub $4, %[count]") /* count -= 8 */
1466 /* x1 blocks */
1467 __ASM_EMIT("6:")
1468 __ASM_EMIT("add $3, %[count]") /* count += 3 */
1469 __ASM_EMIT("jl 8f")
1470 __ASM_EMIT("7:")
1471 __ASM_EMIT("vmovss 0x00(%[src1], %[off], 2), %%xmm0") /* xmm0 = a */
1472 __ASM_EMIT("vmovss 0x04(%[src1], %[off], 2), %%xmm1") /* xmm1 = b */
1473 __ASM_EMIT("vmovss 0x00(%[src2], %[off], 2), %%xmm2") /* xmm2 = c */
1474 __ASM_EMIT("vmovss 0x04(%[src2], %[off], 2), %%xmm3") /* xmm3 = d */
1475 __ASM_EMIT("vmulss %%xmm0, %%xmm2, %%xmm4") /* xmm4 = a*c */
1476 __ASM_EMIT("vmulss %%xmm0, %%xmm0, %%xmm0") /* xmm0 = a*a */
1477 __ASM_EMIT("vmulss %%xmm2, %%xmm2, %%xmm2") /* xmm2 = c*c */
1478 __ASM_EMIT("vfmadd231ss %%xmm1, %%xmm3, %%xmm4") /* xmm4 = nom = a*c + b*d */
1479 __ASM_EMIT("vfmadd231ss %%xmm1, %%xmm1, %%xmm0") /* xmm0 = a*a + b*b */
1480 __ASM_EMIT("vfmadd231ss %%xmm3, %%xmm3, %%xmm2") /* xmm2 = c*c + d*d */
1481 __ASM_EMIT("vmulss %%xmm2, %%xmm0, %%xmm0") /* xmm0 = den = (a*a + b*b)*(c*c + d*d) */
1482 __ASM_EMIT("vsqrtss %%xmm0, %%xmm1, %%xmm1") /* xmm1 = sqrt(den) */
1483 __ASM_EMIT("vdivss %%xmm1, %%xmm4, %%xmm4") /* xmm4 = nom / sqrt(den) */
1484 __ASM_EMIT("vcmpps $5, %%xmm7, %%xmm0, %%xmm0") /* xmm0 = [den >= threshold] */
1485 __ASM_EMIT("vandps %%xmm4, %%xmm0, %%xmm0") /* xmm0 = (den >= threshold) ? nom / sqrt(den) : 0.0f */
1486 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])") /* dst[0] = v0 */
1487 __ASM_EMIT("add $0x04, %[off]")
1488 __ASM_EMIT("dec %[count]")
1489 __ASM_EMIT("jge 7b")
1490 /* End */
1491 __ASM_EMIT("8:")
1492
1493 : [count] "+r" (count), [off] "=&r" (off)
1494 : [dst] "r" (dst_corr), [src1] "r" (src1), [src2] "r" (src2),
1495 [CC] "m" (pcomplex_corr_const),
1496 [PP] "m" (pcomplex_corr_perm_const)
1497 : "cc", "memory",
1498 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1499 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1500 __IF_64( "xmm8", "xmm9", )
1501 "%k1"
1502 );
1503 }
1504
1505 #define PCOMPLEX_RCP_CORE(DST, SRC) \
1506 /* Init */ \
1507 __ASM_EMIT("xor %[off], %[off]") \
1508 /* x16 block */ \
1509 __ASM_EMIT("sub $16, %[count]") \
1510 __ASM_EMIT("jb 2f") \
1511 __ASM_EMIT("vmovaps 0x00 + %[CC], %%zmm6") /* zmm6 = 1 */ \
1512 __ASM_EMIT("vmovaps 0x80 + %[CC], %%zmm7") /* zmm7 = 0 0x80000000 */ \
1513 __ASM_EMIT("kmovw 0x02 + %[MASK], %%k4") /* k4 = 0xaaaa */ \
1514 __ASM_EMIT("1:") \
1515 __ASM_EMIT("vmovups 0x00(%[" SRC "], %[off]), %%zmm0") /* zmm0 = r0 i0 */ \
1516 __ASM_EMIT("vmovups 0x40(%[" SRC "], %[off]), %%zmm1") \
1517 __ASM_EMIT("vmulps %%zmm0, %%zmm0, %%zmm2") /* zmm2 = r0*r0 i0*i0 */ \
1518 __ASM_EMIT("vmulps %%zmm1, %%zmm1, %%zmm3") \
1519 __ASM_EMIT("vmovshdup %%zmm2, %%zmm4") /* zmm4 = i0*i0 i0*i0 */ \
1520 __ASM_EMIT("vmovshdup %%zmm3, %%zmm5") \
1521 __ASM_EMIT("vmovsldup %%zmm2, %%zmm2") /* zmm2 = r0*r0 r0*r0 */ \
1522 __ASM_EMIT("vmovsldup %%zmm3, %%zmm3") \
1523 __ASM_EMIT("vaddps %%zmm4, %%zmm2, %%zmm2") /* zmm2 = M1 M1 = r0*r0+i0*i0 r0*r0+i0*i0 */ \
1524 __ASM_EMIT("vaddps %%zmm5, %%zmm3, %%zmm2 %{%%k4}") /* zmm2 = M1 M2 */ \
1525 __ASM_EMIT("vdivps %%zmm2, %%zmm6, %%zmm2") /* zmm2 = 1.0/M1 1.0/M2 */ \
1526 __ASM_EMIT("vpxord %%zmm7, %%zmm0, %%zmm0") /* zmm2 = r0 -i0 */ \
1527 __ASM_EMIT("vpxord %%zmm7, %%zmm1, %%zmm1") \
1528 __ASM_EMIT("vmovshdup %%zmm2, %%zmm3") \
1529 __ASM_EMIT("vmovsldup %%zmm2, %%zmm2") /* zmm2 = 1.0/M1 1.0/M1 */ \
1530 __ASM_EMIT("vmulps %%zmm2, %%zmm0, %%zmm0") /* zmm0 = r0/M1 -i0/M1 */ \
1531 __ASM_EMIT("vmulps %%zmm3, %%zmm1, %%zmm1") \
1532 __ASM_EMIT("vmovups %%zmm0, 0x00(%[" DST "], %[off])") \
1533 __ASM_EMIT("vmovups %%zmm1, 0x40(%[" DST "], %[off])") \
1534 __ASM_EMIT("add $0x80, %[off]") \
1535 __ASM_EMIT("sub $16, %[count]") \
1536 __ASM_EMIT("jae 1b") \
1537 __ASM_EMIT("2:") \
1538 /* x8 block */ \
1539 __ASM_EMIT("add $8, %[count]") \
1540 __ASM_EMIT("jl 4f") \
1541 __ASM_EMIT("vmovups 0x00(%[" SRC "], %[off]), %%ymm0") /* ymm0 = r0 i0 */ \
1542 __ASM_EMIT("vmovups 0x20(%[" SRC "], %[off]), %%ymm1") \
1543 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm4") /* ymm0 = r0*r0 + i0*i0 */ \
1544 __ASM_EMIT("vmulps %%ymm1, %%ymm1, %%ymm5") \
1545 __ASM_EMIT("vhaddps %%ymm5, %%ymm4, %%ymm4") /* ymm4 = R = r0*r0+i0*i0 */ \
1546 __ASM_EMIT("vmovaps 0x00 + %[CC], %%ymm5") /* ymm5 = 1 */ \
1547 __ASM_EMIT("vdivps %%ymm4, %%ymm5, %%ymm4") /* ymm4 = 1/R */ \
1548 __ASM_EMIT("vxorps 0x40 + %[CC], %%ymm4, %%ymm5") /* ymm5 = -1/R */ \
1549 __ASM_EMIT("vunpckhps %%ymm5, %%ymm4, %%ymm7") /* ymm7 = 1/R -1/R */ \
1550 __ASM_EMIT("vunpcklps %%ymm5, %%ymm4, %%ymm5") \
1551 __ASM_EMIT("vmulps %%ymm5, %%ymm0, %%ymm0") /* ymm0 = r0/R -i0/R */ \
1552 __ASM_EMIT("vmulps %%ymm7, %%ymm1, %%ymm1") \
1553 __ASM_EMIT("vmovups %%ymm0, 0x00(%[" DST "], %[off])") \
1554 __ASM_EMIT("vmovups %%ymm1, 0x20(%[" DST "], %[off])") \
1555 __ASM_EMIT("add $0x40, %[off]") \
1556 __ASM_EMIT("sub $8, %[count]") \
1557 __ASM_EMIT("4:") \
1558 /* x4 block */ \
1559 __ASM_EMIT("add $4, %[count]") \
1560 __ASM_EMIT("jl 6f") \
1561 __ASM_EMIT("vmovups 0x00(%[" SRC "], %[off]), %%ymm0") /* ymm0 = r0 i0 */ \
1562 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm4") /* ymm0 = r0*r0 + i0*i0 */ \
1563 __ASM_EMIT("vhaddps %%ymm4, %%ymm4, %%ymm4") /* ymm4 = R = r0*r0+i0*i0 */ \
1564 __ASM_EMIT("vmovaps 0x00 + %[CC], %%ymm5") /* ymm5 = 1 */ \
1565 __ASM_EMIT("vdivps %%ymm4, %%ymm5, %%ymm4") /* ymm4 = 1/R */ \
1566 __ASM_EMIT("vxorps 0x40 + %[CC], %%ymm4, %%ymm5") /* ymm5 = -1/R */ \
1567 __ASM_EMIT("vunpcklps %%ymm5, %%ymm4, %%ymm5") /* ymm7 = 1/R -1/R */ \
1568 __ASM_EMIT("vmulps %%ymm5, %%ymm0, %%ymm0") /* ymm0 = r0/R -i0/R */ \
1569 __ASM_EMIT("vmovups %%ymm0, 0x00(%[" DST "], %[off])") \
1570 __ASM_EMIT("add $0x20, %[off]") \
1571 __ASM_EMIT("sub $4, %[count]") \
1572 __ASM_EMIT("6:") \
1573 /* x2 block */ \
1574 __ASM_EMIT("add $2, %[count]") \
1575 __ASM_EMIT("jl 8f") \
1576 __ASM_EMIT("vmovups 0x00(%[" SRC "], %[off]), %%xmm0") /* xmm0 = r0 i0 */ \
1577 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm4") /* xmm0 = r0*r0 + i0*i0 */ \
1578 __ASM_EMIT("vhaddps %%xmm4, %%xmm4, %%xmm4") /* xmm4 = R = r0*r0+i0*i0 */ \
1579 __ASM_EMIT("vmovaps 0x00 + %[CC], %%xmm5") /* xmm5 = 1 */ \
1580 __ASM_EMIT("vdivps %%xmm4, %%xmm5, %%xmm4") /* xmm4 = 1/R */ \
1581 __ASM_EMIT("vxorps 0x40 + %[CC], %%xmm4, %%xmm5") /* xmm5 = -1/R */ \
1582 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm5") /* xmm7 = 1/R -1/R */ \
1583 __ASM_EMIT("vmulps %%xmm5, %%xmm0, %%xmm0") /* xmm0 = r0/R -i0/R */ \
1584 __ASM_EMIT("vmovups %%xmm0, 0x00(%[" DST "], %[off])") \
1585 __ASM_EMIT("add $0x10, %[off]") \
1586 __ASM_EMIT("sub $2, %[count]") \
1587 __ASM_EMIT("8:") \
1588 /* x1 block */ \
1589 __ASM_EMIT("add $1, %[count]") \
1590 __ASM_EMIT("jl 10f") \
1591 __ASM_EMIT("vmovlps 0x00(%[" SRC "], %[off]), %%xmm0, %%xmm0") /* xmm0 = r0 i0 */ \
1592 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm4") /* xmm0 = r0*r0 + i0*i0 */ \
1593 __ASM_EMIT("vhaddps %%xmm4, %%xmm4, %%xmm4") /* xmm4 = R = r0*r0+i0*i0 */ \
1594 __ASM_EMIT("vmovaps 0x00 + %[CC], %%xmm5") /* xmm5 = 1 */ \
1595 __ASM_EMIT("vdivps %%xmm4, %%xmm5, %%xmm4") /* xmm4 = 1/R */ \
1596 __ASM_EMIT("vxorps 0x40 + %[CC], %%xmm4, %%xmm5") /* xmm5 = -1/R */ \
1597 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm5") /* xmm7 = 1/R -1/R */ \
1598 __ASM_EMIT("vmulps %%xmm5, %%xmm0, %%xmm0") /* xmm0 = r0/R -i0/R */ \
1599 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[" DST "], %[off])") \
1600 __ASM_EMIT("10:") \
1601 /* end */
1602
1603 void pcomplex_rcp1(float *dst, size_t count)
1604 {
1605 IF_ARCH_X86(size_t off);
1606 ARCH_X86_ASM
1607 (
1608 PCOMPLEX_RCP_CORE("dst", "dst")
1609 : [off] "=&r" (off),
1610 [count] "+r" (count)
1611 : [dst] "r" (dst),
1612 [CC] "o" (pcomplex_div_const),
1613 [MASK] "o" (pcomplex_mod_kmask)
1614 : "cc", "memory",
1615 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1616 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1617 );
1618 }
1619
1620 void pcomplex_rcp2(float *dst, const float *src, size_t count)
1621 {
1622 IF_ARCH_X86(size_t off);
1623 ARCH_X86_ASM
1624 (
1625 PCOMPLEX_RCP_CORE("dst", "src")
1626 : [off] "=&r" (off),
1627 [count] "+r" (count)
1628 : [dst] "r" (dst), [src] "r" (src),
1629 [CC] "o" (pcomplex_div_const),
1630 [MASK] "o" (pcomplex_mod_kmask)
1631 : "cc", "memory",
1632 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1633 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1634 );
1635 }
1636
1637 #undef PCOMPLEX_RCP_CORE
1638
1639 } /* namespace avx512 */
1640 } /* namespace lsp */
1641
1642
1643
1644 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_PCOMPLEX_H_ */