Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/aarch64/asimd/pcomplex.h

raw
1 /*
2 * Copyright (C) 2024 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2024 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_PCOMPLEX_H_
23 #define PRIVATE_DSP_ARCH_AARCH64_ASIMD_PCOMPLEX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL */
28
29 namespace lsp
30 {
31 namespace asimd
32 {
33 void pcomplex_mul2(float *dst, const float *src, size_t count)
34 {
35 IF_ARCH_AARCH64(float *ptr1, *ptr2);
36 ARCH_AARCH64_ASM
37 (
38 // x8 blocks
39 __ASM_EMIT("subs %[count], %[count], #8")
40 __ASM_EMIT("add %[src2], %[src1], #0x20")
41 __ASM_EMIT("add %[dst2], %[dst1], #0x20")
42 __ASM_EMIT("b.lo 2f")
43 __ASM_EMIT("1:")
44 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[src1]]") // v16 = sr1, v17 = si1
45 __ASM_EMIT("ld2 {v24.4s, v25.4s}, [%[dst1]]") // v24 = dr1, v25 = di1
46 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[src2]]") // v18 = sr2, v19 = si2
47 __ASM_EMIT("ld2 {v26.4s, v27.4s}, [%[dst2]]") // v26 = dr2, v27 = di2
48 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
49 __ASM_EMIT("fmul v2.4s, v18.4s, v26.4s")
50 __ASM_EMIT("add %[src1], %[src1], #0x40")
51 __ASM_EMIT("fmul v1.4s, v24.4s, v17.4s") // v1 = si*dr
52 __ASM_EMIT("fmul v3.4s, v26.4s, v19.4s")
53 __ASM_EMIT("add %[src2], %[src2], #0x40")
54 __ASM_EMIT("fmls v0.4s, v17.4s, v25.4s") // v0 = sr*dr - si*di
55 __ASM_EMIT("fmls v2.4s, v19.4s, v27.4s")
56 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") // v1 = si*dr + sr*di
57 __ASM_EMIT("fmla v3.4s, v18.4s, v27.4s")
58 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst1]]")
59 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst2]]")
60 __ASM_EMIT("subs %[count], %[count], #8")
61 __ASM_EMIT("add %[dst1], %[dst1], #0x40")
62 __ASM_EMIT("add %[dst2], %[dst2], #0x40")
63 __ASM_EMIT("b.hs 1b")
64 __ASM_EMIT("2:")
65 // x4 blocks
66 __ASM_EMIT("adds %[count], %[count], #4")
67 __ASM_EMIT("b.lt 4f")
68 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[src1]]") // v16 = sr1, v17 = si1
69 __ASM_EMIT("ld2 {v24.4s, v25.4s}, [%[dst1]]") // v24 = dr1, v25 = di1
70 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
71 __ASM_EMIT("fmul v1.4s, v24.4s, v17.4s") // v1 = si*dr
72 __ASM_EMIT("add %[src1], %[src1], #0x20")
73 __ASM_EMIT("fmls v0.4s, v17.4s, v25.4s") // v0 = sr*dr - si*di
74 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") // v1 = si*dr + sr*di
75 __ASM_EMIT("sub %[count], %[count], #4")
76 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst1]]")
77 __ASM_EMIT("add %[dst1], %[dst1], #0x20")
78 __ASM_EMIT("4:")
79 // x1 block
80 __ASM_EMIT("adds %[count], %[count], #3")
81 __ASM_EMIT("b.lt 6f")
82 __ASM_EMIT("5:")
83 __ASM_EMIT("ld2 {v16.s, v17.s}[0], [%[src1]]") // v16 = sr1, v17 = si1
84 __ASM_EMIT("ld2 {v24.s, v25.s}[0], [%[dst1]]") // v24 = dr1, v25 = di1
85 __ASM_EMIT("fmul v0.2s, v16.2s, v24.2s") // v0 = sr*dr
86 __ASM_EMIT("fmul v1.2s, v24.2s, v17.2s") // v1 = si*dr
87 __ASM_EMIT("add %[src1], %[src1], #0x08")
88 __ASM_EMIT("fmls v0.2s, v17.2s, v25.2s") // v0 = sr*dr - si*di
89 __ASM_EMIT("fmla v1.2s, v16.2s, v25.2s") // v1 = si*dr + sr*di
90 __ASM_EMIT("st2 {v0.s, v1.s}[0], [%[dst1]]")
91 __ASM_EMIT("subs %[count], %[count], #1")
92 __ASM_EMIT("add %[dst1], %[dst1], #0x08")
93 __ASM_EMIT("b.ge 5b")
94 __ASM_EMIT("6:")
95
96 : [dst1] "+r" (dst), [src1] "+r" (src),
97 [dst2] "=&r" (ptr1), [src2] "=&r" (ptr2),
98 [count] "+r" (count)
99 :
100 : "cc", "memory",
101 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
102 // "v8", "v9", "v10", "v11", "v12", "v13", "v14", "v15", // Avoid usage if possible
103 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
104 "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31"
105 );
106 }
107
108 void pcomplex_mul3(float *dst, const float *src1, const float *src2, size_t count)
109 {
110 ARCH_AARCH64_ASM
111 (
112 __ASM_EMIT("subs %[count], %[count], #16")
113 __ASM_EMIT("b.lo 2f")
114
115 // x16 blocks
116 __ASM_EMIT("1:")
117 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[src1]], #0x20") // v16 = sr1, v17 = si1
118 __ASM_EMIT("ld2 {v24.4s, v25.4s}, [%[src2]], #0x20") // v24 = dr1, v25 = di1
119 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[src1]], #0x20") // v18 = sr2, v19 = si2
120 __ASM_EMIT("ld2 {v26.4s, v27.4s}, [%[src2]], #0x20") // v26 = dr2, v27 = di2
121 __ASM_EMIT("ld2 {v20.4s, v21.4s}, [%[src1]], #0x20") // v20 = sr3, v21 = si3
122 __ASM_EMIT("ld2 {v28.4s, v29.4s}, [%[src2]], #0x20") // v28 = dr3, v29 = di3
123 __ASM_EMIT("ld2 {v22.4s, v23.4s}, [%[src1]], #0x20") // v22 = sr4, v23 = si4
124 __ASM_EMIT("ld2 {v30.4s, v31.4s}, [%[src2]], #0x20") // v30 = dr4, v31 = di4
125
126 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
127 __ASM_EMIT("fmul v2.4s, v18.4s, v26.4s")
128 __ASM_EMIT("fmul v4.4s, v20.4s, v28.4s")
129 __ASM_EMIT("fmul v6.4s, v22.4s, v30.4s")
130 __ASM_EMIT("fmul v1.4s, v24.4s, v17.4s") // v1 = si*dr
131 __ASM_EMIT("fmul v3.4s, v26.4s, v19.4s")
132 __ASM_EMIT("fmul v5.4s, v28.4s, v21.4s")
133 __ASM_EMIT("fmul v7.4s, v30.4s, v23.4s")
134 __ASM_EMIT("fmls v0.4s, v17.4s, v25.4s") // v0 = sr*dr - si*di
135 __ASM_EMIT("fmls v2.4s, v19.4s, v27.4s")
136 __ASM_EMIT("fmls v4.4s, v21.4s, v29.4s")
137 __ASM_EMIT("fmls v6.4s, v23.4s, v31.4s")
138 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") // v1 = si*dr + sr*di
139 __ASM_EMIT("fmla v3.4s, v18.4s, v27.4s")
140 __ASM_EMIT("fmla v5.4s, v20.4s, v29.4s")
141 __ASM_EMIT("fmla v7.4s, v22.4s, v31.4s")
142
143 __ASM_EMIT("subs %[count], %[count], #16")
144 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
145 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst]], #0x20")
146 __ASM_EMIT("st2 {v4.4s, v5.4s}, [%[dst]], #0x20")
147 __ASM_EMIT("st2 {v6.4s, v7.4s}, [%[dst]], #0x20")
148 __ASM_EMIT("b.hs 1b")
149
150 // x8 blocks
151 __ASM_EMIT("2:")
152 __ASM_EMIT("adds %[count], %[count], #8")
153 __ASM_EMIT("b.lt 4f")
154 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[src1]], #0x20") // v16 = sr1, v17 = si1
155 __ASM_EMIT("ld2 {v24.4s, v25.4s}, [%[src2]], #0x20") // v24 = dr1, v25 = di1
156 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[src1]], #0x20") // v18 = sr2, v19 = si2
157 __ASM_EMIT("ld2 {v26.4s, v27.4s}, [%[src2]], #0x20") // v26 = dr2, v27 = di2
158
159 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
160 __ASM_EMIT("fmul v2.4s, v18.4s, v26.4s")
161 __ASM_EMIT("fmul v1.4s, v24.4s, v17.4s") // v1 = si*dr
162 __ASM_EMIT("fmul v3.4s, v26.4s, v19.4s")
163 __ASM_EMIT("fmls v0.4s, v17.4s, v25.4s") // v0 = sr*dr - si*di
164 __ASM_EMIT("fmls v2.4s, v19.4s, v27.4s")
165 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") // v1 = si*dr + sr*di
166 __ASM_EMIT("fmla v3.4s, v18.4s, v27.4s")
167
168 __ASM_EMIT("sub %[count], %[count], #8")
169 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
170 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst]], #0x20")
171
172 // x4 blocks
173 __ASM_EMIT("4:")
174 __ASM_EMIT("adds %[count], %[count], #4")
175 __ASM_EMIT("b.lt 6f")
176 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[src1]], #0x20") // v16 = sr1, v17 = si1
177 __ASM_EMIT("ld2 {v24.4s, v25.4s}, [%[src2]], #0x20") // v24 = dr1, v25 = di1
178 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
179 __ASM_EMIT("fmul v1.4s, v24.4s, v17.4s") // v1 = si*dr
180 __ASM_EMIT("fmls v0.4s, v17.4s, v25.4s") // v0 = sr*dr - si*di
181 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") // v1 = si*dr + sr*di
182 __ASM_EMIT("sub %[count], %[count], #4")
183 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
184
185 // x1 blocks
186 __ASM_EMIT("6:")
187 __ASM_EMIT("adds %[count], %[count], #3")
188 __ASM_EMIT("b.lt 8f")
189 __ASM_EMIT("7:")
190 __ASM_EMIT("ld2r {v16.4s, v17.4s}, [%[src1]], #0x08") // v16 = sr1, v17 = si1
191 __ASM_EMIT("ld2r {v24.4s, v25.4s}, [%[src2]], #0x08") // v24 = dr1, v25 = di1
192 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
193 __ASM_EMIT("fmul v1.4s, v24.4s, v17.4s") // v1 = si*dr
194 __ASM_EMIT("fmls v0.4s, v17.4s, v25.4s") // v0 = sr*dr - si*di
195 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") // v1 = si*dr + sr*di
196 __ASM_EMIT("str s0, [%[dst]], #0x04")
197 __ASM_EMIT("subs %[count], %[count], #1")
198 __ASM_EMIT("str s1, [%[dst]], #0x04")
199 __ASM_EMIT("b.ge 7b")
200
201 __ASM_EMIT("8:")
202
203 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
204 [count] "+r" (count)
205 : [kdiv] "r" (&complex_div_const[0])
206 : "cc", "memory",
207 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
208 "v8", /* "v9", "v10", "v11", */ "v12", "v13", "v14", "v15", // Avoid usage if possible
209 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
210 "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31"
211 );
212 }
213
214 static const float pcomplex_div_const[] __lsp_aligned16 =
215 {
216 LSP_DSP_VEC4(1.0f)
217 };
218
219 void pcomplex_div2(float *dst, const float *src, size_t count)
220 {
221 ARCH_AARCH64_ASM
222 (
223 __ASM_EMIT("ldr q8, [%[kdiv]]")
224 // x16 blocks
225 __ASM_EMIT("subs %[count], %[count], #16")
226 __ASM_EMIT("b.lo 2f")
227 __ASM_EMIT("1:")
228 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[src]], #0x20") // v16 = sr1, v17 = si1
229 __ASM_EMIT("ld2 {v24.4s, v25.4s}, [%[dst]], #0x20") // v24 = dr1, v25 = di1
230 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[src]], #0x20") // v18 = sr2, v19 = si2
231 __ASM_EMIT("ld2 {v26.4s, v27.4s}, [%[dst]], #0x20") // v26 = dr2, v27 = di2
232 __ASM_EMIT("ld2 {v20.4s, v21.4s}, [%[src]], #0x20") // v20 = sr3, v21 = si3
233 __ASM_EMIT("ld2 {v28.4s, v29.4s}, [%[dst]], #0x20") // v28 = dr3, v29 = di3
234 __ASM_EMIT("ld2 {v22.4s, v23.4s}, [%[src]], #0x20") // v22 = sr4, v23 = si4
235 __ASM_EMIT("ld2 {v30.4s, v31.4s}, [%[dst]], #0x20") // v30 = dr4, v31 = di4
236 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
237 __ASM_EMIT("fmul v2.4s, v18.4s, v26.4s")
238 __ASM_EMIT("fmul v4.4s, v20.4s, v28.4s")
239 __ASM_EMIT("fmul v6.4s, v22.4s, v30.4s")
240 __ASM_EMIT("fmul v1.4s, v16.4s, v25.4s") // v1 = sr*di
241 __ASM_EMIT("fmul v3.4s, v18.4s, v27.4s")
242 __ASM_EMIT("fmul v5.4s, v20.4s, v29.4s")
243 __ASM_EMIT("fmul v7.4s, v22.4s, v31.4s")
244 __ASM_EMIT("fmla v0.4s, v17.4s, v25.4s") // v0 = sr*dr + si*di
245 __ASM_EMIT("fmla v2.4s, v19.4s, v27.4s")
246 __ASM_EMIT("fmla v4.4s, v21.4s, v29.4s")
247 __ASM_EMIT("fmla v6.4s, v23.4s, v31.4s")
248 __ASM_EMIT("fmls v1.4s, v24.4s, v17.4s") // v1 = sr*di-si*dr
249 __ASM_EMIT("fmls v3.4s, v26.4s, v19.4s")
250 __ASM_EMIT("fmls v5.4s, v28.4s, v21.4s")
251 __ASM_EMIT("fmls v7.4s, v30.4s, v23.4s")
252 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
253 __ASM_EMIT("fmul v18.4s, v18.4s, v18.4s")
254 __ASM_EMIT("fmul v20.4s, v20.4s, v20.4s")
255 __ASM_EMIT("fmul v22.4s, v22.4s, v22.4s")
256 __ASM_EMIT("fmla v16.4s, v17.4s, v17.4s") // v16 = sr*sr+si*si
257 __ASM_EMIT("fmla v18.4s, v19.4s, v19.4s")
258 __ASM_EMIT("fmla v20.4s, v21.4s, v21.4s")
259 __ASM_EMIT("fmla v22.4s, v23.4s, v23.4s")
260 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
261 __ASM_EMIT("fdiv v13.4s, v8.4s, v18.4s")
262 __ASM_EMIT("fdiv v14.4s, v8.4s, v20.4s")
263 __ASM_EMIT("fdiv v15.4s, v8.4s, v22.4s")
264 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = (sr*dr + si*di) / (sr*sr+si*si)
265 __ASM_EMIT("fmul v2.4s, v2.4s, v13.4s")
266 __ASM_EMIT("fmul v4.4s, v4.4s, v14.4s")
267 __ASM_EMIT("fmul v6.4s, v6.4s, v15.4s")
268 __ASM_EMIT("fmul v1.4s, v1.4s, v12.4s") // v1 = (sr*di - si*dr) / (sr*sr+si*si)
269 __ASM_EMIT("fmul v3.4s, v3.4s, v13.4s")
270 __ASM_EMIT("fmul v5.4s, v5.4s, v14.4s")
271 __ASM_EMIT("fmul v7.4s, v7.4s, v15.4s")
272 __ASM_EMIT("sub %[dst], %[dst], #0x80") // dst -= 0x80
273 __ASM_EMIT("subs %[count], %[count], #16")
274 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
275 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst]], #0x20")
276 __ASM_EMIT("st2 {v4.4s, v5.4s}, [%[dst]], #0x20")
277 __ASM_EMIT("st2 {v6.4s, v7.4s}, [%[dst]], #0x20")
278 __ASM_EMIT("b.hs 1b")
279 __ASM_EMIT("2:")
280 // x8 blocks
281 __ASM_EMIT("adds %[count], %[count], #8")
282 __ASM_EMIT("b.lt 4f")
283 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[src]], #0x20") // v16 = sr1, v17 = si1
284 __ASM_EMIT("ld2 {v24.4s, v25.4s}, [%[dst]], #0x20") // v24 = dr1, v25 = di1
285 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[src]], #0x20") // v18 = sr2, v19 = si2
286 __ASM_EMIT("ld2 {v26.4s, v27.4s}, [%[dst]], #0x20") // v26 = dr2, v27 = di2
287 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
288 __ASM_EMIT("fmul v2.4s, v18.4s, v26.4s")
289 __ASM_EMIT("fmul v1.4s, v16.4s, v25.4s") // v1 = sr*di
290 __ASM_EMIT("fmul v3.4s, v18.4s, v27.4s")
291 __ASM_EMIT("fmla v0.4s, v17.4s, v25.4s") // v0 = sr*dr + si*di
292 __ASM_EMIT("fmla v2.4s, v19.4s, v27.4s")
293 __ASM_EMIT("fmls v1.4s, v24.4s, v17.4s") // v1 = sr*di-si*dr
294 __ASM_EMIT("fmls v3.4s, v26.4s, v19.4s")
295 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
296 __ASM_EMIT("fmul v18.4s, v18.4s, v18.4s")
297 __ASM_EMIT("fmla v16.4s, v17.4s, v17.4s") // v16 = sr*sr+si*si
298 __ASM_EMIT("fmla v18.4s, v19.4s, v19.4s")
299 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
300 __ASM_EMIT("fdiv v13.4s, v8.4s, v18.4s")
301 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = (sr*dr + si*di) / (sr*sr+si*si)
302 __ASM_EMIT("fmul v2.4s, v2.4s, v13.4s")
303 __ASM_EMIT("fmul v1.4s, v1.4s, v12.4s") // v1 = (sr*di - si*dr) / (sr*sr+si*si)
304 __ASM_EMIT("fmul v3.4s, v3.4s, v13.4s")
305 __ASM_EMIT("sub %[dst], %[dst], #0x40") // dst -= 0x40
306 __ASM_EMIT("sub %[count], %[count], #8")
307 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
308 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst]], #0x20")
309 __ASM_EMIT("4:")
310 // x4 blocks
311 __ASM_EMIT("adds %[count], %[count], #4")
312 __ASM_EMIT("b.lt 6f")
313 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[src]], #0x20") // v16 = sr1, v17 = si1
314 __ASM_EMIT("ld2 {v24.4s, v25.4s}, [%[dst]]") // v24 = dr1, v25 = di1
315 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
316 __ASM_EMIT("fmul v1.4s, v16.4s, v25.4s") // v1 = sr*di
317 __ASM_EMIT("fmla v0.4s, v17.4s, v25.4s") // v0 = sr*dr + si*di
318 __ASM_EMIT("fmls v1.4s, v24.4s, v17.4s") // v1 = sr*di-si*dr
319 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
320 __ASM_EMIT("fmla v16.4s, v17.4s, v17.4s") // v16 = sr*sr+si*si
321 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
322 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = (sr*dr + si*di) / (sr*sr+si*si)
323 __ASM_EMIT("fmul v1.4s, v1.4s, v12.4s") // v1 = (sr*di - si*dr) / (sr*sr+si*si)
324 __ASM_EMIT("sub %[count], %[count], #4")
325 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
326 __ASM_EMIT("6:")
327 // x1 blocks
328 __ASM_EMIT("adds %[count], %[count], #3")
329 __ASM_EMIT("b.lt 8f")
330 __ASM_EMIT("7:")
331 __ASM_EMIT("ld2r {v16.4s, v17.4s}, [%[src]], #0x08") // v16 = sr1, v17 = si1
332 __ASM_EMIT("ld2r {v24.4s, v25.4s}, [%[dst]]") // v24 = dr1, v25 = di1
333 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
334 __ASM_EMIT("fmul v1.4s, v16.4s, v25.4s") // v1 = sr*di
335 __ASM_EMIT("fmla v0.4s, v17.4s, v25.4s") // v0 = sr*dr + si*di
336 __ASM_EMIT("fmls v1.4s, v24.4s, v17.4s") // v1 = sr*di-si*dr
337 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
338 __ASM_EMIT("fmla v16.4s, v17.4s, v17.4s") // v16 = sr*sr+si*si
339 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
340 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = (sr*dr + si*di) / (sr*sr+si*si)
341 __ASM_EMIT("fmul v1.4s, v1.4s, v12.4s") // v1 = (sr*di - si*dr) / (sr*sr+si*si)
342 __ASM_EMIT("st2 {v0.s, v1.s}[0], [%[dst]], #0x08")
343 __ASM_EMIT("subs %[count], %[count], #1")
344 __ASM_EMIT("b.ge 7b")
345 __ASM_EMIT("8:")
346
347 : [dst] "+r" (dst), [src] "+r" (src),
348 [count] "+r" (count)
349 : [kdiv] "r" (&pcomplex_div_const[0])
350 : "cc", "memory",
351 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
352 "v8", /* "v9", "v10", "v11", */ "v12", "v13", "v14", "v15", // Avoid usage if possible
353 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
354 "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31"
355 );
356 }
357
358 void pcomplex_rdiv2(float *dst, const float *src, size_t count)
359 {
360 ARCH_AARCH64_ASM
361 (
362 __ASM_EMIT("ldr q8, [%[kdiv]]")
363 // x16 blocks
364 __ASM_EMIT("subs %[count], %[count], #16")
365 __ASM_EMIT("b.lo 2f")
366 __ASM_EMIT("1:")
367 __ASM_EMIT("ld2 {v24.4s, v25.4s}, [%[src]], #0x20") // v24 = dr1, v25 = di1
368 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[dst]], #0x20") // v16 = sr1, v17 = si1
369 __ASM_EMIT("ld2 {v26.4s, v27.4s}, [%[src]], #0x20") // v26 = dr2, v27 = di2
370 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[dst]], #0x20") // v18 = sr2, v19 = si2
371 __ASM_EMIT("ld2 {v28.4s, v29.4s}, [%[src]], #0x20") // v28 = dr3, v29 = di3
372 __ASM_EMIT("ld2 {v20.4s, v21.4s}, [%[dst]], #0x20") // v20 = sr3, v21 = si3
373 __ASM_EMIT("ld2 {v30.4s, v31.4s}, [%[src]], #0x20") // v30 = dr4, v31 = di4
374 __ASM_EMIT("ld2 {v22.4s, v23.4s}, [%[dst]], #0x20") // v22 = sr4, v23 = si4
375 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
376 __ASM_EMIT("fmul v2.4s, v18.4s, v26.4s")
377 __ASM_EMIT("fmul v4.4s, v20.4s, v28.4s")
378 __ASM_EMIT("fmul v6.4s, v22.4s, v30.4s")
379 __ASM_EMIT("fmul v1.4s, v16.4s, v25.4s") // v1 = sr*di
380 __ASM_EMIT("fmul v3.4s, v18.4s, v27.4s")
381 __ASM_EMIT("fmul v5.4s, v20.4s, v29.4s")
382 __ASM_EMIT("fmul v7.4s, v22.4s, v31.4s")
383 __ASM_EMIT("fmla v0.4s, v17.4s, v25.4s") // v0 = sr*dr + si*di
384 __ASM_EMIT("fmla v2.4s, v19.4s, v27.4s")
385 __ASM_EMIT("fmla v4.4s, v21.4s, v29.4s")
386 __ASM_EMIT("fmla v6.4s, v23.4s, v31.4s")
387 __ASM_EMIT("fmls v1.4s, v24.4s, v17.4s") // v1 = sr*di-si*dr
388 __ASM_EMIT("fmls v3.4s, v26.4s, v19.4s")
389 __ASM_EMIT("fmls v5.4s, v28.4s, v21.4s")
390 __ASM_EMIT("fmls v7.4s, v30.4s, v23.4s")
391 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
392 __ASM_EMIT("fmul v18.4s, v18.4s, v18.4s")
393 __ASM_EMIT("fmul v20.4s, v20.4s, v20.4s")
394 __ASM_EMIT("fmul v22.4s, v22.4s, v22.4s")
395 __ASM_EMIT("fmla v16.4s, v17.4s, v17.4s") // v16 = sr*sr+si*si
396 __ASM_EMIT("fmla v18.4s, v19.4s, v19.4s")
397 __ASM_EMIT("fmla v20.4s, v21.4s, v21.4s")
398 __ASM_EMIT("fmla v22.4s, v23.4s, v23.4s")
399 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
400 __ASM_EMIT("fdiv v13.4s, v8.4s, v18.4s")
401 __ASM_EMIT("fdiv v14.4s, v8.4s, v20.4s")
402 __ASM_EMIT("fdiv v15.4s, v8.4s, v22.4s")
403 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = (sr*dr + si*di) / (sr*sr+si*si)
404 __ASM_EMIT("fmul v2.4s, v2.4s, v13.4s")
405 __ASM_EMIT("fmul v4.4s, v4.4s, v14.4s")
406 __ASM_EMIT("fmul v6.4s, v6.4s, v15.4s")
407 __ASM_EMIT("fmul v1.4s, v1.4s, v12.4s") // v1 = (sr*di - si*dr) / (sr*sr+si*si)
408 __ASM_EMIT("fmul v3.4s, v3.4s, v13.4s")
409 __ASM_EMIT("fmul v5.4s, v5.4s, v14.4s")
410 __ASM_EMIT("fmul v7.4s, v7.4s, v15.4s")
411 __ASM_EMIT("sub %[dst], %[dst], #0x80") // dst -= 0x80
412 __ASM_EMIT("subs %[count], %[count], #16")
413 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
414 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst]], #0x20")
415 __ASM_EMIT("st2 {v4.4s, v5.4s}, [%[dst]], #0x20")
416 __ASM_EMIT("st2 {v6.4s, v7.4s}, [%[dst]], #0x20")
417 __ASM_EMIT("b.hs 1b")
418 __ASM_EMIT("2:")
419 // x8 blocks
420 __ASM_EMIT("adds %[count], %[count], #8")
421 __ASM_EMIT("b.lt 4f")
422 __ASM_EMIT("ld2 {v24.4s, v25.4s}, [%[src]], #0x20") // v24 = dr1, v25 = di1
423 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[dst]], #0x20") // v16 = sr1, v17 = si1
424 __ASM_EMIT("ld2 {v26.4s, v27.4s}, [%[src]], #0x20") // v26 = dr2, v27 = di2
425 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[dst]], #0x20") // v18 = sr2, v19 = si2
426 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
427 __ASM_EMIT("fmul v2.4s, v18.4s, v26.4s")
428 __ASM_EMIT("fmul v1.4s, v16.4s, v25.4s") // v1 = sr*di
429 __ASM_EMIT("fmul v3.4s, v18.4s, v27.4s")
430 __ASM_EMIT("fmla v0.4s, v17.4s, v25.4s") // v0 = sr*dr + si*di
431 __ASM_EMIT("fmla v2.4s, v19.4s, v27.4s")
432 __ASM_EMIT("fmls v1.4s, v24.4s, v17.4s") // v1 = sr*di-si*dr
433 __ASM_EMIT("fmls v3.4s, v26.4s, v19.4s")
434 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
435 __ASM_EMIT("fmul v18.4s, v18.4s, v18.4s")
436 __ASM_EMIT("fmla v16.4s, v17.4s, v17.4s") // v16 = sr*sr+si*si
437 __ASM_EMIT("fmla v18.4s, v19.4s, v19.4s")
438 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
439 __ASM_EMIT("fdiv v13.4s, v8.4s, v18.4s")
440 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = (sr*dr + si*di) / (sr*sr+si*si)
441 __ASM_EMIT("fmul v2.4s, v2.4s, v13.4s")
442 __ASM_EMIT("fmul v1.4s, v1.4s, v12.4s") // v1 = (sr*di - si*dr) / (sr*sr+si*si)
443 __ASM_EMIT("fmul v3.4s, v3.4s, v13.4s")
444 __ASM_EMIT("sub %[dst], %[dst], #0x40") // dst -= 0x40
445 __ASM_EMIT("sub %[count], %[count], #8")
446 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
447 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst]], #0x20")
448 __ASM_EMIT("4:")
449 // x4 blocks
450 __ASM_EMIT("adds %[count], %[count], #4")
451 __ASM_EMIT("b.lt 6f")
452 __ASM_EMIT("ld2 {v24.4s, v25.4s}, [%[src]], #0x20") // v24 = dr1, v25 = di1
453 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[dst]]") // v16 = sr1, v17 = si1
454 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
455 __ASM_EMIT("fmul v1.4s, v16.4s, v25.4s") // v1 = sr*di
456 __ASM_EMIT("fmla v0.4s, v17.4s, v25.4s") // v0 = sr*dr + si*di
457 __ASM_EMIT("fmls v1.4s, v24.4s, v17.4s") // v1 = sr*di-si*dr
458 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
459 __ASM_EMIT("fmla v16.4s, v17.4s, v17.4s") // v16 = sr*sr+si*si
460 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
461 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = (sr*dr + si*di) / (sr*sr+si*si)
462 __ASM_EMIT("fmul v1.4s, v1.4s, v12.4s") // v1 = (sr*di - si*dr) / (sr*sr+si*si)
463 __ASM_EMIT("sub %[count], %[count], #4")
464 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
465 __ASM_EMIT("6:")
466 // x1 blocks
467 __ASM_EMIT("adds %[count], %[count], #3")
468 __ASM_EMIT("b.lt 8f")
469 __ASM_EMIT("7:")
470 __ASM_EMIT("ld2r {v24.4s, v25.4s}, [%[src]], #0x08") // v24 = dr1, v25 = di1
471 __ASM_EMIT("ld2r {v16.4s, v17.4s}, [%[dst]]") // v16 = sr1, v17 = si1
472 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
473 __ASM_EMIT("fmul v1.4s, v16.4s, v25.4s") // v1 = sr*di
474 __ASM_EMIT("fmla v0.4s, v17.4s, v25.4s") // v0 = sr*dr + si*di
475 __ASM_EMIT("fmls v1.4s, v24.4s, v17.4s") // v1 = sr*di-si*dr
476 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
477 __ASM_EMIT("fmla v16.4s, v17.4s, v17.4s") // v16 = sr*sr+si*si
478 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
479 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = (sr*dr + si*di) / (sr*sr+si*si)
480 __ASM_EMIT("fmul v1.4s, v1.4s, v12.4s") // v1 = (sr*di - si*dr) / (sr*sr+si*si)
481 __ASM_EMIT("st2 {v0.s, v1.s}[0], [%[dst]], #0x08")
482 __ASM_EMIT("subs %[count], %[count], #1")
483 __ASM_EMIT("b.ge 7b")
484 __ASM_EMIT("8:")
485
486 : [dst] "+r" (dst), [src] "+r" (src),
487 [count] "+r" (count)
488 : [kdiv] "r" (&pcomplex_div_const[0])
489 : "cc", "memory",
490 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
491 "v8", /* "v9", "v10", "v11", */ "v12", "v13", "v14", "v15", // Avoid usage if possible
492 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
493 "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31"
494 );
495 }
496
497 void pcomplex_div3(float *dst, const float *t, const float *b, size_t count)
498 {
499 ARCH_AARCH64_ASM
500 (
501 __ASM_EMIT("ldr q8, [%[kdiv]]")
502 // x16 blocks
503 __ASM_EMIT("subs %[count], %[count], #16")
504 __ASM_EMIT("b.lo 2f")
505 __ASM_EMIT("1:")
506 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[b]], #0x20") // v16 = sr1, v17 = si1
507 __ASM_EMIT("ld2 {v24.4s, v25.4s}, [%[t]], #0x20") // v24 = dr1, v25 = di1
508 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[b]], #0x20") // v18 = sr2, v19 = si2
509 __ASM_EMIT("ld2 {v26.4s, v27.4s}, [%[t]], #0x20") // v26 = dr2, v27 = di2
510 __ASM_EMIT("ld2 {v20.4s, v21.4s}, [%[b]], #0x20") // v20 = sr3, v21 = si3
511 __ASM_EMIT("ld2 {v28.4s, v29.4s}, [%[t]], #0x20") // v28 = dr3, v29 = di3
512 __ASM_EMIT("ld2 {v22.4s, v23.4s}, [%[b]], #0x20") // v22 = sr4, v23 = si4
513 __ASM_EMIT("ld2 {v30.4s, v31.4s}, [%[t]], #0x20") // v30 = dr4, v31 = di4
514 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
515 __ASM_EMIT("fmul v2.4s, v18.4s, v26.4s")
516 __ASM_EMIT("fmul v4.4s, v20.4s, v28.4s")
517 __ASM_EMIT("fmul v6.4s, v22.4s, v30.4s")
518 __ASM_EMIT("fmul v1.4s, v16.4s, v25.4s") // v1 = sr*di
519 __ASM_EMIT("fmul v3.4s, v18.4s, v27.4s")
520 __ASM_EMIT("fmul v5.4s, v20.4s, v29.4s")
521 __ASM_EMIT("fmul v7.4s, v22.4s, v31.4s")
522 __ASM_EMIT("fmla v0.4s, v17.4s, v25.4s") // v0 = sr*dr + si*di
523 __ASM_EMIT("fmla v2.4s, v19.4s, v27.4s")
524 __ASM_EMIT("fmla v4.4s, v21.4s, v29.4s")
525 __ASM_EMIT("fmla v6.4s, v23.4s, v31.4s")
526 __ASM_EMIT("fmls v1.4s, v24.4s, v17.4s") // v1 = sr*di-si*dr
527 __ASM_EMIT("fmls v3.4s, v26.4s, v19.4s")
528 __ASM_EMIT("fmls v5.4s, v28.4s, v21.4s")
529 __ASM_EMIT("fmls v7.4s, v30.4s, v23.4s")
530 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
531 __ASM_EMIT("fmul v18.4s, v18.4s, v18.4s")
532 __ASM_EMIT("fmul v20.4s, v20.4s, v20.4s")
533 __ASM_EMIT("fmul v22.4s, v22.4s, v22.4s")
534 __ASM_EMIT("fmla v16.4s, v17.4s, v17.4s") // v16 = sr*sr+si*si
535 __ASM_EMIT("fmla v18.4s, v19.4s, v19.4s")
536 __ASM_EMIT("fmla v20.4s, v21.4s, v21.4s")
537 __ASM_EMIT("fmla v22.4s, v23.4s, v23.4s")
538 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
539 __ASM_EMIT("fdiv v13.4s, v8.4s, v18.4s")
540 __ASM_EMIT("fdiv v14.4s, v8.4s, v20.4s")
541 __ASM_EMIT("fdiv v15.4s, v8.4s, v22.4s")
542 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = (sr*dr + si*di) / (sr*sr+si*si)
543 __ASM_EMIT("fmul v2.4s, v2.4s, v13.4s")
544 __ASM_EMIT("fmul v4.4s, v4.4s, v14.4s")
545 __ASM_EMIT("fmul v6.4s, v6.4s, v15.4s")
546 __ASM_EMIT("fmul v1.4s, v1.4s, v12.4s") // v1 = (sr*di - si*dr) / (sr*sr+si*si)
547 __ASM_EMIT("fmul v3.4s, v3.4s, v13.4s")
548 __ASM_EMIT("fmul v5.4s, v5.4s, v14.4s")
549 __ASM_EMIT("fmul v7.4s, v7.4s, v15.4s")
550 __ASM_EMIT("subs %[count], %[count], #16")
551 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
552 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst]], #0x20")
553 __ASM_EMIT("st2 {v4.4s, v5.4s}, [%[dst]], #0x20")
554 __ASM_EMIT("st2 {v6.4s, v7.4s}, [%[dst]], #0x20")
555 __ASM_EMIT("b.hs 1b")
556 __ASM_EMIT("2:")
557 // x8 blocks
558 __ASM_EMIT("adds %[count], %[count], #8")
559 __ASM_EMIT("b.lt 4f")
560 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[b]], #0x20") // v16 = sr1, v17 = si1
561 __ASM_EMIT("ld2 {v24.4s, v25.4s}, [%[t]], #0x20") // v24 = dr1, v25 = di1
562 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[b]], #0x20") // v18 = sr2, v19 = si2
563 __ASM_EMIT("ld2 {v26.4s, v27.4s}, [%[t]], #0x20") // v26 = dr2, v27 = di2
564 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
565 __ASM_EMIT("fmul v2.4s, v18.4s, v26.4s")
566 __ASM_EMIT("fmul v1.4s, v16.4s, v25.4s") // v1 = sr*di
567 __ASM_EMIT("fmul v3.4s, v18.4s, v27.4s")
568 __ASM_EMIT("fmla v0.4s, v17.4s, v25.4s") // v0 = sr*dr + si*di
569 __ASM_EMIT("fmla v2.4s, v19.4s, v27.4s")
570 __ASM_EMIT("fmls v1.4s, v24.4s, v17.4s") // v1 = sr*di-si*dr
571 __ASM_EMIT("fmls v3.4s, v26.4s, v19.4s")
572 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
573 __ASM_EMIT("fmul v18.4s, v18.4s, v18.4s")
574 __ASM_EMIT("fmla v16.4s, v17.4s, v17.4s") // v16 = sr*sr+si*si
575 __ASM_EMIT("fmla v18.4s, v19.4s, v19.4s")
576 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
577 __ASM_EMIT("fdiv v13.4s, v8.4s, v18.4s")
578 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = (sr*dr + si*di) / (sr*sr+si*si)
579 __ASM_EMIT("fmul v2.4s, v2.4s, v13.4s")
580 __ASM_EMIT("fmul v1.4s, v1.4s, v12.4s") // v1 = (sr*di - si*dr) / (sr*sr+si*si)
581 __ASM_EMIT("fmul v3.4s, v3.4s, v13.4s")
582 __ASM_EMIT("sub %[count], %[count], #8")
583 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
584 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst]], #0x20")
585 __ASM_EMIT("4:")
586 // x4 blocks
587 __ASM_EMIT("adds %[count], %[count], #4")
588 __ASM_EMIT("b.lt 6f")
589 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[b]], #0x20") // v16 = sr1, v17 = si1
590 __ASM_EMIT("ld2 {v24.4s, v25.4s}, [%[t]], #0x20") // v24 = dr1, v25 = di1
591 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
592 __ASM_EMIT("fmul v1.4s, v16.4s, v25.4s") // v1 = sr*di
593 __ASM_EMIT("fmla v0.4s, v17.4s, v25.4s") // v0 = sr*dr + si*di
594 __ASM_EMIT("fmls v1.4s, v24.4s, v17.4s") // v1 = sr*di-si*dr
595 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
596 __ASM_EMIT("fmla v16.4s, v17.4s, v17.4s") // v16 = sr*sr+si*si
597 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
598 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = (sr*dr + si*di) / (sr*sr+si*si)
599 __ASM_EMIT("fmul v1.4s, v1.4s, v12.4s") // v1 = (sr*di - si*dr) / (sr*sr+si*si)
600 __ASM_EMIT("sub %[count], %[count], #4")
601 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
602 __ASM_EMIT("6:")
603 // x1 blocks
604 __ASM_EMIT("adds %[count], %[count], #3")
605 __ASM_EMIT("b.lt 8f")
606 __ASM_EMIT("7:")
607 __ASM_EMIT("ld2r {v16.4s, v17.4s}, [%[b]], #0x08") // v16 = sr1, v17 = si1
608 __ASM_EMIT("ld2r {v24.4s, v25.4s}, [%[t]], #0x08") // v24 = dr1, v25 = di1
609 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
610 __ASM_EMIT("fmul v1.4s, v16.4s, v25.4s") // v1 = sr*di
611 __ASM_EMIT("fmla v0.4s, v17.4s, v25.4s") // v0 = sr*dr + si*di
612 __ASM_EMIT("fmls v1.4s, v24.4s, v17.4s") // v1 = sr*di-si*dr
613 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
614 __ASM_EMIT("fmla v16.4s, v17.4s, v17.4s") // v16 = sr*sr+si*si
615 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
616 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = (sr*dr + si*di) / (sr*sr+si*si)
617 __ASM_EMIT("fmul v1.4s, v1.4s, v12.4s") // v1 = (sr*di - si*dr) / (sr*sr+si*si)
618 __ASM_EMIT("st2 {v0.s, v1.s}[0], [%[dst]], #0x08")
619 __ASM_EMIT("subs %[count], %[count], #1")
620 __ASM_EMIT("b.ge 7b")
621 __ASM_EMIT("8:")
622
623 : [dst] "+r" (dst), [t] "+r" (t), [b] "+r" (b),
624 [count] "+r" (count)
625 : [kdiv] "r" (&pcomplex_div_const[0])
626 : "cc", "memory",
627 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
628 "v8", /* "v9", "v10", "v11", */ "v12", "v13", "v14", "v15", // Avoid usage if possible
629 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
630 "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31"
631 );
632 }
633
634 void pcomplex_mod(float *dst, const float *src, size_t count)
635 {
636 ARCH_AARCH64_ASM
637 (
638 __ASM_EMIT("subs %[count], %[count], #16")
639 __ASM_EMIT("b.lo 2f")
640
641 // x16 blocks
642 __ASM_EMIT("1:")
643 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[src]], #0x20") // v16 = sr1, v17 = si1
644 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[src]], #0x20") // v18 = sr2, v19 = si2
645 __ASM_EMIT("ld2 {v20.4s, v21.4s}, [%[src]], #0x20") // v20 = sr3, v21 = si3
646 __ASM_EMIT("ld2 {v22.4s, v23.4s}, [%[src]], #0x20") // v22 = sr4, v23 = si4
647
648 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
649 __ASM_EMIT("fmul v18.4s, v18.4s, v18.4s")
650 __ASM_EMIT("fmul v20.4s, v20.4s, v20.4s")
651 __ASM_EMIT("fmul v22.4s, v22.4s, v22.4s")
652 __ASM_EMIT("fmla v16.4s, v17.4s, v17.4s") // v16 = sr*dr + si*di
653 __ASM_EMIT("fmla v18.4s, v19.4s, v19.4s")
654 __ASM_EMIT("fmla v20.4s, v21.4s, v21.4s")
655 __ASM_EMIT("fmla v22.4s, v23.4s, v23.4s")
656 __ASM_EMIT("fsqrt v0.4s, v16.4s")
657 __ASM_EMIT("fsqrt v1.4s, v18.4s")
658 __ASM_EMIT("fsqrt v2.4s, v20.4s")
659 __ASM_EMIT("fsqrt v3.4s, v22.4s")
660
661 __ASM_EMIT("subs %[count], %[count], #16")
662 __ASM_EMIT("st1 {v0.4s-v3.4s}, [%[dst]], #0x40")
663 __ASM_EMIT("b.hs 1b")
664
665 // x8 blocks
666 __ASM_EMIT("2:")
667 __ASM_EMIT("adds %[count], %[count], #8")
668 __ASM_EMIT("b.lt 4f")
669 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[src]], #0x20") // v16 = sr1, v17 = si1
670 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[src]], #0x20") // v18 = sr2, v19 = si2
671
672 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
673 __ASM_EMIT("fmul v18.4s, v18.4s, v18.4s")
674 __ASM_EMIT("fmla v16.4s, v17.4s, v17.4s") // v16 = sr*dr + si*di
675 __ASM_EMIT("fmla v18.4s, v19.4s, v19.4s")
676 __ASM_EMIT("fsqrt v0.4s, v16.4s")
677 __ASM_EMIT("fsqrt v1.4s, v18.4s")
678
679 __ASM_EMIT("sub %[count], %[count], #8")
680 __ASM_EMIT("st1 {v0.4s, v1.4s}, [%[dst]], #0x20")
681
682 // x4 blocks
683 __ASM_EMIT("4:")
684 __ASM_EMIT("adds %[count], %[count], #4")
685 __ASM_EMIT("b.lt 6f")
686 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[src]], #0x20") // v16 = sr1, v17 = si1
687
688 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
689 __ASM_EMIT("fmla v16.4s, v17.4s, v17.4s") // v16 = sr*dr + si*di
690 __ASM_EMIT("fsqrt v0.4s, v16.4s")
691 __ASM_EMIT("sub %[count], %[count], #4")
692 __ASM_EMIT("st1 {v0.4s}, [%[dst]], #0x10")
693
694 // x1 blocks
695 __ASM_EMIT("6:")
696 __ASM_EMIT("adds %[count], %[count], #3")
697 __ASM_EMIT("b.lt 8f")
698 __ASM_EMIT("7:")
699 __ASM_EMIT("ld2r {v16.4s, v17.4s}, [%[src]], #0x08") // v16 = sr1, v17 = si1
700 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
701 __ASM_EMIT("fmla v16.4s, v17.4s, v17.4s") // v16 = sr*dr + si*di
702 __ASM_EMIT("fsqrt v0.4s, v16.4s")
703 __ASM_EMIT("subs %[count], %[count], #1")
704 __ASM_EMIT("str s0, [%[dst]], #0x04")
705 __ASM_EMIT("b.ge 7b")
706
707 __ASM_EMIT("8:")
708
709 : [dst] "+r" (dst), [src] "+r" (src),
710 [count] "+r" (count)
711 :
712 : "cc", "memory",
713 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
714 // "v8", "v9", "v10", "v11", "v12", "v13", "v14", "v15", // Avoid usage if possible
715 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
716 "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31"
717 );
718 }
719
720 void pcomplex_rcp1(float *dst, size_t count)
721 {
722 ARCH_AARCH64_ASM
723 (
724 __ASM_EMIT("subs %[count], %[count], #16")
725 __ASM_EMIT("b.lo 2f")
726
727 // x16 blocks
728 __ASM_EMIT("1:")
729 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[dst]], #0x20") // v16 = sr1, v17 = si1
730 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[dst]], #0x20") // v18 = sr2, v19 = si2
731 __ASM_EMIT("ld2 {v20.4s, v21.4s}, [%[dst]], #0x20") // v20 = sr3, v21 = si3
732 __ASM_EMIT("ld2 {v22.4s, v23.4s}, [%[dst]], #0x20") // v22 = sr4, v23 = si4
733
734 __ASM_EMIT("fmul v24.4s, v16.4s, v16.4s") // v24 = sr*sr
735 __ASM_EMIT("fmul v25.4s, v18.4s, v18.4s")
736 __ASM_EMIT("fmul v26.4s, v20.4s, v20.4s")
737 __ASM_EMIT("fmul v27.4s, v22.4s, v22.4s")
738 __ASM_EMIT("fmla v24.4s, v17.4s, v17.4s") // v24 = sr*dr + si*di
739 __ASM_EMIT("fmla v25.4s, v19.4s, v19.4s")
740 __ASM_EMIT("fmla v26.4s, v21.4s, v21.4s")
741 __ASM_EMIT("fmla v27.4s, v23.4s, v23.4s")
742 __ASM_EMIT("fneg v17.4s, v17.4s") // v17 = -si
743 __ASM_EMIT("fneg v19.4s, v19.4s")
744 __ASM_EMIT("fneg v21.4s, v21.4s")
745 __ASM_EMIT("fneg v23.4s, v23.4s")
746 __ASM_EMIT("fdiv v16.4s, v16.4s, v24.4s") // v16 = sr/(sr*dr + si*di)
747 __ASM_EMIT("fdiv v18.4s, v18.4s, v25.4s")
748 __ASM_EMIT("fdiv v20.4s, v20.4s, v26.4s")
749 __ASM_EMIT("fdiv v22.4s, v22.4s, v27.4s")
750 __ASM_EMIT("fdiv v17.4s, v17.4s, v24.4s") // v17 = -si/(sr*dr + si*di)
751 __ASM_EMIT("fdiv v19.4s, v19.4s, v25.4s")
752 __ASM_EMIT("fdiv v21.4s, v21.4s, v26.4s")
753 __ASM_EMIT("fdiv v23.4s, v23.4s, v27.4s")
754
755 __ASM_EMIT("sub %[dst], %[dst], 0x80")
756 __ASM_EMIT("subs %[count], %[count], #16")
757 __ASM_EMIT("st2 {v16.4s, v17.4s}, [%[dst]], #0x20")
758 __ASM_EMIT("st2 {v18.4s, v19.4s}, [%[dst]], #0x20")
759 __ASM_EMIT("st2 {v20.4s, v21.4s}, [%[dst]], #0x20")
760 __ASM_EMIT("st2 {v22.4s, v23.4s}, [%[dst]], #0x20")
761 __ASM_EMIT("b.hs 1b")
762
763 // x8 blocks
764 __ASM_EMIT("2:")
765 __ASM_EMIT("adds %[count], %[count], #8")
766 __ASM_EMIT("b.lt 4f")
767 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[dst]], #0x20") // v16 = sr1, v17 = si1
768 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[dst]], #0x20") // v18 = sr2, v19 = si2
769
770 __ASM_EMIT("fmul v24.4s, v16.4s, v16.4s") // v24 = sr*sr
771 __ASM_EMIT("fmul v25.4s, v18.4s, v18.4s")
772 __ASM_EMIT("fmla v24.4s, v17.4s, v17.4s") // v24 = sr*dr + si*di
773 __ASM_EMIT("fmla v25.4s, v19.4s, v19.4s")
774 __ASM_EMIT("fneg v17.4s, v17.4s") // v17 = -si
775 __ASM_EMIT("fneg v19.4s, v19.4s")
776 __ASM_EMIT("fdiv v16.4s, v16.4s, v24.4s") // v16 = sr/(sr*dr + si*di)
777 __ASM_EMIT("fdiv v18.4s, v18.4s, v25.4s")
778 __ASM_EMIT("fdiv v17.4s, v17.4s, v24.4s") // v17 = -si/(sr*dr + si*di)
779 __ASM_EMIT("fdiv v19.4s, v19.4s, v25.4s")
780
781 __ASM_EMIT("sub %[dst], %[dst], 0x40")
782 __ASM_EMIT("sub %[count], %[count], #8")
783 __ASM_EMIT("st2 {v16.4s, v17.4s}, [%[dst]], #0x20")
784 __ASM_EMIT("st2 {v18.4s, v19.4s}, [%[dst]], #0x20")
785
786 // x4 blocks
787 __ASM_EMIT("4:")
788 __ASM_EMIT("adds %[count], %[count], #4")
789 __ASM_EMIT("b.lt 6f")
790 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[dst]]") // v16 = sr1, v17 = si1
791 __ASM_EMIT("fmul v24.4s, v16.4s, v16.4s") // v24 = sr*sr
792 __ASM_EMIT("fmla v24.4s, v17.4s, v17.4s") // v24 = sr*dr + si*di
793 __ASM_EMIT("fneg v17.4s, v17.4s") // v17 = -si
794 __ASM_EMIT("fdiv v16.4s, v16.4s, v24.4s") // v16 = sr/(sr*dr + si*di)
795 __ASM_EMIT("fdiv v17.4s, v17.4s, v24.4s") // v17 = -si/(sr*dr + si*di)
796 __ASM_EMIT("sub %[count], %[count], #4")
797 __ASM_EMIT("st2 {v16.4s, v17.4s}, [%[dst]], #0x20")
798
799 // x1 blocks
800 __ASM_EMIT("6:")
801 __ASM_EMIT("adds %[count], %[count], #3")
802 __ASM_EMIT("b.lt 8f")
803 __ASM_EMIT("7:")
804 __ASM_EMIT("ld2r {v16.4s, v17.4s}, [%[dst]]") // v16 = sr1, v17 = si1
805 __ASM_EMIT("fmul v24.4s, v16.4s, v16.4s") // v24 = sr*sr
806 __ASM_EMIT("fmla v24.4s, v17.4s, v17.4s") // v24 = sr*dr + si*di
807 __ASM_EMIT("fneg v17.4s, v17.4s") // v17 = -si
808 __ASM_EMIT("fdiv v16.4s, v16.4s, v24.4s") // v16 = sr/(sr*dr + si*di)
809 __ASM_EMIT("fdiv v17.4s, v17.4s, v24.4s") // v17 = -si/(sr*dr + si*di)
810 __ASM_EMIT("str s16, [%[dst]], #0x04")
811 __ASM_EMIT("subs %[count], %[count], #1")
812 __ASM_EMIT("str s17, [%[dst]], #0x04")
813 __ASM_EMIT("b.ge 7b")
814
815 __ASM_EMIT("8:")
816
817 : [dst] "+r" (dst),
818 [count] "+r" (count)
819 :
820 : "cc", "memory",
821 // "v8", "v9", "v10", "v11", "v12", "v13", "v14", "v15", // Avoid usage if possible
822 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
823 "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31"
824 );
825 }
826
827 void pcomplex_rcp2(float *dst, const float *src, size_t count)
828 {
829 ARCH_AARCH64_ASM
830 (
831 __ASM_EMIT("subs %[count], %[count], #16")
832 __ASM_EMIT("b.lo 2f")
833
834 // x16 blocks
835 __ASM_EMIT("1:")
836 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[src]], #0x20") // v16 = sr1, v17 = si1
837 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[src]], #0x20") // v18 = sr2, v19 = si2
838 __ASM_EMIT("ld2 {v20.4s, v21.4s}, [%[src]], #0x20") // v20 = sr3, v21 = si3
839 __ASM_EMIT("ld2 {v22.4s, v23.4s}, [%[src]], #0x20") // v22 = sr4, v23 = si4
840
841 __ASM_EMIT("fmul v24.4s, v16.4s, v16.4s") // v24 = sr*sr
842 __ASM_EMIT("fmul v25.4s, v18.4s, v18.4s")
843 __ASM_EMIT("fmul v26.4s, v20.4s, v20.4s")
844 __ASM_EMIT("fmul v27.4s, v22.4s, v22.4s")
845 __ASM_EMIT("fmla v24.4s, v17.4s, v17.4s") // v24 = sr*dr + si*di
846 __ASM_EMIT("fmla v25.4s, v19.4s, v19.4s")
847 __ASM_EMIT("fmla v26.4s, v21.4s, v21.4s")
848 __ASM_EMIT("fmla v27.4s, v23.4s, v23.4s")
849 __ASM_EMIT("fneg v17.4s, v17.4s") // v17 = -si
850 __ASM_EMIT("fneg v19.4s, v19.4s")
851 __ASM_EMIT("fneg v21.4s, v21.4s")
852 __ASM_EMIT("fneg v23.4s, v23.4s")
853 __ASM_EMIT("fdiv v16.4s, v16.4s, v24.4s") // v16 = sr/(sr*dr + si*di)
854 __ASM_EMIT("fdiv v18.4s, v18.4s, v25.4s")
855 __ASM_EMIT("fdiv v20.4s, v20.4s, v26.4s")
856 __ASM_EMIT("fdiv v22.4s, v22.4s, v27.4s")
857 __ASM_EMIT("fdiv v17.4s, v17.4s, v24.4s") // v17 = -si/(sr*dr + si*di)
858 __ASM_EMIT("fdiv v19.4s, v19.4s, v25.4s")
859 __ASM_EMIT("fdiv v21.4s, v21.4s, v26.4s")
860 __ASM_EMIT("fdiv v23.4s, v23.4s, v27.4s")
861
862 __ASM_EMIT("subs %[count], %[count], #16")
863 __ASM_EMIT("st2 {v16.4s, v17.4s}, [%[dst]], #0x20")
864 __ASM_EMIT("st2 {v18.4s, v19.4s}, [%[dst]], #0x20")
865 __ASM_EMIT("st2 {v20.4s, v21.4s}, [%[dst]], #0x20")
866 __ASM_EMIT("st2 {v22.4s, v23.4s}, [%[dst]], #0x20")
867 __ASM_EMIT("b.hs 1b")
868
869 // x8 blocks
870 __ASM_EMIT("2:")
871 __ASM_EMIT("adds %[count], %[count], #8")
872 __ASM_EMIT("b.lt 4f")
873 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[src]], #0x20") // v16 = sr1, v17 = si1
874 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[src]], #0x20") // v18 = sr2, v19 = si2
875
876 __ASM_EMIT("fmul v24.4s, v16.4s, v16.4s") // v24 = sr*sr
877 __ASM_EMIT("fmul v25.4s, v18.4s, v18.4s")
878 __ASM_EMIT("fmla v24.4s, v17.4s, v17.4s") // v24 = sr*dr + si*di
879 __ASM_EMIT("fmla v25.4s, v19.4s, v19.4s")
880 __ASM_EMIT("fneg v17.4s, v17.4s") // v17 = -si
881 __ASM_EMIT("fneg v19.4s, v19.4s")
882 __ASM_EMIT("fdiv v16.4s, v16.4s, v24.4s") // v16 = sr/(sr*dr + si*di)
883 __ASM_EMIT("fdiv v18.4s, v18.4s, v25.4s")
884 __ASM_EMIT("fdiv v17.4s, v17.4s, v24.4s") // v17 = -si/(sr*dr + si*di)
885 __ASM_EMIT("fdiv v19.4s, v19.4s, v25.4s")
886
887 __ASM_EMIT("sub %[count], %[count], #8")
888 __ASM_EMIT("st2 {v16.4s, v17.4s}, [%[dst]], #0x20")
889 __ASM_EMIT("st2 {v18.4s, v19.4s}, [%[dst]], #0x20")
890
891 // x4 blocks
892 __ASM_EMIT("4:")
893 __ASM_EMIT("adds %[count], %[count], #4")
894 __ASM_EMIT("b.lt 6f")
895 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[src]], #0x20") // v16 = sr1, v17 = si1
896 __ASM_EMIT("fmul v24.4s, v16.4s, v16.4s") // v24 = sr*sr
897 __ASM_EMIT("fmla v24.4s, v17.4s, v17.4s") // v24 = sr*dr + si*di
898 __ASM_EMIT("fneg v17.4s, v17.4s") // v17 = -si
899 __ASM_EMIT("fdiv v16.4s, v16.4s, v24.4s") // v16 = sr/(sr*dr + si*di)
900 __ASM_EMIT("fdiv v17.4s, v17.4s, v24.4s") // v17 = -si/(sr*dr + si*di)
901 __ASM_EMIT("sub %[count], %[count], #4")
902 __ASM_EMIT("st2 {v16.4s, v17.4s}, [%[dst]], #0x20")
903
904 // x1 blocks
905 __ASM_EMIT("6:")
906 __ASM_EMIT("adds %[count], %[count], #3")
907 __ASM_EMIT("b.lt 8f")
908 __ASM_EMIT("7:")
909 __ASM_EMIT("ld2r {v16.4s, v17.4s}, [%[src]], #0x08") // v16 = sr1, v17 = si1
910 __ASM_EMIT("fmul v24.4s, v16.4s, v16.4s") // v24 = sr*sr
911 __ASM_EMIT("fmla v24.4s, v17.4s, v17.4s") // v24 = sr*dr + si*di
912 __ASM_EMIT("fneg v17.4s, v17.4s") // v17 = -si
913 __ASM_EMIT("fdiv v16.4s, v16.4s, v24.4s") // v16 = sr/(sr*dr + si*di)
914 __ASM_EMIT("fdiv v17.4s, v17.4s, v24.4s") // v17 = -si/(sr*dr + si*di)
915 __ASM_EMIT("str s16, [%[dst]], #0x04")
916 __ASM_EMIT("subs %[count], %[count], #1")
917 __ASM_EMIT("str s17, [%[dst]], #0x04")
918 __ASM_EMIT("b.ge 7b")
919
920 __ASM_EMIT("8:")
921
922 : [dst] "+r" (dst), [src] "+r" (src),
923 [count] "+r" (count)
924 :
925 : "cc", "memory",
926 // "v8", "v9", "v10", "v11", "v12", "v13", "v14", "v15", // Avoid usage if possible
927 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
928 "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31"
929 );
930 }
931
932 void pcomplex_r2c(float *dst, const float *src, size_t count)
933 {
934 ARCH_AARCH64_ASM
935 (
936 __ASM_EMIT("subs %[count], %[count], #32")
937 __ASM_EMIT("b.lo 2f")
938
939 // x32 blocks
940 __ASM_EMIT("eor v25.16b, v25.16b, v25.16b")
941 __ASM_EMIT("eor v27.16b, v27.16b, v27.16b")
942 __ASM_EMIT("eor v29.16b, v29.16b, v29.16b")
943 __ASM_EMIT("eor v31.16b, v31.16b, v31.16b")
944
945 __ASM_EMIT("1:")
946 __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[src]], #0x40")
947 __ASM_EMIT("ld1 {v20.4s-v23.4s}, [%[src]], #0x40")
948
949 __ASM_EMIT("mov v30.16b, v23.16b")
950 __ASM_EMIT("mov v28.16b, v22.16b")
951 __ASM_EMIT("mov v26.16b, v21.16b")
952 __ASM_EMIT("mov v24.16b, v20.16b")
953 __ASM_EMIT("mov v22.16b, v19.16b")
954 __ASM_EMIT("mov v20.16b, v18.16b")
955 __ASM_EMIT("mov v18.16b, v17.16b")
956 __ASM_EMIT("eor v17.16b, v17.16b, v17.16b")
957 __ASM_EMIT("eor v19.16b, v19.16b, v19.16b")
958 __ASM_EMIT("eor v21.16b, v21.16b, v21.16b")
959 __ASM_EMIT("eor v23.16b, v23.16b, v23.16b")
960
961 __ASM_EMIT("subs %[count], %[count], #32")
962 __ASM_EMIT("st2 {v16.4s, v17.4s}, [%[dst]], #0x20")
963 __ASM_EMIT("st2 {v18.4s, v19.4s}, [%[dst]], #0x20")
964 __ASM_EMIT("st2 {v20.4s, v21.4s}, [%[dst]], #0x20")
965 __ASM_EMIT("st2 {v22.4s, v23.4s}, [%[dst]], #0x20")
966 __ASM_EMIT("st2 {v24.4s, v25.4s}, [%[dst]], #0x20")
967 __ASM_EMIT("st2 {v26.4s, v27.4s}, [%[dst]], #0x20")
968 __ASM_EMIT("st2 {v28.4s, v29.4s}, [%[dst]], #0x20")
969 __ASM_EMIT("st2 {v30.4s, v31.4s}, [%[dst]], #0x20")
970 __ASM_EMIT("b.hs 1b")
971
972 // x16 blocks
973 __ASM_EMIT("2:")
974 __ASM_EMIT("adds %[count], %[count], #16")
975 __ASM_EMIT("b.lt 4f")
976 __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[src]], #0x40")
977
978 __ASM_EMIT("mov v22.16b, v19.16b")
979 __ASM_EMIT("mov v20.16b, v18.16b")
980 __ASM_EMIT("mov v18.16b, v17.16b")
981 __ASM_EMIT("eor v17.16b, v17.16b, v17.16b")
982 __ASM_EMIT("eor v19.16b, v19.16b, v19.16b")
983 __ASM_EMIT("eor v21.16b, v21.16b, v21.16b")
984 __ASM_EMIT("eor v23.16b, v23.16b, v23.16b")
985
986 __ASM_EMIT("sub %[count], %[count], #16")
987 __ASM_EMIT("st2 {v16.4s, v17.4s}, [%[dst]], #0x20")
988 __ASM_EMIT("st2 {v18.4s, v19.4s}, [%[dst]], #0x20")
989 __ASM_EMIT("st2 {v20.4s, v21.4s}, [%[dst]], #0x20")
990 __ASM_EMIT("st2 {v22.4s, v23.4s}, [%[dst]], #0x20")
991
992 // x8 block
993 __ASM_EMIT("4:")
994 __ASM_EMIT("adds %[count], %[count], #8")
995 __ASM_EMIT("b.lt 6f")
996 __ASM_EMIT("ld1 {v16.4s, v17.4s}, [%[src]], #0x20")
997
998 __ASM_EMIT("mov v18.16b, v17.16b")
999 __ASM_EMIT("eor v17.16b, v17.16b, v17.16b")
1000 __ASM_EMIT("eor v19.16b, v19.16b, v19.16b")
1001
1002 __ASM_EMIT("sub %[count], %[count], #8")
1003 __ASM_EMIT("st2 {v16.4s, v17.4s}, [%[dst]], #0x20")
1004 __ASM_EMIT("st2 {v18.4s, v19.4s}, [%[dst]], #0x20")
1005
1006 // x4 blocks
1007 __ASM_EMIT("6:")
1008 __ASM_EMIT("adds %[count], %[count], #4")
1009 __ASM_EMIT("b.lt 8f")
1010 __ASM_EMIT("ld1 {v16.4s}, [%[src]], #0x10")
1011 __ASM_EMIT("mov v18.16b, v17.16b")
1012 __ASM_EMIT("eor v17.16b, v17.16b, v17.16b")
1013 __ASM_EMIT("sub %[count], %[count], #4")
1014 __ASM_EMIT("st2 {v16.4s, v17.4s}, [%[dst]], #0x20")
1015
1016 // x1 blocks
1017 __ASM_EMIT("8:")
1018 __ASM_EMIT("adds %[count], %[count], #3")
1019 __ASM_EMIT("b.lt 10f")
1020 __ASM_EMIT("9:")
1021 __ASM_EMIT("ldr s0, [%[src]], #0x04")
1022 __ASM_EMIT("str s0, [%[dst]], #0x04")
1023 __ASM_EMIT("subs %[count], %[count], #1")
1024 __ASM_EMIT("str s31, [%[dst]], #0x04")
1025 __ASM_EMIT("b.ge 9b")
1026
1027 __ASM_EMIT("10:")
1028
1029 : [dst] "+r" (dst), [src] "+r" (src),
1030 [count] "+r" (count)
1031 :
1032 : "cc", "memory",
1033 // "v8", "v9", "v10", "v11", "v12", "v13", "v14", "v15", // Avoid usage if possible
1034 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
1035 "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31"
1036 );
1037 }
1038
1039 void pcomplex_c2r(float *dst, const float *src, size_t count)
1040 {
1041 ARCH_AARCH64_ASM
1042 (
1043 __ASM_EMIT("subs %[count], %[count], #32")
1044 __ASM_EMIT("b.lo 2f")
1045
1046 // x32 blocks
1047 __ASM_EMIT("1:")
1048 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[src]], #0x20")
1049 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[src]], #0x20")
1050 __ASM_EMIT("ld2 {v20.4s, v21.4s}, [%[src]], #0x20")
1051 __ASM_EMIT("ld2 {v22.4s, v23.4s}, [%[src]], #0x20")
1052 __ASM_EMIT("ld2 {v24.4s, v25.4s}, [%[src]], #0x20")
1053 __ASM_EMIT("ld2 {v26.4s, v27.4s}, [%[src]], #0x20")
1054 __ASM_EMIT("ld2 {v28.4s, v29.4s}, [%[src]], #0x20")
1055 __ASM_EMIT("ld2 {v30.4s, v31.4s}, [%[src]], #0x20")
1056
1057 __ASM_EMIT("mov v17.16b, v18.16b")
1058 __ASM_EMIT("mov v18.16b, v20.16b")
1059 __ASM_EMIT("mov v19.16b, v22.16b")
1060 __ASM_EMIT("mov v20.16b, v24.16b")
1061 __ASM_EMIT("mov v21.16b, v26.16b")
1062 __ASM_EMIT("mov v22.16b, v28.16b")
1063 __ASM_EMIT("mov v23.16b, v30.16b")
1064
1065 __ASM_EMIT("subs %[count], %[count], #32")
1066 __ASM_EMIT("st1 {v16.4s-v19.4s}, [%[dst]], #0x40")
1067 __ASM_EMIT("st1 {v20.4s-v23.4s}, [%[dst]], #0x40")
1068 __ASM_EMIT("b.hs 1b")
1069
1070 // x16 blocks
1071 __ASM_EMIT("2:")
1072 __ASM_EMIT("adds %[count], %[count], #16")
1073 __ASM_EMIT("b.lt 4f")
1074 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[src]], #0x20")
1075 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[src]], #0x20")
1076 __ASM_EMIT("ld2 {v20.4s, v21.4s}, [%[src]], #0x20")
1077 __ASM_EMIT("ld2 {v22.4s, v23.4s}, [%[src]], #0x20")
1078
1079 __ASM_EMIT("mov v17.16b, v18.16b")
1080 __ASM_EMIT("mov v18.16b, v20.16b")
1081 __ASM_EMIT("mov v19.16b, v22.16b")
1082
1083 __ASM_EMIT("sub %[count], %[count], #16")
1084 __ASM_EMIT("st1 {v16.4s-v19.4s}, [%[dst]], #0x40")
1085
1086 // x8 block
1087 __ASM_EMIT("4:")
1088 __ASM_EMIT("adds %[count], %[count], #8")
1089 __ASM_EMIT("b.lt 6f")
1090 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[src]], #0x20")
1091 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[src]], #0x20")
1092 __ASM_EMIT("mov v17.16b, v18.16b")
1093 __ASM_EMIT("sub %[count], %[count], #8")
1094 __ASM_EMIT("st1 {v16.4s, v17.4s}, [%[dst]], #0x20")
1095
1096 // x4 blocks
1097 __ASM_EMIT("6:")
1098 __ASM_EMIT("adds %[count], %[count], #4")
1099 __ASM_EMIT("b.lt 8f")
1100 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[src]], #0x20")
1101 __ASM_EMIT("mov v17.16b, v18.16b")
1102 __ASM_EMIT("sub %[count], %[count], #4")
1103 __ASM_EMIT("st1 {v16.4s}, [%[dst]], #0x10")
1104
1105 // x1 blocks
1106 __ASM_EMIT("8:")
1107 __ASM_EMIT("adds %[count], %[count], #3")
1108 __ASM_EMIT("b.lt 10f")
1109 __ASM_EMIT("9:")
1110 __ASM_EMIT("ld2 {v16.s, v17.s}[0], [%[src]], #0x08")
1111 __ASM_EMIT("subs %[count], %[count], #1")
1112 __ASM_EMIT("str s16, [%[dst]], #0x04")
1113 __ASM_EMIT("b.ge 9b")
1114
1115 __ASM_EMIT("10:")
1116
1117 : [dst] "+r" (dst), [src] "+r" (src),
1118 [count] "+r" (count)
1119 :
1120 : "cc", "memory",
1121 // "v8", "v9", "v10", "v11", "v12", "v13", "v14", "v15", // Avoid usage if possible
1122 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
1123 "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31"
1124 );
1125 }
1126
1127 void pcomplex_r2c_add2(float *dst, const float *src, size_t count)
1128 {
1129 ARCH_AARCH64_ASM
1130 (
1131 // x16 blocks
1132 __ASM_EMIT("subs %[count], %[count], #16")
1133 __ASM_EMIT("b.lo 2f")
1134 __ASM_EMIT("1:")
1135 __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1136 __ASM_EMIT("ld2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1137 __ASM_EMIT("ld2 {v4.4s, v5.4s}, [%[dst]], #0x20")
1138 __ASM_EMIT("ld2 {v6.4s, v7.4s}, [%[dst]], #0x20")
1139 __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[src]], #0x40")
1140 __ASM_EMIT("fadd v0.4s, v0.4s, v16.4s")
1141 __ASM_EMIT("fadd v2.4s, v2.4s, v17.4s")
1142 __ASM_EMIT("fadd v4.4s, v4.4s, v18.4s")
1143 __ASM_EMIT("fadd v6.4s, v6.4s, v19.4s")
1144 __ASM_EMIT("sub %[dst], %[dst], #0x80")
1145 __ASM_EMIT("subs %[count], %[count], #16")
1146 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1147 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1148 __ASM_EMIT("st2 {v4.4s, v5.4s}, [%[dst]], #0x20")
1149 __ASM_EMIT("st2 {v6.4s, v7.4s}, [%[dst]], #0x20")
1150 __ASM_EMIT("b.hs 1b")
1151 // x8 block
1152 __ASM_EMIT("2:")
1153 __ASM_EMIT("adds %[count], %[count], #8")
1154 __ASM_EMIT("b.lt 4f")
1155 __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1156 __ASM_EMIT("ld2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1157 __ASM_EMIT("ld1 {v16.4s-v17.4s}, [%[src]], #0x20")
1158 __ASM_EMIT("fadd v0.4s, v0.4s, v16.4s")
1159 __ASM_EMIT("fadd v2.4s, v2.4s, v17.4s")
1160 __ASM_EMIT("sub %[dst], %[dst], #0x40")
1161 __ASM_EMIT("sub %[count], %[count], #8")
1162 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1163 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1164 // x4 block
1165 __ASM_EMIT("4:")
1166 __ASM_EMIT("adds %[count], %[count], #4")
1167 __ASM_EMIT("b.lt 6f")
1168 __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[dst]]")
1169 __ASM_EMIT("ld1 {v16.4s}, [%[src]], #0x10")
1170 __ASM_EMIT("fadd v0.4s, v0.4s, v16.4s")
1171 __ASM_EMIT("sub %[count], %[count], #4")
1172 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1173 // x1 blocks
1174 __ASM_EMIT("6:")
1175 __ASM_EMIT("adds %[count], %[count], #3")
1176 __ASM_EMIT("b.lt 8f")
1177 __ASM_EMIT("7:")
1178 __ASM_EMIT("ld2r {v0.4s, v1.4s}, [%[dst]]")
1179 __ASM_EMIT("ld1r {v16.4s}, [%[src]], #0x04")
1180 __ASM_EMIT("fadd v0.4s, v0.4s, v16.4s")
1181 __ASM_EMIT("subs %[count], %[count], #1")
1182 __ASM_EMIT("st2 {v0.s, v1.s}[0], [%[dst]], #0x08")
1183 __ASM_EMIT("b.ge 7b")
1184
1185 __ASM_EMIT("8:")
1186
1187 : [dst] "+r" (dst), [src] "+r" (src),
1188 [count] "+r" (count)
1189 :
1190 : "cc", "memory",
1191 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
1192 "v16", "v17", "v18", "v19"
1193 );
1194 }
1195
1196 void pcomplex_r2c_sub2(float *dst, const float *src, size_t count)
1197 {
1198 ARCH_AARCH64_ASM
1199 (
1200 // x16 blocks
1201 __ASM_EMIT("subs %[count], %[count], #16")
1202 __ASM_EMIT("b.lo 2f")
1203 __ASM_EMIT("1:")
1204 __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1205 __ASM_EMIT("ld2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1206 __ASM_EMIT("ld2 {v4.4s, v5.4s}, [%[dst]], #0x20")
1207 __ASM_EMIT("ld2 {v6.4s, v7.4s}, [%[dst]], #0x20")
1208 __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[src]], #0x40")
1209 __ASM_EMIT("fsub v0.4s, v0.4s, v16.4s")
1210 __ASM_EMIT("fsub v2.4s, v2.4s, v17.4s")
1211 __ASM_EMIT("fsub v4.4s, v4.4s, v18.4s")
1212 __ASM_EMIT("fsub v6.4s, v6.4s, v19.4s")
1213 __ASM_EMIT("sub %[dst], %[dst], #0x80")
1214 __ASM_EMIT("subs %[count], %[count], #16")
1215 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1216 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1217 __ASM_EMIT("st2 {v4.4s, v5.4s}, [%[dst]], #0x20")
1218 __ASM_EMIT("st2 {v6.4s, v7.4s}, [%[dst]], #0x20")
1219 __ASM_EMIT("b.hs 1b")
1220 // x8 block
1221 __ASM_EMIT("2:")
1222 __ASM_EMIT("adds %[count], %[count], #8")
1223 __ASM_EMIT("b.lt 4f")
1224 __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1225 __ASM_EMIT("ld2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1226 __ASM_EMIT("ld1 {v16.4s-v17.4s}, [%[src]], #0x20")
1227 __ASM_EMIT("fsub v0.4s, v0.4s, v16.4s")
1228 __ASM_EMIT("fsub v2.4s, v2.4s, v17.4s")
1229 __ASM_EMIT("sub %[dst], %[dst], #0x40")
1230 __ASM_EMIT("sub %[count], %[count], #8")
1231 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1232 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1233 // x4 block
1234 __ASM_EMIT("4:")
1235 __ASM_EMIT("adds %[count], %[count], #4")
1236 __ASM_EMIT("b.lt 6f")
1237 __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[dst]]")
1238 __ASM_EMIT("ld1 {v16.4s}, [%[src]], #0x10")
1239 __ASM_EMIT("fsub v0.4s, v0.4s, v16.4s")
1240 __ASM_EMIT("sub %[count], %[count], #4")
1241 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1242 // x1 blocks
1243 __ASM_EMIT("6:")
1244 __ASM_EMIT("adds %[count], %[count], #3")
1245 __ASM_EMIT("b.lt 8f")
1246 __ASM_EMIT("7:")
1247 __ASM_EMIT("ld2r {v0.4s, v1.4s}, [%[dst]]")
1248 __ASM_EMIT("ld1r {v16.4s}, [%[src]], #0x04")
1249 __ASM_EMIT("fsub v0.4s, v0.4s, v16.4s")
1250 __ASM_EMIT("subs %[count], %[count], #1")
1251 __ASM_EMIT("st2 {v0.s, v1.s}[0], [%[dst]], #0x08")
1252 __ASM_EMIT("b.ge 7b")
1253
1254 __ASM_EMIT("8:")
1255
1256 : [dst] "+r" (dst), [src] "+r" (src),
1257 [count] "+r" (count)
1258 :
1259 : "cc", "memory",
1260 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
1261 "v16", "v17", "v18", "v19"
1262 );
1263 }
1264
1265 void pcomplex_r2c_rsub2(float *dst, const float *src, size_t count)
1266 {
1267 ARCH_AARCH64_ASM
1268 (
1269 // x16 blocks
1270 __ASM_EMIT("subs %[count], %[count], #16")
1271 __ASM_EMIT("b.lo 2f")
1272 __ASM_EMIT("1:")
1273 __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1274 __ASM_EMIT("ld2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1275 __ASM_EMIT("ld2 {v4.4s, v5.4s}, [%[dst]], #0x20")
1276 __ASM_EMIT("ld2 {v6.4s, v7.4s}, [%[dst]], #0x20")
1277 __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[src]], #0x40")
1278 __ASM_EMIT("fsub v0.4s, v16.4s, v0.4s")
1279 __ASM_EMIT("fneg v1.4s, v1.4s")
1280 __ASM_EMIT("fsub v2.4s, v17.4s, v2.4s")
1281 __ASM_EMIT("fneg v3.4s, v3.4s")
1282 __ASM_EMIT("fsub v4.4s, v18.4s, v4.4s")
1283 __ASM_EMIT("fneg v5.4s, v5.4s")
1284 __ASM_EMIT("fsub v6.4s, v19.4s, v6.4s")
1285 __ASM_EMIT("fneg v7.4s, v7.4s")
1286 __ASM_EMIT("sub %[dst], %[dst], #0x80")
1287 __ASM_EMIT("subs %[count], %[count], #16")
1288 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1289 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1290 __ASM_EMIT("st2 {v4.4s, v5.4s}, [%[dst]], #0x20")
1291 __ASM_EMIT("st2 {v6.4s, v7.4s}, [%[dst]], #0x20")
1292 __ASM_EMIT("b.hs 1b")
1293 // x8 block
1294 __ASM_EMIT("2:")
1295 __ASM_EMIT("adds %[count], %[count], #8")
1296 __ASM_EMIT("b.lt 4f")
1297 __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1298 __ASM_EMIT("ld2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1299 __ASM_EMIT("ld1 {v16.4s-v17.4s}, [%[src]], #0x20")
1300 __ASM_EMIT("fsub v0.4s, v16.4s, v0.4s")
1301 __ASM_EMIT("fneg v1.4s, v1.4s")
1302 __ASM_EMIT("fsub v2.4s, v17.4s, v2.4s")
1303 __ASM_EMIT("fneg v3.4s, v3.4s")
1304 __ASM_EMIT("sub %[dst], %[dst], #0x40")
1305 __ASM_EMIT("sub %[count], %[count], #8")
1306 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1307 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1308 // x4 block
1309 __ASM_EMIT("4:")
1310 __ASM_EMIT("adds %[count], %[count], #4")
1311 __ASM_EMIT("b.lt 6f")
1312 __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[dst]]")
1313 __ASM_EMIT("ld1 {v16.4s}, [%[src]], #0x10")
1314 __ASM_EMIT("fsub v0.4s, v16.4s, v0.4s")
1315 __ASM_EMIT("fneg v1.4s, v1.4s")
1316 __ASM_EMIT("sub %[count], %[count], #4")
1317 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1318 // x1 blocks
1319 __ASM_EMIT("6:")
1320 __ASM_EMIT("adds %[count], %[count], #3")
1321 __ASM_EMIT("b.lt 8f")
1322 __ASM_EMIT("7:")
1323 __ASM_EMIT("ld2r {v0.4s, v1.4s}, [%[dst]]")
1324 __ASM_EMIT("ld1r {v16.4s}, [%[src]], #0x04")
1325 __ASM_EMIT("fsub v0.4s, v16.4s, v0.4s")
1326 __ASM_EMIT("fneg v1.4s, v1.4s")
1327 __ASM_EMIT("subs %[count], %[count], #1")
1328 __ASM_EMIT("st2 {v0.s, v1.s}[0], [%[dst]], #0x08")
1329 __ASM_EMIT("b.ge 7b")
1330
1331 __ASM_EMIT("8:")
1332
1333 : [dst] "+r" (dst), [src] "+r" (src),
1334 [count] "+r" (count)
1335 :
1336 : "cc", "memory",
1337 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
1338 "v16", "v17", "v18", "v19"
1339 );
1340 }
1341
1342 void pcomplex_r2c_mul2(float *dst, const float *src, size_t count)
1343 {
1344 ARCH_AARCH64_ASM
1345 (
1346 // x16 blocks
1347 __ASM_EMIT("subs %[count], %[count], #16")
1348 __ASM_EMIT("b.lo 2f")
1349 __ASM_EMIT("1:")
1350 __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1351 __ASM_EMIT("ld2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1352 __ASM_EMIT("ld2 {v4.4s, v5.4s}, [%[dst]], #0x20")
1353 __ASM_EMIT("ld2 {v6.4s, v7.4s}, [%[dst]], #0x20")
1354 __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[src]], #0x40")
1355 __ASM_EMIT("fmul v0.4s, v0.4s, v16.4s")
1356 __ASM_EMIT("fmul v2.4s, v2.4s, v17.4s")
1357 __ASM_EMIT("fmul v4.4s, v4.4s, v18.4s")
1358 __ASM_EMIT("fmul v6.4s, v6.4s, v19.4s")
1359 __ASM_EMIT("fmul v1.4s, v1.4s, v16.4s")
1360 __ASM_EMIT("fmul v3.4s, v3.4s, v17.4s")
1361 __ASM_EMIT("fmul v5.4s, v5.4s, v18.4s")
1362 __ASM_EMIT("fmul v7.4s, v7.4s, v19.4s")
1363 __ASM_EMIT("sub %[dst], %[dst], #0x80")
1364 __ASM_EMIT("subs %[count], %[count], #16")
1365 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1366 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1367 __ASM_EMIT("st2 {v4.4s, v5.4s}, [%[dst]], #0x20")
1368 __ASM_EMIT("st2 {v6.4s, v7.4s}, [%[dst]], #0x20")
1369 __ASM_EMIT("b.hs 1b")
1370 // x8 block
1371 __ASM_EMIT("2:")
1372 __ASM_EMIT("adds %[count], %[count], #8")
1373 __ASM_EMIT("b.lt 4f")
1374 __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1375 __ASM_EMIT("ld2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1376 __ASM_EMIT("ld1 {v16.4s-v17.4s}, [%[src]], #0x20")
1377 __ASM_EMIT("fmul v0.4s, v0.4s, v16.4s")
1378 __ASM_EMIT("fmul v2.4s, v2.4s, v17.4s")
1379 __ASM_EMIT("fmul v1.4s, v1.4s, v16.4s")
1380 __ASM_EMIT("fmul v3.4s, v3.4s, v17.4s")
1381 __ASM_EMIT("sub %[dst], %[dst], #0x40")
1382 __ASM_EMIT("sub %[count], %[count], #8")
1383 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1384 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1385 // x4 block
1386 __ASM_EMIT("4:")
1387 __ASM_EMIT("adds %[count], %[count], #4")
1388 __ASM_EMIT("b.lt 6f")
1389 __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[dst]]")
1390 __ASM_EMIT("ld1 {v16.4s}, [%[src]], #0x10")
1391 __ASM_EMIT("fmul v0.4s, v0.4s, v16.4s")
1392 __ASM_EMIT("fmul v1.4s, v1.4s, v16.4s")
1393 __ASM_EMIT("sub %[count], %[count], #4")
1394 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1395 // x1 blocks
1396 __ASM_EMIT("6:")
1397 __ASM_EMIT("adds %[count], %[count], #3")
1398 __ASM_EMIT("b.lt 8f")
1399 __ASM_EMIT("7:")
1400 __ASM_EMIT("ld2r {v0.4s, v1.4s}, [%[dst]]")
1401 __ASM_EMIT("ld1r {v16.4s}, [%[src]], #0x04")
1402 __ASM_EMIT("fmul v0.4s, v0.4s, v16.4s")
1403 __ASM_EMIT("fmul v1.4s, v1.4s, v16.4s")
1404 __ASM_EMIT("subs %[count], %[count], #1")
1405 __ASM_EMIT("st2 {v0.s, v1.s}[0], [%[dst]], #0x08")
1406 __ASM_EMIT("b.ge 7b")
1407
1408 __ASM_EMIT("8:")
1409
1410 : [dst] "+r" (dst), [src] "+r" (src),
1411 [count] "+r" (count)
1412 :
1413 : "cc", "memory",
1414 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
1415 "v16", "v17", "v18", "v19"
1416 );
1417 }
1418
1419 void pcomplex_r2c_div2(float *dst, const float *src, size_t count)
1420 {
1421 ARCH_AARCH64_ASM
1422 (
1423 // x16 blocks
1424 __ASM_EMIT("subs %[count], %[count], #16")
1425 __ASM_EMIT("b.lo 2f")
1426 __ASM_EMIT("1:")
1427 __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[src]], #0x40")
1428 __ASM_EMIT("frecpe v0.4s, v16.4s") /* v0.4s = s2 */
1429 __ASM_EMIT("frecpe v1.4s, v17.4s")
1430 __ASM_EMIT("frecpe v2.4s, v18.4s")
1431 __ASM_EMIT("frecpe v3.4s, v19.4s")
1432 __ASM_EMIT("frecps v4.4s, v0.4s, v16.4s") /* v4.4s = (2 - R*s2) */
1433 __ASM_EMIT("frecps v5.4s, v1.4s, v17.4s")
1434 __ASM_EMIT("frecps v6.4s, v2.4s, v18.4s")
1435 __ASM_EMIT("frecps v7.4s, v3.4s, v19.4s")
1436 __ASM_EMIT("fmul v0.4s, v4.4s, v0.4s") /* v0.4s = s2' = s2 * (2 - R*s2) */
1437 __ASM_EMIT("fmul v1.4s, v5.4s, v1.4s")
1438 __ASM_EMIT("fmul v2.4s, v6.4s, v2.4s")
1439 __ASM_EMIT("fmul v3.4s, v7.4s, v3.4s")
1440 __ASM_EMIT("frecps v4.4s, v0.4s, v16.4s") /* v4.4s = (2 - R*s2') */
1441 __ASM_EMIT("frecps v5.4s, v1.4s, v17.4s")
1442 __ASM_EMIT("frecps v6.4s, v2.4s, v18.4s")
1443 __ASM_EMIT("frecps v7.4s, v3.4s, v19.4s")
1444 __ASM_EMIT("fmul v16.4s, v4.4s, v0.4s") /* v16s = s2" = s2' * (2 - R*s2) = 1/s2 */
1445 __ASM_EMIT("fmul v17.4s, v5.4s, v1.4s")
1446 __ASM_EMIT("fmul v18.4s, v6.4s, v2.4s")
1447 __ASM_EMIT("fmul v19.4s, v7.4s, v3.4s")
1448 __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1449 __ASM_EMIT("ld2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1450 __ASM_EMIT("ld2 {v4.4s, v5.4s}, [%[dst]], #0x20")
1451 __ASM_EMIT("ld2 {v6.4s, v7.4s}, [%[dst]], #0x20")
1452 __ASM_EMIT("fmul v0.4s, v0.4s, v16.4s")
1453 __ASM_EMIT("fmul v2.4s, v2.4s, v17.4s")
1454 __ASM_EMIT("fmul v4.4s, v4.4s, v18.4s")
1455 __ASM_EMIT("fmul v6.4s, v6.4s, v19.4s")
1456 __ASM_EMIT("fmul v1.4s, v1.4s, v16.4s")
1457 __ASM_EMIT("fmul v3.4s, v3.4s, v17.4s")
1458 __ASM_EMIT("fmul v5.4s, v5.4s, v18.4s")
1459 __ASM_EMIT("fmul v7.4s, v7.4s, v19.4s")
1460 __ASM_EMIT("sub %[dst], %[dst], #0x80")
1461 __ASM_EMIT("subs %[count], %[count], #16")
1462 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1463 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1464 __ASM_EMIT("st2 {v4.4s, v5.4s}, [%[dst]], #0x20")
1465 __ASM_EMIT("st2 {v6.4s, v7.4s}, [%[dst]], #0x20")
1466 __ASM_EMIT("b.hs 1b")
1467 // x8 block
1468 __ASM_EMIT("2:")
1469 __ASM_EMIT("adds %[count], %[count], #8")
1470 __ASM_EMIT("b.lt 4f")
1471 __ASM_EMIT("ld1 {v16.4s-v17.4s}, [%[src]], #0x20")
1472 __ASM_EMIT("frecpe v0.4s, v16.4s") /* v0.4s = s2 */
1473 __ASM_EMIT("frecpe v1.4s, v17.4s")
1474 __ASM_EMIT("frecps v4.4s, v0.4s, v16.4s") /* v4.4s = (2 - R*s2) */
1475 __ASM_EMIT("frecps v5.4s, v1.4s, v17.4s")
1476 __ASM_EMIT("fmul v0.4s, v4.4s, v0.4s") /* v0.4s = s2' = s2 * (2 - R*s2) */
1477 __ASM_EMIT("fmul v1.4s, v5.4s, v1.4s")
1478 __ASM_EMIT("frecps v4.4s, v0.4s, v16.4s") /* v4.4s = (2 - R*s2') */
1479 __ASM_EMIT("frecps v5.4s, v1.4s, v17.4s")
1480 __ASM_EMIT("fmul v16.4s, v4.4s, v0.4s") /* v16s = s2" = s2' * (2 - R*s2) = 1/s2 */
1481 __ASM_EMIT("fmul v17.4s, v5.4s, v1.4s")
1482 __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1483 __ASM_EMIT("ld2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1484 __ASM_EMIT("fmul v0.4s, v0.4s, v16.4s")
1485 __ASM_EMIT("fmul v2.4s, v2.4s, v17.4s")
1486 __ASM_EMIT("fmul v1.4s, v1.4s, v16.4s")
1487 __ASM_EMIT("fmul v3.4s, v3.4s, v17.4s")
1488 __ASM_EMIT("sub %[dst], %[dst], #0x40")
1489 __ASM_EMIT("sub %[count], %[count], #8")
1490 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1491 __ASM_EMIT("st2 {v2.4s, v3.4s}, [%[dst]], #0x20")
1492 // x4 block
1493 __ASM_EMIT("4:")
1494 __ASM_EMIT("adds %[count], %[count], #4")
1495 __ASM_EMIT("b.lt 6f")
1496 __ASM_EMIT("ld1 {v16.4s}, [%[src]], #0x10")
1497 __ASM_EMIT("frecpe v0.4s, v16.4s") /* v0.4s = s2 */
1498 __ASM_EMIT("frecps v4.4s, v0.4s, v16.4s") /* v4.4s = (2 - R*s2) */
1499 __ASM_EMIT("fmul v0.4s, v4.4s, v0.4s") /* v0.4s = s2' = s2 * (2 - R*s2) */
1500 __ASM_EMIT("frecps v4.4s, v0.4s, v16.4s") /* v4.4s = (2 - R*s2') */
1501 __ASM_EMIT("fmul v16.4s, v4.4s, v0.4s") /* v16s = s2" = s2' * (2 - R*s2) = 1/s2 */
1502 __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[dst]]")
1503 __ASM_EMIT("fmul v0.4s, v0.4s, v16.4s")
1504 __ASM_EMIT("fmul v1.4s, v1.4s, v16.4s")
1505 __ASM_EMIT("sub %[count], %[count], #4")
1506 __ASM_EMIT("st2 {v0.4s, v1.4s}, [%[dst]], #0x20")
1507 // x1 blocks
1508 __ASM_EMIT("6:")
1509 __ASM_EMIT("adds %[count], %[count], #3")
1510 __ASM_EMIT("b.lt 8f")
1511 __ASM_EMIT("7:")
1512 __ASM_EMIT("ld1r {v16.4s}, [%[src]], #0x04")
1513 __ASM_EMIT("frecpe v0.4s, v16.4s") /* v0.4s = s2 */
1514 __ASM_EMIT("frecps v4.4s, v0.4s, v16.4s") /* v4.4s = (2 - R*s2) */
1515 __ASM_EMIT("fmul v0.4s, v4.4s, v0.4s") /* v0.4s = s2' = s2 * (2 - R*s2) */
1516 __ASM_EMIT("frecps v4.4s, v0.4s, v16.4s") /* v4.4s = (2 - R*s2') */
1517 __ASM_EMIT("fmul v16.4s, v4.4s, v0.4s") /* v16s = s2" = s2' * (2 - R*s2) = 1/s2 */
1518 __ASM_EMIT("ld2r {v0.4s, v1.4s}, [%[dst]]")
1519 __ASM_EMIT("fmul v0.4s, v0.4s, v16.4s")
1520 __ASM_EMIT("fmul v1.4s, v1.4s, v16.4s")
1521 __ASM_EMIT("subs %[count], %[count], #1")
1522 __ASM_EMIT("st2 {v0.s, v1.s}[0], [%[dst]], #0x08")
1523 __ASM_EMIT("b.ge 7b")
1524
1525 __ASM_EMIT("8:")
1526
1527 : [dst] "+r" (dst), [src] "+r" (src),
1528 [count] "+r" (count)
1529 :
1530 : "cc", "memory",
1531 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
1532 "v16", "v17", "v18", "v19"
1533 );
1534 }
1535
1536 void pcomplex_r2c_rdiv2(float *dst, const float *src, size_t count)
1537 {
1538 ARCH_AARCH64_ASM
1539 (
1540 // x16 blocks
1541 __ASM_EMIT("subs %[count], %[count], #16")
1542 __ASM_EMIT("b.lo 2f")
1543 __ASM_EMIT("1:")
1544 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[dst]], #0x20") // v16 = sr1, v17 = si1
1545 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[dst]], #0x20") // v18 = sr2, v19 = si2
1546 __ASM_EMIT("ld2 {v20.4s, v21.4s}, [%[dst]], #0x20") // v20 = sr3, v21 = si3
1547 __ASM_EMIT("ld2 {v22.4s, v23.4s}, [%[dst]], #0x20") // v22 = sr4, v23 = si4
1548
1549 __ASM_EMIT("fmul v24.4s, v16.4s, v16.4s") // v24 = sr*sr
1550 __ASM_EMIT("fmul v25.4s, v18.4s, v18.4s")
1551 __ASM_EMIT("fmul v26.4s, v20.4s, v20.4s")
1552 __ASM_EMIT("fmul v27.4s, v22.4s, v22.4s")
1553 __ASM_EMIT("fmla v24.4s, v17.4s, v17.4s") // v24 = sr*dr + si*di
1554 __ASM_EMIT("fmla v25.4s, v19.4s, v19.4s")
1555 __ASM_EMIT("fmla v26.4s, v21.4s, v21.4s")
1556 __ASM_EMIT("fmla v27.4s, v23.4s, v23.4s")
1557 __ASM_EMIT("fneg v17.4s, v17.4s") // v17 = -si
1558 __ASM_EMIT("fneg v19.4s, v19.4s")
1559 __ASM_EMIT("fneg v21.4s, v21.4s")
1560 __ASM_EMIT("fneg v23.4s, v23.4s")
1561 __ASM_EMIT("fdiv v16.4s, v16.4s, v24.4s") // v16 = sr/(sr*dr + si*di)
1562 __ASM_EMIT("fdiv v18.4s, v18.4s, v25.4s")
1563 __ASM_EMIT("fdiv v20.4s, v20.4s, v26.4s")
1564 __ASM_EMIT("fdiv v22.4s, v22.4s, v27.4s")
1565 __ASM_EMIT("fdiv v17.4s, v17.4s, v24.4s") // v17 = -si/(sr*dr + si*di)
1566 __ASM_EMIT("fdiv v19.4s, v19.4s, v25.4s")
1567 __ASM_EMIT("fdiv v21.4s, v21.4s, v26.4s")
1568 __ASM_EMIT("fdiv v23.4s, v23.4s, v27.4s")
1569
1570 __ASM_EMIT("ld1 {v0.4s-v3.4s}, [%[src]], #0x40")
1571 __ASM_EMIT("sub %[dst], %[dst], 0x80")
1572 __ASM_EMIT("fmul v16.4s, v16.4s, v0.4s")
1573 __ASM_EMIT("fmul v18.4s, v18.4s, v1.4s")
1574 __ASM_EMIT("fmul v20.4s, v20.4s, v2.4s")
1575 __ASM_EMIT("fmul v22.4s, v22.4s, v3.4s")
1576 __ASM_EMIT("fmul v17.4s, v17.4s, v0.4s")
1577 __ASM_EMIT("fmul v19.4s, v19.4s, v1.4s")
1578 __ASM_EMIT("fmul v21.4s, v21.4s, v2.4s")
1579 __ASM_EMIT("fmul v23.4s, v23.4s, v3.4s")
1580 __ASM_EMIT("subs %[count], %[count], #16")
1581 __ASM_EMIT("st2 {v16.4s, v17.4s}, [%[dst]], #0x20")
1582 __ASM_EMIT("st2 {v18.4s, v19.4s}, [%[dst]], #0x20")
1583 __ASM_EMIT("st2 {v20.4s, v21.4s}, [%[dst]], #0x20")
1584 __ASM_EMIT("st2 {v22.4s, v23.4s}, [%[dst]], #0x20")
1585 __ASM_EMIT("b.hs 1b")
1586
1587 // x8 block
1588 __ASM_EMIT("2:")
1589 __ASM_EMIT("adds %[count], %[count], #8")
1590 __ASM_EMIT("b.lt 4f")
1591 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[dst]], #0x20") // v16 = sr1, v17 = si1
1592 __ASM_EMIT("ld2 {v18.4s, v19.4s}, [%[dst]], #0x20") // v18 = sr2, v19 = si2
1593 __ASM_EMIT("fmul v24.4s, v16.4s, v16.4s") // v24 = sr*sr
1594 __ASM_EMIT("fmul v25.4s, v18.4s, v18.4s")
1595 __ASM_EMIT("fmla v24.4s, v17.4s, v17.4s") // v24 = sr*dr + si*di
1596 __ASM_EMIT("fmla v25.4s, v19.4s, v19.4s")
1597 __ASM_EMIT("fneg v17.4s, v17.4s") // v17 = -si
1598 __ASM_EMIT("fneg v19.4s, v19.4s")
1599 __ASM_EMIT("fdiv v16.4s, v16.4s, v24.4s") // v16 = sr/(sr*dr + si*di)
1600 __ASM_EMIT("fdiv v18.4s, v18.4s, v25.4s")
1601 __ASM_EMIT("fdiv v17.4s, v17.4s, v24.4s") // v17 = -si/(sr*dr + si*di)
1602 __ASM_EMIT("fdiv v19.4s, v19.4s, v25.4s")
1603 __ASM_EMIT("ld1 {v0.4s-v1.4s}, [%[src]], #0x20")
1604 __ASM_EMIT("sub %[dst], %[dst], 0x40")
1605 __ASM_EMIT("fmul v16.4s, v16.4s, v0.4s")
1606 __ASM_EMIT("fmul v18.4s, v18.4s, v1.4s")
1607 __ASM_EMIT("fmul v17.4s, v17.4s, v0.4s")
1608 __ASM_EMIT("fmul v19.4s, v19.4s, v1.4s")
1609 __ASM_EMIT("sub %[count], %[count], #8")
1610 __ASM_EMIT("st2 {v16.4s, v17.4s}, [%[dst]], #0x20")
1611 __ASM_EMIT("st2 {v18.4s, v19.4s}, [%[dst]], #0x20")
1612 // x4 block
1613 __ASM_EMIT("4:")
1614 __ASM_EMIT("adds %[count], %[count], #4")
1615 __ASM_EMIT("b.lt 6f")
1616 __ASM_EMIT("ld2 {v16.4s, v17.4s}, [%[dst]]") // v16 = sr1, v17 = si1
1617 __ASM_EMIT("fmul v24.4s, v16.4s, v16.4s") // v24 = sr*sr
1618 __ASM_EMIT("fmla v24.4s, v17.4s, v17.4s") // v24 = sr*dr + si*di
1619 __ASM_EMIT("fneg v17.4s, v17.4s") // v17 = -si
1620 __ASM_EMIT("fdiv v16.4s, v16.4s, v24.4s") // v16 = sr/(sr*dr + si*di)
1621 __ASM_EMIT("fdiv v17.4s, v17.4s, v24.4s") // v17 = -si/(sr*dr + si*di)
1622 __ASM_EMIT("ld1 {v0.4s}, [%[src]], #0x10")
1623 __ASM_EMIT("sub %[count], %[count], #4")
1624 __ASM_EMIT("fmul v16.4s, v16.4s, v0.4s")
1625 __ASM_EMIT("fmul v17.4s, v17.4s, v0.4s")
1626 __ASM_EMIT("st2 {v16.4s, v17.4s}, [%[dst]], #0x20")
1627 // x1 block
1628 __ASM_EMIT("6:")
1629 __ASM_EMIT("adds %[count], %[count], #3")
1630 __ASM_EMIT("b.lt 8f")
1631 __ASM_EMIT("7:")
1632 __ASM_EMIT("ld2r {v16.4s, v17.4s}, [%[dst]]") // v16 = sr1, v17 = si1
1633 __ASM_EMIT("fmul v24.4s, v16.4s, v16.4s") // v24 = sr*sr
1634 __ASM_EMIT("fmla v24.4s, v17.4s, v17.4s") // v24 = sr*dr + si*di
1635 __ASM_EMIT("fneg v17.4s, v17.4s") // v17 = -si
1636 __ASM_EMIT("fdiv v16.4s, v16.4s, v24.4s") // v16 = sr/(sr*dr + si*di)
1637 __ASM_EMIT("fdiv v17.4s, v17.4s, v24.4s") // v17 = -si/(sr*dr + si*di)
1638 __ASM_EMIT("ld1r {v0.4s}, [%[src]], #0x04")
1639 __ASM_EMIT("fmul v16.4s, v16.4s, v0.4s")
1640 __ASM_EMIT("fmul v17.4s, v17.4s, v0.4s")
1641 __ASM_EMIT("subs %[count], %[count], #1")
1642 __ASM_EMIT("st2 {v16.s, v17.s}[0], [%[dst]], #0x08")
1643 __ASM_EMIT("b.ge 7b")
1644
1645 __ASM_EMIT("8:")
1646
1647 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1648 :
1649 : "cc", "memory",
1650 "v0", "v1", "v2", "v3",
1651 // "v8", "v9", "v10", "v11", "v12", "v13", "v14", "v15", // Avoid usage if possible
1652 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
1653 "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31"
1654 );
1655 }
1656
1657 IF_ARCH_AARCH64(
1658 static float pcomplex_corr_const[] __lsp_aligned16 =
1659 {
1660 LSP_DSP_VEC4(1e-36f),
1661 LSP_DSP_VEC4(1e-36f)
1662 };
1663 );
1664
1665 void pcomplex_corr(float *dst_corr, const float *src1, const float *src2, size_t count)
1666 {
1667 /*
1668 * src1[i] = a + j*b, src2[i] = c + j*d
1669 * den = (a*a + b*b)*(c*c + d*d)
1670 * nom = a*c + b*d
1671 * corr[i] = (den > threshold) ? nom / sqrt(den) : 0.0
1672 */
1673 ARCH_AARCH64_ASM
1674 (
1675 // x8 blocks
1676 __ASM_EMIT("ldp q14, q15, [%[CC]]") /* v14-v15 = threshold */
1677 __ASM_EMIT("subs %[count], %[count], #8")
1678 __ASM_EMIT("b.lo 2f")
1679 __ASM_EMIT("1:")
1680 __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[src1]], #0x20") /* v0 = A0, v1 = B0 */
1681 __ASM_EMIT("ld2 {v2.4s, v3.4s}, [%[src2]], #0x20") /* v2 = C0, v3 = D0 */
1682 __ASM_EMIT("ld2 {v4.4s, v5.4s}, [%[src1]], #0x20") /* v4 = A1, v5 = B1 */
1683 __ASM_EMIT("ld2 {v6.4s, v7.4s}, [%[src2]], #0x20") /* v6 = C1, v7 = D1 */
1684 __ASM_EMIT("fmul v8.4s, v0.4s, v2.4s") /* v8 = A0*C0 */
1685 __ASM_EMIT("fmul v9.4s, v4.4s, v6.4s") /* v9 = A1*C1 */
1686 __ASM_EMIT("fmul v10.4s, v0.4s, v0.4s") /* v10 = A0*A0 */
1687 __ASM_EMIT("fmul v11.4s, v4.4s, v4.4s") /* v11 = A1*A1 */
1688 __ASM_EMIT("fmul v12.4s, v2.4s, v2.4s") /* v12 = C0*C0 */
1689 __ASM_EMIT("fmul v13.4s, v6.4s, v6.4s") /* v13 = C1*C1 */
1690 __ASM_EMIT("fmla v8.4s, v1.4s, v3.4s") /* v8 = nom0 = A0*C0 + B0*D0 */
1691 __ASM_EMIT("fmla v9.4s, v5.4s, v7.4s") /* v9 = nom1 = A1*C1 + B1*D1 */
1692 __ASM_EMIT("fmla v10.4s, v1.4s, v1.4s") /* v10 = A0*A0 + B0*B0 */
1693 __ASM_EMIT("fmla v11.4s, v5.4s, v5.4s") /* v11 = A1*A1 + B1*B1 */
1694 __ASM_EMIT("fmla v12.4s, v3.4s, v3.4s") /* v12 = C0*C0 + D0*D0 */
1695 __ASM_EMIT("fmla v13.4s, v7.4s, v7.4s") /* v13 = C1*C1 + D1*D1 */
1696 __ASM_EMIT("fmul v0.4s, v10.4s, v12.4s") /* v0 = den0 = (A0*A0 + B0*B0)*(C0*C0 + D0*D0) */
1697 __ASM_EMIT("fmul v1.4s, v11.4s, v13.4s") /* v1 = den1 = (A1*A1 + B1*B1)*(C1*C1 + D1*D1) */
1698 __ASM_EMIT("frsqrte v2.4s, v0.4s") /* v2 = x0 */
1699 __ASM_EMIT("frsqrte v3.4s, v1.4s")
1700 __ASM_EMIT("fmul v4.4s, v2.4s, v0.4s") /* v4 = R * x0 */
1701 __ASM_EMIT("fmul v5.4s, v3.4s, v1.4s")
1702 __ASM_EMIT("frsqrts v6.4s, v4.4s, v2.4s") /* v6 = (3 - R * x0 * x0) / 2 */
1703 __ASM_EMIT("frsqrts v7.4s, v5.4s, v3.4s")
1704 __ASM_EMIT("fmul v2.4s, v2.4s, v6.4s") /* v2 = x1 = x0 * (3 - R * x0 * x0) / 2 */
1705 __ASM_EMIT("fmul v3.4s, v3.4s, v7.4s")
1706 __ASM_EMIT("fmul v4.4s, v2.4s, v0.4s") /* v4 = R * x1 */
1707 __ASM_EMIT("fmul v5.4s, v3.4s, v1.4s")
1708 __ASM_EMIT("frsqrts v6.4s, v4.4s, v2.4s") /* v6 = (3 - R * x1 * x1) / 2 */
1709 __ASM_EMIT("frsqrts v7.4s, v5.4s, v3.4s")
1710 __ASM_EMIT("fmul v2.4s, v2.4s, v6.4s") /* v2 = 1/den0 = x1 * (3 - R * x1 * x1) / 2 */
1711 __ASM_EMIT("fmul v3.4s, v3.4s, v7.4s") /* v3 = 1/den1 */
1712 __ASM_EMIT("fcmge v0.4s, v0.4s, v14.4s") /* v0 = (den0 >= threshold) */
1713 __ASM_EMIT("fcmge v1.4s, v1.4s, v15.4s") /* v1 = (den1 >= threshold) */
1714 __ASM_EMIT("fmul v2.4s, v2.4s, v8.4s") /* v2 = nom0/den0 */
1715 __ASM_EMIT("fmul v3.4s, v3.4s, v9.4s") /* v3 = nom1/den1 */
1716 __ASM_EMIT("and v0.16b, v0.16b, v2.16b") /* v0 = (den0 >= threshold) ? nom0/den0 : 0.0f */
1717 __ASM_EMIT("and v1.16b, v1.16b, v3.16b") /* v1 = (den1 >= threshold) ? nom1/den1 : 0.0f */
1718 __ASM_EMIT("stp q0, q1, [%[dst]]")
1719 __ASM_EMIT("subs %[count], %[count], #8")
1720 __ASM_EMIT("add %[dst], %[dst], #0x20")
1721 __ASM_EMIT("b.hs 1b")
1722 // x4 block
1723 __ASM_EMIT("2:")
1724 __ASM_EMIT("adds %[count], %[count], #4")
1725 __ASM_EMIT("b.lt 4f")
1726 __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[src1]], #0x20") /* v0 = A0, v1 = B0 */
1727 __ASM_EMIT("ld2 {v2.4s, v3.4s}, [%[src2]], #0x20") /* v2 = C0, v3 = D0 */
1728 __ASM_EMIT("fmul v8.4s, v0.4s, v2.4s") /* v8 = A0*C0 */
1729 __ASM_EMIT("fmul v10.4s, v0.4s, v0.4s") /* v10 = A0*A0 */
1730 __ASM_EMIT("fmul v12.4s, v2.4s, v2.4s") /* v12 = C0*C0 */
1731 __ASM_EMIT("fmla v8.4s, v1.4s, v3.4s") /* v8 = nom0 = A0*C0 + B0*D0 */
1732 __ASM_EMIT("fmla v10.4s, v1.4s, v1.4s") /* v10 = A0*A0 + B0*B0 */
1733 __ASM_EMIT("fmla v12.4s, v3.4s, v3.4s") /* v12 = C0*C0 + D0*D0 */
1734 __ASM_EMIT("fmul v0.4s, v10.4s, v12.4s") /* v0 = den0 = (A0*A0 + B0*B0)*(C0*C0 + D0*D0) */
1735 __ASM_EMIT("frsqrte v2.4s, v0.4s") /* v2 = x0 */
1736 __ASM_EMIT("fmul v4.4s, v2.4s, v0.4s") /* v4 = R * x0 */
1737 __ASM_EMIT("frsqrts v6.4s, v4.4s, v2.4s") /* v6 = (3 - R * x0 * x0) / 2 */
1738 __ASM_EMIT("fmul v2.4s, v2.4s, v6.4s") /* v2 = x1 = x0 * (3 - R * x0 * x0) / 2 */
1739 __ASM_EMIT("fmul v4.4s, v2.4s, v0.4s") /* v4 = R * x1 */
1740 __ASM_EMIT("frsqrts v6.4s, v4.4s, v2.4s") /* v6 = (3 - R * x1 * x1) / 2 */
1741 __ASM_EMIT("fmul v2.4s, v2.4s, v6.4s") /* v2 = 1/den0 = x1 * (3 - R * x1 * x1) / 2 */
1742 __ASM_EMIT("fcmge v0.4s, v0.4s, v14.4s") /* v0 = (den0 >= threshold) */
1743 __ASM_EMIT("fmul v2.4s, v2.4s, v8.4s") /* v2 = nom0/den0 */
1744 __ASM_EMIT("and v0.16b, v0.16b, v2.16b") /* v0 = (den0 >= threshold) ? nom0/den0 : 0.0f */
1745 __ASM_EMIT("str q0, [%[dst]]")
1746 __ASM_EMIT("sub %[count], %[count], #4")
1747 __ASM_EMIT("add %[dst], %[dst], #0x10")
1748 // x1 blocks
1749 __ASM_EMIT("4:")
1750 __ASM_EMIT("adds %[count], %[count], #3")
1751 __ASM_EMIT("b.lt 6f")
1752 __ASM_EMIT("5:")
1753 __ASM_EMIT("ld2r {v0.4s, v1.4s}, [%[src1]], #0x08") /* v0 = A0, v1 = B0 */
1754 __ASM_EMIT("ld2r {v2.4s, v3.4s}, [%[src2]], #0x08") /* v2 = C0, v3 = D0 */
1755 __ASM_EMIT("fmul v8.4s, v0.4s, v2.4s") /* v8 = A0*C0 */
1756 __ASM_EMIT("fmul v10.4s, v0.4s, v0.4s") /* v10 = A0*A0 */
1757 __ASM_EMIT("fmul v12.4s, v2.4s, v2.4s") /* v12 = C0*C0 */
1758 __ASM_EMIT("fmla v8.4s, v1.4s, v3.4s") /* v8 = nom0 = A0*C0 + B0*D0 */
1759 __ASM_EMIT("fmla v10.4s, v1.4s, v1.4s") /* v10 = A0*A0 + B0*B0 */
1760 __ASM_EMIT("fmla v12.4s, v3.4s, v3.4s") /* v12 = C0*C0 + D0*D0 */
1761 __ASM_EMIT("fmul v0.4s, v10.4s, v12.4s") /* v0 = den0 = (A0*A0 + B0*B0)*(C0*C0 + D0*D0) */
1762 __ASM_EMIT("frsqrte v2.4s, v0.4s") /* v2 = x0 */
1763 __ASM_EMIT("fmul v4.4s, v2.4s, v0.4s") /* v4 = R * x0 */
1764 __ASM_EMIT("frsqrts v6.4s, v4.4s, v2.4s") /* v6 = (3 - R * x0 * x0) / 2 */
1765 __ASM_EMIT("fmul v2.4s, v2.4s, v6.4s") /* v2 = x1 = x0 * (3 - R * x0 * x0) / 2 */
1766 __ASM_EMIT("fmul v4.4s, v2.4s, v0.4s") /* v4 = R * x1 */
1767 __ASM_EMIT("frsqrts v6.4s, v4.4s, v2.4s") /* v6 = (3 - R * x1 * x1) / 2 */
1768 __ASM_EMIT("fmul v2.4s, v2.4s, v6.4s") /* v2 = 1/den0 = x1 * (3 - R * x1 * x1) / 2 */
1769 __ASM_EMIT("fcmge v0.4s, v0.4s, v14.4s") /* v0 = (den0 >= threshold) */
1770 __ASM_EMIT("fmul v2.4s, v2.4s, v8.4s") /* v2 = nom0/den0 */
1771 __ASM_EMIT("and v0.16b, v0.16b, v2.16b") /* v0 = (den0 >= threshold) ? nom0/den0 : 0.0f */
1772 __ASM_EMIT("subs %[count], %[count], #1")
1773 __ASM_EMIT("st1 {v0.s}[0], [%[dst]], #0x04")
1774 __ASM_EMIT("b.ge 5b")
1775 // End
1776 __ASM_EMIT("6:")
1777
1778 : [dst] "+r" (dst_corr), [src1] "+r" (src1), [src2] "+r" (src2), [count] "+r" (count)
1779 : [CC] "r" (&pcomplex_corr_const[0])
1780 : "cc", "memory",
1781 "v0", "v1", "v2", "v3",
1782 "v4", "v5", "v6", "v7",
1783 "v8", "v9", "v10", "v11",
1784 "v12", "v13", "v14", "v15"
1785 );
1786 }
1787
1788 } /* namespace asimd */
1789 } /* namespace lsp */
1790
1791 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_PCOMPLEX_H_ */