Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/aarch64/asimd/complex.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_COMPLEX_H_
23 #define PRIVATE_DSP_ARCH_AARCH64_ASIMD_COMPLEX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL */
28
29 namespace lsp
30 {
31 namespace asimd
32 {
33 /*
34 * v0, v1 = dr
35 * v2, v3 = di
36 * v16, v17 = ar
37 * v18, v19 = ai
38 * v20, v21 = br
39 * v22, v23 = bi
40 */
41 void complex_mul2(float *dst_re, float *dst_im, const float *src_re, const float *src_im, size_t count)
42 {
43 ARCH_AARCH64_ASM
44 (
45 // x8 blocks
46 __ASM_EMIT("subs %[count], %[count], #8")
47 __ASM_EMIT("b.lo 2f")
48 __ASM_EMIT("1:")
49 __ASM_EMIT("ldp q16, q17, [%[src_re]]") // v16-v19 = ar
50 __ASM_EMIT("ldp q18, q19, [%[src_im]]") // v18-v19 = ai
51 __ASM_EMIT("ldp q20, q21, [%[dst_re]]") // v20-v21 = br
52 __ASM_EMIT("ldp q22, q23, [%[dst_im]]") // v22-v23 = bi
53 __ASM_EMIT("fmul v0.4s, v16.4s, v20.4s") // v0 = ar*br
54 __ASM_EMIT("fmul v1.4s, v17.4s, v21.4s")
55 __ASM_EMIT("add %[src_re], %[src_re], #0x20")
56 __ASM_EMIT("fmul v2.4s, v18.4s, v20.4s") // v2 = ai*br
57 __ASM_EMIT("fmul v3.4s, v19.4s, v21.4s")
58 __ASM_EMIT("add %[src_im], %[src_im], #0x20")
59 __ASM_EMIT("fmls v0.4s, v18.4s, v22.4s") // v0 = ar*br - ai*bi
60 __ASM_EMIT("fmls v1.4s, v19.4s, v23.4s")
61 __ASM_EMIT("fmla v2.4s, v16.4s, v22.4s") // v2 = ai*br + ar*bi
62 __ASM_EMIT("fmla v3.4s, v17.4s, v23.4s")
63 __ASM_EMIT("stp q0, q1, [%[dst_re]]")
64 __ASM_EMIT("stp q2, q3, [%[dst_im]]")
65 __ASM_EMIT("subs %[count], %[count], #8")
66 __ASM_EMIT("add %[dst_re], %[dst_re], #0x20")
67 __ASM_EMIT("add %[dst_im], %[dst_im], #0x20")
68 __ASM_EMIT("b.hs 1b")
69 __ASM_EMIT("2:")
70 // x4 blocks
71 __ASM_EMIT("adds %[count], %[count], #4")
72 __ASM_EMIT("b.lo 4f")
73 __ASM_EMIT("ldr q16, [%[src_re]]") // v16 = ar
74 __ASM_EMIT("ldr q18, [%[src_im]]") // v18 = ai
75 __ASM_EMIT("ldr q20, [%[dst_re]]") // v20 = br
76 __ASM_EMIT("ldr q22, [%[dst_im]]") // v22 = bi
77 __ASM_EMIT("fmul v0.4s, v16.4s, v20.4s") // v0 = ar*br
78 __ASM_EMIT("add %[src_re], %[src_re], #0x10")
79 __ASM_EMIT("fmul v2.4s, v18.4s, v20.4s") // v2 = ai*br
80 __ASM_EMIT("add %[src_im], %[src_im], #0x10")
81 __ASM_EMIT("fmls v0.4s, v18.4s, v22.4s") // v0 = ar*br - ai*bi
82 __ASM_EMIT("fmla v2.4s, v16.4s, v22.4s") // v2 = ai*br + ar*bi
83 __ASM_EMIT("str q0, [%[dst_re]]")
84 __ASM_EMIT("str q2, [%[dst_im]]")
85 __ASM_EMIT("sub %[count], %[count], #4")
86 __ASM_EMIT("add %[dst_re], %[dst_re], #0x10")
87 __ASM_EMIT("add %[dst_im], %[dst_im], #0x10")
88 __ASM_EMIT("4:")
89 // x1 blocks
90 __ASM_EMIT("adds %[count], %[count], #3")
91 __ASM_EMIT("b.lt 6f")
92 __ASM_EMIT("5:")
93 __ASM_EMIT("ld1r {v16.4s}, [%[src_re]]") // v16 = ar
94 __ASM_EMIT("ld1r {v18.4s}, [%[src_im]]") // v18 = ai
95 __ASM_EMIT("ld1r {v20.4s}, [%[dst_re]]") // v20 = br
96 __ASM_EMIT("ld1r {v22.4s}, [%[dst_im]]") // v22 = bi
97 __ASM_EMIT("fmul v0.4s, v16.4s, v20.4s") // v0 = ar*br
98 __ASM_EMIT("add %[src_re], %[src_re], #0x04")
99 __ASM_EMIT("fmul v2.4s, v18.4s, v20.4s") // v2 = ai*br
100 __ASM_EMIT("add %[src_im], %[src_im], #0x04")
101 __ASM_EMIT("fmls v0.4s, v18.4s, v22.4s") // v0 = ar*br - ai*bi
102 __ASM_EMIT("fmla v2.4s, v16.4s, v22.4s") // v2 = ai*br + ar*bi
103 __ASM_EMIT("st1 {v0.s}[0], [%[dst_re]]")
104 __ASM_EMIT("st1 {v2.s}[0], [%[dst_im]]")
105 __ASM_EMIT("subs %[count], %[count], #1")
106 __ASM_EMIT("add %[dst_re], %[dst_re], #0x04")
107 __ASM_EMIT("add %[dst_im], %[dst_im], #0x04")
108 __ASM_EMIT("b.ge 5b")
109 __ASM_EMIT("6:")
110 /* end */
111 : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im),
112 [src_re] "+r" (src_re), [src_im] "+r" (src_im),
113 [count] "+r" (count)
114 :
115 : "cc", "memory",
116 "v0", "v1",
117 "v16", "v17", "v18", "v19",
118 "v20", "v21", "v22", "v23"
119 );
120 }
121
122 void complex_mul3(float *dst_re, float *dst_im, const float *src1_re, const float *src1_im, const float *src2_re, const float *src2_im, size_t count)
123 {
124 ARCH_AARCH64_ASM
125 (
126 // x16 blocks
127 __ASM_EMIT("subs %[count], %[count], #16")
128 __ASM_EMIT("b.lo 2f")
129 __ASM_EMIT("1:")
130 __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[src1_re]]") // v16-v19 = sr
131 __ASM_EMIT("ld1 {v20.4s-v23.4s}, [%[src1_im]]") // v20-v23 = si
132 __ASM_EMIT("ld1 {v24.4s-v27.4s}, [%[src2_re]]") // v24-v27 = dr
133 __ASM_EMIT("ld1 {v28.4s-v31.4s}, [%[src2_im]]") // v28-v31 = di
134 __ASM_EMIT("add %[src1_re], %[src1_re], #0x40")
135 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
136 __ASM_EMIT("fmul v1.4s, v17.4s, v25.4s")
137 __ASM_EMIT("fmul v2.4s, v18.4s, v26.4s")
138 __ASM_EMIT("fmul v3.4s, v19.4s, v27.4s")
139 __ASM_EMIT("add %[src1_im], %[src1_im], #0x40")
140 __ASM_EMIT("fmul v24.4s, v24.4s, v20.4s") // v24 = si*dr
141 __ASM_EMIT("fmul v25.4s, v25.4s, v21.4s")
142 __ASM_EMIT("fmul v26.4s, v26.4s, v22.4s")
143 __ASM_EMIT("fmul v27.4s, v27.4s, v23.4s")
144 __ASM_EMIT("add %[src2_re], %[src2_re], #0x40")
145 __ASM_EMIT("fmls v0.4s, v20.4s, v28.4s") // v0 = sr*dr - si*di
146 __ASM_EMIT("fmls v1.4s, v21.4s, v29.4s")
147 __ASM_EMIT("fmls v2.4s, v22.4s, v30.4s")
148 __ASM_EMIT("fmls v3.4s, v23.4s, v31.4s")
149 __ASM_EMIT("add %[src2_im], %[src2_im], #0x40")
150 __ASM_EMIT("fmla v24.4s, v16.4s, v28.4s") // v24 = si*dr + sr*di
151 __ASM_EMIT("fmla v25.4s, v17.4s, v29.4s")
152 __ASM_EMIT("fmla v26.4s, v18.4s, v30.4s")
153 __ASM_EMIT("fmla v27.4s, v19.4s, v31.4s")
154 __ASM_EMIT("st1 {v0.4s-v3.4s}, [%[dst_re]]")
155 __ASM_EMIT("st1 {v24.4s-v27.4s}, [%[dst_im]]")
156 __ASM_EMIT("subs %[count], %[count], #16")
157 __ASM_EMIT("add %[dst_re], %[dst_re], #0x40")
158 __ASM_EMIT("add %[dst_im], %[dst_im], #0x40")
159 __ASM_EMIT("b.hs 1b")
160 __ASM_EMIT("2:")
161 // x8 blocks
162 __ASM_EMIT("adds %[count], %[count], #8")
163 __ASM_EMIT("b.lt 4f")
164 __ASM_EMIT("ld1 {v16.4s, v17.4s}, [%[src1_re]]") // v16-v17 = sr
165 __ASM_EMIT("ld1 {v20.4s, v21.4s}, [%[src1_im]]") // v20-v21 = si
166 __ASM_EMIT("ld1 {v24.4s, v25.4s}, [%[src2_re]]") // v24-v25 = dr
167 __ASM_EMIT("ld1 {v28.4s, v29.4s}, [%[src2_im]]") // v28-v29 = di
168 __ASM_EMIT("add %[src1_re], %[src1_re], #0x20")
169 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
170 __ASM_EMIT("fmul v1.4s, v17.4s, v25.4s")
171 __ASM_EMIT("add %[src1_im], %[src1_im], #0x20")
172 __ASM_EMIT("fmul v24.4s, v24.4s, v20.4s") // v24 = si*dr
173 __ASM_EMIT("fmul v25.4s, v25.4s, v21.4s")
174 __ASM_EMIT("add %[src2_re], %[src2_re], #0x20")
175 __ASM_EMIT("fmls v0.4s, v20.4s, v28.4s") // v0 = sr*dr - si*di
176 __ASM_EMIT("fmls v1.4s, v21.4s, v29.4s")
177 __ASM_EMIT("add %[src2_im], %[src2_im], #0x20")
178 __ASM_EMIT("fmla v24.4s, v16.4s, v28.4s") // v24 = si*dr + sr*di
179 __ASM_EMIT("fmla v25.4s, v17.4s, v29.4s")
180 __ASM_EMIT("sub %[count], %[count], #8")
181 __ASM_EMIT("st1 {v0.4s, v1.4s}, [%[dst_re]]")
182 __ASM_EMIT("st1 {v24.4s, v25.4s}, [%[dst_im]]")
183 __ASM_EMIT("add %[dst_re], %[dst_re], #0x20")
184 __ASM_EMIT("add %[dst_im], %[dst_im], #0x20")
185 __ASM_EMIT("4:")
186 // x4 blocks
187 __ASM_EMIT("adds %[count], %[count], #4")
188 __ASM_EMIT("b.lt 6f")
189 __ASM_EMIT("ld1 {v16.4s}, [%[src1_re]]") // v16-v17 = sr
190 __ASM_EMIT("ld1 {v20.4s}, [%[src1_im]]") // v20-v21 = si
191 __ASM_EMIT("ld1 {v24.4s}, [%[src2_re]]") // v24-v25 = dr
192 __ASM_EMIT("ld1 {v28.4s}, [%[src2_im]]") // v28-v29 = di
193 __ASM_EMIT("add %[src1_re], %[src1_re], #0x10")
194 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
195 __ASM_EMIT("add %[src1_im], %[src1_im], #0x10")
196 __ASM_EMIT("fmul v24.4s, v24.4s, v20.4s") // v24 = si*dr
197 __ASM_EMIT("add %[src2_re], %[src2_re], #0x10")
198 __ASM_EMIT("fmls v0.4s, v20.4s, v28.4s") // v0 = sr*dr - si*di
199 __ASM_EMIT("add %[src2_im], %[src2_im], #0x10")
200 __ASM_EMIT("fmla v24.4s, v16.4s, v28.4s") // v24 = si*dr + sr*di
201 __ASM_EMIT("sub %[count], %[count], #4")
202 __ASM_EMIT("st1 {v0.4s}, [%[dst_re]]")
203 __ASM_EMIT("st1 {v24.4s}, [%[dst_im]]")
204 __ASM_EMIT("add %[dst_re], %[dst_re], #0x10")
205 __ASM_EMIT("add %[dst_im], %[dst_im], #0x10")
206 __ASM_EMIT("6:")
207 // x1 blocks
208 __ASM_EMIT("adds %[count], %[count], #3")
209 __ASM_EMIT("b.lt 8f")
210 __ASM_EMIT("7:")
211 __ASM_EMIT("ld1r {v16.4s}, [%[src1_re]]") // v16 = sr
212 __ASM_EMIT("ld1r {v20.4s}, [%[src1_im]]") // v20 = si
213 __ASM_EMIT("ld1r {v24.4s}, [%[src2_re]]") // v24 = dr
214 __ASM_EMIT("ld1r {v28.4s}, [%[src2_im]]") // v28 = di
215 __ASM_EMIT("add %[src1_re], %[src1_re], #0x04")
216 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
217 __ASM_EMIT("add %[src1_im], %[src1_im], #0x04")
218 __ASM_EMIT("fmul v24.4s, v24.4s, v20.4s") // v24 = si*dr
219 __ASM_EMIT("add %[src2_re], %[src2_re], #0x04")
220 __ASM_EMIT("fmls v0.4s, v20.4s, v28.4s") // v0 = sr*dr - si*di
221 __ASM_EMIT("add %[src2_im], %[src2_im], #0x04")
222 __ASM_EMIT("fmla v24.4s, v16.4s, v28.4s") // v24 = si*dr + sr*di
223 __ASM_EMIT("st1 {v0.s}[0], [%[dst_re]]")
224 __ASM_EMIT("st1 {v24.s}[0], [%[dst_im]]")
225 __ASM_EMIT("add %[dst_re], %[dst_re], #0x04")
226 __ASM_EMIT("add %[dst_im], %[dst_im], #0x04")
227 __ASM_EMIT("subs %[count], %[count], #1")
228 __ASM_EMIT("b.ge 7b")
229 __ASM_EMIT("8:")
230
231 : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im),
232 [src1_re] "+r" (src1_re), [src1_im] "+r" (src1_im),
233 [src2_re] "+r" (src2_re), [src2_im] "+r" (src2_im),
234 [count] "+r" (count)
235 :
236 : "cc", "memory",
237 "v0", "v1", "v2", "v3",
238 // "v8", "v9", "v10", "v11", "v12", "v13", "v14", "v15", // Avoid usage if possible
239 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
240 "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31"
241 );
242 }
243
244 static const float complex_div_const[] __lsp_aligned16 =
245 {
246 LSP_DSP_VEC4(1.0f)
247 };
248
249 void complex_div2(float *dst_re, float *dst_im, const float *src_re, const float *src_im, size_t count)
250 {
251 ARCH_AARCH64_ASM
252 (
253 // x16 blocks
254 __ASM_EMIT("subs %[count], %[count], #16")
255 __ASM_EMIT("ldr q8, [%[kdiv]]")
256 __ASM_EMIT("b.lo 2f")
257 __ASM_EMIT("1:")
258 __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[src_re]], #0x40") // v16-v19 = sr
259 __ASM_EMIT("ld1 {v20.4s-v23.4s}, [%[src_im]], #0x40") // v20-v23 = si
260 __ASM_EMIT("ld1 {v24.4s-v27.4s}, [%[dst_re]]") // v24-v27 = dr
261 __ASM_EMIT("ld1 {v28.4s-v31.4s}, [%[dst_im]]") // v28-v31 = di
262 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
263 __ASM_EMIT("fmul v1.4s, v17.4s, v25.4s")
264 __ASM_EMIT("fmul v2.4s, v18.4s, v26.4s")
265 __ASM_EMIT("fmul v3.4s, v19.4s, v27.4s")
266 __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di
267 __ASM_EMIT("fmul v5.4s, v17.4s, v29.4s")
268 __ASM_EMIT("fmul v6.4s, v18.4s, v30.4s")
269 __ASM_EMIT("fmul v7.4s, v19.4s, v31.4s")
270 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
271 __ASM_EMIT("fmul v17.4s, v17.4s, v17.4s")
272 __ASM_EMIT("fmul v18.4s, v18.4s, v18.4s")
273 __ASM_EMIT("fmul v19.4s, v19.4s, v19.4s")
274 __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di
275 __ASM_EMIT("fmla v1.4s, v21.4s, v29.4s")
276 __ASM_EMIT("fmla v2.4s, v22.4s, v30.4s")
277 __ASM_EMIT("fmla v3.4s, v23.4s, v31.4s")
278 __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si
279 __ASM_EMIT("fmla v17.4s, v21.4s, v21.4s")
280 __ASM_EMIT("fmla v18.4s, v22.4s, v22.4s")
281 __ASM_EMIT("fmla v19.4s, v23.4s, v23.4s")
282 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
283 __ASM_EMIT("fdiv v13.4s, v8.4s, v17.4s")
284 __ASM_EMIT("fdiv v14.4s, v8.4s, v18.4s")
285 __ASM_EMIT("fdiv v15.4s, v8.4s, v19.4s")
286 __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr
287 __ASM_EMIT("fmls v5.4s, v21.4s, v25.4s")
288 __ASM_EMIT("fmls v6.4s, v22.4s, v26.4s")
289 __ASM_EMIT("fmls v7.4s, v23.4s, v27.4s")
290 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R
291 __ASM_EMIT("fmul v1.4s, v1.4s, v13.4s")
292 __ASM_EMIT("fmul v2.4s, v2.4s, v14.4s")
293 __ASM_EMIT("fmul v3.4s, v3.4s, v15.4s")
294 __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R
295 __ASM_EMIT("fmul v5.4s, v5.4s, v13.4s")
296 __ASM_EMIT("fmul v6.4s, v6.4s, v14.4s")
297 __ASM_EMIT("fmul v7.4s, v7.4s, v15.4s")
298 __ASM_EMIT("subs %[count], %[count], #16")
299 __ASM_EMIT("st1 {v0.4s-v3.4s}, [%[dst_re]], #0x40")
300 __ASM_EMIT("st1 {v4.4s-v7.4s}, [%[dst_im]], #0x40")
301 __ASM_EMIT("b.hs 1b")
302 __ASM_EMIT("2:")
303 // x8 blocks
304 __ASM_EMIT("adds %[count], %[count], #8")
305 __ASM_EMIT("b.lt 4f")
306 __ASM_EMIT("ld1 {v16.4s, v17.4s}, [%[src_re]], #0x20") // v16-v17 = sr
307 __ASM_EMIT("ld1 {v20.4s, v21.4s}, [%[src_im]], #0x20") // v20-v21 = si
308 __ASM_EMIT("ld1 {v24.4s, v25.4s}, [%[dst_re]]") // v24-v25 = dr
309 __ASM_EMIT("ld1 {v28.4s, v29.4s}, [%[dst_im]]") // v28-v29 = di
310 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
311 __ASM_EMIT("fmul v1.4s, v17.4s, v25.4s")
312 __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di
313 __ASM_EMIT("fmul v5.4s, v17.4s, v29.4s")
314 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
315 __ASM_EMIT("fmul v17.4s, v17.4s, v17.4s")
316 __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di
317 __ASM_EMIT("fmla v1.4s, v21.4s, v29.4s")
318 __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si
319 __ASM_EMIT("fmla v17.4s, v21.4s, v21.4s")
320 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
321 __ASM_EMIT("fdiv v13.4s, v8.4s, v17.4s")
322 __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr
323 __ASM_EMIT("fmls v5.4s, v21.4s, v25.4s")
324 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R
325 __ASM_EMIT("fmul v1.4s, v1.4s, v13.4s")
326 __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R
327 __ASM_EMIT("fmul v5.4s, v5.4s, v13.4s")
328 __ASM_EMIT("sub %[count], %[count], #8")
329 __ASM_EMIT("st1 {v0.4s, v1.4s}, [%[dst_re]], #0x20")
330 __ASM_EMIT("st1 {v4.4s, v5.4s}, [%[dst_im]], #0x20")
331 __ASM_EMIT("4:")
332 // x4 blocks
333 __ASM_EMIT("adds %[count], %[count], #4")
334 __ASM_EMIT("b.lt 6f")
335 __ASM_EMIT("ld1 {v16.4s}, [%[src_re]], #0x10") // v16-v17 = sr
336 __ASM_EMIT("ld1 {v20.4s}, [%[src_im]], #0x10") // v20-v21 = si
337 __ASM_EMIT("ld1 {v24.4s}, [%[dst_re]]") // v24-v25 = dr
338 __ASM_EMIT("ld1 {v28.4s}, [%[dst_im]]") // v28-v29 = di
339 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
340 __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di
341 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
342 __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di
343 __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si
344 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
345 __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr
346 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R
347 __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R
348 __ASM_EMIT("sub %[count], %[count], #4")
349 __ASM_EMIT("st1 {v0.4s}, [%[dst_re]], #0x10")
350 __ASM_EMIT("st1 {v4.4s}, [%[dst_im]], #0x10")
351 __ASM_EMIT("6:")
352 // x1 blocks
353 __ASM_EMIT("adds %[count], %[count], #3")
354 __ASM_EMIT("b.lt 8f")
355 __ASM_EMIT("7:")
356 __ASM_EMIT("ld1r {v16.4s}, [%[src_re]], #0x04") // v16 = sr
357 __ASM_EMIT("ld1r {v20.4s}, [%[src_im]], #0x04") // v20 = si
358 __ASM_EMIT("ld1r {v24.4s}, [%[dst_re]]") // v24 = dr
359 __ASM_EMIT("ld1r {v28.4s}, [%[dst_im]]") // v28 = di
360 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
361 __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di
362 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
363 __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di
364 __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si
365 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
366 __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr
367 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R
368 __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R
369 __ASM_EMIT("st1 {v0.s}[0], [%[dst_re]], #0x04")
370 __ASM_EMIT("st1 {v4.s}[0], [%[dst_im]], #0x04")
371 __ASM_EMIT("subs %[count], %[count], #1")
372 __ASM_EMIT("b.ge 7b")
373 __ASM_EMIT("8:")
374
375 : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im),
376 [src_re] "+r" (src_re), [src_im] "+r" (src_im),
377 [count] "+r" (count)
378 : [kdiv] "r" (&complex_div_const[0])
379 : "cc", "memory",
380 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
381 "v8", /* "v9", "v10", "v11", */ "v12", "v13", "v14", "v15", // Avoid usage if possible
382 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
383 "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31"
384 );
385 }
386
387 void complex_rdiv2(float *dst_re, float *dst_im, const float *src_re, const float *src_im, size_t count)
388 {
389 ARCH_AARCH64_ASM
390 (
391 // x16 blocks
392 __ASM_EMIT("subs %[count], %[count], #16")
393 __ASM_EMIT("ldr q8, [%[kdiv]]")
394 __ASM_EMIT("b.lo 2f")
395 __ASM_EMIT("1:")
396 __ASM_EMIT("ld1 {v24.4s-v27.4s}, [%[src_re]], #0x40") // v24-v27 = sr
397 __ASM_EMIT("ld1 {v28.4s-v31.4s}, [%[src_im]], #0x40") // v28-v31 = si
398 __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[dst_re]]") // v16-v19 = dr
399 __ASM_EMIT("ld1 {v20.4s-v23.4s}, [%[dst_im]]") // v20-v23 = di
400 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
401 __ASM_EMIT("fmul v1.4s, v17.4s, v25.4s")
402 __ASM_EMIT("fmul v2.4s, v18.4s, v26.4s")
403 __ASM_EMIT("fmul v3.4s, v19.4s, v27.4s")
404 __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di
405 __ASM_EMIT("fmul v5.4s, v17.4s, v29.4s")
406 __ASM_EMIT("fmul v6.4s, v18.4s, v30.4s")
407 __ASM_EMIT("fmul v7.4s, v19.4s, v31.4s")
408 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
409 __ASM_EMIT("fmul v17.4s, v17.4s, v17.4s")
410 __ASM_EMIT("fmul v18.4s, v18.4s, v18.4s")
411 __ASM_EMIT("fmul v19.4s, v19.4s, v19.4s")
412 __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di
413 __ASM_EMIT("fmla v1.4s, v21.4s, v29.4s")
414 __ASM_EMIT("fmla v2.4s, v22.4s, v30.4s")
415 __ASM_EMIT("fmla v3.4s, v23.4s, v31.4s")
416 __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si
417 __ASM_EMIT("fmla v17.4s, v21.4s, v21.4s")
418 __ASM_EMIT("fmla v18.4s, v22.4s, v22.4s")
419 __ASM_EMIT("fmla v19.4s, v23.4s, v23.4s")
420 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
421 __ASM_EMIT("fdiv v13.4s, v8.4s, v17.4s")
422 __ASM_EMIT("fdiv v14.4s, v8.4s, v18.4s")
423 __ASM_EMIT("fdiv v15.4s, v8.4s, v19.4s")
424 __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr
425 __ASM_EMIT("fmls v5.4s, v21.4s, v25.4s")
426 __ASM_EMIT("fmls v6.4s, v22.4s, v26.4s")
427 __ASM_EMIT("fmls v7.4s, v23.4s, v27.4s")
428 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R
429 __ASM_EMIT("fmul v1.4s, v1.4s, v13.4s")
430 __ASM_EMIT("fmul v2.4s, v2.4s, v14.4s")
431 __ASM_EMIT("fmul v3.4s, v3.4s, v15.4s")
432 __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R
433 __ASM_EMIT("fmul v5.4s, v5.4s, v13.4s")
434 __ASM_EMIT("fmul v6.4s, v6.4s, v14.4s")
435 __ASM_EMIT("fmul v7.4s, v7.4s, v15.4s")
436 __ASM_EMIT("subs %[count], %[count], #16")
437 __ASM_EMIT("st1 {v0.4s-v3.4s}, [%[dst_re]], #0x40")
438 __ASM_EMIT("st1 {v4.4s-v7.4s}, [%[dst_im]], #0x40")
439 __ASM_EMIT("b.hs 1b")
440 __ASM_EMIT("2:")
441 // x8 blocks
442 __ASM_EMIT("adds %[count], %[count], #8")
443 __ASM_EMIT("b.lt 4f")
444 __ASM_EMIT("ld1 {v24.4s, v25.4s}, [%[src_re]], #0x20") // v24-v25 = sr
445 __ASM_EMIT("ld1 {v28.4s, v29.4s}, [%[src_im]], #0x20") // v28-v29 = si
446 __ASM_EMIT("ld1 {v16.4s, v17.4s}, [%[dst_re]]") // v16-v17 = dr
447 __ASM_EMIT("ld1 {v20.4s, v21.4s}, [%[dst_im]]") // v20-v21 = di
448 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
449 __ASM_EMIT("fmul v1.4s, v17.4s, v25.4s")
450 __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di
451 __ASM_EMIT("fmul v5.4s, v17.4s, v29.4s")
452 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
453 __ASM_EMIT("fmul v17.4s, v17.4s, v17.4s")
454 __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di
455 __ASM_EMIT("fmla v1.4s, v21.4s, v29.4s")
456 __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si
457 __ASM_EMIT("fmla v17.4s, v21.4s, v21.4s")
458 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
459 __ASM_EMIT("fdiv v13.4s, v8.4s, v17.4s")
460 __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr
461 __ASM_EMIT("fmls v5.4s, v21.4s, v25.4s")
462 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R
463 __ASM_EMIT("fmul v1.4s, v1.4s, v13.4s")
464 __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R
465 __ASM_EMIT("fmul v5.4s, v5.4s, v13.4s")
466 __ASM_EMIT("sub %[count], %[count], #8")
467 __ASM_EMIT("st1 {v0.4s, v1.4s}, [%[dst_re]], #0x20")
468 __ASM_EMIT("st1 {v4.4s, v5.4s}, [%[dst_im]], #0x20")
469 __ASM_EMIT("4:")
470 // x4 blocks
471 __ASM_EMIT("adds %[count], %[count], #4")
472 __ASM_EMIT("b.lt 6f")
473 __ASM_EMIT("ld1 {v24.4s}, [%[src_re]], #0x10") // v24-v25 = sr
474 __ASM_EMIT("ld1 {v28.4s}, [%[src_im]], #0x10") // v28-v29 = si
475 __ASM_EMIT("ld1 {v16.4s}, [%[dst_re]]") // v16-v17 = dr
476 __ASM_EMIT("ld1 {v20.4s}, [%[dst_im]]") // v20-v21 = di
477 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
478 __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di
479 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
480 __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di
481 __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si
482 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
483 __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr
484 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R
485 __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R
486 __ASM_EMIT("sub %[count], %[count], #4")
487 __ASM_EMIT("st1 {v0.4s}, [%[dst_re]], #0x10")
488 __ASM_EMIT("st1 {v4.4s}, [%[dst_im]], #0x10")
489 __ASM_EMIT("6:")
490 // x1 blocks
491 __ASM_EMIT("adds %[count], %[count], #3")
492 __ASM_EMIT("b.lt 8f")
493 __ASM_EMIT("7:")
494 __ASM_EMIT("ld1r {v24.4s}, [%[src_re]], #0x04") // v24 = sr
495 __ASM_EMIT("ld1r {v28.4s}, [%[src_im]], #0x04") // v28 = si
496 __ASM_EMIT("ld1r {v16.4s}, [%[dst_re]]") // v16 = dr
497 __ASM_EMIT("ld1r {v20.4s}, [%[dst_im]]") // v20 = di
498 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
499 __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di
500 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
501 __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di
502 __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si
503 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
504 __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr
505 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R
506 __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R
507 __ASM_EMIT("st1 {v0.s}[0], [%[dst_re]], #0x04")
508 __ASM_EMIT("st1 {v4.s}[0], [%[dst_im]], #0x04")
509 __ASM_EMIT("subs %[count], %[count], #1")
510 __ASM_EMIT("b.ge 7b")
511 __ASM_EMIT("8:")
512
513 : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im),
514 [src_re] "+r" (src_re), [src_im] "+r" (src_im),
515 [count] "+r" (count)
516 : [kdiv] "r" (&complex_div_const[0])
517 : "cc", "memory",
518 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
519 "v8", /* "v9", "v10", "v11", */ "v12", "v13", "v14", "v15", // Avoid usage if possible
520 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
521 "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31"
522 );
523 }
524
525 void complex_div3(float *dst_re, float *dst_im, const float *t_re, const float *t_im, const float *b_re, const float *b_im, size_t count)
526 {
527 ARCH_AARCH64_ASM
528 (
529 // x16 blocks
530 __ASM_EMIT("subs %[count], %[count], #16")
531 __ASM_EMIT("ldr q8, [%[kdiv]]")
532 __ASM_EMIT("b.lo 2f")
533 __ASM_EMIT("1:")
534 __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[b_re]], #0x40") // v16-v19 = sr
535 __ASM_EMIT("ld1 {v20.4s-v23.4s}, [%[b_im]], #0x40") // v20-v23 = si
536 __ASM_EMIT("ld1 {v24.4s-v27.4s}, [%[t_re]], #0x40") // v24-v27 = dr
537 __ASM_EMIT("ld1 {v28.4s-v31.4s}, [%[t_im]], #0x40") // v28-v31 = di
538 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
539 __ASM_EMIT("fmul v1.4s, v17.4s, v25.4s")
540 __ASM_EMIT("fmul v2.4s, v18.4s, v26.4s")
541 __ASM_EMIT("fmul v3.4s, v19.4s, v27.4s")
542 __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di
543 __ASM_EMIT("fmul v5.4s, v17.4s, v29.4s")
544 __ASM_EMIT("fmul v6.4s, v18.4s, v30.4s")
545 __ASM_EMIT("fmul v7.4s, v19.4s, v31.4s")
546 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
547 __ASM_EMIT("fmul v17.4s, v17.4s, v17.4s")
548 __ASM_EMIT("fmul v18.4s, v18.4s, v18.4s")
549 __ASM_EMIT("fmul v19.4s, v19.4s, v19.4s")
550 __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di
551 __ASM_EMIT("fmla v1.4s, v21.4s, v29.4s")
552 __ASM_EMIT("fmla v2.4s, v22.4s, v30.4s")
553 __ASM_EMIT("fmla v3.4s, v23.4s, v31.4s")
554 __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si
555 __ASM_EMIT("fmla v17.4s, v21.4s, v21.4s")
556 __ASM_EMIT("fmla v18.4s, v22.4s, v22.4s")
557 __ASM_EMIT("fmla v19.4s, v23.4s, v23.4s")
558 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
559 __ASM_EMIT("fdiv v13.4s, v8.4s, v17.4s")
560 __ASM_EMIT("fdiv v14.4s, v8.4s, v18.4s")
561 __ASM_EMIT("fdiv v15.4s, v8.4s, v19.4s")
562 __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr
563 __ASM_EMIT("fmls v5.4s, v21.4s, v25.4s")
564 __ASM_EMIT("fmls v6.4s, v22.4s, v26.4s")
565 __ASM_EMIT("fmls v7.4s, v23.4s, v27.4s")
566 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R
567 __ASM_EMIT("fmul v1.4s, v1.4s, v13.4s")
568 __ASM_EMIT("fmul v2.4s, v2.4s, v14.4s")
569 __ASM_EMIT("fmul v3.4s, v3.4s, v15.4s")
570 __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R
571 __ASM_EMIT("fmul v5.4s, v5.4s, v13.4s")
572 __ASM_EMIT("fmul v6.4s, v6.4s, v14.4s")
573 __ASM_EMIT("fmul v7.4s, v7.4s, v15.4s")
574 __ASM_EMIT("subs %[count], %[count], #16")
575 __ASM_EMIT("st1 {v0.4s-v3.4s}, [%[dst_re]], #0x40")
576 __ASM_EMIT("st1 {v4.4s-v7.4s}, [%[dst_im]], #0x40")
577 __ASM_EMIT("b.hs 1b")
578 __ASM_EMIT("2:")
579 // x8 blocks
580 __ASM_EMIT("adds %[count], %[count], #8")
581 __ASM_EMIT("b.lt 4f")
582 __ASM_EMIT("ld1 {v16.4s, v17.4s}, [%[b_re]], #0x20") // v16-v17 = sr
583 __ASM_EMIT("ld1 {v20.4s, v21.4s}, [%[b_im]], #0x20") // v20-v21 = si
584 __ASM_EMIT("ld1 {v24.4s, v25.4s}, [%[t_re]], #0x20") // v24-v25 = dr
585 __ASM_EMIT("ld1 {v28.4s, v29.4s}, [%[t_im]], #0x20") // v28-v29 = di
586 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
587 __ASM_EMIT("fmul v1.4s, v17.4s, v25.4s")
588 __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di
589 __ASM_EMIT("fmul v5.4s, v17.4s, v29.4s")
590 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
591 __ASM_EMIT("fmul v17.4s, v17.4s, v17.4s")
592 __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di
593 __ASM_EMIT("fmla v1.4s, v21.4s, v29.4s")
594 __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si
595 __ASM_EMIT("fmla v17.4s, v21.4s, v21.4s")
596 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
597 __ASM_EMIT("fdiv v13.4s, v8.4s, v17.4s")
598 __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr
599 __ASM_EMIT("fmls v5.4s, v21.4s, v25.4s")
600 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R
601 __ASM_EMIT("fmul v1.4s, v1.4s, v13.4s")
602 __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R
603 __ASM_EMIT("fmul v5.4s, v5.4s, v13.4s")
604 __ASM_EMIT("sub %[count], %[count], #8")
605 __ASM_EMIT("st1 {v0.4s, v1.4s}, [%[dst_re]], #0x20")
606 __ASM_EMIT("st1 {v4.4s, v5.4s}, [%[dst_im]], #0x20")
607 __ASM_EMIT("4:")
608 // x4 blocks
609 __ASM_EMIT("adds %[count], %[count], #4")
610 __ASM_EMIT("b.lt 6f")
611 __ASM_EMIT("ld1 {v16.4s}, [%[b_re]], #0x10") // v16-v17 = sr
612 __ASM_EMIT("ld1 {v20.4s}, [%[b_im]], #0x10") // v20-v21 = si
613 __ASM_EMIT("ld1 {v24.4s}, [%[t_re]], #0x10") // v24-v25 = dr
614 __ASM_EMIT("ld1 {v28.4s}, [%[t_im]], #0x10") // v28-v29 = di
615 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
616 __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di
617 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
618 __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di
619 __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si
620 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
621 __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr
622 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R
623 __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R
624 __ASM_EMIT("sub %[count], %[count], #4")
625 __ASM_EMIT("st1 {v0.4s}, [%[dst_re]], #0x10")
626 __ASM_EMIT("st1 {v4.4s}, [%[dst_im]], #0x10")
627 __ASM_EMIT("6:")
628 // x1 blocks
629 __ASM_EMIT("adds %[count], %[count], #3")
630 __ASM_EMIT("b.lt 8f")
631 __ASM_EMIT("7:")
632 __ASM_EMIT("ld1r {v16.4s}, [%[b_re]], #0x04") // v16 = sr
633 __ASM_EMIT("ld1r {v20.4s}, [%[b_im]], #0x04") // v20 = si
634 __ASM_EMIT("ld1r {v24.4s}, [%[t_re]], #0x04") // v24 = dr
635 __ASM_EMIT("ld1r {v28.4s}, [%[t_im]], #0x04") // v28 = di
636 __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr
637 __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di
638 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr
639 __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di
640 __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si
641 __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si)
642 __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr
643 __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R
644 __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R
645 __ASM_EMIT("st1 {v0.s}[0], [%[dst_re]], #0x04")
646 __ASM_EMIT("st1 {v4.s}[0], [%[dst_im]], #0x04")
647 __ASM_EMIT("subs %[count], %[count], #1")
648 __ASM_EMIT("b.ge 7b")
649 __ASM_EMIT("8:")
650
651 : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im),
652 [t_re] "+r" (t_re), [t_im] "+r" (t_im),
653 [b_re] "+r" (b_re), [b_im] "+r" (b_im),
654 [count] "+r" (count)
655 : [kdiv] "r" (&complex_div_const[0])
656 : "cc", "memory",
657 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
658 "v8", /* "v9", "v10", "v11", */ "v12", "v13", "v14", "v15", // Avoid usage if possible
659 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
660 "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31"
661 );
662 }
663
664 void complex_mod(float *dst, const float *src_re, const float *src_im, size_t count)
665 {
666 ARCH_AARCH64_ASM
667 (
668 __ASM_EMIT("subs %[count], %[count], #16")
669 __ASM_EMIT("b.lo 2f")
670
671 // x16 blocks
672 __ASM_EMIT("1:")
673 __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[src_re]], #0x40") // v16-v19 = r
674 __ASM_EMIT("ld1 {v24.4s-v27.4s}, [%[src_im]], #0x40") // v24-v27 = i
675
676 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = r*r
677 __ASM_EMIT("fmul v17.4s, v17.4s, v17.4s")
678 __ASM_EMIT("fmul v18.4s, v18.4s, v18.4s")
679 __ASM_EMIT("fmul v19.4s, v19.4s, v19.4s")
680 __ASM_EMIT("fmla v16.4s, v24.4s, v24.4s") // v16 = R = r*r + i*i
681 __ASM_EMIT("fmla v17.4s, v25.4s, v25.4s")
682 __ASM_EMIT("fmla v18.4s, v26.4s, v26.4s")
683 __ASM_EMIT("fmla v19.4s, v27.4s, v27.4s")
684 __ASM_EMIT("fsqrt v16.4s, v16.4s") // v16 = sqrt(R)
685 __ASM_EMIT("fsqrt v17.4s, v17.4s")
686 __ASM_EMIT("fsqrt v18.4s, v18.4s")
687 __ASM_EMIT("fsqrt v19.4s, v19.4s")
688
689 __ASM_EMIT("subs %[count], %[count], #16")
690 __ASM_EMIT("st1 {v16.4s-v19.4s}, [%[dst]], #0x40")
691 __ASM_EMIT("b.hs 1b")
692
693 // x8 blocks
694 __ASM_EMIT("2:")
695 __ASM_EMIT("adds %[count], %[count], #8")
696 __ASM_EMIT("b.lt 4f")
697
698 __ASM_EMIT("ld1 {v16.4s, v17.4s}, [%[src_re]], #0x20") // v16-v17 = r
699 __ASM_EMIT("ld1 {v24.4s, v25.4s}, [%[src_im]], #0x20") // v24-v25 = i
700 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = r*r
701 __ASM_EMIT("fmul v17.4s, v17.4s, v17.4s")
702 __ASM_EMIT("fmla v16.4s, v24.4s, v24.4s") // v16 = R = r*r + i*i
703 __ASM_EMIT("fmla v17.4s, v25.4s, v25.4s")
704 __ASM_EMIT("fsqrt v16.4s, v16.4s") // v16 = sqrt(R)
705 __ASM_EMIT("fsqrt v17.4s, v17.4s")
706 __ASM_EMIT("sub %[count], %[count], #8")
707 __ASM_EMIT("st1 {v16.4s, v17.4s}, [%[dst]], #0x20")
708
709 // x4 blocks
710 __ASM_EMIT("4:")
711 __ASM_EMIT("adds %[count], %[count], #4")
712 __ASM_EMIT("b.lt 6f")
713
714 __ASM_EMIT("ld1 {v16.4s}, [%[src_re]], #0x10") // v16 = r
715 __ASM_EMIT("ld1 {v24.4s}, [%[src_im]], #0x10") // v24 = i
716 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = r*r
717 __ASM_EMIT("fmla v16.4s, v24.4s, v24.4s") // v16 = R = r*r + i*i
718 __ASM_EMIT("fsqrt v16.4s, v16.4s") // v16 = sqrt(R)
719 __ASM_EMIT("sub %[count], %[count], #4")
720 __ASM_EMIT("st1 {v16.4s}, [%[dst]], #0x10")
721
722 // x1 blocks
723 __ASM_EMIT("6:")
724 __ASM_EMIT("adds %[count], %[count], #3")
725 __ASM_EMIT("b.lt 8f")
726 __ASM_EMIT("7:")
727
728 __ASM_EMIT("ld1r {v16.4s}, [%[src_re]], #0x04") // v16 = r
729 __ASM_EMIT("ld1r {v24.4s}, [%[src_im]], #0x04") // v24 = i
730 __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = r*r
731 __ASM_EMIT("fmla v16.4s, v24.4s, v24.4s") // v16 = R = r*r + i*i
732 __ASM_EMIT("fsqrt v16.4s, v16.4s") // v16 = sqrt(R)
733 __ASM_EMIT("str s16, [%[dst]], #0x04")
734 __ASM_EMIT("subs %[count], %[count], #1")
735 __ASM_EMIT("b.ge 7b")
736
737 __ASM_EMIT("8:")
738
739 : [dst] "+r" (dst), [src_re] "+r" (src_re), [src_im] "+r" (src_im),
740 [count] "+r" (count)
741 :
742 : "cc", "memory",
743 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
744 // "v8", "v9", "v10", "v11", "v12", "v13", "v14", "v15", // Avoid usage if possible
745 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
746 "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31"
747 );
748 }
749
750 void complex_rcp1(float *dst_re, float *dst_im, size_t count)
751 {
752 ARCH_AARCH64_ASM
753 (
754 __ASM_EMIT("subs %[count], %[count], #16")
755 __ASM_EMIT("b.lo 2f")
756
757 // x16 blocks
758 __ASM_EMIT("1:")
759 __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[dst_re]]") // v16-v19 = dr
760 __ASM_EMIT("ld1 {v20.4s-v23.4s}, [%[dst_im]]") // v20-v23 = di
761
762 __ASM_EMIT("fmul v0.4s, v16.4s, v16.4s") // v0 = dr*dr
763 __ASM_EMIT("fmul v1.4s, v17.4s, v17.4s")
764 __ASM_EMIT("fmul v2.4s, v18.4s, v18.4s")
765 __ASM_EMIT("fmul v3.4s, v19.4s, v19.4s")
766 __ASM_EMIT("fmla v0.4s, v20.4s, v20.4s") // v0 = dr*dr + di*di
767 __ASM_EMIT("fmla v1.4s, v21.4s, v21.4s")
768 __ASM_EMIT("fmla v2.4s, v22.4s, v22.4s")
769 __ASM_EMIT("fmla v3.4s, v23.4s, v23.4s")
770 __ASM_EMIT("fneg v20.4s, v20.4s") // v20 = -di
771 __ASM_EMIT("fneg v21.4s, v21.4s")
772 __ASM_EMIT("fneg v22.4s, v22.4s")
773 __ASM_EMIT("fneg v23.4s, v23.4s")
774 __ASM_EMIT("fdiv v16.4s, v16.4s, v0.4s") // v16 = dr/(dr*dr + di*di)
775 __ASM_EMIT("fdiv v17.4s, v17.4s, v1.4s")
776 __ASM_EMIT("fdiv v18.4s, v18.4s, v2.4s")
777 __ASM_EMIT("fdiv v19.4s, v19.4s, v3.4s")
778 __ASM_EMIT("fdiv v20.4s, v20.4s, v0.4s") // v20 = -di/(dr*dr + di*di)
779 __ASM_EMIT("fdiv v21.4s, v21.4s, v1.4s")
780 __ASM_EMIT("fdiv v22.4s, v22.4s, v2.4s")
781 __ASM_EMIT("fdiv v23.4s, v23.4s, v3.4s")
782
783 __ASM_EMIT("subs %[count], %[count], #16")
784 __ASM_EMIT("st1 {v16.4s-v19.4s}, [%[dst_re]], #0x40")
785 __ASM_EMIT("st1 {v20.4s-v23.4s}, [%[dst_im]], #0x40")
786 __ASM_EMIT("b.hs 1b")
787
788 // x8 blocks
789 __ASM_EMIT("2:")
790 __ASM_EMIT("adds %[count], %[count], #8")
791 __ASM_EMIT("b.lt 4f")
792 __ASM_EMIT("ld1 {v16.4s, v17.4s}, [%[dst_re]]") // v16-v17 = dr
793 __ASM_EMIT("ld1 {v20.4s, v21.4s}, [%[dst_im]]") // v20-v21 = di
794 __ASM_EMIT("fmul v0.4s, v16.4s, v16.4s") // v0 = dr*dr
795 __ASM_EMIT("fmul v1.4s, v17.4s, v17.4s")
796 __ASM_EMIT("fmla v0.4s, v20.4s, v20.4s") // v0 = dr*dr + di*di
797 __ASM_EMIT("fmla v1.4s, v21.4s, v21.4s")
798 __ASM_EMIT("fneg v20.4s, v20.4s") // v20 = -di
799 __ASM_EMIT("fneg v21.4s, v21.4s")
800 __ASM_EMIT("fdiv v16.4s, v16.4s, v0.4s") // v16 = dr/(dr*dr + di*di)
801 __ASM_EMIT("fdiv v17.4s, v17.4s, v1.4s")
802 __ASM_EMIT("fdiv v20.4s, v20.4s, v0.4s") // v20 = -di/(dr*dr + di*di)
803 __ASM_EMIT("fdiv v21.4s, v21.4s, v1.4s")
804 __ASM_EMIT("sub %[count], %[count], #8")
805 __ASM_EMIT("st1 {v16.4s, v17.4s}, [%[dst_re]], #0x20")
806 __ASM_EMIT("st1 {v20.4s, v21.4s}, [%[dst_im]], #0x20")
807
808 // x4 blocks
809 __ASM_EMIT("4:")
810 __ASM_EMIT("adds %[count], %[count], #4")
811 __ASM_EMIT("b.lt 6f")
812 __ASM_EMIT("ld1 {v16.4s}, [%[dst_re]]") // v16-v17 = dr
813 __ASM_EMIT("ld1 {v20.4s}, [%[dst_im]]") // v20-v21 = di
814 __ASM_EMIT("fmul v0.4s, v16.4s, v16.4s") // v0 = dr*dr
815 __ASM_EMIT("fmla v0.4s, v20.4s, v20.4s") // v0 = dr*dr + di*di
816 __ASM_EMIT("fneg v20.4s, v20.4s") // v20 = -di
817 __ASM_EMIT("fdiv v16.4s, v16.4s, v0.4s") // v16 = dr/(dr*dr + di*di)
818 __ASM_EMIT("fdiv v20.4s, v20.4s, v0.4s") // v20 = -di/(dr*dr + di*di)
819 __ASM_EMIT("sub %[count], %[count], #4")
820 __ASM_EMIT("st1 {v16.4s}, [%[dst_re]], #0x10")
821 __ASM_EMIT("st1 {v20.4s}, [%[dst_im]], #0x10")
822
823 // x1 blocks
824 __ASM_EMIT("6:")
825 __ASM_EMIT("adds %[count], %[count], #3")
826 __ASM_EMIT("b.lt 8f")
827 __ASM_EMIT("7:")
828 __ASM_EMIT("ld1r {v16.4s}, [%[dst_re]]") // v16 = dr
829 __ASM_EMIT("ld1r {v20.4s}, [%[dst_im]]") // v20 = di
830 __ASM_EMIT("fmul v0.4s, v16.4s, v16.4s") // v0 = dr*dr
831 __ASM_EMIT("fmla v0.4s, v20.4s, v20.4s") // v0 = dr*dr + di*di
832 __ASM_EMIT("fneg v20.4s, v20.4s") // v20 = -di
833 __ASM_EMIT("fdiv v16.4s, v16.4s, v0.4s") // v16 = dr/(dr*dr + di*di)
834 __ASM_EMIT("fdiv v20.4s, v20.4s, v0.4s") // v20 = -di/(dr*dr + di*di)
835 __ASM_EMIT("str s16, [%[dst_re]], #0x04")
836 __ASM_EMIT("str s20, [%[dst_im]], #0x04")
837 __ASM_EMIT("subs %[count], %[count], #1")
838 __ASM_EMIT("b.ge 7b")
839
840 __ASM_EMIT("8:")
841
842 : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im),
843 [count] "+r" (count)
844 :
845 : "cc", "memory",
846 "v0", "v1", "v2", "v3",
847 // "v8", "v9", "v10", "v11", "v12", "v13", "v14", "v15", // Avoid usage if possible
848 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23"
849 );
850 }
851
852 void complex_rcp2(float *dst_re, float *dst_im, const float *src_re, const float *src_im, size_t count)
853 {
854 ARCH_AARCH64_ASM
855 (
856 __ASM_EMIT("subs %[count], %[count], #16")
857 __ASM_EMIT("b.lo 2f")
858
859 // x16 blocks
860 __ASM_EMIT("1:")
861 __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[src_re]], #0x40") // v16-v19 = dr
862 __ASM_EMIT("ld1 {v20.4s-v23.4s}, [%[src_im]], #0x40") // v20-v23 = di
863
864 __ASM_EMIT("fmul v0.4s, v16.4s, v16.4s") // v0 = dr*dr
865 __ASM_EMIT("fmul v1.4s, v17.4s, v17.4s")
866 __ASM_EMIT("fmul v2.4s, v18.4s, v18.4s")
867 __ASM_EMIT("fmul v3.4s, v19.4s, v19.4s")
868 __ASM_EMIT("fmla v0.4s, v20.4s, v20.4s") // v0 = dr*dr + di*di
869 __ASM_EMIT("fmla v1.4s, v21.4s, v21.4s")
870 __ASM_EMIT("fmla v2.4s, v22.4s, v22.4s")
871 __ASM_EMIT("fmla v3.4s, v23.4s, v23.4s")
872 __ASM_EMIT("fneg v20.4s, v20.4s") // v20 = -di
873 __ASM_EMIT("fneg v21.4s, v21.4s")
874 __ASM_EMIT("fneg v22.4s, v22.4s")
875 __ASM_EMIT("fneg v23.4s, v23.4s")
876 __ASM_EMIT("fdiv v16.4s, v16.4s, v0.4s") // v16 = dr/(dr*dr + di*di)
877 __ASM_EMIT("fdiv v17.4s, v17.4s, v1.4s")
878 __ASM_EMIT("fdiv v18.4s, v18.4s, v2.4s")
879 __ASM_EMIT("fdiv v19.4s, v19.4s, v3.4s")
880 __ASM_EMIT("fdiv v20.4s, v20.4s, v0.4s") // v20 = -di/(dr*dr + di*di)
881 __ASM_EMIT("fdiv v21.4s, v21.4s, v1.4s")
882 __ASM_EMIT("fdiv v22.4s, v22.4s, v2.4s")
883 __ASM_EMIT("fdiv v23.4s, v23.4s, v3.4s")
884
885 __ASM_EMIT("subs %[count], %[count], #16")
886 __ASM_EMIT("st1 {v16.4s-v19.4s}, [%[dst_re]], #0x40")
887 __ASM_EMIT("st1 {v20.4s-v23.4s}, [%[dst_im]], #0x40")
888 __ASM_EMIT("b.hs 1b")
889
890 // x8 blocks
891 __ASM_EMIT("2:")
892 __ASM_EMIT("adds %[count], %[count], #8")
893 __ASM_EMIT("b.lt 4f")
894 __ASM_EMIT("ld1 {v16.4s, v17.4s}, [%[src_re]], #0x20") // v16-v17 = dr
895 __ASM_EMIT("ld1 {v20.4s, v21.4s}, [%[src_im]], #0x20") // v20-v21 = di
896 __ASM_EMIT("fmul v0.4s, v16.4s, v16.4s") // v0 = dr*dr
897 __ASM_EMIT("fmul v1.4s, v17.4s, v17.4s")
898 __ASM_EMIT("fmla v0.4s, v20.4s, v20.4s") // v0 = dr*dr + di*di
899 __ASM_EMIT("fmla v1.4s, v21.4s, v21.4s")
900 __ASM_EMIT("fneg v20.4s, v20.4s") // v20 = -di
901 __ASM_EMIT("fneg v21.4s, v21.4s")
902 __ASM_EMIT("fdiv v16.4s, v16.4s, v0.4s") // v16 = dr/(dr*dr + di*di)
903 __ASM_EMIT("fdiv v17.4s, v17.4s, v1.4s")
904 __ASM_EMIT("fdiv v20.4s, v20.4s, v0.4s") // v20 = -di/(dr*dr + di*di)
905 __ASM_EMIT("fdiv v21.4s, v21.4s, v1.4s")
906 __ASM_EMIT("sub %[count], %[count], #8")
907 __ASM_EMIT("st1 {v16.4s, v17.4s}, [%[dst_re]], #0x20")
908 __ASM_EMIT("st1 {v20.4s, v21.4s}, [%[dst_im]], #0x20")
909
910 // x4 blocks
911 __ASM_EMIT("4:")
912 __ASM_EMIT("adds %[count], %[count], #4")
913 __ASM_EMIT("b.lt 6f")
914 __ASM_EMIT("ld1 {v16.4s}, [%[src_re]], #0x10") // v16-v17 = dr
915 __ASM_EMIT("ld1 {v20.4s}, [%[src_im]], #0x10") // v20-v21 = di
916 __ASM_EMIT("fmul v0.4s, v16.4s, v16.4s") // v0 = dr*dr
917 __ASM_EMIT("fmla v0.4s, v20.4s, v20.4s") // v0 = dr*dr + di*di
918 __ASM_EMIT("fneg v20.4s, v20.4s") // v20 = -di
919 __ASM_EMIT("fdiv v16.4s, v16.4s, v0.4s") // v16 = dr/(dr*dr + di*di)
920 __ASM_EMIT("fdiv v20.4s, v20.4s, v0.4s") // v20 = -di/(dr*dr + di*di)
921 __ASM_EMIT("sub %[count], %[count], #4")
922 __ASM_EMIT("st1 {v16.4s}, [%[dst_re]], #0x10")
923 __ASM_EMIT("st1 {v20.4s}, [%[dst_im]], #0x10")
924
925 // x1 blocks
926 __ASM_EMIT("6:")
927 __ASM_EMIT("adds %[count], %[count], #3")
928 __ASM_EMIT("b.lt 8f")
929 __ASM_EMIT("7:")
930 __ASM_EMIT("ld1r {v16.4s}, [%[src_re]], #0x04") // v16 = dr
931 __ASM_EMIT("ld1r {v20.4s}, [%[src_im]], #0x04") // v20 = di
932 __ASM_EMIT("fmul v0.4s, v16.4s, v16.4s") // v0 = dr*dr
933 __ASM_EMIT("fmla v0.4s, v20.4s, v20.4s") // v0 = dr*dr + di*di
934 __ASM_EMIT("fneg v20.4s, v20.4s") // v20 = -di
935 __ASM_EMIT("fdiv v16.4s, v16.4s, v0.4s") // v16 = dr/(dr*dr + di*di)
936 __ASM_EMIT("fdiv v20.4s, v20.4s, v0.4s") // v20 = -di/(dr*dr + di*di)
937 __ASM_EMIT("str s16, [%[dst_re]], #0x04")
938 __ASM_EMIT("str s20, [%[dst_im]], #0x04")
939 __ASM_EMIT("subs %[count], %[count], #1")
940 __ASM_EMIT("b.ge 7b")
941
942 __ASM_EMIT("8:")
943
944 : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im),
945 [src_re] "+r" (src_re), [src_im] "+r" (src_im),
946 [count] "+r" (count)
947 :
948 : "cc", "memory",
949 "v0", "v1", "v2", "v3",
950 // "v8", "v9", "v10", "v11", "v12", "v13", "v14", "v15", // Avoid usage if possible
951 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23"
952 );
953 }
954 }
955 }
956
957 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_COMPLEX_H_ */