Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/pcomplex.h

raw
1 /*
2 * Copyright (C) 2024 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2024 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_PCOMPLEX_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_PCOMPLEX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 void pcomplex_mul2(float *dst, const float *src, size_t count)
34 {
35 IF_ARCH_ARM(float *src2);
36
37 ARCH_ARM_ASM
38 (
39 __ASM_EMIT("subs %[count], #8")
40 __ASM_EMIT("blo 2f")
41 __ASM_EMIT("mov %[src2], %[dst]")
42
43 // x8 blocks
44 __ASM_EMIT("1:")
45 __ASM_EMIT("vld2.32 {q0-q1}, [%[src1]]!") // q0 = sr, q1 = si
46 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = dr, q3 = di
47 __ASM_EMIT("vld2.32 {q4-q5}, [%[src1]]!")
48 __ASM_EMIT("vld2.32 {q6-q7}, [%[src2]]!")
49 __ASM_EMIT("vmul.f32 q8, q0, q2") // q8 = sr*dr
50 __ASM_EMIT("vmul.f32 q9, q1, q2") // q9 = si*dr
51 __ASM_EMIT("vmul.f32 q10, q4, q6")
52 __ASM_EMIT("vmls.f32 q8, q1, q3") // q8 = sr*dr - si*di
53 __ASM_EMIT("vmul.f32 q11, q5, q6")
54 __ASM_EMIT("vmla.f32 q9, q0, q3") // q9 = si*dr + sr*di
55 __ASM_EMIT("vmls.f32 q10, q5, q7")
56 __ASM_EMIT("vmla.f32 q11, q4, q7")
57 __ASM_EMIT("vst2.32 {q8-q9}, [%[dst]]!")
58 __ASM_EMIT("subs %[count], #8")
59 __ASM_EMIT("vst2.32 {q10-q11}, [%[dst]]!")
60 __ASM_EMIT("bhs 1b")
61
62 // x4 blocks
63 __ASM_EMIT("2:")
64 __ASM_EMIT("adds %[count], #4")
65 __ASM_EMIT("blt 4f")
66 __ASM_EMIT("vld2.32 {q0-q1}, [%[src1]]!") // q0 = sr, q1 = si
67 __ASM_EMIT("vld2.32 {q2-q3}, [%[dst]]") // q2 = dr, q3 = di
68 __ASM_EMIT("vmul.f32 q8, q0, q2") // q8 = sr*dr
69 __ASM_EMIT("vmul.f32 q9"
70 ", q1, q2") // q9 = si*dr
71 __ASM_EMIT("vmls.f32 q8, q1, q3") // q8 = sr*dr - si*di
72 __ASM_EMIT("vmla.f32 q9, q0, q3") // q9 = si*dr + sr*di
73 __ASM_EMIT("vst2.32 {q8-q9}, [%[dst]]!")
74 __ASM_EMIT("sub %[count], #4")
75
76 // x1 blocks
77 __ASM_EMIT("4:")
78 __ASM_EMIT("adds %[count], #3")
79 __ASM_EMIT("blt 6f")
80 __ASM_EMIT("5:")
81 __ASM_EMIT("vldm.32 %[src1]!, {s0-s1}") // s0 = sr, q1 = si
82 __ASM_EMIT("vldm.32 %[dst], {s2-s3}") // s2 = dr, q3 = di
83 __ASM_EMIT("vmul.f32 s8, s0, s2") // s8 = sr*dr
84 __ASM_EMIT("vmul.f32 s9, s1, s2") // s9 = si*dr
85 __ASM_EMIT("vmls.f32 s8, s1, s3") // s8 = sr*dr - si*di
86 __ASM_EMIT("vmla.f32 s9, s0, s3") // s9 = si*dr + sr*di
87 __ASM_EMIT("vstm.32 %[dst]!, {s8-s9}")
88 __ASM_EMIT("subs %[count], #1")
89 __ASM_EMIT("bge 5b")
90
91 __ASM_EMIT("6:")
92
93 : [dst] "+r" (dst), [src1] "+r" (src), [src2] "=&r" (src2),
94 [count] "+r" (count)
95 :
96 : "cc", "memory",
97 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
98 "q8", "q9", "q10", "q11"
99 );
100 }
101
102 void pcomplex_mul3(float *dst, const float *src1, const float *src2, size_t count)
103 {
104 ARCH_ARM_ASM
105 (
106 __ASM_EMIT("subs %[count], #8")
107 __ASM_EMIT("blo 2f")
108
109 // x8 blocks
110 __ASM_EMIT("1:")
111 __ASM_EMIT("vld2.32 {q0-q1}, [%[src1]]!") // q0 = sr, q1 = si
112 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = dr, q3 = di
113 __ASM_EMIT("vld2.32 {q4-q5}, [%[src1]]!")
114 __ASM_EMIT("vld2.32 {q6-q7}, [%[src2]]!")
115 __ASM_EMIT("vmul.f32 q8, q0, q2") // q8 = sr*dr
116 __ASM_EMIT("vmul.f32 q9, q1, q2") // q9 = si*dr
117 __ASM_EMIT("vmul.f32 q10, q4, q6")
118 __ASM_EMIT("vmls.f32 q8, q1, q3") // q8 = sr*dr - si*di
119 __ASM_EMIT("vmul.f32 q11, q5, q6")
120 __ASM_EMIT("vmla.f32 q9, q0, q3") // q9 = si*dr + sr*di
121 __ASM_EMIT("vmls.f32 q10, q5, q7")
122 __ASM_EMIT("vmla.f32 q11, q4, q7")
123 __ASM_EMIT("vst2.32 {q8-q9}, [%[dst]]!")
124 __ASM_EMIT("subs %[count], #8")
125 __ASM_EMIT("vst2.32 {q10-q11}, [%[dst]]!")
126 __ASM_EMIT("bhs 1b")
127
128 // x4 blocks
129 __ASM_EMIT("2:")
130 __ASM_EMIT("adds %[count], #4")
131 __ASM_EMIT("blt 4f")
132 __ASM_EMIT("vld2.32 {q0-q1}, [%[src1]]!") // q0 = sr, q1 = si
133 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = dr, q3 = di
134 __ASM_EMIT("vmul.f32 q8, q0, q2") // q8 = sr*dr
135 __ASM_EMIT("vmul.f32 q9, q1, q2") // q9 = si*dr
136 __ASM_EMIT("vmls.f32 q8, q1, q3") // q8 = sr*dr - si*di
137 __ASM_EMIT("vmla.f32 q9, q0, q3") // q9 = si*dr + sr*di
138 __ASM_EMIT("vst2.32 {q8-q9}, [%[dst]]!")
139 __ASM_EMIT("sub %[count], #4")
140
141 // x1 blocks
142 __ASM_EMIT("4:")
143 __ASM_EMIT("adds %[count], #3")
144 __ASM_EMIT("blt 6f")
145 __ASM_EMIT("5:")
146 __ASM_EMIT("vldm.32 %[src1]!, {s0-s1}") // s0 = sr, q1 = si
147 __ASM_EMIT("vldm.32 %[src2]!, {s2-s3}") // s2 = dr, q3 = di
148 __ASM_EMIT("vmul.f32 s8, s0, s2") // s8 = sr*dr
149 __ASM_EMIT("vmul.f32 s9, s1, s2") // s9 = si*dr
150 __ASM_EMIT("vmls.f32 s8, s1, s3") // s8 = sr*dr - si*di
151 __ASM_EMIT("vmla.f32 s9, s0, s3") // s9 = si*dr + sr*di
152 __ASM_EMIT("vstm.32 %[dst]!, {s8-s9}")
153 __ASM_EMIT("subs %[count], #1")
154 __ASM_EMIT("bge 5b")
155
156 __ASM_EMIT("6:")
157
158 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
159 [count] "+r" (count)
160 :
161 : "cc", "memory",
162 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
163 "q8", "q9", "q10", "q11"
164 );
165 }
166
167 void pcomplex_div2(float *dst, const float *src, size_t count)
168 {
169 IF_ARCH_ARM(float *src2);
170
171 ARCH_ARM_ASM
172 (
173 __ASM_EMIT("subs %[count], #8")
174 __ASM_EMIT("blo 2f")
175 __ASM_EMIT("mov %[src2], %[dst]")
176
177 // x8 blocks
178 __ASM_EMIT("1:")
179 __ASM_EMIT("vld2.32 {q4-q5}, [%[src]]!") // q4 = sr, q5 = si
180 __ASM_EMIT("vld2.32 {q8-q9}, [%[src2]]!") // q8 = dr, q9 = di
181 __ASM_EMIT("vld2.32 {q6-q7}, [%[src]]!")
182 __ASM_EMIT("vld2.32 {q10-q11}, [%[src2]]!")
183 __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr
184 __ASM_EMIT("vmul.f32 q2, q6, q10")
185 __ASM_EMIT("vmul.f32 q1, q4, q9") // q1 = sr*di
186 __ASM_EMIT("vmul.f32 q3, q6, q11")
187 __ASM_EMIT("vmla.f32 q0, q5, q9") // q0 = sr*dr + si*di
188 __ASM_EMIT("vmla.f32 q2, q7, q11")
189 __ASM_EMIT("vmls.f32 q1, q5, q8") // q1 = sr*di - si*dr
190 __ASM_EMIT("vmls.f32 q3, q7, q10")
191 __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr
192 __ASM_EMIT("vmul.f32 q6, q6, q6")
193 __ASM_EMIT("vmla.f32 q4, q5, q5") // q4 = sr*sr + si*si
194 __ASM_EMIT("vmla.f32 q6, q7, q7")
195 // q4 = 1 / (sr*sr + si*si)
196 __ASM_EMIT("vrecpe.f32 q5, q4") // q5 = x0
197 __ASM_EMIT("vrecpe.f32 q7, q6")
198 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x0)
199 __ASM_EMIT("vrecps.f32 q10, q7, q6")
200 __ASM_EMIT("vmul.f32 q5, q8, q5") // q5 = x1 = x0 * (2 - R*x0)
201 __ASM_EMIT("vmul.f32 q7, q10, q7")
202 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x1)
203 __ASM_EMIT("vrecps.f32 q10, q7, q6")
204 __ASM_EMIT("vmul.f32 q4, q8, q5") // q4 = x2 = x1 * (2 - R*x0)
205 __ASM_EMIT("vmul.f32 q6, q10, q7")
206 __ASM_EMIT("vmul.f32 q0, q0, q4")
207 __ASM_EMIT("vmul.f32 q2, q2, q6")
208 __ASM_EMIT("vmul.f32 q1, q1, q4")
209 __ASM_EMIT("vmul.f32 q3, q3, q6")
210 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
211 __ASM_EMIT("subs %[count], #8")
212 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
213 __ASM_EMIT("bhs 1b")
214
215 // x4 blocks
216 __ASM_EMIT("2:")
217 __ASM_EMIT("adds %[count], #4")
218 __ASM_EMIT("blt 4f")
219 __ASM_EMIT("vld2.32 {q4-q5}, [%[src]]!") // q4 = sr, q5 = si
220 __ASM_EMIT("vld2.32 {q8-q9}, [%[dst]]") // q8 = dr, q9 = di
221 __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr
222 __ASM_EMIT("vmul.f32 q1, q4, q9") // q1 = sr*di
223 __ASM_EMIT("vmla.f32 q0, q5, q9") // q0 = sr*dr + si*di
224 __ASM_EMIT("vmls.f32 q1, q5, q8") // q1 = sr*di - si*dr
225 __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr
226 __ASM_EMIT("vmla.f32 q4, q5, q5") // q4 = sr*sr + si*si
227 // q4 = 1 / (sr*sr + si*si)
228 __ASM_EMIT("vrecpe.f32 q5, q4") // q5 = x0
229 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x0)
230 __ASM_EMIT("vmul.f32 q5, q8, q5") // q5 = x1 = x0 * (2 - R*x0)
231 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x1)
232 __ASM_EMIT("vmul.f32 q4, q8, q5") // q4 = x2 = x1 * (2 - R*x0)
233 __ASM_EMIT("vmul.f32 q0, q0, q4")
234 __ASM_EMIT("vmul.f32 q1, q1, q4")
235 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
236 __ASM_EMIT("sub %[count], #4")
237
238 // x1 blocks
239 __ASM_EMIT("4:")
240 __ASM_EMIT("adds %[count], #3")
241 __ASM_EMIT("blt 6f")
242 __ASM_EMIT("5:")
243 __ASM_EMIT("vld2.32 {d8[], d10[]}, [%[src]]!") // q4 = sr, q5 = si
244 __ASM_EMIT("vld2.32 {d16[], d18[]}, [%[dst]]") // q8 = dr, q9 = di
245 __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr
246 __ASM_EMIT("vmul.f32 q1, q4, q9") // q1 = sr*di
247 __ASM_EMIT("vmla.f32 q0, q5, q9") // q0 = sr*dr + si*di
248 __ASM_EMIT("vmls.f32 q1, q5, q8") // q1 = sr*di - si*dr
249 __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr
250 __ASM_EMIT("vmla.f32 q4, q5, q5") // q4 = sr*sr + si*si
251 // q4 = 1 / (sr*sr + si*si)
252 __ASM_EMIT("vrecpe.f32 q5, q4") // q5 = x0
253 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x0)
254 __ASM_EMIT("vmul.f32 q5, q8, q5") // q5 = x1 = x0 * (2 - R*x0)
255 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x1)
256 __ASM_EMIT("vmul.f32 q4, q8, q5") // q4 = x2 = x1 * (2 - R*x0)
257 __ASM_EMIT("vmul.f32 q0, q0, q4")
258 __ASM_EMIT("vmul.f32 q1, q1, q4")
259 __ASM_EMIT("vst2.32 {d0[0], d2[0]}, [%[dst]]!")
260 __ASM_EMIT("subs %[count], #1")
261 __ASM_EMIT("bge 5b")
262
263 __ASM_EMIT("6:")
264
265 : [dst] "+r" (dst), [src] "+r" (src), [src2] "=&r" (src2),
266 [count] "+r" (count)
267 :
268 : "cc", "memory",
269 "q0", "q1", "q2", "q3",
270 "q4", "q5", "q6", "q7",
271 "q8", "q9", "q10", "q11"
272 );
273 }
274
275 void pcomplex_rdiv2(float *dst, const float *src, size_t count)
276 {
277 IF_ARCH_ARM(float *src2);
278
279 ARCH_ARM_ASM
280 (
281 __ASM_EMIT("subs %[count], #8")
282 __ASM_EMIT("blo 2f")
283 __ASM_EMIT("mov %[src2], %[dst]")
284
285 // x8 blocks
286 __ASM_EMIT("1:")
287 __ASM_EMIT("vld2.32 {q4-q5}, [%[src2]]!") // q4 = sr, q5 = si
288 __ASM_EMIT("vld2.32 {q8-q9}, [%[src]]!") // q8 = dr, q9 = di
289 __ASM_EMIT("vld2.32 {q6-q7}, [%[src2]]!")
290 __ASM_EMIT("vld2.32 {q10-q11}, [%[src]]!")
291 __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr
292 __ASM_EMIT("vmul.f32 q2, q6, q10")
293 __ASM_EMIT("vmul.f32 q1, q4, q9") // q1 = sr*di
294 __ASM_EMIT("vmul.f32 q3, q6, q11")
295 __ASM_EMIT("vmla.f32 q0, q5, q9") // q0 = sr*dr + si*di
296 __ASM_EMIT("vmla.f32 q2, q7, q11")
297 __ASM_EMIT("vmls.f32 q1, q5, q8") // q1 = sr*di - si*dr
298 __ASM_EMIT("vmls.f32 q3, q7, q10")
299 __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr
300 __ASM_EMIT("vmul.f32 q6, q6, q6")
301 __ASM_EMIT("vmla.f32 q4, q5, q5") // q4 = sr*sr + si*si
302 __ASM_EMIT("vmla.f32 q6, q7, q7")
303 // q4 = 1 / (sr*sr + si*si)
304 __ASM_EMIT("vrecpe.f32 q5, q4") // q5 = x0
305 __ASM_EMIT("vrecpe.f32 q7, q6")
306 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x0)
307 __ASM_EMIT("vrecps.f32 q10, q7, q6")
308 __ASM_EMIT("vmul.f32 q5, q8, q5") // q5 = x1 = x0 * (2 - R*x0)
309 __ASM_EMIT("vmul.f32 q7, q10, q7")
310 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x1)
311 __ASM_EMIT("vrecps.f32 q10, q7, q6")
312 __ASM_EMIT("vmul.f32 q4, q8, q5") // q4 = x2 = x1 * (2 - R*x0)
313 __ASM_EMIT("vmul.f32 q6, q10, q7")
314 __ASM_EMIT("vmul.f32 q0, q0, q4")
315 __ASM_EMIT("vmul.f32 q2, q2, q6")
316 __ASM_EMIT("vmul.f32 q1, q1, q4")
317 __ASM_EMIT("vmul.f32 q3, q3, q6")
318 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
319 __ASM_EMIT("subs %[count], #8")
320 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
321 __ASM_EMIT("bhs 1b")
322
323 // x4 blocks
324 __ASM_EMIT("2:")
325 __ASM_EMIT("adds %[count], #4")
326 __ASM_EMIT("blt 4f")
327 __ASM_EMIT("vld2.32 {q4-q5}, [%[dst]]") // q4 = sr, q5 = si
328 __ASM_EMIT("vld2.32 {q8-q9}, [%[src]]!") // q8 = dr, q9 = di
329 __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr
330 __ASM_EMIT("vmul.f32 q1, q4, q9") // q1 = sr*di
331 __ASM_EMIT("vmla.f32 q0, q5, q9") // q0 = sr*dr + si*di
332 __ASM_EMIT("vmls.f32 q1, q5, q8") // q1 = sr*di - si*dr
333 __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr
334 __ASM_EMIT("vmla.f32 q4, q5, q5") // q4 = sr*sr + si*si
335 // q4 = 1 / (sr*sr + si*si)
336 __ASM_EMIT("vrecpe.f32 q5, q4") // q5 = x0
337 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x0)
338 __ASM_EMIT("vmul.f32 q5, q8, q5") // q5 = x1 = x0 * (2 - R*x0)
339 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x1)
340 __ASM_EMIT("vmul.f32 q4, q8, q5") // q4 = x2 = x1 * (2 - R*x0)
341 __ASM_EMIT("vmul.f32 q0, q0, q4")
342 __ASM_EMIT("vmul.f32 q1, q1, q4")
343 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
344 __ASM_EMIT("sub %[count], #4")
345
346 // x1 blocks
347 __ASM_EMIT("4:")
348 __ASM_EMIT("adds %[count], #3")
349 __ASM_EMIT("blt 6f")
350 __ASM_EMIT("5:")
351 __ASM_EMIT("vld2.32 {d8[], d10[]}, [%[dst]]") // q4 = sr, q5 = si
352 __ASM_EMIT("vld2.32 {d16[], d18[]}, [%[src]]!") // q8 = dr, q9 = di
353 __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr
354 __ASM_EMIT("vmul.f32 q1, q4, q9") // q1 = sr*di
355 __ASM_EMIT("vmla.f32 q0, q5, q9") // q0 = sr*dr + si*di
356 __ASM_EMIT("vmls.f32 q1, q5, q8") // q1 = sr*di - si*dr
357 __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr
358 __ASM_EMIT("vmla.f32 q4, q5, q5") // q4 = sr*sr + si*si
359 // q4 = 1 / (sr*sr + si*si)
360 __ASM_EMIT("vrecpe.f32 q5, q4") // q5 = x0
361 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x0)
362 __ASM_EMIT("vmul.f32 q5, q8, q5") // q5 = x1 = x0 * (2 - R*x0)
363 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x1)
364 __ASM_EMIT("vmul.f32 q4, q8, q5") // q4 = x2 = x1 * (2 - R*x0)
365 __ASM_EMIT("vmul.f32 q0, q0, q4")
366 __ASM_EMIT("vmul.f32 q1, q1, q4")
367 __ASM_EMIT("vst2.32 {d0[0], d2[0]}, [%[dst]]!")
368 __ASM_EMIT("subs %[count], #1")
369 __ASM_EMIT("bge 5b")
370
371 __ASM_EMIT("6:")
372
373 : [dst] "+r" (dst), [src] "+r" (src), [src2] "=&r" (src2),
374 [count] "+r" (count)
375 :
376 : "cc", "memory",
377 "q0", "q1", "q2", "q3",
378 "q4", "q5", "q6", "q7",
379 "q8", "q9", "q10", "q11"
380 );
381 }
382
383 void pcomplex_div3(float *dst, const float *t, const float *b, size_t count)
384 {
385 ARCH_ARM_ASM
386 (
387 __ASM_EMIT("subs %[count], #8")
388 __ASM_EMIT("blo 2f")
389
390 // x8 blocks
391 __ASM_EMIT("1:")
392 __ASM_EMIT("vld2.32 {q4-q5}, [%[b]]!") // q4 = sr, q5 = si
393 __ASM_EMIT("vld2.32 {q8-q9}, [%[t]]!") // q8 = dr, q9 = di
394 __ASM_EMIT("vld2.32 {q6-q7}, [%[b]]!")
395 __ASM_EMIT("vld2.32 {q10-q11}, [%[t]]!")
396 __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr
397 __ASM_EMIT("vmul.f32 q2, q6, q10")
398 __ASM_EMIT("vmul.f32 q1, q4, q9") // q1 = sr*di
399 __ASM_EMIT("vmul.f32 q3, q6, q11")
400 __ASM_EMIT("vmla.f32 q0, q5, q9") // q0 = sr*dr + si*di
401 __ASM_EMIT("vmla.f32 q2, q7, q11")
402 __ASM_EMIT("vmls.f32 q1, q5, q8") // q1 = sr*di - si*dr
403 __ASM_EMIT("vmls.f32 q3, q7, q10")
404 __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr
405 __ASM_EMIT("vmul.f32 q6, q6, q6")
406 __ASM_EMIT("vmla.f32 q4, q5, q5") // q4 = sr*sr + si*si
407 __ASM_EMIT("vmla.f32 q6, q7, q7")
408 // q4 = 1 / (sr*sr + si*si)
409 __ASM_EMIT("vrecpe.f32 q5, q4") // q5 = x0
410 __ASM_EMIT("vrecpe.f32 q7, q6")
411 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x0)
412 __ASM_EMIT("vrecps.f32 q10, q7, q6")
413 __ASM_EMIT("vmul.f32 q5, q8, q5") // q5 = x1 = x0 * (2 - R*x0)
414 __ASM_EMIT("vmul.f32 q7, q10, q7")
415 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x1)
416 __ASM_EMIT("vrecps.f32 q10, q7, q6")
417 __ASM_EMIT("vmul.f32 q4, q8, q5") // q4 = x2 = x1 * (2 - R*x0)
418 __ASM_EMIT("vmul.f32 q6, q10, q7")
419 __ASM_EMIT("vmul.f32 q0, q0, q4")
420 __ASM_EMIT("vmul.f32 q2, q2, q6")
421 __ASM_EMIT("vmul.f32 q1, q1, q4")
422 __ASM_EMIT("vmul.f32 q3, q3, q6")
423 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
424 __ASM_EMIT("subs %[count], #8")
425 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
426 __ASM_EMIT("bhs 1b")
427
428 // x4 blocks
429 __ASM_EMIT("2:")
430 __ASM_EMIT("adds %[count], #4")
431 __ASM_EMIT("blt 4f")
432 __ASM_EMIT("vld2.32 {q4-q5}, [%[b]]!") // q4 = sr, q5 = si
433 __ASM_EMIT("vld2.32 {q8-q9}, [%[t]]!") // q8 = dr, q9 = di
434 __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr
435 __ASM_EMIT("vmul.f32 q1, q4, q9") // q1 = sr*di
436 __ASM_EMIT("vmla.f32 q0, q5, q9") // q0 = sr*dr + si*di
437 __ASM_EMIT("vmls.f32 q1, q5, q8") // q1 = sr*di - si*dr
438 __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr
439 __ASM_EMIT("vmla.f32 q4, q5, q5") // q4 = sr*sr + si*si
440 // q4 = 1 / (sr*sr + si*si)
441 __ASM_EMIT("vrecpe.f32 q5, q4") // q5 = x0
442 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x0)
443 __ASM_EMIT("vmul.f32 q5, q8, q5") // q5 = x1 = x0 * (2 - R*x0)
444 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x1)
445 __ASM_EMIT("vmul.f32 q4, q8, q5") // q4 = x2 = x1 * (2 - R*x0)
446 __ASM_EMIT("vmul.f32 q0, q0, q4")
447 __ASM_EMIT("vmul.f32 q1, q1, q4")
448 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
449 __ASM_EMIT("sub %[count], #4")
450
451 // x1 blocks
452 __ASM_EMIT("4:")
453 __ASM_EMIT("adds %[count], #3")
454 __ASM_EMIT("blt 6f")
455 __ASM_EMIT("5:")
456 __ASM_EMIT("vld2.32 {d8[], d10[]}, [%[b]]!") // q4 = sr, q5 = si
457 __ASM_EMIT("vld2.32 {d16[], d18[]}, [%[t]]!") // q8 = dr, q9 = di
458 __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr
459 __ASM_EMIT("vmul.f32 q1, q4, q9") // q1 = sr*di
460 __ASM_EMIT("vmla.f32 q0, q5, q9") // q0 = sr*dr + si*di
461 __ASM_EMIT("vmls.f32 q1, q5, q8") // q1 = sr*di - si*dr
462 __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr
463 __ASM_EMIT("vmla.f32 q4, q5, q5") // q4 = sr*sr + si*si
464 // q4 = 1 / (sr*sr + si*si)
465 __ASM_EMIT("vrecpe.f32 q5, q4") // q5 = x0
466 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x0)
467 __ASM_EMIT("vmul.f32 q5, q8, q5") // q5 = x1 = x0 * (2 - R*x0)
468 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x1)
469 __ASM_EMIT("vmul.f32 q4, q8, q5") // q4 = x2 = x1 * (2 - R*x0)
470 __ASM_EMIT("vmul.f32 q0, q0, q4")
471 __ASM_EMIT("vmul.f32 q1, q1, q4")
472 __ASM_EMIT("vst2.32 {d0[0], d2[0]}, [%[dst]]!")
473 __ASM_EMIT("subs %[count], #1")
474 __ASM_EMIT("bge 5b")
475
476 __ASM_EMIT("6:")
477
478 : [dst] "+r" (dst), [b] "+r" (b), [t] "=&r" (t),
479 [count] "+r" (count)
480 :
481 : "cc", "memory",
482 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
483 "q8", "q9", "q10", "q11"
484 );
485 }
486
487 void pcomplex_mod(float *dst, const float *src, size_t count)
488 {
489 ARCH_ARM_ASM
490 (
491 __ASM_EMIT("subs %[count], #16")
492 __ASM_EMIT("blo 2f")
493
494 //-----------------------------------------------------------------
495 // x16 blocks
496 __ASM_EMIT("1:")
497 __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i
498 __ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!")
499 __ASM_EMIT("vmul.f32 q0, q0, q0") // q0 = r*r
500 __ASM_EMIT("vld2.32 {q4-q5}, [%[src]]!")
501 __ASM_EMIT("vmul.f32 q2, q2, q2")
502 __ASM_EMIT("vld2.32 {q6-q7}, [%[src]]!")
503 __ASM_EMIT("vmul.f32 q4, q4, q4")
504 __ASM_EMIT("vmul.f32 q6, q6, q6")
505 __ASM_EMIT("vmla.f32 q0, q1, q1") // q0 = R = r*r + i*i
506 __ASM_EMIT("vmla.f32 q2, q3, q3")
507 __ASM_EMIT("vmla.f32 q4, q5, q5")
508 __ASM_EMIT("vmla.f32 q6, q7, q7")
509
510 // 1/sqrt(R) calculation
511 __ASM_EMIT("vrsqrte.f32 q1, q0") // q1 = x0
512 __ASM_EMIT("vrsqrte.f32 q3, q2")
513 __ASM_EMIT("vrsqrte.f32 q5, q4")
514 __ASM_EMIT("vrsqrte.f32 q7, q6")
515 __ASM_EMIT("vmul.f32 q8, q1, q0") // q8 = R * x0
516 __ASM_EMIT("vmul.f32 q10, q3, q2")
517 __ASM_EMIT("vmul.f32 q12, q5, q4")
518 __ASM_EMIT("vmul.f32 q14, q7, q6")
519 __ASM_EMIT("vrsqrts.f32 q9, q8, q1") // q9 = (3 - R * x0 * x0) / 2
520 __ASM_EMIT("vrsqrts.f32 q11, q10, q3")
521 __ASM_EMIT("vrsqrts.f32 q13, q12, q5")
522 __ASM_EMIT("vrsqrts.f32 q15, q14, q7")
523 __ASM_EMIT("vmul.f32 q1, q1, q9") // q1 = x1 = x0 * (3 - R * x0 * x0) / 2
524 __ASM_EMIT("vmul.f32 q3, q3, q11")
525 __ASM_EMIT("vmul.f32 q5, q5, q13")
526 __ASM_EMIT("vmul.f32 q7, q7, q15")
527 __ASM_EMIT("vmul.f32 q8, q1, q0") // q8 = R * x1
528 __ASM_EMIT("vmul.f32 q10, q3, q2")
529 __ASM_EMIT("vmul.f32 q12, q5, q4")
530 __ASM_EMIT("vmul.f32 q14, q7, q6")
531 __ASM_EMIT("vrsqrts.f32 q9, q8, q1") // q9 = (3 - R * x1 * x1) / 2
532 __ASM_EMIT("vrsqrts.f32 q11, q10, q3")
533 __ASM_EMIT("vrsqrts.f32 q13, q12, q5")
534 __ASM_EMIT("vrsqrts.f32 q15, q14, q7")
535 __ASM_EMIT("vmul.f32 q1, q1, q9") // q1 = 1 / sqrt(R) x2 = x1 * (3 - R * x1 * x1) / 2
536 __ASM_EMIT("vmul.f32 q3, q3, q11")
537 __ASM_EMIT("vmul.f32 q5, q5, q13")
538 __ASM_EMIT("vmul.f32 q7, q7, q15")
539
540 __ASM_EMIT("vmul.f32 q0, q0, q1") // q0 = R / sqrt(R) = sqrt(R)
541 __ASM_EMIT("vmul.f32 q1, q2, q3")
542 __ASM_EMIT("vmul.f32 q2, q4, q5")
543 __ASM_EMIT("vmul.f32 q3, q6, q7")
544 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
545 __ASM_EMIT("subs %[count], #16")
546 __ASM_EMIT("vst1.32 {q2-q3}, [%[dst]]!")
547 __ASM_EMIT("bhs 1b")
548
549 //-----------------------------------------------------------------
550 // x8 blocks
551 __ASM_EMIT("2:")
552 __ASM_EMIT("adds %[count], #8")
553 __ASM_EMIT("blt 4f")
554 __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i
555 __ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!")
556 __ASM_EMIT("vmul.f32 q0, q0, q0") // q0 = r*r
557 __ASM_EMIT("vmul.f32 q2, q2, q2")
558 __ASM_EMIT("vmla.f32 q0, q1, q1") // q0 = R = r*r + i*i
559 __ASM_EMIT("vmla.f32 q2, q3, q3")
560 // 1/sqrt(R) calculation
561 __ASM_EMIT("vrsqrte.f32 q1, q0") // q1 = x0
562 __ASM_EMIT("vrsqrte.f32 q3, q2")
563 __ASM_EMIT("vmul.f32 q8, q1, q0") // q8 = R * x0
564 __ASM_EMIT("vmul.f32 q10, q3, q2")
565 __ASM_EMIT("vrsqrts.f32 q9, q8, q1") // q9 = (3 - R * x0 * x0) / 2
566 __ASM_EMIT("vrsqrts.f32 q11, q10, q3")
567 __ASM_EMIT("vmul.f32 q1, q1, q9") // q1 = x1 = x0 * (3 - R * x0 * x0) / 2
568 __ASM_EMIT("vmul.f32 q3, q3, q11")
569 __ASM_EMIT("vmul.f32 q8, q1, q0") // q8 = R * x1
570 __ASM_EMIT("vmul.f32 q10, q3, q2")
571 __ASM_EMIT("vrsqrts.f32 q9, q8, q1") // q9 = (3 - R * x1 * x1) / 2
572 __ASM_EMIT("vrsqrts.f32 q11, q10, q3")
573 __ASM_EMIT("vmul.f32 q1, q1, q9") // q1 = 1 / sqrt(R) x2 = x1 * (3 - R * x1 * x1) / 2
574 __ASM_EMIT("vmul.f32 q3, q3, q11")
575
576 // 1 / (1/sqrt(R)) = sqrt(R) calculation
577 __ASM_EMIT("vmul.f32 q0, q0, q1") // q0 = R / sqrt(R) = sqrt(R)
578 __ASM_EMIT("vmul.f32 q1, q2, q3")
579 __ASM_EMIT("sub %[count], #8")
580 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
581
582 //-----------------------------------------------------------------
583 // x4 blocks
584 __ASM_EMIT("4:")
585 __ASM_EMIT("adds %[count], #4")
586 __ASM_EMIT("blt 6f")
587 __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i
588 __ASM_EMIT("vmul.f32 q0, q0, q0") // q0 = r*r
589 __ASM_EMIT("vmla.f32 q0, q1, q1") // q0 = R = r*r + i*i
590 // 1/sqrt(R) calculation
591 __ASM_EMIT("vrsqrte.f32 q1, q0") // q1 = x0
592 __ASM_EMIT("vmul.f32 q2, q1, q0") // q2 = R * x0
593 __ASM_EMIT("vrsqrts.f32 q3, q2, q1") // q3 = (3 - R * x0 * x0) / 2
594 __ASM_EMIT("vmul.f32 q1, q1, q3") // q1 = x1 = x0 * (3 - R * x0 * x0) / 2
595 __ASM_EMIT("vmul.f32 q2, q1, q0") // q2 = R * x1
596 __ASM_EMIT("vrsqrts.f32 q3, q2, q1") // q3 = (3 - R * x1 * x1) / 2
597 __ASM_EMIT("vmul.f32 q1, q1, q3") // q0 = x2 = x1 * (3 - R * x1 * x1) / 2
598 // 1 / (1/sqrt(R)) = sqrt(R) calculation
599 __ASM_EMIT("vmul.f32 q0, q1") // q0 = R / sqrt(R) = sqrt(R)
600 __ASM_EMIT("sub %[count], #4")
601 __ASM_EMIT("vst1.32 {q0}, [%[dst]]!")
602
603 // x1 blocks
604 __ASM_EMIT("6:")
605 __ASM_EMIT("adds %[count], #3")
606 __ASM_EMIT("blt 8f")
607 __ASM_EMIT("7:")
608 __ASM_EMIT("vldm.32 %[src]!, {s0-s1}")
609 __ASM_EMIT("vmul.f32 s0, s0, s0") // s0 = r*r
610 __ASM_EMIT("vmla.f32 s0, s1, s1") // s0 = r*r + i*i
611 __ASM_EMIT("vsqrt.f32 s0, s0") // s0 = sqrt(r*r + i*i)
612 __ASM_EMIT("subs %[count], #1")
613 __ASM_EMIT("vstm.32 %[dst]!, {s0}")
614 __ASM_EMIT("bge 7b")
615
616 __ASM_EMIT("8:")
617
618 : [dst] "+r" (dst), [src] "+r" (src),
619 [count] "+r" (count)
620 :
621 : "cc", "memory",
622 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
623 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
624 );
625 }
626
627 void pcomplex_rcp1(float *dst, size_t count)
628 {
629 IF_ARCH_ARM(float *src);
630
631 ARCH_ARM_ASM
632 (
633 __ASM_EMIT("subs %[count], #8")
634 __ASM_EMIT("blo 2f")
635
636 //-----------------------------------------------------------------
637 // x8 blocks
638 __ASM_EMIT("mov %[src], %[dst]")
639 __ASM_EMIT("1:")
640 __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i
641 __ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!")
642 __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r
643 __ASM_EMIT("vmul.f32 q5, q2, q2")
644 __ASM_EMIT("vmla.f32 q4, q1, q1") // q4 = R = r*r + i*i
645 __ASM_EMIT("vmla.f32 q5, q3, q3")
646 // 1 / R calculation
647 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
648 __ASM_EMIT("vrecpe.f32 q8, q5")
649 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0)
650 __ASM_EMIT("vrecps.f32 q9, q8, q5")
651 __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0)
652 __ASM_EMIT("vmul.f32 q8, q9, q8")
653 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1)
654 __ASM_EMIT("vrecps.f32 q9, q8, q5")
655 __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0)
656 __ASM_EMIT("vmul.f32 q5, q9, q8")
657 // r/R, -i/R
658 __ASM_EMIT("vneg.f32 q1, q1") // q1 = -i
659 __ASM_EMIT("vneg.f32 q3, q3")
660 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R
661 __ASM_EMIT("vmul.f32 q2, q2, q5")
662 __ASM_EMIT("vmul.f32 q1, q1, q4") // q1 = -i / R
663 __ASM_EMIT("vmul.f32 q3, q3, q5")
664 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
665 __ASM_EMIT("subs %[count], #8")
666 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
667 __ASM_EMIT("bhs 1b")
668
669 //-----------------------------------------------------------------
670 // x4 blocks
671 __ASM_EMIT("2:")
672 __ASM_EMIT("adds %[count], #4")
673 __ASM_EMIT("blt 4f")
674 __ASM_EMIT("vld2.32 {q0-q1}, [%[dst]]") // q0 = r, q1 = i
675 __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r
676 __ASM_EMIT("vmla.f32 q4, q1, q1") // q4 = R = r*r + i*i
677 // 1 / R calculation
678 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
679 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0)
680 __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0)
681 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1)
682 __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0)
683 // r/R, -i/R
684 __ASM_EMIT("vneg.f32 q1, q1") // q1 = -i
685 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R
686 __ASM_EMIT("vmul.f32 q1, q1, q4") // q1 = -i / R
687 __ASM_EMIT("sub %[count], #4")
688 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
689
690 // x1 blocks
691 __ASM_EMIT("4:")
692 __ASM_EMIT("adds %[count], #3")
693 __ASM_EMIT("blt 6f")
694 __ASM_EMIT("5:")
695 __ASM_EMIT("vldm.32 %[dst], {s0-s1}") // s0 = r, s1 = i
696 __ASM_EMIT("vmul.f32 s4, s0, s0") // s4 = r*r
697 __ASM_EMIT("vmla.f32 s4, s1, s1") // s4 = R = r*r + i*i
698 __ASM_EMIT("vneg.f32 s1, s1") // s1 = -i
699 __ASM_EMIT("vdiv.f32 s0, s0, s4") // s0 = r / R
700 __ASM_EMIT("vdiv.f32 s1, s1, s4") // s1 = -i / R
701 __ASM_EMIT("subs %[count], #1")
702 __ASM_EMIT("vstm.32 %[dst]!, {s0-s1}")
703 __ASM_EMIT("bge 5b")
704
705 __ASM_EMIT("6:")
706
707 : [src] "=&r" (src), [dst] "+r" (dst), [count] "+r" (count)
708 :
709 : "cc", "memory",
710 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
711 "q8", "q9", "q10", "q11"
712 );
713 }
714
715 void pcomplex_rcp2(float *dst, const float *src, size_t count)
716 {
717 ARCH_ARM_ASM
718 (
719 __ASM_EMIT("subs %[count], #8")
720 __ASM_EMIT("blo 2f")
721
722 //-----------------------------------------------------------------
723 // x8 blocks
724 __ASM_EMIT("1:")
725 __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i
726 __ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!")
727 __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r
728 __ASM_EMIT("vmul.f32 q5, q2, q2")
729 __ASM_EMIT("vmla.f32 q4, q1, q1") // q4 = R = r*r + i*i
730 __ASM_EMIT("vmla.f32 q5, q3, q3")
731 // 1 / R calculation
732 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
733 __ASM_EMIT("vrecpe.f32 q8, q5")
734 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0)
735 __ASM_EMIT("vrecps.f32 q9, q8, q5")
736 __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0)
737 __ASM_EMIT("vmul.f32 q8, q9, q8")
738 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1)
739 __ASM_EMIT("vrecps.f32 q9, q8, q5")
740 __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0)
741 __ASM_EMIT("vmul.f32 q5, q9, q8")
742 // r/R, -i/R
743 __ASM_EMIT("vneg.f32 q1, q1") // q1 = -i
744 __ASM_EMIT("vneg.f32 q3, q3")
745 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R
746 __ASM_EMIT("vmul.f32 q2, q2, q5")
747 __ASM_EMIT("vmul.f32 q1, q1, q4") // q1 = -i / R
748 __ASM_EMIT("vmul.f32 q3, q3, q5")
749 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
750 __ASM_EMIT("subs %[count], #8")
751 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
752 __ASM_EMIT("bhs 1b")
753
754 //-----------------------------------------------------------------
755 // x4 blocks
756 __ASM_EMIT("2:")
757 __ASM_EMIT("adds %[count], #4")
758 __ASM_EMIT("blt 4f")
759 __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i
760 __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r
761 __ASM_EMIT("vmla.f32 q4, q1, q1") // q4 = R = r*r + i*i
762 // 1 / R calculation
763 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
764 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0)
765 __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0)
766 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1)
767 __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0)
768 // r/R, -i/R
769 __ASM_EMIT("vneg.f32 q1, q1") // q1 = -i
770 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R
771 __ASM_EMIT("vmul.f32 q1, q1, q4") // q1 = -i / R
772 __ASM_EMIT("sub %[count], #4")
773 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
774
775 // x1 blocks
776 __ASM_EMIT("4:")
777 __ASM_EMIT("adds %[count], #3")
778 __ASM_EMIT("blt 6f")
779 __ASM_EMIT("5:")
780 __ASM_EMIT("vldm.32 %[src]!, {s0-s1}") // s0 = r, s1 = i
781 __ASM_EMIT("vmul.f32 s4, s0, s0") // s4 = r*r
782 __ASM_EMIT("vmla.f32 s4, s1, s1") // s4 = R = r*r + i*i
783 __ASM_EMIT("vneg.f32 s1, s1") // s1 = -i
784 __ASM_EMIT("vdiv.f32 s0, s0, s4") // s0 = r / R
785 __ASM_EMIT("vdiv.f32 s1, s1, s4") // s1 = -i / R
786 __ASM_EMIT("subs %[count], #1")
787 __ASM_EMIT("vstm.32 %[dst]!, {s0-s1}")
788 __ASM_EMIT("bge 5b")
789
790 __ASM_EMIT("6:")
791
792 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
793 :
794 : "cc", "memory",
795 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
796 "q8", "q9", "q10", "q11"
797 );
798 }
799
800 void pcomplex_c2r(float *dst, const float *src, size_t count)
801 {
802 ARCH_ARM_ASM
803 (
804 __ASM_EMIT("subs %[count], #32")
805 __ASM_EMIT("blo 2f")
806
807 // x32 blocks
808 __ASM_EMIT("1:")
809 __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i
810 __ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!")
811 __ASM_EMIT("vld2.32 {q4-q5}, [%[src]]!")
812 __ASM_EMIT("vmov q1, q2")
813 __ASM_EMIT("vld2.32 {q6-q7}, [%[src]]!")
814 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
815 __ASM_EMIT("vmov q2, q4")
816 __ASM_EMIT("vld2.32 {q8-q9}, [%[src]]!")
817 __ASM_EMIT("vmov q3, q6")
818 __ASM_EMIT("vld2.32 {q10-q11}, [%[src]]!")
819 __ASM_EMIT("vst1.32 {q2-q3}, [%[dst]]!")
820 __ASM_EMIT("vmov q4, q8")
821 __ASM_EMIT("vld2.32 {q12-q13}, [%[src]]!")
822 __ASM_EMIT("vmov q5, q10")
823 __ASM_EMIT("vld2.32 {q14-q15}, [%[src]]!")
824 __ASM_EMIT("vst1.32 {q4-q5}, [%[dst]]!")
825 __ASM_EMIT("vmov q6, q12")
826 __ASM_EMIT("vmov q7, q14")
827 __ASM_EMIT("subs %[count], #32")
828 __ASM_EMIT("vst1.32 {q6-q7}, [%[dst]]!")
829 __ASM_EMIT("bhs 1b")
830
831 // x16 block
832 __ASM_EMIT("2:")
833 __ASM_EMIT("adds %[count], #16")
834 __ASM_EMIT("blt 4f")
835 __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i
836 __ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!")
837 __ASM_EMIT("vld2.32 {q4-q5}, [%[src]]!")
838 __ASM_EMIT("vmov q1, q2")
839 __ASM_EMIT("vld2.32 {q6-q7}, [%[src]]!")
840 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
841 __ASM_EMIT("vmov q2, q4")
842 __ASM_EMIT("vmov q3, q6")
843 __ASM_EMIT("sub %[count], #16")
844 __ASM_EMIT("vst1.32 {q2-q3}, [%[dst]]!")
845
846 // x8 block
847 __ASM_EMIT("4:")
848 __ASM_EMIT("adds %[count], #8")
849 __ASM_EMIT("blt 6f")
850 __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i
851 __ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!")
852 __ASM_EMIT("vmov q1, q2")
853 __ASM_EMIT("sub %[count], #8")
854 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
855
856 // x4 block
857 __ASM_EMIT("6:")
858 __ASM_EMIT("adds %[count], #4")
859 __ASM_EMIT("blt 8f")
860 __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i
861 __ASM_EMIT("sub %[count], #4")
862 __ASM_EMIT("vst1.32 {q0}, [%[dst]]!")
863
864 // x1 blocks
865 __ASM_EMIT("8:")
866 __ASM_EMIT("adds %[count], #3")
867 __ASM_EMIT("blt 10f")
868 __ASM_EMIT("9:")
869 __ASM_EMIT("vldm.32 %[src]!, {s0, s1}") // s0 = r, s1 = i
870 __ASM_EMIT("subs %[count], #1")
871 __ASM_EMIT("vstm.32 %[dst]!, {s0}")
872 __ASM_EMIT("bge 9b")
873 __ASM_EMIT("10:")
874
875 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
876 :
877 : "cc", "memory",
878 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
879 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
880 );
881 }
882
883 void pcomplex_r2c(float *dst, const float *src, size_t count)
884 {
885 ARCH_ARM_ASM
886 (
887 __ASM_EMIT("subs %[count], #32")
888 __ASM_EMIT("blo 2f")
889
890 // x32 blocks
891 __ASM_EMIT("1:")
892 __ASM_EMIT("vld1.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = r
893 __ASM_EMIT("vld1.32 {q2-q3}, [%[src]]!")
894 __ASM_EMIT("vld1.32 {q4-q5}, [%[src]]!")
895 __ASM_EMIT("vld1.32 {q6-q7}, [%[src]]!")
896 __ASM_EMIT("veor q15, q15")
897 __ASM_EMIT("veor q13, q13")
898 __ASM_EMIT("veor q11, q11")
899 __ASM_EMIT("veor q9, q9")
900 __ASM_EMIT("vmov q14, q7")
901 __ASM_EMIT("vmov q12, q6")
902 __ASM_EMIT("veor q7, q7")
903 __ASM_EMIT("vmov q10, q5")
904 __ASM_EMIT("vmov q8, q4")
905 __ASM_EMIT("veor q5, q5")
906 __ASM_EMIT("vmov q6, q3")
907 __ASM_EMIT("vmov q4, q2")
908 __ASM_EMIT("veor q3, q3")
909 __ASM_EMIT("vmov q2, q1")
910 __ASM_EMIT("veor q1, q1")
911 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
912 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
913 __ASM_EMIT("vst2.32 {q4-q5}, [%[dst]]!")
914 __ASM_EMIT("vst2.32 {q6-q7}, [%[dst]]!")
915 __ASM_EMIT("vst2.32 {q8-q9}, [%[dst]]!")
916 __ASM_EMIT("vst2.32 {q10-q11}, [%[dst]]!")
917 __ASM_EMIT("vst2.32 {q12-q13}, [%[dst]]!")
918 __ASM_EMIT("vst2.32 {q14-q15}, [%[dst]]!")
919 __ASM_EMIT("subs %[count], #32")
920 __ASM_EMIT("bhs 1b")
921
922 // x16 block
923 __ASM_EMIT("2:")
924 __ASM_EMIT("adds %[count], #16")
925 __ASM_EMIT("blt 4f")
926
927 __ASM_EMIT("1:")
928 __ASM_EMIT("vld1.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = r
929 __ASM_EMIT("veor q7, q7")
930 __ASM_EMIT("vld1.32 {q2-q3}, [%[src]]!")
931 __ASM_EMIT("vmov q6, q3")
932 __ASM_EMIT("veor q5, q5")
933 __ASM_EMIT("vmov q4, q2")
934 __ASM_EMIT("veor q3, q3")
935 __ASM_EMIT("vmov q2, q1")
936 __ASM_EMIT("veor q1, q1")
937 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
938 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
939 __ASM_EMIT("vst2.32 {q4-q5}, [%[dst]]!")
940 __ASM_EMIT("vst2.32 {q6-q7}, [%[dst]]!")
941 __ASM_EMIT("sub %[count], #16")
942
943 // x8 block
944 __ASM_EMIT("4:")
945 __ASM_EMIT("adds %[count], #8")
946 __ASM_EMIT("blt 6f")
947 __ASM_EMIT("vld1.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = r
948 __ASM_EMIT("veor q3, q3")
949 __ASM_EMIT("vmov q2, q1")
950 __ASM_EMIT("vmov q1, q2")
951 __ASM_EMIT("veor q1, q1")
952 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
953 __ASM_EMIT("sub %[count], #8")
954 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
955
956 // x4 block
957 __ASM_EMIT("6:")
958 __ASM_EMIT("adds %[count], #4")
959 __ASM_EMIT("blt 8f")
960 __ASM_EMIT("vld1.32 {q0}, [%[src]]!") // q0 = r
961 __ASM_EMIT("vmov q2, q1")
962 __ASM_EMIT("veor q1, q1")
963 __ASM_EMIT("sub %[count], #4")
964 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
965
966 // x1 blocks
967 __ASM_EMIT("8:")
968 __ASM_EMIT("adds %[count], #3")
969 __ASM_EMIT("blt 10f")
970 __ASM_EMIT("veor q0, q0")
971 __ASM_EMIT("9:")
972 __ASM_EMIT("vldm.32 %[src]!, {s0}") // s0 = r, s1 = i
973 __ASM_EMIT("subs %[count], #1")
974 __ASM_EMIT("vstm.32 %[dst]!, {s0, s1}")
975 __ASM_EMIT("bge 9b")
976 __ASM_EMIT("10:")
977
978 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
979 :
980 : "cc", "memory",
981 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
982 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
983 );
984 }
985
986 void pcomplex_r2c_add2(float *dst, const float *src, size_t count)
987 {
988 IF_ARCH_ARM(float *src2);
989
990 ARCH_ARM_ASM
991 (
992 // x16 blocks
993 __ASM_EMIT("subs %[count], #16")
994 __ASM_EMIT("mov %[src2], %[dst]")
995 __ASM_EMIT("blo 2f")
996 __ASM_EMIT("1:")
997 __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0
998 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1
999 __ASM_EMIT("vld2.32 {q4-q5}, [%[src2]]!") // q4 = r2, q5 = i2
1000 __ASM_EMIT("vld2.32 {q6-q7}, [%[src2]]!") // q6 = r3, q7 = i3
1001 __ASM_EMIT("vldm %[src]!, {d16-d23}") // q8-q11 = s
1002 __ASM_EMIT("vadd.f32 q0, q0, q8")
1003 __ASM_EMIT("vadd.f32 q2, q2, q9")
1004 __ASM_EMIT("vadd.f32 q4, q4, q10")
1005 __ASM_EMIT("vadd.f32 q6, q6, q11")
1006 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
1007 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
1008 __ASM_EMIT("vst2.32 {q4-q5}, [%[dst]]!")
1009 __ASM_EMIT("vst2.32 {q6-q7}, [%[dst]]!")
1010 __ASM_EMIT("subs %[count], #16")
1011 __ASM_EMIT("bhs 1b")
1012 // x8 block
1013 __ASM_EMIT("2:")
1014 __ASM_EMIT("adds %[count], #8")
1015 __ASM_EMIT("blt 4f")
1016 __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0
1017 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1
1018 __ASM_EMIT("vldm %[src]!, {d16-d19}") // q8-q9 = s
1019 __ASM_EMIT("vadd.f32 q0, q0, q8")
1020 __ASM_EMIT("vadd.f32 q2, q2, q9")
1021 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
1022 __ASM_EMIT("sub %[count], #8")
1023 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
1024 // x4 block
1025 __ASM_EMIT("4:")
1026 __ASM_EMIT("adds %[count], #4")
1027 __ASM_EMIT("blt 6f")
1028 __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0
1029 __ASM_EMIT("vldm %[src]!, {d16-d17}") // q8 = s
1030 __ASM_EMIT("vadd.f32 q0, q0, q8")
1031 __ASM_EMIT("sub %[count], #4")
1032 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
1033 // x1 blocks
1034 __ASM_EMIT("6:")
1035 __ASM_EMIT("adds %[count], #3")
1036 __ASM_EMIT("blt 8f")
1037 __ASM_EMIT("7:")
1038 __ASM_EMIT("vld2.32 {d0[], d1[]}, [%[src2]]!") // d0 = r0, d1 = i0
1039 __ASM_EMIT("vld1.32 {d2[]}, [%[src]]!") // d2 = s
1040 __ASM_EMIT("vadd.f32 d0, d0, d2")
1041 __ASM_EMIT("vst2.32 {d0[0], d1[0]}, [%[dst]]!")
1042 __ASM_EMIT("subs %[count], #1")
1043 __ASM_EMIT("bge 7b")
1044 __ASM_EMIT("8:")
1045
1046 : [dst] "+r" (dst), [src] "+r" (src), [src2] "=&r" (src2), [count] "+r" (count)
1047 :
1048 : "cc", "memory",
1049 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
1050 "q8", "q9", "q10", "q11"
1051 );
1052 }
1053
1054 void pcomplex_r2c_sub2(float *dst, const float *src, size_t count)
1055 {
1056 IF_ARCH_ARM(float *src2);
1057
1058 ARCH_ARM_ASM
1059 (
1060 // x16 blocks
1061 __ASM_EMIT("subs %[count], #16")
1062 __ASM_EMIT("mov %[src2], %[dst]")
1063 __ASM_EMIT("blo 2f")
1064 __ASM_EMIT("1:")
1065 __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0
1066 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1
1067 __ASM_EMIT("vld2.32 {q4-q5}, [%[src2]]!") // q4 = r2, q5 = i2
1068 __ASM_EMIT("vld2.32 {q6-q7}, [%[src2]]!") // q6 = r3, q7 = i3
1069 __ASM_EMIT("vldm %[src]!, {d16-d23}") // q8-q11 = s
1070 __ASM_EMIT("vsub.f32 q0, q0, q8")
1071 __ASM_EMIT("vsub.f32 q2, q2, q9")
1072 __ASM_EMIT("vsub.f32 q4, q4, q10")
1073 __ASM_EMIT("vsub.f32 q6, q6, q11")
1074 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
1075 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
1076 __ASM_EMIT("vst2.32 {q4-q5}, [%[dst]]!")
1077 __ASM_EMIT("vst2.32 {q6-q7}, [%[dst]]!")
1078 __ASM_EMIT("subs %[count], #16")
1079 __ASM_EMIT("bhs 1b")
1080 // x8 block
1081 __ASM_EMIT("2:")
1082 __ASM_EMIT("adds %[count], #8")
1083 __ASM_EMIT("blt 4f")
1084 __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0
1085 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1
1086 __ASM_EMIT("vldm %[src]!, {d16-d19}") // q8-q9 = s
1087 __ASM_EMIT("vsub.f32 q0, q0, q8")
1088 __ASM_EMIT("vsub.f32 q2, q2, q9")
1089 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
1090 __ASM_EMIT("sub %[count], #8")
1091 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
1092 // x4 block
1093 __ASM_EMIT("4:")
1094 __ASM_EMIT("adds %[count], #4")
1095 __ASM_EMIT("blt 6f")
1096 __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0
1097 __ASM_EMIT("vldm %[src]!, {d16-d17}") // q8 = s
1098 __ASM_EMIT("vsub.f32 q0, q0, q8")
1099 __ASM_EMIT("sub %[count], #4")
1100 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
1101 // x1 blocks
1102 __ASM_EMIT("6:")
1103 __ASM_EMIT("adds %[count], #3")
1104 __ASM_EMIT("blt 8f")
1105 __ASM_EMIT("7:")
1106 __ASM_EMIT("vld2.32 {d0[], d1[]}, [%[src2]]!") // d0 = r0, d1 = i0
1107 __ASM_EMIT("vld1.32 {d2[]}, [%[src]]!") // d2 = s
1108 __ASM_EMIT("vsub.f32 d0, d0, d2")
1109 __ASM_EMIT("vst2.32 {d0[0], d1[0]}, [%[dst]]!")
1110 __ASM_EMIT("subs %[count], #1")
1111 __ASM_EMIT("bge 7b")
1112 __ASM_EMIT("8:")
1113
1114 : [dst] "+r" (dst), [src] "+r" (src), [src2] "=&r" (src2), [count] "+r" (count)
1115 :
1116 : "cc", "memory",
1117 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
1118 "q8", "q9", "q10", "q11"
1119 );
1120 }
1121
1122 void pcomplex_r2c_rsub2(float *dst, const float *src, size_t count)
1123 {
1124 IF_ARCH_ARM(float *src2);
1125
1126 ARCH_ARM_ASM
1127 (
1128 // x16 blocks
1129 __ASM_EMIT("subs %[count], #16")
1130 __ASM_EMIT("mov %[src2], %[dst]")
1131 __ASM_EMIT("blo 2f")
1132 __ASM_EMIT("1:")
1133 __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0
1134 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1
1135 __ASM_EMIT("vld2.32 {q4-q5}, [%[src2]]!") // q4 = r2, q5 = i2
1136 __ASM_EMIT("vld2.32 {q6-q7}, [%[src2]]!") // q6 = r3, q7 = i3
1137 __ASM_EMIT("vldm %[src]!, {d16-d23}") // q8-q11 = s
1138 __ASM_EMIT("vsub.f32 q0, q8, q0")
1139 __ASM_EMIT("vneg.f32 q1, q1")
1140 __ASM_EMIT("vsub.f32 q2, q9, q2")
1141 __ASM_EMIT("vneg.f32 q3, q3")
1142 __ASM_EMIT("vsub.f32 q4, q10, q4")
1143 __ASM_EMIT("vneg.f32 q5, q5")
1144 __ASM_EMIT("vsub.f32 q6, q11, q6")
1145 __ASM_EMIT("vneg.f32 q7, q7")
1146 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
1147 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
1148 __ASM_EMIT("vst2.32 {q4-q5}, [%[dst]]!")
1149 __ASM_EMIT("vst2.32 {q6-q7}, [%[dst]]!")
1150 __ASM_EMIT("subs %[count], #16")
1151 __ASM_EMIT("bhs 1b")
1152 // x8 block
1153 __ASM_EMIT("2:")
1154 __ASM_EMIT("adds %[count], #8")
1155 __ASM_EMIT("blt 4f")
1156 __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0
1157 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1
1158 __ASM_EMIT("vldm %[src]!, {d16-d19}") // q8-q9 = s
1159 __ASM_EMIT("vsub.f32 q0, q8, q0")
1160 __ASM_EMIT("vneg.f32 q1, q1")
1161 __ASM_EMIT("vsub.f32 q2, q9, q2")
1162 __ASM_EMIT("vneg.f32 q3, q3")
1163 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
1164 __ASM_EMIT("sub %[count], #8")
1165 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
1166 // x4 block
1167 __ASM_EMIT("4:")
1168 __ASM_EMIT("adds %[count], #4")
1169 __ASM_EMIT("blt 6f")
1170 __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0
1171 __ASM_EMIT("vldm %[src]!, {d16-d17}") // q8 = s
1172 __ASM_EMIT("vsub.f32 q0, q8, q0")
1173 __ASM_EMIT("vneg.f32 q1, q1")
1174 __ASM_EMIT("sub %[count], #4")
1175 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
1176 // x1 blocks
1177 __ASM_EMIT("6:")
1178 __ASM_EMIT("adds %[count], #3")
1179 __ASM_EMIT("blt 8f")
1180 __ASM_EMIT("7:")
1181 __ASM_EMIT("vld2.32 {d0[], d1[]}, [%[src2]]!") // d0 = r0, d1 = i0
1182 __ASM_EMIT("vld1.32 {d2[]}, [%[src]]!") // d2 = s
1183 __ASM_EMIT("vsub.f32 d0, d2, d0")
1184 __ASM_EMIT("vneg.f32 d1, d1")
1185 __ASM_EMIT("vst2.32 {d0[0], d1[0]}, [%[dst]]!")
1186 __ASM_EMIT("subs %[count], #1")
1187 __ASM_EMIT("bge 7b")
1188 __ASM_EMIT("8:")
1189
1190 : [dst] "+r" (dst), [src] "+r" (src), [src2] "=&r" (src2), [count] "+r" (count)
1191 :
1192 : "cc", "memory",
1193 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
1194 "q8", "q9", "q10", "q11"
1195 );
1196 }
1197
1198 void pcomplex_r2c_mul2(float *dst, const float *src, size_t count)
1199 {
1200 IF_ARCH_ARM(float *src2);
1201
1202 ARCH_ARM_ASM
1203 (
1204 // x16 blocks
1205 __ASM_EMIT("subs %[count], #16")
1206 __ASM_EMIT("mov %[src2], %[dst]")
1207 __ASM_EMIT("blo 2f")
1208 __ASM_EMIT("1:")
1209 __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0
1210 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1
1211 __ASM_EMIT("vld2.32 {q4-q5}, [%[src2]]!") // q4 = r2, q5 = i2
1212 __ASM_EMIT("vld2.32 {q6-q7}, [%[src2]]!") // q6 = r3, q7 = i3
1213 __ASM_EMIT("vldm %[src]!, {d16-d23}") // q8-q11 = s
1214 __ASM_EMIT("vmul.f32 q0, q0, q8")
1215 __ASM_EMIT("vmul.f32 q2, q2, q9")
1216 __ASM_EMIT("vmul.f32 q4, q4, q10")
1217 __ASM_EMIT("vmul.f32 q6, q6, q11")
1218 __ASM_EMIT("vmul.f32 q1, q1, q8")
1219 __ASM_EMIT("vmul.f32 q3, q3, q9")
1220 __ASM_EMIT("vmul.f32 q5, q5, q10")
1221 __ASM_EMIT("vmul.f32 q7, q7, q11")
1222 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
1223 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
1224 __ASM_EMIT("vst2.32 {q4-q5}, [%[dst]]!")
1225 __ASM_EMIT("vst2.32 {q6-q7}, [%[dst]]!")
1226 __ASM_EMIT("subs %[count], #16")
1227 __ASM_EMIT("bhs 1b")
1228 // x8 block
1229 __ASM_EMIT("2:")
1230 __ASM_EMIT("adds %[count], #8")
1231 __ASM_EMIT("blt 4f")
1232 __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0
1233 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1
1234 __ASM_EMIT("vldm %[src]!, {d16-d19}") // q8-q9 = s
1235 __ASM_EMIT("vmul.f32 q0, q0, q8")
1236 __ASM_EMIT("vmul.f32 q2, q2, q9")
1237 __ASM_EMIT("vmul.f32 q1, q1, q8")
1238 __ASM_EMIT("vmul.f32 q3, q3, q9")
1239 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
1240 __ASM_EMIT("sub %[count], #8")
1241 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
1242 // x4 block
1243 __ASM_EMIT("4:")
1244 __ASM_EMIT("adds %[count], #4")
1245 __ASM_EMIT("blt 6f")
1246 __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0
1247 __ASM_EMIT("vldm %[src]!, {d16-d17}") // q8 = s
1248 __ASM_EMIT("vmul.f32 q0, q0, q8")
1249 __ASM_EMIT("vmul.f32 q1, q1, q8")
1250 __ASM_EMIT("sub %[count], #4")
1251 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
1252 // x1 blocks
1253 __ASM_EMIT("6:")
1254 __ASM_EMIT("adds %[count], #3")
1255 __ASM_EMIT("blt 8f")
1256 __ASM_EMIT("7:")
1257 __ASM_EMIT("vld2.32 {d0[], d1[]}, [%[src2]]!") // d0 = r0, d1 = i0
1258 __ASM_EMIT("vld1.32 {d2[]}, [%[src]]!") // d2 = s
1259 __ASM_EMIT("vmul.f32 d0, d0, d2")
1260 __ASM_EMIT("vmul.f32 d1, d1, d2")
1261 __ASM_EMIT("vst2.32 {d0[0], d1[0]}, [%[dst]]!")
1262 __ASM_EMIT("subs %[count], #1")
1263 __ASM_EMIT("bge 7b")
1264 __ASM_EMIT("8:")
1265
1266 : [dst] "+r" (dst), [src] "+r" (src), [src2] "=&r" (src2), [count] "+r" (count)
1267 :
1268 : "cc", "memory",
1269 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
1270 "q8", "q9", "q10", "q11"
1271 );
1272 }
1273
1274 void pcomplex_r2c_div2(float *dst, const float *src, size_t count)
1275 {
1276 IF_ARCH_ARM(float *src2);
1277
1278 ARCH_ARM_ASM
1279 (
1280 // x16 blocks
1281 __ASM_EMIT("subs %[count], #16")
1282 __ASM_EMIT("mov %[src2], %[dst]")
1283 __ASM_EMIT("blo 2f")
1284 __ASM_EMIT("1:")
1285 __ASM_EMIT("vldm %[src]!, {d16-d23}") // q8-q11 = s
1286 __ASM_EMIT("vrecpe.f32 q0, q8") // q0 = s2
1287 __ASM_EMIT("vrecpe.f32 q1, q9")
1288 __ASM_EMIT("vrecpe.f32 q2, q10")
1289 __ASM_EMIT("vrecpe.f32 q3, q11")
1290 __ASM_EMIT("vrecps.f32 q4, q0, q8") // q4 = (2 - R*s2)
1291 __ASM_EMIT("vrecps.f32 q5, q1, q9")
1292 __ASM_EMIT("vrecps.f32 q6, q2, q10")
1293 __ASM_EMIT("vrecps.f32 q7, q3, q11")
1294 __ASM_EMIT("vmul.f32 q0, q4, q0") // q0 = s2' = s2 * (2 - R*s2)
1295 __ASM_EMIT("vmul.f32 q1, q5, q1")
1296 __ASM_EMIT("vmul.f32 q2, q6, q2")
1297 __ASM_EMIT("vmul.f32 q3, q7, q3")
1298 __ASM_EMIT("vrecps.f32 q4, q0, q8") // q4 = (2 - R*s2')
1299 __ASM_EMIT("vrecps.f32 q5, q1, q9")
1300 __ASM_EMIT("vrecps.f32 q6, q2, q10")
1301 __ASM_EMIT("vrecps.f32 q7, q3, q11")
1302 __ASM_EMIT("vmul.f32 q8, q4, q0") // q8 = s2" = s2' * (2 - R*s2) = 1/s2
1303 __ASM_EMIT("vmul.f32 q9, q5, q1")
1304 __ASM_EMIT("vmul.f32 q10, q6, q2")
1305 __ASM_EMIT("vmul.f32 q11, q7, q3")
1306 __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0
1307 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1
1308 __ASM_EMIT("vld2.32 {q4-q5}, [%[src2]]!") // q4 = r2, q5 = i2
1309 __ASM_EMIT("vld2.32 {q6-q7}, [%[src2]]!") // q6 = r3, q7 = i3
1310 __ASM_EMIT("vmul.f32 q0, q0, q8")
1311 __ASM_EMIT("vmul.f32 q2, q2, q9")
1312 __ASM_EMIT("vmul.f32 q4, q4, q10")
1313 __ASM_EMIT("vmul.f32 q6, q6, q11")
1314 __ASM_EMIT("vmul.f32 q1, q1, q8")
1315 __ASM_EMIT("vmul.f32 q3, q3, q9")
1316 __ASM_EMIT("vmul.f32 q5, q5, q10")
1317 __ASM_EMIT("vmul.f32 q7, q7, q11")
1318 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
1319 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
1320 __ASM_EMIT("vst2.32 {q4-q5}, [%[dst]]!")
1321 __ASM_EMIT("vst2.32 {q6-q7}, [%[dst]]!")
1322 __ASM_EMIT("subs %[count], #16")
1323 __ASM_EMIT("bhs 1b")
1324 // x8 block
1325 __ASM_EMIT("2:")
1326 __ASM_EMIT("adds %[count], #8")
1327 __ASM_EMIT("blt 4f")
1328 __ASM_EMIT("vldm %[src]!, {d16-d19}") // q8-q9 = s
1329 __ASM_EMIT("vrecpe.f32 q0, q8") // q0 = s2
1330 __ASM_EMIT("vrecpe.f32 q1, q9")
1331 __ASM_EMIT("vrecps.f32 q4, q0, q8") // q4 = (2 - R*s2)
1332 __ASM_EMIT("vrecps.f32 q5, q1, q9")
1333 __ASM_EMIT("vmul.f32 q0, q4, q0") // q0 = s2' = s2 * (2 - R*s2)
1334 __ASM_EMIT("vmul.f32 q1, q5, q1")
1335 __ASM_EMIT("vrecps.f32 q4, q0, q8") // q4 = (2 - R*s2')
1336 __ASM_EMIT("vrecps.f32 q5, q1, q9")
1337 __ASM_EMIT("vmul.f32 q8, q4, q0") // q8 = s2" = s2' * (2 - R*s2) = 1/s2
1338 __ASM_EMIT("vmul.f32 q9, q5, q1")
1339 __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0
1340 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1
1341 __ASM_EMIT("vmul.f32 q0, q0, q8")
1342 __ASM_EMIT("vmul.f32 q2, q2, q9")
1343 __ASM_EMIT("vmul.f32 q1, q1, q8")
1344 __ASM_EMIT("vmul.f32 q3, q3, q9")
1345 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
1346 __ASM_EMIT("sub %[count], #8")
1347 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
1348 // x4 block
1349 __ASM_EMIT("4:")
1350 __ASM_EMIT("adds %[count], #4")
1351 __ASM_EMIT("blt 6f")
1352 __ASM_EMIT("vldm %[src]!, {d16-d17}") // q8 = s
1353 __ASM_EMIT("vrecpe.f32 q0, q8") // q0 = s2
1354 __ASM_EMIT("vrecps.f32 q4, q0, q8") // q4 = (2 - R*s2)
1355 __ASM_EMIT("vmul.f32 q0, q4, q0") // q0 = s2' = s2 * (2 - R*s2)
1356 __ASM_EMIT("vrecps.f32 q4, q0, q8") // q4 = (2 - R*s2')
1357 __ASM_EMIT("vmul.f32 q8, q4, q0") // q8 = s2" = s2' * (2 - R*s2) = 1/s2
1358 __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0
1359 __ASM_EMIT("vmul.f32 q0, q0, q8")
1360 __ASM_EMIT("vmul.f32 q1, q1, q8")
1361 __ASM_EMIT("sub %[count], #4")
1362 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
1363 // x1 blocks
1364 __ASM_EMIT("6:")
1365 __ASM_EMIT("adds %[count], #3")
1366 __ASM_EMIT("blt 8f")
1367 __ASM_EMIT("7:")
1368 __ASM_EMIT("vld1.32 {d8[]}, [%[src]]!") // d2 = s
1369 __ASM_EMIT("vrecpe.f32 d0, d8") // d0 = s2
1370 __ASM_EMIT("vrecps.f32 d4, d0, d8") // d4 = (2 - R*s2)
1371 __ASM_EMIT("vmul.f32 d0, d4, d0") // d0 = s2' = s2 * (2 - R*s2)
1372 __ASM_EMIT("vrecps.f32 d4, d0, d8") // d4 = (2 - R*s2')
1373 __ASM_EMIT("vmul.f32 d8, d4, d0") // d8 = s2" = s2' * (2 - R*s2) = 1/s2
1374 __ASM_EMIT("vld2.32 {d0[], d1[]}, [%[src2]]!") // d0 = r0, d1 = i0
1375 __ASM_EMIT("vmul.f32 d0, d0, d8")
1376 __ASM_EMIT("vmul.f32 d1, d1, d8")
1377 __ASM_EMIT("vst2.32 {d0[0], d1[0]}, [%[dst]]!")
1378 __ASM_EMIT("subs %[count], #1")
1379 __ASM_EMIT("bge 7b")
1380 __ASM_EMIT("8:")
1381
1382 : [dst] "+r" (dst), [src] "+r" (src), [src2] "=&r" (src2), [count] "+r" (count)
1383 :
1384 : "cc", "memory",
1385 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
1386 "q8", "q9", "q10", "q11"
1387 );
1388 }
1389
1390 void pcomplex_r2c_rdiv2(float *dst, const float *src, size_t count)
1391 {
1392 IF_ARCH_ARM(float *src2);
1393
1394 ARCH_ARM_ASM
1395 (
1396 // x8 blocks
1397 __ASM_EMIT("mov %[src2], %[dst]")
1398 __ASM_EMIT("subs %[count], #8")
1399 __ASM_EMIT("blo 2f")
1400 __ASM_EMIT("1:")
1401 __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r, q1 = i
1402 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!")
1403 __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r
1404 __ASM_EMIT("vmul.f32 q5, q2, q2")
1405 __ASM_EMIT("vmla.f32 q4, q1, q1") // q4 = R = r*r + i*i
1406 __ASM_EMIT("vmla.f32 q5, q3, q3")
1407 // 1 / R calculation
1408 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
1409 __ASM_EMIT("vrecpe.f32 q8, q5")
1410 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0)
1411 __ASM_EMIT("vrecps.f32 q9, q8, q5")
1412 __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0)
1413 __ASM_EMIT("vmul.f32 q8, q9, q8")
1414 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1)
1415 __ASM_EMIT("vrecps.f32 q9, q8, q5")
1416 __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0)
1417 __ASM_EMIT("vmul.f32 q5, q9, q8")
1418 // r/R, -i/R
1419 __ASM_EMIT("vldm %[src]!, {d16-d19}") // q8-q9 = s
1420 __ASM_EMIT("vneg.f32 q1, q1") // q1 = -i
1421 __ASM_EMIT("vneg.f32 q3, q3")
1422 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R
1423 __ASM_EMIT("vmul.f32 q2, q2, q5")
1424 __ASM_EMIT("vmul.f32 q1, q1, q4") // q1 = -i / R
1425 __ASM_EMIT("vmul.f32 q3, q3, q5")
1426 __ASM_EMIT("vmul.f32 q0, q0, q8") // q0 = (r*s) / R
1427 __ASM_EMIT("vmul.f32 q2, q2, q9")
1428 __ASM_EMIT("vmul.f32 q1, q1, q8") // q1 = -(i*s) / R
1429 __ASM_EMIT("vmul.f32 q3, q3, q9")
1430
1431 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
1432 __ASM_EMIT("subs %[count], #8")
1433 __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!")
1434 __ASM_EMIT("bhs 1b")
1435
1436 //-----------------------------------------------------------------
1437 // x4 blocks
1438 __ASM_EMIT("2:")
1439 __ASM_EMIT("adds %[count], #4")
1440 __ASM_EMIT("blt 4f")
1441 __ASM_EMIT("vld2.32 {q0-q1}, [%[dst]]") // q0 = r, q1 = i
1442 __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r
1443 __ASM_EMIT("vmla.f32 q4, q1, q1") // q4 = R = r*r + i*i
1444 // 1 / R calculation
1445 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
1446 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0)
1447 __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0)
1448 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1)
1449 __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0)
1450 // r/R, -i/R
1451 __ASM_EMIT("vldm %[src]!, {d16-d17}") // q8 = s
1452 __ASM_EMIT("vneg.f32 q1, q1") // q1 = -i
1453 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R
1454 __ASM_EMIT("vmul.f32 q1, q1, q4") // q1 = -i / R
1455 __ASM_EMIT("vmul.f32 q0, q0, q8") // q0 = (r*s) / R
1456 __ASM_EMIT("vmul.f32 q1, q1, q8") // q1 = -(i*s) / R
1457 __ASM_EMIT("sub %[count], #4")
1458 __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!")
1459
1460 // x1 blocks
1461 __ASM_EMIT("4:")
1462 __ASM_EMIT("adds %[count], #3")
1463 __ASM_EMIT("blt 6f")
1464 __ASM_EMIT("5:")
1465 __ASM_EMIT("vld2.32 {d0[], d1[]}, [%[dst]]") // d0 = r, d1 = i
1466 __ASM_EMIT("vmul.f32 d4, d0, d0") // d4 = r*r
1467 __ASM_EMIT("vmla.f32 d4, d1, d1") // d4 = R = r*r + i*i
1468 // 1 / R calculation
1469 __ASM_EMIT("vrecpe.f32 d6, d4") // d6 = x0
1470 __ASM_EMIT("vrecps.f32 d7, d6, d4") // d7 = (2 - R*x0)
1471 __ASM_EMIT("vmul.f32 d6, d7, d6") // d6 = x1 = x0 * (2 - R*x0)
1472 __ASM_EMIT("vrecps.f32 d7, d6, d4") // d7 = (2 - R*x1)
1473 __ASM_EMIT("vmul.f32 d4, d7, d6") // d4 = x2 = x1 * (2 - R*x0)
1474 // r/R, -i/R
1475 __ASM_EMIT("vld1.32 {d8[]}, [%[src]]!") // d8 = s
1476 __ASM_EMIT("vneg.f32 d1, d1") // q1 = -i
1477 __ASM_EMIT("vmul.f32 d0, d0, d4") // q0 = r / R
1478 __ASM_EMIT("vmul.f32 d1, d1, d4") // q1 = -i / R
1479 __ASM_EMIT("vmul.f32 d0, d0, d8") // q0 = (r*s) / R
1480 __ASM_EMIT("vmul.f32 d1, d1, d8") // q1 = -(i*s) / R
1481 __ASM_EMIT("subs %[count], #1")
1482 __ASM_EMIT("vst2.32 {d0[0], d1[0]}, [%[dst]]!")
1483 __ASM_EMIT("bge 5b")
1484
1485 __ASM_EMIT("6:")
1486
1487 : [dst] "+r" (dst), [src] "+r" (src), [src2] "=&r" (src2), [count] "+r" (count)
1488 :
1489 : "cc", "memory",
1490 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
1491 "q8", "q9", "q10", "q11"
1492 );
1493 }
1494
1495 IF_ARCH_ARM(
1496 static float pcomplex_corr_const[] __lsp_aligned16 =
1497 {
1498 LSP_DSP_VEC4(1e-36f),
1499 LSP_DSP_VEC4(1e-36f)
1500 };
1501 );
1502
1503 void pcomplex_corr(float *dst_corr, const float *src1, const float *src2, size_t count)
1504 {
1505 /*
1506 * src1[i] = a + j*b, src2[i] = c + j*d
1507 * den = (a*a + b*b)*(c*c + d*d)
1508 * nom = a*c + b*d
1509 * corr[i] = (den > threshold) ? nom / sqrt(den) : 0.0
1510 */
1511 ARCH_ARM_ASM
1512 (
1513 // x8 blocks
1514 __ASM_EMIT("vldm %[CC], {d24-d31}") // q14-q15 = threshold
1515 __ASM_EMIT("subs %[count], #8")
1516 __ASM_EMIT("blo 2f")
1517 __ASM_EMIT("1:")
1518 __ASM_EMIT("vld2.32 {q0-q1}, [%[src1]]!") /* q0 = A0, q1 = B0 */
1519 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") /* q2 = C0, q3 = D0 */
1520 __ASM_EMIT("vld2.32 {q4-q5}, [%[src1]]!") /* q4 = A1, q5 = B1 */
1521 __ASM_EMIT("vld2.32 {q6-q7}, [%[src2]]!") /* q6 = C1, q7 = D1 */
1522 __ASM_EMIT("vmul.f32 q8, q0, q2") /* q8 = A0*C0 */
1523 __ASM_EMIT("vmul.f32 q9, q4, q6") /* q9 = A1*C1 */
1524 __ASM_EMIT("vmul.f32 q10, q0, q0") /* q10 = A0*A0 */
1525 __ASM_EMIT("vmul.f32 q11, q4, q4") /* q11 = A1*A1 */
1526 __ASM_EMIT("vmul.f32 q12, q2, q2") /* q12 = C0*C0 */
1527 __ASM_EMIT("vmul.f32 q13, q6, q6") /* q13 = C1*C1 */
1528 __ASM_EMIT("vmla.f32 q8, q1, q3") /* q8 = nom0 = A0*C0 + B0*D0 */
1529 __ASM_EMIT("vmla.f32 q9, q5, q7") /* q9 = nom1 = A1*C1 + B1*D1 */
1530 __ASM_EMIT("vmla.f32 q10, q1, q1") /* q10 = A0*A0 + B0*B0 */
1531 __ASM_EMIT("vmla.f32 q11, q5, q5") /* q11 = A1*A1 + B1*B1 */
1532 __ASM_EMIT("vmla.f32 q12, q3, q3") /* q12 = C0*C0 + D0*D0 */
1533 __ASM_EMIT("vmla.f32 q13, q7, q7") /* q13 = C1*C1 + D1*D1 */
1534 __ASM_EMIT("vmul.f32 q0, q10, q12") /* q0 = den0 = (A0*A0 + B0*B0)*(C0*C0 + D0*D0) */
1535 __ASM_EMIT("vmul.f32 q1, q11, q13") /* q1 = den1 = (A1*A1 + B1*B1)*(C1*C1 + D1*D1) */
1536 __ASM_EMIT("vrsqrte.f32 q2, q0") /* q2 = x0 */
1537 __ASM_EMIT("vrsqrte.f32 q3, q1")
1538 __ASM_EMIT("vmul.f32 q4, q2, q0") /* q4 = R * x0 */
1539 __ASM_EMIT("vmul.f32 q5, q3, q1")
1540 __ASM_EMIT("vrsqrts.f32 q6, q4, q2") /* q6 = (3 - R * x0 * x0) / 2 */
1541 __ASM_EMIT("vrsqrts.f32 q7, q5, q3")
1542 __ASM_EMIT("vmul.f32 q2, q2, q6") /* q2 = x1 = x0 * (3 - R * x0 * x0) / 2 */
1543 __ASM_EMIT("vmul.f32 q3, q3, q7")
1544 __ASM_EMIT("vmul.f32 q4, q2, q0") /* q4 = R * x1 */
1545 __ASM_EMIT("vmul.f32 q5, q3, q1")
1546 __ASM_EMIT("vrsqrts.f32 q6, q4, q2") /* q6 = (3 - R * x1 * x1) / 2 */
1547 __ASM_EMIT("vrsqrts.f32 q7, q5, q3")
1548 __ASM_EMIT("vmul.f32 q2, q2, q6") /* q2 = 1/den0 = x1 * (3 - R * x1 * x1) / 2 */
1549 __ASM_EMIT("vmul.f32 q3, q3, q7") /* q3 = 1/den1 */
1550 __ASM_EMIT("vcge.f32 q0, q0, q14") /* q0 = (den0 >= threshold) */
1551 __ASM_EMIT("vcge.f32 q1, q1, q15") /* q1 = (den1 >= threshold) */
1552 __ASM_EMIT("vmul.f32 q2, q2, q8") /* q2 = nom0/den0 */
1553 __ASM_EMIT("vmul.f32 q3, q3, q9") /* q3 = nom1/den1 */
1554 __ASM_EMIT("vand q0, q0, q2") /* q0 = (den0 >= threshold) ? nom0/den0 : 0.0f */
1555 __ASM_EMIT("vand q1, q1, q3") /* q1 = (den1 >= threshold) ? nom1/den1 : 0.0f */
1556 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
1557 __ASM_EMIT("subs %[count], #8")
1558 __ASM_EMIT("bhs 1b")
1559 // x4 block
1560 __ASM_EMIT("2:")
1561 __ASM_EMIT("adds %[count], #4")
1562 __ASM_EMIT("blt 4f")
1563 __ASM_EMIT("vld2.32 {q0-q1}, [%[src1]]!") /* q0 = A0, q1 = B0 */
1564 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") /* q2 = C0, q3 = D0 */
1565 __ASM_EMIT("vmul.f32 q8, q0, q2") /* q8 = A0*C0 */
1566 __ASM_EMIT("vmul.f32 q10, q0, q0") /* q10 = A0*A0 */
1567 __ASM_EMIT("vmul.f32 q12, q2, q2") /* q12 = C0*C0 */
1568 __ASM_EMIT("vmla.f32 q8, q1, q3") /* q8 = nom0 = A0*C0 + B0*D0 */
1569 __ASM_EMIT("vmla.f32 q10, q1, q1") /* q10 = A0*A0 + B0*B0 */
1570 __ASM_EMIT("vmla.f32 q12, q3, q3") /* q12 = C0*C0 + D0*D0 */
1571 __ASM_EMIT("vmul.f32 q0, q10, q12") /* q0 = den0 = (A0*A0 + B0*B0)*(C0*C0 + D0*D0) */
1572 __ASM_EMIT("vrsqrte.f32 q2, q0") /* q2 = x0 */
1573 __ASM_EMIT("vmul.f32 q4, q2, q0") /* q4 = R * x0 */
1574 __ASM_EMIT("vrsqrts.f32 q6, q4, q2") /* q6 = (3 - R * x0 * x0) / 2 */
1575 __ASM_EMIT("vmul.f32 q2, q2, q6") /* q2 = x1 = x0 * (3 - R * x0 * x0) / 2 */
1576 __ASM_EMIT("vmul.f32 q4, q2, q0") /* q4 = R * x1 */
1577 __ASM_EMIT("vrsqrts.f32 q6, q4, q2") /* q6 = (3 - R * x1 * x1) / 2 */
1578 __ASM_EMIT("vmul.f32 q2, q2, q6") /* q2 = 1/den0 = x1 * (3 - R * x1 * x1) / 2 */
1579 __ASM_EMIT("vcge.f32 q0, q0, q14") /* q0 = (den0 >= threshold) */
1580 __ASM_EMIT("vmul.f32 q2, q2, q8") /* q2 = nom0/den0 */
1581 __ASM_EMIT("vand q0, q0, q2") /* q0 = (den0 >= threshold) ? nom0/den0 : 0.0f */
1582 __ASM_EMIT("vstm %[dst]!, {q0}")
1583 __ASM_EMIT("sub %[count], #4")
1584 // x1 blocks
1585 __ASM_EMIT("4:")
1586 __ASM_EMIT("adds %[count], #3")
1587 __ASM_EMIT("blt 6f")
1588 __ASM_EMIT("5:")
1589 __ASM_EMIT("vld2.32 {d0[], d1[]}, [%[src1]]!") /* d0 = A0, d1 = B0 */
1590 __ASM_EMIT("vld2.32 {d2[], d3[]}, [%[src2]]!") /* d2 = C0, d3 = D0 */
1591 __ASM_EMIT("vmul.f32 d8, d0, d2") /* d8 = A0*C0 */
1592 __ASM_EMIT("vmul.f32 d10, d0, d0") /* d10 = A0*A0 */
1593 __ASM_EMIT("vmul.f32 d12, d2, d2") /* d12 = C0*C0 */
1594 __ASM_EMIT("vmla.f32 d8, d1, d3") /* d8 = nom0 = A0*C0 + B0*D0 */
1595 __ASM_EMIT("vmla.f32 d10, d1, d1") /* d10 = A0*A0 + B0*B0 */
1596 __ASM_EMIT("vmla.f32 d12, d3, d3") /* d12 = C0*C0 + D0*D0 */
1597 __ASM_EMIT("vmul.f32 d0, d10, d12") /* d0 = den0 = (A0*A0 + B0*B0)*(C0*C0 + D0*D0) */
1598 __ASM_EMIT("vrsqrte.f32 d2, d0") /* d2 = x0 */
1599 __ASM_EMIT("vmul.f32 d4, d2, d0") /* d4 = R * x0 */
1600 __ASM_EMIT("vrsqrts.f32 d6, d4, d2") /* d6 = (3 - R * x0 * x0) / 2 */
1601 __ASM_EMIT("vmul.f32 d2, d2, d6") /* d2 = x1 = x0 * (3 - R * x0 * x0) / 2 */
1602 __ASM_EMIT("vmul.f32 d4, d2, d0") /* d4 = R * x1 */
1603 __ASM_EMIT("vrsqrts.f32 d6, d4, d2") /* d6 = (3 - R * x1 * x1) / 2 */
1604 __ASM_EMIT("vmul.f32 d2, d2, d6") /* d2 = 1/den0 = x1 * (3 - R * x1 * x1) / 2 */
1605 __ASM_EMIT("vcge.f32 d0, d0, d28") /* d0 = (den0 >= threshold) */
1606 __ASM_EMIT("vmul.f32 d2, d2, d8") /* d2 = nom0/den0 */
1607 __ASM_EMIT("vand d0, d0, d2") /* d0 = (den0 >= threshold) ? nom0/den0 : 0.0f */
1608 __ASM_EMIT("subs %[count], #1")
1609 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
1610 __ASM_EMIT("bge 5b")
1611
1612 __ASM_EMIT("6:")
1613
1614 : [dst] "+r" (dst_corr), [src1] "+r" (src1), [src2] "+r" (src2), [count] "+r" (count)
1615 : [CC] "r" (&pcomplex_corr_const[0])
1616 : "cc", "memory",
1617 "q0", "q1", "q2", "q3",
1618 "q4", "q5", "q6", "q7",
1619 "q8", "q9", "q10", "q11",
1620 "q12", "q13", "q14", "q15"
1621 );
1622 }
1623
1624
1625 } /* namespace neon_d32 */
1626 } /* namespace lsp */
1627
1628 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_PCOMPLEX_H_ */