Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/complex.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_COMPLEX_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_COMPLEX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 void complex_mul2(float *dst_re, float *dst_im, const float *src_re, const float *src_im, size_t count)
34 {
35 ARCH_ARM_ASM
36 (
37 // x8 blocks
38 __ASM_EMIT("subs %[count], #8")
39 __ASM_EMIT("blo 2f")
40 __ASM_EMIT("1:")
41 __ASM_EMIT("vldm %[src_re], {q0-q1}") // q0, q1 = sr
42 __ASM_EMIT("vldm %[src_im], {q2-q3}") // q2, q3 = si
43 __ASM_EMIT("vldm %[dst_re], {q4-q5}") // q4, q5 = dr
44 __ASM_EMIT("vldm %[dst_im], {q6-q7}") // q6, q7 = di
45 __ASM_EMIT("vmul.f32 q8, q0, q4") // q8 = sr*dr
46 __ASM_EMIT("vmul.f32 q9, q1, q5")
47 __ASM_EMIT("add %[src_re], #0x20")
48 __ASM_EMIT("vmul.f32 q4, q2, q4") // q4 = si*dr
49 __ASM_EMIT("vmul.f32 q5, q3, q5")
50 __ASM_EMIT("add %[src_im], #0x20")
51 __ASM_EMIT("vmls.f32 q8, q2, q6") // q8 = sr*dr - si*di
52 __ASM_EMIT("vmls.f32 q9, q3, q7")
53 __ASM_EMIT("vmla.f32 q4, q0, q6") // q5 = si*dr + sr*di
54 __ASM_EMIT("vmla.f32 q5, q1, q7")
55 __ASM_EMIT("vstm %[dst_re], {q8-q9}")
56 __ASM_EMIT("vstm %[dst_im], {q4-q5}")
57 __ASM_EMIT("subs %[count], #8")
58 __ASM_EMIT("add %[dst_re], #0x20")
59 __ASM_EMIT("add %[dst_im], #0x20")
60 __ASM_EMIT("bhs 1b")
61 __ASM_EMIT("2:")
62 // x4 blocks
63 __ASM_EMIT("adds %[count], #4")
64 __ASM_EMIT("blt 4f")
65 __ASM_EMIT("vldm %[src_re], {q0}") // q0 = sr
66 __ASM_EMIT("vldm %[src_im], {q2}") // q2 = si
67 __ASM_EMIT("vldm %[dst_re], {q4}") // q4 = dr
68 __ASM_EMIT("vldm %[dst_im], {q6}") // q6 = di
69 __ASM_EMIT("vmul.f32 q8, q0, q4") // q8 = sr*dr
70 __ASM_EMIT("vmul.f32 q4, q2, q4") // q4 = si*dr
71 __ASM_EMIT("add %[src_re], #0x10")
72 __ASM_EMIT("vmls.f32 q8, q2, q6") // q8 = sr*dr - si*di
73 __ASM_EMIT("vmla.f32 q4, q0, q6") // q4 = si*dr + sr*di
74 __ASM_EMIT("add %[src_im], #0x10")
75 __ASM_EMIT("vstm %[dst_re], {q8}")
76 __ASM_EMIT("vstm %[dst_im], {q4}")
77 __ASM_EMIT("sub %[count], #4")
78 __ASM_EMIT("add %[dst_re], #0x10")
79 __ASM_EMIT("add %[dst_im], #0x10")
80 __ASM_EMIT("4:")
81 // x1 blocks
82 __ASM_EMIT("adds %[count], #3")
83 __ASM_EMIT("blt 6f")
84 __ASM_EMIT("5:")
85 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src_re]]") // q0 = sr
86 __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[src_im]]") // q2 = si
87 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[dst_re]]") // q4 = dr
88 __ASM_EMIT("vld1.32 {d12[], d13[]}, [%[dst_im]]") // q6 = di
89 __ASM_EMIT("vmul.f32 q8, q0, q4") // q8 = sr*dr
90 __ASM_EMIT("vmul.f32 q4, q2, q4") // q4 = si*dr
91 __ASM_EMIT("add %[src_re], #0x04")
92 __ASM_EMIT("vmls.f32 q8, q2, q6") // q8 = sr*dr - si*di
93 __ASM_EMIT("vmla.f32 q4, q0, q6") // q4 = si*dr + sr*di
94 __ASM_EMIT("add %[src_im], #0x04")
95 __ASM_EMIT("vst1.32 {d16[0]}, [%[dst_re]]")
96 __ASM_EMIT("vst1.32 {d8[0]}, [%[dst_im]]")
97 __ASM_EMIT("subs %[count], #1")
98 __ASM_EMIT("add %[dst_re], #0x04")
99 __ASM_EMIT("add %[dst_im], #0x04")
100 __ASM_EMIT("bge 5b")
101 __ASM_EMIT("6:")
102
103 : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im),
104 [src_re] "+r" (src_re), [src_im] "+r" (src_im),
105 [count] "+r" (count)
106 :
107 : "cc", "memory",
108 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
109 "q8", "q9"
110 );
111 }
112
113 void complex_mul3(float *dst_re, float *dst_im, const float *src1_re, const float *src1_im, const float *src2_re, const float *src2_im, size_t count)
114 {
115 ARCH_ARM_ASM
116 (
117 // x8 blocks
118 __ASM_EMIT("subs %[count], #8")
119 __ASM_EMIT("blo 2f")
120 __ASM_EMIT("1:")
121 __ASM_EMIT("vldm %[src1_re], {q0-q1}") // q0, q1 = sr
122 __ASM_EMIT("vldm %[src1_im], {q2-q3}") // q2, q3 = si
123 __ASM_EMIT("vldm %[src2_re], {q4-q5}") // q4, q5 = dr
124 __ASM_EMIT("vldm %[src2_im], {q6-q7}") // q6, q7 = di
125 __ASM_EMIT("vmul.f32 q8, q0, q4") // q8 = sr*dr
126 __ASM_EMIT("add %[src1_re], #0x20")
127 __ASM_EMIT("vmul.f32 q9, q1, q5")
128 __ASM_EMIT("add %[src1_im], #0x20")
129 __ASM_EMIT("vmul.f32 q4, q2, q4") // q4 = si*dr
130 __ASM_EMIT("vmul.f32 q5, q3, q5")
131 __ASM_EMIT("vmls.f32 q8, q2, q6") // q8 = sr*dr - si*di
132 __ASM_EMIT("add %[src2_re], #0x20")
133 __ASM_EMIT("vmls.f32 q9, q3, q7")
134 __ASM_EMIT("vmla.f32 q4, q0, q6") // q5 = si*dr + sr*di
135 __ASM_EMIT("add %[src2_im], #0x20")
136 __ASM_EMIT("vmla.f32 q5, q1, q7")
137 __ASM_EMIT("vstm %[dst_re], {q8-q9}")
138 __ASM_EMIT("vstm %[dst_im], {q4-q5}")
139 __ASM_EMIT("subs %[count], #8")
140 __ASM_EMIT("add %[dst_re], #0x20")
141 __ASM_EMIT("add %[dst_im], #0x20")
142 __ASM_EMIT("bhs 1b")
143 __ASM_EMIT("2:")
144 // x4 blocks
145 __ASM_EMIT("adds %[count], #4")
146 __ASM_EMIT("blt 4f")
147 __ASM_EMIT("vldm %[src1_re], {q0}") // q0 = sr
148 __ASM_EMIT("vldm %[src1_im], {q2}") // q2 = si
149 __ASM_EMIT("vldm %[src2_re], {q4}") // q4 = dr
150 __ASM_EMIT("vldm %[src2_im], {q6}") // q6 = di
151 __ASM_EMIT("vmul.f32 q8, q0, q4") // q8 = sr*dr
152 __ASM_EMIT("add %[src1_re], #0x10")
153 __ASM_EMIT("vmul.f32 q4, q2, q4") // q4 = si*dr
154 __ASM_EMIT("add %[src1_im], #0x10")
155 __ASM_EMIT("vmls.f32 q8, q2, q6") // q8 = sr*dr - si*di
156 __ASM_EMIT("add %[src2_re], #0x10")
157 __ASM_EMIT("vmla.f32 q4, q0, q6") // q4 = si*dr + sr*di
158 __ASM_EMIT("add %[src2_im], #0x10")
159 __ASM_EMIT("vstm %[dst_re], {q8}")
160 __ASM_EMIT("vstm %[dst_im], {q4}")
161 __ASM_EMIT("sub %[count], #4")
162 __ASM_EMIT("add %[dst_re], #0x10")
163 __ASM_EMIT("add %[dst_im], #0x10")
164 __ASM_EMIT("4:")
165 // x1 blocks
166 __ASM_EMIT("adds %[count], #3")
167 __ASM_EMIT("blt 6f")
168 __ASM_EMIT("5:")
169 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src1_re]]") // q0 = sr
170 __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[src1_im]]") // q2 = si
171 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[src2_re]]") // q4 = dr
172 __ASM_EMIT("vld1.32 {d12[], d13[]}, [%[src2_im]]") // q6 = di
173 __ASM_EMIT("vmul.f32 q8, q0, q4") // q8 = sr*dr
174 __ASM_EMIT("add %[src1_re], #0x04")
175 __ASM_EMIT("vmul.f32 q4, q2, q4") // q4 = si*dr
176 __ASM_EMIT("add %[src1_im], #0x04")
177 __ASM_EMIT("vmls.f32 q8, q2, q6") // q8 = sr*dr - si*di
178 __ASM_EMIT("add %[src2_re], #0x04")
179 __ASM_EMIT("vmla.f32 q4, q0, q6") // q4 = si*dr + sr*di
180 __ASM_EMIT("add %[src2_im], #0x04")
181 __ASM_EMIT("vst1.32 {d16[0]}, [%[dst_re]]")
182 __ASM_EMIT("vst1.32 {d8[0]}, [%[dst_im]]")
183 __ASM_EMIT("subs %[count], #1")
184 __ASM_EMIT("add %[dst_re], #0x04")
185 __ASM_EMIT("add %[dst_im], #0x04")
186 __ASM_EMIT("bge 5b")
187 __ASM_EMIT("6:")
188
189 : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im),
190 [src1_re] "+r" (src1_re), [src1_im] "+r" (src1_im),
191 [src2_re] "+r" (src2_re), [src2_im] "+r" (src2_im),
192 [count] "+r" (count)
193 :
194 : "cc", "memory",
195 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
196 "q8", "q9"
197 );
198 }
199
200 void complex_div2(float *dst_re, float *dst_im, const float *src_re, const float *src_im, size_t count)
201 {
202 ARCH_ARM_ASM
203 (
204 // x8 blocks
205 __ASM_EMIT("subs %[count], #8")
206 __ASM_EMIT("blo 2f")
207 __ASM_EMIT("1:")
208 __ASM_EMIT("vld1.32 {q4-q5}, [%[src_re]]!") // q4 = sr
209 __ASM_EMIT("vld1.32 {q6-q7}, [%[src_im]]!") // q6 = si
210 __ASM_EMIT("vld1.32 {q8-q9}, [%[dst_re]]") // q8 = dr
211 __ASM_EMIT("vld1.32 {q10-q11}, [%[dst_im]]") // q10 = di
212 // q0 = sr*dr + si*di, q2 = sr*di - si*dr, q4 = sr*sr + si*si
213 __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr
214 __ASM_EMIT("vmul.f32 q1, q5, q9")
215 __ASM_EMIT("vmul.f32 q2, q4, q10") // q2 = sr*di
216 __ASM_EMIT("vmul.f32 q3, q5, q11")
217 __ASM_EMIT("vmla.f32 q0, q6, q10") // q0 = sr*dr + si*di
218 __ASM_EMIT("vmla.f32 q1, q7, q11")
219 __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr
220 __ASM_EMIT("vmul.f32 q5, q5, q5")
221 __ASM_EMIT("vmls.f32 q2, q6, q8") // q2 = sr*di - si*dr
222 __ASM_EMIT("vmls.f32 q3, q7, q9")
223 __ASM_EMIT("vmla.f32 q4, q6, q6") // q4 = sr*sr + si*si
224 __ASM_EMIT("vmla.f32 q5, q7, q7")
225 // q4 = 1 / (sr*sr + si*si)
226 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
227 __ASM_EMIT("vrecpe.f32 q7, q5")
228 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x0)
229 __ASM_EMIT("vrecps.f32 q9, q7, q5")
230 __ASM_EMIT("vmul.f32 q6, q8, q6") // q6 = x1 = x0 * (2 - R*x0)
231 __ASM_EMIT("vmul.f32 q7, q9, q7")
232 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x1)
233 __ASM_EMIT("vrecps.f32 q9, q7, q5")
234 __ASM_EMIT("vmul.f32 q4, q8, q6") // q4 = x2 = x1 * (2 - R*x0)
235 __ASM_EMIT("vmul.f32 q5, q9, q7")
236 __ASM_EMIT("vmul.f32 q0, q0, q4")
237 __ASM_EMIT("vmul.f32 q1, q1, q5")
238 __ASM_EMIT("vmul.f32 q2, q2, q4")
239 __ASM_EMIT("vmul.f32 q3, q3, q5")
240 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst_re]]!")
241 __ASM_EMIT("vst1.32 {q2-q3}, [%[dst_im]]!")
242 __ASM_EMIT("subs %[count], #8")
243 __ASM_EMIT("bhs 1b")
244 __ASM_EMIT("2:")
245 // x4 blocks
246 __ASM_EMIT("adds %[count], #4")
247 __ASM_EMIT("blt 4f")
248 __ASM_EMIT("vld1.32 {q4}, [%[src_re]]!") // q4 = sr
249 __ASM_EMIT("vld1.32 {q6}, [%[src_im]]!") // q6 = si
250 __ASM_EMIT("vld1.32 {q8}, [%[dst_re]]") // q8 = dr
251 __ASM_EMIT("vld1.32 {q10}, [%[dst_im]]") // q10 = di
252 // q0 = sr*dr + si*di, q2 = sr*di - si*dr, q4 = sr*sr + si*si
253 __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr
254 __ASM_EMIT("vmul.f32 q2, q4, q10") // q2 = sr*di
255 __ASM_EMIT("vmla.f32 q0, q6, q10") // q0 = sr*dr + si*di
256 __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr
257 __ASM_EMIT("vmls.f32 q2, q6, q8") // q2 = sr*di - si*dr
258 __ASM_EMIT("vmla.f32 q4, q6, q6") // q4 = sr*sr + si*si
259 // q4 = 1 / (sr*sr + si*si)
260 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
261 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x0)
262 __ASM_EMIT("vmul.f32 q6, q8, q6") // q6 = x1 = x0 * (2 - R*x0)
263 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x1)
264 __ASM_EMIT("vmul.f32 q4, q8, q6") // q4 = x2 = x1 * (2 - R*x0)
265 __ASM_EMIT("vmul.f32 q0, q0, q4")
266 __ASM_EMIT("vmul.f32 q2, q2, q4")
267 __ASM_EMIT("vst1.32 {q0}, [%[dst_re]]!")
268 __ASM_EMIT("vst1.32 {q2}, [%[dst_im]]!")
269 __ASM_EMIT("sub %[count], #4")
270 __ASM_EMIT("4:")
271 // x1 blocks
272 __ASM_EMIT("adds %[count], #3")
273 __ASM_EMIT("blt 6f")
274 __ASM_EMIT("5:")
275 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[src_re]]!") // q4 = sr
276 __ASM_EMIT("vld1.32 {d12[], d13[]}, [%[src_im]]!") // q6 = si
277 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[dst_re]]") // q8 = dr
278 __ASM_EMIT("vld1.32 {d20[], d21[]}, [%[dst_im]]") // q10 = di
279 __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr
280 __ASM_EMIT("vmul.f32 q2, q4, q10") // q2 = sr*di
281 __ASM_EMIT("vmla.f32 q0, q6, q10") // q0 = sr*dr + si*di
282 __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr
283 __ASM_EMIT("vmls.f32 q2, q6, q8") // q2 = sr*di - si*dr
284 __ASM_EMIT("vmla.f32 q4, q6, q6") // q4 = sr*sr + si*si
285 // q4 = 1 / (sr*sr + si*si)
286 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
287 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x0)
288 __ASM_EMIT("vmul.f32 q6, q8, q6") // q6 = x1 = x0 * (2 - R*x0)
289 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x1)
290 __ASM_EMIT("vmul.f32 q4, q8, q6") // q4 = x2 = x1 * (2 - R*x0)
291 __ASM_EMIT("vmul.f32 q0, q0, q4")
292 __ASM_EMIT("vmul.f32 q2, q2, q4")
293 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst_re]]!")
294 __ASM_EMIT("vst1.32 {d4[0]}, [%[dst_im]]!")
295 __ASM_EMIT("subs %[count], #1")
296 __ASM_EMIT("bge 5b")
297 __ASM_EMIT("6:")
298
299 : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im),
300 [src_re] "+r" (src_re), [src_im] "+r" (src_im),
301 [count] "+r" (count)
302 :
303 : "cc", "memory",
304 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
305 "q8", "q9", "q10", "q11"
306 );
307 }
308
309 void complex_rdiv2(float *dst_re, float *dst_im, const float *src_re, const float *src_im, size_t count)
310 {
311 ARCH_ARM_ASM
312 (
313 // x8 blocks
314 __ASM_EMIT("subs %[count], #8")
315 __ASM_EMIT("blo 2f")
316 __ASM_EMIT("1:")
317 __ASM_EMIT("vld1.32 {q4-q5}, [%[dst_re]]") // q4 = sr
318 __ASM_EMIT("vld1.32 {q6-q7}, [%[dst_im]]") // q6 = si
319 __ASM_EMIT("vld1.32 {q8-q9}, [%[src_re]]!") // q8 = dr
320 __ASM_EMIT("vld1.32 {q10-q11}, [%[src_im]]!") // q10 = di
321 // q0 = sr*dr + si*di, q2 = sr*di - si*dr, q4 = sr*sr + si*si
322 __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr
323 __ASM_EMIT("vmul.f32 q1, q5, q9")
324 __ASM_EMIT("vmul.f32 q2, q4, q10") // q2 = sr*di
325 __ASM_EMIT("vmul.f32 q3, q5, q11")
326 __ASM_EMIT("vmla.f32 q0, q6, q10") // q0 = sr*dr + si*di
327 __ASM_EMIT("vmla.f32 q1, q7, q11")
328 __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr
329 __ASM_EMIT("vmul.f32 q5, q5, q5")
330 __ASM_EMIT("vmls.f32 q2, q6, q8") // q2 = sr*di - si*dr
331 __ASM_EMIT("vmls.f32 q3, q7, q9")
332 __ASM_EMIT("vmla.f32 q4, q6, q6") // q4 = sr*sr + si*si
333 __ASM_EMIT("vmla.f32 q5, q7, q7")
334 // q4 = 1 / (sr*sr + si*si)
335 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
336 __ASM_EMIT("vrecpe.f32 q7, q5")
337 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x0)
338 __ASM_EMIT("vrecps.f32 q9, q7, q5")
339 __ASM_EMIT("vmul.f32 q6, q8, q6") // q6 = x1 = x0 * (2 - R*x0)
340 __ASM_EMIT("vmul.f32 q7, q9, q7")
341 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x1)
342 __ASM_EMIT("vrecps.f32 q9, q7, q5")
343 __ASM_EMIT("vmul.f32 q4, q8, q6") // q4 = x2 = x1 * (2 - R*x0)
344 __ASM_EMIT("vmul.f32 q5, q9, q7")
345 __ASM_EMIT("vmul.f32 q0, q0, q4")
346 __ASM_EMIT("vmul.f32 q1, q1, q5")
347 __ASM_EMIT("vmul.f32 q2, q2, q4")
348 __ASM_EMIT("vmul.f32 q3, q3, q5")
349 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst_re]]!")
350 __ASM_EMIT("vst1.32 {q2-q3}, [%[dst_im]]!")
351 __ASM_EMIT("subs %[count], #8")
352 __ASM_EMIT("bhs 1b")
353 __ASM_EMIT("2:")
354 // x4 blocks
355 __ASM_EMIT("adds %[count], #4")
356 __ASM_EMIT("blt 4f")
357 __ASM_EMIT("vld1.32 {q4}, [%[dst_re]]") // q4 = sr
358 __ASM_EMIT("vld1.32 {q6}, [%[dst_im]]") // q6 = si
359 __ASM_EMIT("vld1.32 {q8}, [%[src_re]]!") // q8 = dr
360 __ASM_EMIT("vld1.32 {q10}, [%[src_im]]!") // q10 = di
361 // q0 = sr*dr + si*di, q2 = sr*di - si*dr, q4 = sr*sr + si*si
362 __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr
363 __ASM_EMIT("vmul.f32 q2, q4, q10") // q2 = sr*di
364 __ASM_EMIT("vmla.f32 q0, q6, q10") // q0 = sr*dr + si*di
365 __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr
366 __ASM_EMIT("vmls.f32 q2, q6, q8") // q2 = sr*di - si*dr
367 __ASM_EMIT("vmla.f32 q4, q6, q6") // q4 = sr*sr + si*si
368 // q4 = 1 / (sr*sr + si*si)
369 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
370 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x0)
371 __ASM_EMIT("vmul.f32 q6, q8, q6") // q6 = x1 = x0 * (2 - R*x0)
372 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x1)
373 __ASM_EMIT("vmul.f32 q4, q8, q6") // q4 = x2 = x1 * (2 - R*x0)
374 __ASM_EMIT("vmul.f32 q0, q0, q4")
375 __ASM_EMIT("vmul.f32 q2, q2, q4")
376 __ASM_EMIT("vst1.32 {q0}, [%[dst_re]]!")
377 __ASM_EMIT("vst1.32 {q2}, [%[dst_im]]!")
378 __ASM_EMIT("sub %[count], #4")
379 __ASM_EMIT("4:")
380 // x1 blocks
381 __ASM_EMIT("adds %[count], #3")
382 __ASM_EMIT("blt 6f")
383 __ASM_EMIT("5:")
384 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[dst_re]]") // q4 = sr
385 __ASM_EMIT("vld1.32 {d12[], d13[]}, [%[dst_im]]") // q6 = si
386 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[src_re]]!") // q8 = dr
387 __ASM_EMIT("vld1.32 {d20[], d21[]}, [%[src_im]]!") // q10 = di
388 __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr
389 __ASM_EMIT("vmul.f32 q2, q4, q10") // q2 = sr*di
390 __ASM_EMIT("vmla.f32 q0, q6, q10") // q0 = sr*dr + si*di
391 __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr
392 __ASM_EMIT("vmls.f32 q2, q6, q8") // q2 = sr*di - si*dr
393 __ASM_EMIT("vmla.f32 q4, q6, q6") // q4 = sr*sr + si*si
394 // q4 = 1 / (sr*sr + si*si)
395 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
396 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x0)
397 __ASM_EMIT("vmul.f32 q6, q8, q6") // q6 = x1 = x0 * (2 - R*x0)
398 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x1)
399 __ASM_EMIT("vmul.f32 q4, q8, q6") // q4 = x2 = x1 * (2 - R*x0)
400 __ASM_EMIT("vmul.f32 q0, q0, q4")
401 __ASM_EMIT("vmul.f32 q2, q2, q4")
402 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst_re]]!")
403 __ASM_EMIT("vst1.32 {d4[0]}, [%[dst_im]]!")
404 __ASM_EMIT("subs %[count], #1")
405 __ASM_EMIT("bge 5b")
406 __ASM_EMIT("6:")
407
408 : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im),
409 [src_re] "+r" (src_re), [src_im] "+r" (src_im),
410 [count] "+r" (count)
411 :
412 : "cc", "memory",
413 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
414 "q8", "q9", "q10", "q11"
415 );
416 }
417
418 void complex_div3(float *dst_re, float *dst_im, const float *t_re, const float *t_im, const float *b_re, const float *b_im, size_t count)
419 {
420 ARCH_ARM_ASM
421 (
422 // x8 blocks
423 __ASM_EMIT("subs %[count], #8")
424 __ASM_EMIT("blo 2f")
425 __ASM_EMIT("1:")
426 __ASM_EMIT("vld1.32 {q4-q5}, [%[b_re]]!") // q4 = sr
427 __ASM_EMIT("vld1.32 {q6-q7}, [%[b_im]]!") // q6 = si
428 __ASM_EMIT("vld1.32 {q8-q9}, [%[t_re]]!") // q8 = dr
429 __ASM_EMIT("vld1.32 {q10-q11}, [%[t_im]]!") // q10 = di
430 // q0 = sr*dr + si*di, q2 = -(sr*di + si*dr), q4 = sr*sr + si*si
431 __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr
432 __ASM_EMIT("vmul.f32 q1, q5, q9")
433 __ASM_EMIT("vmul.f32 q2, q4, q10") // q2 = sr*di
434 __ASM_EMIT("vmul.f32 q3, q5, q11")
435 __ASM_EMIT("vmla.f32 q0, q6, q10") // q0 = sr*dr + si*di
436 __ASM_EMIT("vmla.f32 q1, q7, q11")
437 __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr
438 __ASM_EMIT("vmul.f32 q5, q5, q5")
439 __ASM_EMIT("vmls.f32 q2, q6, q8") // q2 = sr*di - si*dr
440 __ASM_EMIT("vmls.f32 q3, q7, q9")
441 __ASM_EMIT("vmla.f32 q4, q6, q6") // q4 = sr*sr + si*si
442 __ASM_EMIT("vmla.f32 q5, q7, q7")
443 // q4 = 1 / (sr*sr + si*si)
444 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
445 __ASM_EMIT("vrecpe.f32 q7, q5")
446 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x0)
447 __ASM_EMIT("vrecps.f32 q9, q7, q5")
448 __ASM_EMIT("vmul.f32 q6, q8, q6") // q6 = x1 = x0 * (2 - R*x0)
449 __ASM_EMIT("vmul.f32 q7, q9, q7")
450 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x1)
451 __ASM_EMIT("vrecps.f32 q9, q7, q5")
452 __ASM_EMIT("vmul.f32 q4, q8, q6") // q4 = x2 = x1 * (2 - R*x0)
453 __ASM_EMIT("vmul.f32 q5, q9, q7")
454 __ASM_EMIT("vmul.f32 q0, q0, q4")
455 __ASM_EMIT("vmul.f32 q1, q1, q5")
456 __ASM_EMIT("vmul.f32 q2, q2, q4")
457 __ASM_EMIT("vmul.f32 q3, q3, q5")
458 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst_re]]!")
459 __ASM_EMIT("vst1.32 {q2-q3}, [%[dst_im]]!")
460 __ASM_EMIT("subs %[count], #8")
461 __ASM_EMIT("bhs 1b")
462 __ASM_EMIT("2:")
463 // x4 blocks
464 __ASM_EMIT("adds %[count], #4")
465 __ASM_EMIT("blt 4f")
466 __ASM_EMIT("vld1.32 {q4}, [%[b_re]]!") // q4 = sr
467 __ASM_EMIT("vld1.32 {q6}, [%[b_im]]!") // q6 = si
468 __ASM_EMIT("vld1.32 {q8}, [%[t_re]]!") // q8 = dr
469 __ASM_EMIT("vld1.32 {q10}, [%[t_im]]!") // q10 = di
470 // q0 = sr*dr + si*di, q2 = -(sr*di + si*dr), q4 = sr*sr + si*si
471 __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr
472 __ASM_EMIT("vmul.f32 q2, q4, q10") // q2 = sr*di
473 __ASM_EMIT("vmla.f32 q0, q6, q10") // q0 = sr*dr + si*di
474 __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr
475 __ASM_EMIT("vmls.f32 q2, q6, q8") // q2 = sr*di - si*dr
476 __ASM_EMIT("vmla.f32 q4, q6, q6") // q4 = sr*sr + si*si
477 // q4 = 1 / (sr*sr + si*si)
478 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
479 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x0)
480 __ASM_EMIT("vmul.f32 q6, q8, q6") // q6 = x1 = x0 * (2 - R*x0)
481 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x1)
482 __ASM_EMIT("vmul.f32 q4, q8, q6") // q4 = x2 = x1 * (2 - R*x0)
483 __ASM_EMIT("vmul.f32 q0, q0, q4")
484 __ASM_EMIT("vmul.f32 q2, q2, q4")
485 __ASM_EMIT("vst1.32 {q0}, [%[dst_re]]!")
486 __ASM_EMIT("vst1.32 {q2}, [%[dst_im]]!")
487 __ASM_EMIT("sub %[count], #4")
488 __ASM_EMIT("4:")
489 // x1 blocks
490 __ASM_EMIT("adds %[count], #3")
491 __ASM_EMIT("blt 6f")
492 __ASM_EMIT("5:")
493 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[b_re]]!") // q4 = sr
494 __ASM_EMIT("vld1.32 {d12[], d13[]}, [%[b_im]]!") // q6 = si
495 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[t_re]]!") // q8 = dr
496 __ASM_EMIT("vld1.32 {d20[], d21[]}, [%[t_im]]!") // q10 = di
497 __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr
498 __ASM_EMIT("vmul.f32 q2, q4, q10") // q2 = sr*di
499 __ASM_EMIT("vmla.f32 q0, q6, q10") // q0 = sr*dr + si*di
500 __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr
501 __ASM_EMIT("vmls.f32 q2, q6, q8") // q2 = sr*di - si*dr
502 __ASM_EMIT("vmla.f32 q4, q6, q6") // q4 = sr*sr + si*si
503 // q4 = 1 / (sr*sr + si*si)
504 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
505 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x0)
506 __ASM_EMIT("vmul.f32 q6, q8, q6") // q6 = x1 = x0 * (2 - R*x0)
507 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x1)
508 __ASM_EMIT("vmul.f32 q4, q8, q6") // q4 = x2 = x1 * (2 - R*x0)
509 __ASM_EMIT("vmul.f32 q0, q0, q4")
510 __ASM_EMIT("vmul.f32 q2, q2, q4")
511 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst_re]]!")
512 __ASM_EMIT("vst1.32 {d4[0]}, [%[dst_im]]!")
513 __ASM_EMIT("subs %[count], #1")
514 __ASM_EMIT("bge 5b")
515 __ASM_EMIT("6:")
516
517 : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im),
518 [t_re] "+r" (t_re), [t_im] "+r" (t_im),
519 [b_re] "+r" (b_re), [b_im] "+r" (b_im),
520 [count] "+r" (count)
521 :
522 : "cc", "memory",
523 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
524 "q8", "q9", "q10", "q11"
525 );
526 }
527
528 void complex_mod(float *dst, const float *src_re, const float *src_im, size_t count)
529 {
530 ARCH_ARM_ASM
531 (
532 __ASM_EMIT("subs %[count], #16")
533 __ASM_EMIT("blo 2f")
534
535 //-----------------------------------------------------------------
536 // x16 blocks
537 __ASM_EMIT("1:")
538 __ASM_EMIT("vld1.32 {q0-q1}, [%[src_re]]!") // q0 = r1, q1 = r2
539 __ASM_EMIT("vld1.32 {q4-q5}, [%[src_im]]!") // q4 = i1, q5 = i2
540 __ASM_EMIT("vmul.f32 q0, q0, q0") // q0 = r*r
541 __ASM_EMIT("vld1.32 {q2-q3}, [%[src_re]]!") // q2 = r3, q3 = r4
542 __ASM_EMIT("vmul.f32 q1, q1, q1")
543 __ASM_EMIT("vld1.32 {q6-q7}, [%[src_im]]!") // q6 = i3, q7 = i4
544 __ASM_EMIT("vmul.f32 q2, q2, q2")
545 __ASM_EMIT("vmul.f32 q3, q3, q3")
546 __ASM_EMIT("vmla.f32 q0, q4, q4") // q0 = R = r*r + i*i
547 __ASM_EMIT("vmla.f32 q1, q5, q5")
548 __ASM_EMIT("vmla.f32 q2, q6, q6")
549 __ASM_EMIT("vmla.f32 q3, q7, q7")
550
551 // 1/sqrt(R) calculation
552 __ASM_EMIT("vrsqrte.f32 q4, q0") // q4 = x0
553 __ASM_EMIT("vrsqrte.f32 q7, q1")
554 __ASM_EMIT("vrsqrte.f32 q10, q2")
555 __ASM_EMIT("vrsqrte.f32 q13, q3")
556 __ASM_EMIT("vmul.f32 q5, q4, q0") // q5 = R * x0
557 __ASM_EMIT("vmul.f32 q8, q7, q1")
558 __ASM_EMIT("vmul.f32 q11, q10, q2")
559 __ASM_EMIT("vmul.f32 q14, q13, q3")
560 __ASM_EMIT("vrsqrts.f32 q6, q5, q4") // q6 = (3 - R * x0 * x0) / 2
561 __ASM_EMIT("vrsqrts.f32 q9, q8, q7")
562 __ASM_EMIT("vrsqrts.f32 q12, q11, q10")
563 __ASM_EMIT("vrsqrts.f32 q15, q14, q13")
564 __ASM_EMIT("vmul.f32 q4, q4, q6") // q4 = x1 = x0 * (3 - R * x0 * x0) / 2
565 __ASM_EMIT("vmul.f32 q7, q7, q9")
566 __ASM_EMIT("vmul.f32 q10, q10, q12")
567 __ASM_EMIT("vmul.f32 q13, q13, q15")
568 __ASM_EMIT("vmul.f32 q5, q4, q0") // q5 = R * x1
569 __ASM_EMIT("vmul.f32 q8, q7, q1")
570 __ASM_EMIT("vmul.f32 q11, q10, q2")
571 __ASM_EMIT("vmul.f32 q14, q13, q3")
572 __ASM_EMIT("vrsqrts.f32 q6, q5, q4") // q6 = (3 - R * x1 * x1) / 2
573 __ASM_EMIT("vrsqrts.f32 q9, q8, q7")
574 __ASM_EMIT("vrsqrts.f32 q12, q11, q10")
575 __ASM_EMIT("vrsqrts.f32 q15, q14, q13")
576 __ASM_EMIT("vmul.f32 q4, q4, q6") // q4 = 1/sqrt(R) = x2 = x1 * (3 - R * x1 * x1) / 2
577 __ASM_EMIT("vmul.f32 q7, q7, q9")
578 __ASM_EMIT("vmul.f32 q10, q10, q12")
579 __ASM_EMIT("vmul.f32 q13, q13, q15")
580 // Complete comuting
581 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = R / sqrt(R) = sqrt(R)
582 __ASM_EMIT("vmul.f32 q1, q1, q7")
583 __ASM_EMIT("vmul.f32 q2, q2, q10")
584 __ASM_EMIT("vmul.f32 q3, q3, q13")
585 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
586 __ASM_EMIT("subs %[count], #16")
587 __ASM_EMIT("vst1.32 {q2-q3}, [%[dst]]!")
588 __ASM_EMIT("bhs 1b")
589
590 //-----------------------------------------------------------------
591 // x8 blocks
592 __ASM_EMIT("2:")
593 __ASM_EMIT("adds %[count], #8")
594 __ASM_EMIT("blt 4f")
595 __ASM_EMIT("vld1.32 {q0-q1}, [%[src_re]]!") // q0 = r1, q1 = r2
596 __ASM_EMIT("vld1.32 {q4-q5}, [%[src_im]]!") // q4 = i1, q5 = i2
597 __ASM_EMIT("vmul.f32 q0, q0, q0") // q0 = r*r
598 __ASM_EMIT("vmul.f32 q1, q1, q1")
599 __ASM_EMIT("vmla.f32 q0, q4, q4") // q0 = R = r*r + i*i
600 __ASM_EMIT("vmla.f32 q1, q5, q5")
601
602 // 1/sqrt(R) calculation
603 __ASM_EMIT("vrsqrte.f32 q4, q0") // q4 = x0
604 __ASM_EMIT("vrsqrte.f32 q7, q1")
605 __ASM_EMIT("vmul.f32 q5, q4, q0") // q5 = R * x0
606 __ASM_EMIT("vmul.f32 q8, q7, q1")
607 __ASM_EMIT("vrsqrts.f32 q6, q5, q4") // q6 = (3 - R * x0 * x0) / 2
608 __ASM_EMIT("vrsqrts.f32 q9, q8, q7")
609 __ASM_EMIT("vmul.f32 q4, q4, q6") // q4 = x1 = x0 * (3 - R * x0 * x0) / 2
610 __ASM_EMIT("vmul.f32 q7, q7, q9")
611 __ASM_EMIT("vmul.f32 q5, q4, q0") // q5 = R * x1
612 __ASM_EMIT("vmul.f32 q8, q7, q1")
613 __ASM_EMIT("vrsqrts.f32 q6, q5, q4") // q6 = (3 - R * x1 * x1) / 2
614 __ASM_EMIT("vrsqrts.f32 q9, q8, q7")
615 __ASM_EMIT("vmul.f32 q4, q4, q6") // q4 = 1/sqrt(R) = x2 = x1 * (3 - R * x1 * x1) / 2
616 __ASM_EMIT("vmul.f32 q7, q7, q9")
617 // Complete comuting
618 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = R / sqrt(R) = sqrt(R)
619 __ASM_EMIT("vmul.f32 q1, q1, q7")
620 __ASM_EMIT("sub %[count], #8")
621 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
622
623 //-----------------------------------------------------------------
624 // x4 blocks
625 __ASM_EMIT("4:")
626 __ASM_EMIT("adds %[count], #4")
627 __ASM_EMIT("blt 6f")
628 __ASM_EMIT("vld1.32 {q0}, [%[src_re]]!") // q0 = r
629 __ASM_EMIT("vld1.32 {q2}, [%[src_im]]!") // q2 = i
630 __ASM_EMIT("vmul.f32 q0, q0, q0") // q0 = r*r
631 __ASM_EMIT("vmla.f32 q0, q2, q2") // q0 = R = r*r + i*i
632 // 1/sqrt(R) calculation
633 __ASM_EMIT("vrsqrte.f32 q1, q0") // q1 = x0
634 __ASM_EMIT("vmul.f32 q2, q1, q0") // q2 = R * x0
635 __ASM_EMIT("vrsqrts.f32 q3, q2, q1") // q3 = (3 - R * x0 * x0) / 2
636 __ASM_EMIT("vmul.f32 q1, q1, q3") // q1 = x1 = x0 * (3 - R * x0 * x0) / 2
637 __ASM_EMIT("vmul.f32 q2, q1, q0") // q2 = R * x1
638 __ASM_EMIT("vrsqrts.f32 q3, q2, q1") // q3 = (3 - R * x1 * x1) / 2
639 __ASM_EMIT("vmul.f32 q1, q1, q3") // q1 = 1/sqrt(R) = x2 = x1 * (3 - R * x1 * x1) / 2
640 // Complete comuting
641 __ASM_EMIT("vmul.f32 q0, q0, q1") // q0 = R / sqrt(R) = sqrt(R)
642 __ASM_EMIT("sub %[count], #4")
643 __ASM_EMIT("vst1.32 {q0}, [%[dst]]!")
644
645 // x1 blocks
646 __ASM_EMIT("6:")
647 __ASM_EMIT("adds %[count], #3")
648 __ASM_EMIT("blt 8f")
649 __ASM_EMIT("7:")
650 __ASM_EMIT("vldm.32 %[src_re]!, {s0}") // s0 = r
651 __ASM_EMIT("vldm.32 %[src_im]!, {s1}") // s1 = i
652 __ASM_EMIT("vmul.f32 s0, s0, s0") // s0 = r*r
653 __ASM_EMIT("vmla.f32 s0, s1, s1") // s0 = r*r + i*i
654 __ASM_EMIT("vsqrt.f32 s0, s0") // s0 = sqrt(r*r + i*i)
655 __ASM_EMIT("subs %[count], #1")
656 __ASM_EMIT("vstm.32 %[dst]!, {s0}")
657 __ASM_EMIT("bge 7b")
658
659 __ASM_EMIT("8:")
660
661 : [dst] "+r" (dst), [src_re] "+r" (src_re), [src_im] "+r" (src_im),
662 [count] "+r" (count)
663 :
664 : "cc", "memory",
665 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
666 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
667 );
668 }
669
670 void complex_rcp1(float *dst_re, float *dst_im, size_t count)
671 {
672 ARCH_ARM_ASM
673 (
674 __ASM_EMIT("subs %[count], #8")
675 __ASM_EMIT("blo 2f")
676
677 //-----------------------------------------------------------------
678 // x8 blocks
679 __ASM_EMIT("1:")
680 __ASM_EMIT("vld1.32 {q0-q1}, [%[dst_re]]") // q0 = r1, q1 = r2
681 __ASM_EMIT("vld1.32 {q2-q3}, [%[dst_im]]") // q2 = i1, q3 = i2
682 __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r
683 __ASM_EMIT("vmul.f32 q5, q1, q1")
684 __ASM_EMIT("vmla.f32 q4, q2, q2") // q4 = R = r*r + i*i
685 __ASM_EMIT("vmla.f32 q5, q3, q3")
686 // 1 / R calculation
687 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
688 __ASM_EMIT("vrecpe.f32 q8, q5")
689 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0)
690 __ASM_EMIT("vrecps.f32 q9, q8, q5")
691 __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0)
692 __ASM_EMIT("vmul.f32 q8, q9, q8")
693 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1)
694 __ASM_EMIT("vrecps.f32 q9, q8, q5")
695 __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0)
696 __ASM_EMIT("vmul.f32 q5, q9, q8")
697 // r/R, -i/R
698 __ASM_EMIT("vneg.f32 q2, q2") // q2 = -i
699 __ASM_EMIT("vneg.f32 q3, q3")
700 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R
701 __ASM_EMIT("vmul.f32 q1, q1, q5")
702 __ASM_EMIT("vmul.f32 q2, q2, q4") // q2 = -i / R
703 __ASM_EMIT("vmul.f32 q3, q3, q5")
704
705 __ASM_EMIT("subs %[count], #8")
706 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst_re]]!")
707 __ASM_EMIT("vst1.32 {q2-q3}, [%[dst_im]]!")
708 __ASM_EMIT("bhs 1b")
709
710 //-----------------------------------------------------------------
711 // x4 blocks
712 __ASM_EMIT("2:")
713 __ASM_EMIT("adds %[count], #4")
714 __ASM_EMIT("blt 4f")
715 __ASM_EMIT("vld1.32 {q0}, [%[dst_re]]") // q0 = r
716 __ASM_EMIT("vld1.32 {q2}, [%[dst_im]]") // q2 = i
717 __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r
718 __ASM_EMIT("vmla.f32 q4, q2, q2") // q4 = R = r*r + i*i
719 // 1 / R calculation
720 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
721 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0)
722 __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0)
723 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1)
724 __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0)
725 // r/R, -i/R
726 __ASM_EMIT("vneg.f32 q2, q2") // q2 = -i
727 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R
728 __ASM_EMIT("vmul.f32 q2, q2, q4") // q2 = -i / R
729 __ASM_EMIT("sub %[count], #4")
730 __ASM_EMIT("vst1.32 {q0}, [%[dst_re]]!")
731 __ASM_EMIT("vst1.32 {q2}, [%[dst_im]]!")
732
733 // x1 blocks
734 __ASM_EMIT("4:")
735 __ASM_EMIT("adds %[count], #3")
736 __ASM_EMIT("blt 6f")
737 __ASM_EMIT("5:")
738 __ASM_EMIT("vldm.32 %[dst_re], {s0}") // s0 = r
739 __ASM_EMIT("vldm.32 %[dst_im], {s2}") // s1 = i
740 __ASM_EMIT("vmul.f32 s4, s0, s0") // s4 = r*r
741 __ASM_EMIT("vmla.f32 s4, s2, s2") // s4 = R = r*r + i*i
742 __ASM_EMIT("vneg.f32 s2, s2") // s2 = -i
743 __ASM_EMIT("vdiv.f32 s0, s0, s4") // s0 = r / R
744 __ASM_EMIT("vdiv.f32 s2, s2, s4") // s2 = -i / R
745 __ASM_EMIT("subs %[count], #1")
746 __ASM_EMIT("vstm.32 %[dst_re]!, {s0}")
747 __ASM_EMIT("vstm.32 %[dst_im]!, {s2}")
748 __ASM_EMIT("bge 5b")
749
750 __ASM_EMIT("6:")
751
752 : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im),
753 [count] "+r" (count)
754 :
755 : "cc", "memory",
756 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
757 "q8", "q9", "q10", "q11"
758 );
759 }
760
761 void complex_rcp2(float *dst_re, float *dst_im, const float *src_re, const float *src_im, size_t count)
762 {
763 ARCH_ARM_ASM
764 (
765 __ASM_EMIT("subs %[count], #8")
766 __ASM_EMIT("blo 2f")
767
768 //-----------------------------------------------------------------
769 // x8 blocks
770 __ASM_EMIT("1:")
771 __ASM_EMIT("vld1.32 {q0-q1}, [%[src_re]]!") // q0 = r1, q1 = r2
772 __ASM_EMIT("vld1.32 {q2-q3}, [%[src_im]]!") // q2 = i1, q3 = i2
773 __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r
774 __ASM_EMIT("vmul.f32 q5, q1, q1")
775 __ASM_EMIT("vmla.f32 q4, q2, q2") // q4 = R = r*r + i*i
776 __ASM_EMIT("vmla.f32 q5, q3, q3")
777 // 1 / R calculation
778 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
779 __ASM_EMIT("vrecpe.f32 q8, q5")
780 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0)
781 __ASM_EMIT("vrecps.f32 q9, q8, q5")
782 __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0)
783 __ASM_EMIT("vmul.f32 q8, q9, q8")
784 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1)
785 __ASM_EMIT("vrecps.f32 q9, q8, q5")
786 __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0)
787 __ASM_EMIT("vmul.f32 q5, q9, q8")
788 // r/R, -i/R
789 __ASM_EMIT("vneg.f32 q2, q2") // q2 = -i
790 __ASM_EMIT("vneg.f32 q3, q3")
791 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R
792 __ASM_EMIT("vmul.f32 q1, q1, q5")
793 __ASM_EMIT("vmul.f32 q2, q2, q4") // q2 = -i / R
794 __ASM_EMIT("vmul.f32 q3, q3, q5")
795
796 __ASM_EMIT("subs %[count], #8")
797 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst_re]]!")
798 __ASM_EMIT("vst1.32 {q2-q3}, [%[dst_im]]!")
799 __ASM_EMIT("bhs 1b")
800
801 //-----------------------------------------------------------------
802 // x4 blocks
803 __ASM_EMIT("2:")
804 __ASM_EMIT("adds %[count], #4")
805 __ASM_EMIT("blt 4f")
806 __ASM_EMIT("vld1.32 {q0}, [%[src_re]]!") // q0 = r
807 __ASM_EMIT("vld1.32 {q2}, [%[src_im]]!") // q2 = i
808 __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r
809 __ASM_EMIT("vmla.f32 q4, q2, q2") // q4 = R = r*r + i*i
810 // 1 / R calculation
811 __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0
812 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0)
813 __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0)
814 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1)
815 __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0)
816 // r/R, -i/R
817 __ASM_EMIT("vneg.f32 q2, q2") // q2 = -i
818 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R
819 __ASM_EMIT("vmul.f32 q2, q2, q4") // q2 = -i / R
820 __ASM_EMIT("sub %[count], #4")
821 __ASM_EMIT("vst1.32 {q0}, [%[dst_re]]!")
822 __ASM_EMIT("vst1.32 {q2}, [%[dst_im]]!")
823
824 // x1 blocks
825 __ASM_EMIT("4:")
826 __ASM_EMIT("adds %[count], #3")
827 __ASM_EMIT("blt 6f")
828 __ASM_EMIT("5:")
829 __ASM_EMIT("vldm.32 %[src_re]!, {s0}") // s0 = r
830 __ASM_EMIT("vldm.32 %[src_im]!, {s2}") // s1 = i
831 __ASM_EMIT("vmul.f32 s4, s0, s0") // s4 = r*r
832 __ASM_EMIT("vmla.f32 s4, s2, s2") // s4 = R = r*r + i*i
833 __ASM_EMIT("vneg.f32 s2, s2") // s2 = -i
834 __ASM_EMIT("vdiv.f32 s0, s0, s4") // s0 = r / R
835 __ASM_EMIT("vdiv.f32 s2, s2, s4") // s2 = -i / R
836 __ASM_EMIT("subs %[count], #1")
837 __ASM_EMIT("vstm.32 %[dst_re]!, {s0}")
838 __ASM_EMIT("vstm.32 %[dst_im]!, {s2}")
839 __ASM_EMIT("bge 5b")
840
841 __ASM_EMIT("6:")
842
843 : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im),
844 [src_re] "+r" (src_re), [src_im] "+r" (src_im),
845 [count] "+r" (count)
846 :
847 : "cc", "memory",
848 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
849 "q8", "q9", "q10", "q11"
850 );
851 }
852 }
853 }
854
855 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_COMPLEX_H_ */