Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/pmath/op_vv.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_OP_VV_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_OP_VV_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 #define OP_DSEL(a, b) a
34 #define OP_RSEL(a, b) b
35
36 #define OP_VV2_CORE(DST, SRC, OP, SEL) \
37 __ASM_EMIT("subs %[count], #32") \
38 __ASM_EMIT("blo 2f") \
39 /* 32x blocks */ \
40 __ASM_EMIT("1:") \
41 __ASM_EMIT("vldm %[" SEL(DST, SRC) "], {q0-q7}") \
42 __ASM_EMIT("vldm %[" SEL(SRC, DST) "], {q8-q15}") \
43 __ASM_EMIT(OP ".f32 q0, q0, q8") \
44 __ASM_EMIT(OP ".f32 q1, q1, q9") \
45 __ASM_EMIT(OP ".f32 q2, q2, q10") \
46 __ASM_EMIT(OP ".f32 q3, q3, q11") \
47 __ASM_EMIT(OP ".f32 q4, q4, q12") \
48 __ASM_EMIT(OP ".f32 q5, q5, q13") \
49 __ASM_EMIT(OP ".f32 q6, q6, q14") \
50 __ASM_EMIT(OP ".f32 q7, q7, q15") \
51 __ASM_EMIT("subs %[count], #32") \
52 __ASM_EMIT("vstm %[" DST "]!, {q0-q7}") \
53 __ASM_EMIT("add %[" SRC "], #0x80") \
54 __ASM_EMIT("bhs 1b") \
55 /* 16x block */ \
56 __ASM_EMIT("2:") \
57 __ASM_EMIT("adds %[count], #16") /* 32 - 16 */ \
58 __ASM_EMIT("blt 4f") \
59 __ASM_EMIT("vldm %[" SEL(DST, SRC) "], {q0-q3}") \
60 __ASM_EMIT("vldm %[" SEL(SRC, DST) "], {q8-q11}") \
61 __ASM_EMIT(OP ".f32 q0, q0, q8") \
62 __ASM_EMIT(OP ".f32 q1, q1, q9") \
63 __ASM_EMIT(OP ".f32 q2, q2, q10") \
64 __ASM_EMIT(OP ".f32 q3, q3, q11") \
65 __ASM_EMIT("sub %[count], #16") \
66 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
67 __ASM_EMIT("add %[" SRC "], #0x40") \
68 /* 8x block */ \
69 __ASM_EMIT("4:") \
70 __ASM_EMIT("adds %[count], #8") /* 16 - 8 */ \
71 __ASM_EMIT("blt 6f") \
72 __ASM_EMIT("vldm %[" SEL(DST, SRC) "], {q0-q1}") \
73 __ASM_EMIT("vldm %[" SEL(SRC, DST) "], {q8-q9}") \
74 __ASM_EMIT(OP ".f32 q0, q0, q8") \
75 __ASM_EMIT(OP ".f32 q1, q1, q9") \
76 __ASM_EMIT("sub %[count], #8") \
77 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
78 __ASM_EMIT("add %[" SRC "], #0x20") \
79 /* 4x block */ \
80 __ASM_EMIT("6:") \
81 __ASM_EMIT("adds %[count], #4") /* 8 - 4 */ \
82 __ASM_EMIT("blt 8f") \
83 __ASM_EMIT("vldm %[" SEL(DST, SRC) "], {q0}") \
84 __ASM_EMIT("vldm %[" SEL(SRC, DST) "], {q8}") \
85 __ASM_EMIT(OP ".f32 q0, q0, q8") \
86 __ASM_EMIT("sub %[count], #4") \
87 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
88 __ASM_EMIT("add %[" SRC "], #0x10") \
89 /* 1x block */ \
90 __ASM_EMIT("8:") \
91 __ASM_EMIT("adds %[count], #3") /* 4 - 3 */ \
92 __ASM_EMIT("blt 10f") \
93 __ASM_EMIT("9:") \
94 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SEL(DST, SRC) "]]") \
95 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[" SEL(SRC, DST) "]]") \
96 __ASM_EMIT(OP ".f32 q0, q0, q8") \
97 __ASM_EMIT("subs %[count], #1") \
98 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
99 __ASM_EMIT("add %[" SRC "], #0x04") \
100 __ASM_EMIT("bge 9b") \
101 __ASM_EMIT("10:")
102
103 void add2(float *dst, const float *src, size_t count)
104 {
105 ARCH_ARM_ASM
106 (
107 OP_VV2_CORE("dst", "src", "vadd", OP_DSEL)
108 : [dst] "+r" (dst), [src] "+r" (src),
109 [count] "+r" (count)
110 :
111 : "cc", "memory",
112 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
113 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
114 );
115 }
116
117 void sub2(float *dst, const float *src, size_t count)
118 {
119 ARCH_ARM_ASM
120 (
121 OP_VV2_CORE("dst", "src", "vsub", OP_DSEL)
122 : [dst] "+r" (dst), [src] "+r" (src),
123 [count] "+r" (count)
124 :
125 : "cc", "memory",
126 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
127 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
128 );
129 }
130
131 void rsub2(float *dst, const float *src, size_t count)
132 {
133 ARCH_ARM_ASM
134 (
135 OP_VV2_CORE("dst", "src", "vsub", OP_RSEL)
136 : [dst] "+r" (dst), [src] "+r" (src),
137 [count] "+r" (count)
138 :
139 : "cc", "memory",
140 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
141 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
142 );
143 }
144
145 void mul2(float *dst, const float *src, size_t count)
146 {
147 ARCH_ARM_ASM
148 (
149 OP_VV2_CORE("dst", "src", "vmul", OP_DSEL)
150 : [dst] "+r" (dst), [src] "+r" (src),
151 [count] "+r" (count)
152 :
153 : "cc", "memory",
154 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
155 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
156 );
157 }
158
159 #undef OP_VV2_CORE
160
161 #define OP_DIV2_CORE(DST, SRC, SEL) \
162 __ASM_EMIT("subs %[count], #16") \
163 __ASM_EMIT("blo 2f") \
164 /* 16x blocks */ \
165 __ASM_EMIT("1:") \
166 __ASM_EMIT("vldm %[" SEL(SRC, DST) "], {q0-q3}") \
167 __ASM_EMIT("vldm %[" SEL(DST, SRC) "], {q4-q7}") \
168 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
169 __ASM_EMIT("vrecpe.f32 q9, q1") \
170 __ASM_EMIT("vrecpe.f32 q10, q2") \
171 __ASM_EMIT("vrecpe.f32 q11, q3") \
172 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
173 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
174 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
175 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
176 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
177 __ASM_EMIT("vmul.f32 q9, q13, q9") \
178 __ASM_EMIT("vmul.f32 q10, q14, q10") \
179 __ASM_EMIT("vmul.f32 q11, q15, q11") \
180 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
181 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
182 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
183 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
184 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
185 __ASM_EMIT("vmul.f32 q1, q13, q9") \
186 __ASM_EMIT("vmul.f32 q2, q14, q10") \
187 __ASM_EMIT("vmul.f32 q3, q15, q11") \
188 __ASM_EMIT("vmul.f32 q0, q0, q4") /* s1 / s2 */ \
189 __ASM_EMIT("vmul.f32 q1, q1, q5") \
190 __ASM_EMIT("vmul.f32 q2, q2, q6") \
191 __ASM_EMIT("vmul.f32 q3, q3, q7") \
192 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
193 __ASM_EMIT("subs %[count], #16") \
194 __ASM_EMIT("add %[" SRC "], #0x40") \
195 __ASM_EMIT("bhs 1b") \
196 /* 8x block */ \
197 __ASM_EMIT("2:") \
198 __ASM_EMIT("adds %[count], #8") \
199 __ASM_EMIT("blt 4f") \
200 __ASM_EMIT("vldm %[" SEL(SRC, DST) "], {q0-q1}") \
201 __ASM_EMIT("vldm %[" SEL(DST, SRC) "], {q4-q5}") \
202 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
203 __ASM_EMIT("vrecpe.f32 q9, q1") \
204 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
205 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
206 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
207 __ASM_EMIT("vmul.f32 q9, q13, q9") \
208 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
209 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
210 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
211 __ASM_EMIT("vmul.f32 q1, q13, q9") \
212 __ASM_EMIT("vmul.f32 q0, q0, q4") /* s1 / s2 */ \
213 __ASM_EMIT("vmul.f32 q1, q1, q5") \
214 __ASM_EMIT("sub %[count], #8") \
215 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
216 __ASM_EMIT("add %[" SRC "], #0x20") \
217 /* 4x blocks */ \
218 __ASM_EMIT("4:") \
219 __ASM_EMIT("adds %[count], #4") \
220 __ASM_EMIT("blt 6f") \
221 __ASM_EMIT("vldm %[" SEL(SRC, DST) "], {q0}") \
222 __ASM_EMIT("vldm %[" SEL(DST, SRC) "], {q4}") \
223 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
224 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
225 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
226 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
227 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
228 __ASM_EMIT("vmul.f32 q0, q0, q4") /* s1 / s2 */ \
229 __ASM_EMIT("sub %[count], #4") \
230 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
231 __ASM_EMIT("add %[" SRC "], #0x10") \
232 /* 1x blocks */ \
233 __ASM_EMIT("6:") \
234 __ASM_EMIT("adds %[count], #3") \
235 __ASM_EMIT("blt 8f") \
236 __ASM_EMIT("7:") \
237 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SEL(SRC, DST) "]]") \
238 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" SEL(DST, SRC) "]]") \
239 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
240 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
241 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
242 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
243 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
244 __ASM_EMIT("vmul.f32 q0, q0, q4") /* s1 / s2 */ \
245 __ASM_EMIT("subs %[count], #1") \
246 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
247 __ASM_EMIT("add %[" SRC "], #0x04") \
248 __ASM_EMIT("bge 7b") \
249 __ASM_EMIT("8:")
250
251 void div2(float *dst, const float *src, size_t count)
252 {
253 ARCH_ARM_ASM
254 (
255 OP_DIV2_CORE("dst", "src", OP_DSEL)
256 : [dst] "+r" (dst), [src] "+r" (src),
257 [count] "+r" (count)
258 :
259 : "cc", "memory",
260 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
261 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
262 );
263 }
264
265 void rdiv2(float *dst, const float *src, size_t count)
266 {
267 ARCH_ARM_ASM
268 (
269 OP_DIV2_CORE("dst", "src", OP_RSEL)
270 : [dst] "+r" (dst), [src] "+r" (src),
271 [count] "+r" (count)
272 :
273 : "cc", "memory",
274 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
275 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
276 );
277 }
278
279 #undef OP_DIV2_CORE
280
281 #define OP_VV3_CORE(DST, SRC1, SRC2, OP) \
282 __ASM_EMIT("subs %[count], #32") \
283 __ASM_EMIT("blo 2f") \
284 /* 32x blocks */ \
285 __ASM_EMIT("1:") \
286 __ASM_EMIT("vldm %[" SRC1 "]!, {q0-q7}") \
287 __ASM_EMIT("vldm %[" SRC2 "]!, {q8-q15}") \
288 __ASM_EMIT(OP ".f32 q0, q0, q8") \
289 __ASM_EMIT(OP ".f32 q1, q1, q9") \
290 __ASM_EMIT(OP ".f32 q2, q2, q10") \
291 __ASM_EMIT(OP ".f32 q3, q3, q11") \
292 __ASM_EMIT(OP ".f32 q4, q4, q12") \
293 __ASM_EMIT(OP ".f32 q5, q5, q13") \
294 __ASM_EMIT(OP ".f32 q6, q6, q14") \
295 __ASM_EMIT(OP ".f32 q7, q7, q15") \
296 __ASM_EMIT("subs %[count], #32") \
297 __ASM_EMIT("vstm %[" DST "]!, {q0-q7}") \
298 __ASM_EMIT("bhs 1b") \
299 /* 16x block */ \
300 __ASM_EMIT("2:") \
301 __ASM_EMIT("adds %[count], #16") /* 32 - 16 */ \
302 __ASM_EMIT("blt 4f") \
303 __ASM_EMIT("vldm %[" SRC1 "]!, {q0-q3}") \
304 __ASM_EMIT("vldm %[" SRC2 "]!, {q8-q11}") \
305 __ASM_EMIT(OP ".f32 q0, q0, q8") \
306 __ASM_EMIT(OP ".f32 q1, q1, q9") \
307 __ASM_EMIT(OP ".f32 q2, q2, q10") \
308 __ASM_EMIT(OP ".f32 q3, q3, q11") \
309 __ASM_EMIT("sub %[count], #16") \
310 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
311 /* 8x block */ \
312 __ASM_EMIT("4:") \
313 __ASM_EMIT("adds %[count], #8") /* 16 - 8 */ \
314 __ASM_EMIT("blt 6f") \
315 __ASM_EMIT("vldm %[" SRC1 "]!, {q0-q1}") \
316 __ASM_EMIT("vldm %[" SRC2 "]!, {q8-q9}") \
317 __ASM_EMIT(OP ".f32 q0, q0, q8") \
318 __ASM_EMIT(OP ".f32 q1, q1, q9") \
319 __ASM_EMIT("sub %[count], #8") \
320 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
321 /* 4x block */ \
322 __ASM_EMIT("6:") \
323 __ASM_EMIT("adds %[count], #4") /* 8 - 4 */ \
324 __ASM_EMIT("blt 8f") \
325 __ASM_EMIT("vldm %[" SRC1 "]!, {q0}") \
326 __ASM_EMIT("vldm %[" SRC2 "]!, {q8}") \
327 __ASM_EMIT(OP ".f32 q0, q0, q8") \
328 __ASM_EMIT("sub %[count], #4") \
329 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
330 /* 1x block */ \
331 __ASM_EMIT("8:") \
332 __ASM_EMIT("adds %[count], #3") /* 4 - 3 */ \
333 __ASM_EMIT("blt 10f") \
334 __ASM_EMIT("9:") \
335 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SRC1 "]]!") \
336 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[" SRC2 "]]!") \
337 __ASM_EMIT(OP ".f32 q0, q0, q8") \
338 __ASM_EMIT("subs %[count], #1") \
339 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
340 __ASM_EMIT("bge 9b") \
341 __ASM_EMIT("10:")
342
343 void add3(float *dst, const float *src1, const float *src2, size_t count)
344 {
345 ARCH_ARM_ASM
346 (
347 OP_VV3_CORE("dst", "src1", "src2", "vadd")
348 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
349 [count] "+r" (count)
350 :
351 : "cc", "memory",
352 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
353 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
354 );
355 }
356
357 void sub3(float *dst, const float *src1, const float *src2, size_t count)
358 {
359 ARCH_ARM_ASM
360 (
361 OP_VV3_CORE("dst", "src1", "src2", "vsub")
362 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
363 [count] "+r" (count)
364 :
365 : "cc", "memory",
366 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
367 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
368 );
369 }
370
371 void mul3(float *dst, const float *src1, const float *src2, size_t count)
372 {
373 ARCH_ARM_ASM
374 (
375 OP_VV3_CORE("dst", "src1", "src2", "vmul")
376 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
377 [count] "+r" (count)
378 :
379 : "cc", "memory",
380 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
381 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
382 );
383 }
384 #undef OP_VV3_CORE
385
386 #define OP_DIV3_CORE(DST, SRC1, SRC2) \
387 __ASM_EMIT("subs %[count], #16") \
388 __ASM_EMIT("blo 2f") \
389 /* 16x blocks */ \
390 __ASM_EMIT("1:") \
391 __ASM_EMIT("vldm %[" SRC2 "]!, {q0-q3}") \
392 __ASM_EMIT("vldm %[" SRC1 "]!, {q4-q7}") \
393 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
394 __ASM_EMIT("vrecpe.f32 q9, q1") \
395 __ASM_EMIT("vrecpe.f32 q10, q2") \
396 __ASM_EMIT("vrecpe.f32 q11, q3") \
397 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
398 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
399 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
400 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
401 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
402 __ASM_EMIT("vmul.f32 q9, q13, q9") \
403 __ASM_EMIT("vmul.f32 q10, q14, q10") \
404 __ASM_EMIT("vmul.f32 q11, q15, q11") \
405 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
406 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
407 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
408 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
409 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
410 __ASM_EMIT("vmul.f32 q1, q13, q9") \
411 __ASM_EMIT("vmul.f32 q2, q14, q10") \
412 __ASM_EMIT("vmul.f32 q3, q15, q11") \
413 __ASM_EMIT("vmul.f32 q0, q0, q4") /* s1 / s2 */ \
414 __ASM_EMIT("vmul.f32 q1, q1, q5") \
415 __ASM_EMIT("vmul.f32 q2, q2, q6") \
416 __ASM_EMIT("vmul.f32 q3, q3, q7") \
417 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
418 __ASM_EMIT("subs %[count], #16") \
419 __ASM_EMIT("bhs 1b") \
420 /* 8x block */ \
421 __ASM_EMIT("2:") \
422 __ASM_EMIT("adds %[count], #8") \
423 __ASM_EMIT("blt 4f") \
424 __ASM_EMIT("vldm %[" SRC2 "]!, {q0-q1}") \
425 __ASM_EMIT("vldm %[" SRC1 "]!, {q4-q5}") \
426 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
427 __ASM_EMIT("vrecpe.f32 q9, q1") \
428 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
429 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
430 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
431 __ASM_EMIT("vmul.f32 q9, q13, q9") \
432 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
433 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
434 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
435 __ASM_EMIT("vmul.f32 q1, q13, q9") \
436 __ASM_EMIT("vmul.f32 q0, q0, q4") /* s1 / s2 */ \
437 __ASM_EMIT("vmul.f32 q1, q1, q5") \
438 __ASM_EMIT("sub %[count], #8") \
439 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
440 /* 4x blocks */ \
441 __ASM_EMIT("4:") \
442 __ASM_EMIT("adds %[count], #4") \
443 __ASM_EMIT("blt 6f") \
444 __ASM_EMIT("vldm %[" SRC2 "]!, {q0}") \
445 __ASM_EMIT("vldm %[" SRC1 "]!, {q4}") \
446 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
447 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
448 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
449 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
450 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
451 __ASM_EMIT("vmul.f32 q0, q0, q4") /* s1 / s2 */ \
452 __ASM_EMIT("sub %[count], #4") \
453 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
454 /* 1x blocks */ \
455 __ASM_EMIT("6:") \
456 __ASM_EMIT("adds %[count], #3") \
457 __ASM_EMIT("blt 8f") \
458 __ASM_EMIT("7:") \
459 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SRC2 "]]!") \
460 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" SRC1 "]]!") \
461 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
462 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
463 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
464 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
465 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
466 __ASM_EMIT("vmul.f32 q0, q0, q4") /* s1 / s2 */ \
467 __ASM_EMIT("subs %[count], #1") \
468 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
469 __ASM_EMIT("bge 7b") \
470 __ASM_EMIT("8:")
471
472 void div3(float *dst, const float *src1, const float *src2, size_t count)
473 {
474 ARCH_ARM_ASM
475 (
476 OP_DIV3_CORE("dst", "src1", "src2")
477 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
478 [count] "+r" (count)
479 :
480 : "cc", "memory",
481 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
482 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
483 );
484 }
485
486 #undef OP_DIV3_CORE
487
488 #define FMOD_VV_CORE(DST, SRC1, INC1, SRC2, INC2, SEL) \
489 __ASM_EMIT("subs %[count], #16") \
490 __ASM_EMIT("blo 2f") \
491 /* 16x blocks */ \
492 __ASM_EMIT("1:") \
493 __ASM_EMIT("vldm %[" SRC1 "]" INC1 ", {q0-q3}") \
494 __ASM_EMIT("vldm %[" SRC2 "]" INC2 ", {q4-q7}") \
495 __ASM_EMIT("vrecpe.f32 q8, " SEL("q4", "q0")) /* q8 = d */ \
496 __ASM_EMIT("vrecpe.f32 q9, " SEL("q5", "q1")) \
497 __ASM_EMIT("vrecpe.f32 q10, " SEL("q6", "q2")) \
498 __ASM_EMIT("vrecpe.f32 q11, " SEL("q7", "q3")) \
499 __ASM_EMIT("vrecps.f32 q12, q8, " SEL("q4", "q0")) /* q12 = (2 - R*s2) */ \
500 __ASM_EMIT("vrecps.f32 q13, q9, " SEL("q5", "q1")) \
501 __ASM_EMIT("vrecps.f32 q14, q10, " SEL("q6", "q2")) \
502 __ASM_EMIT("vrecps.f32 q15, q11, " SEL("q7", "q3")) \
503 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
504 __ASM_EMIT("vmul.f32 q9, q13, q9") \
505 __ASM_EMIT("vmul.f32 q10, q14, q10") \
506 __ASM_EMIT("vmul.f32 q11, q15, q11") \
507 __ASM_EMIT("vrecps.f32 q12, q8, " SEL("q4", "q0")) /* q12 = (2 - R*s2') */ \
508 __ASM_EMIT("vrecps.f32 q13, q9, " SEL("q5", "q1")) \
509 __ASM_EMIT("vrecps.f32 q14, q10, " SEL("q6", "q2")) \
510 __ASM_EMIT("vrecps.f32 q15, q11, " SEL("q7", "q3")) \
511 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2" = s2' * (2 - R*s2) = 1/d */ \
512 __ASM_EMIT("vmul.f32 q9, q13, q9") \
513 __ASM_EMIT("vmul.f32 q10, q14, q10") \
514 __ASM_EMIT("vmul.f32 q11, q15, q11") \
515 __ASM_EMIT("vmul.f32 q8, q8, " SEL("q0", "q4")) /* q8 = s/d */ \
516 __ASM_EMIT("vmul.f32 q9, q9, " SEL("q1", "q5")) \
517 __ASM_EMIT("vmul.f32 q10, q10, " SEL("q2", "q6")) \
518 __ASM_EMIT("vmul.f32 q11, q11, " SEL("q3", "q7")) \
519 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
520 __ASM_EMIT("vcvt.s32.f32 q9, q9") \
521 __ASM_EMIT("vcvt.s32.f32 q10, q10") \
522 __ASM_EMIT("vcvt.s32.f32 q11, q11") \
523 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
524 __ASM_EMIT("vcvt.f32.s32 q9, q9") \
525 __ASM_EMIT("vcvt.f32.s32 q10, q10") \
526 __ASM_EMIT("vcvt.f32.s32 q11, q11") \
527 __ASM_EMIT("vmls.f32 " SEL("q0", "q4") ", q8, " SEL("q4", "q0")) \
528 __ASM_EMIT("vmls.f32 " SEL("q1", "q5") ", q9, " SEL("q5", "q1")) \
529 __ASM_EMIT("vmls.f32 " SEL("q2", "q6") ", q10, " SEL("q6", "q2")) \
530 __ASM_EMIT("vmls.f32 " SEL("q3", "q7") ", q11, " SEL("q7", "q3")) \
531 __ASM_EMIT("vstm %[" DST "]!, " SEL("{q0-q3}", "{q4-q7}")) \
532 __ASM_EMIT("subs %[count], #16") \
533 __ASM_EMIT("bhs 1b") \
534 /* 8x block */ \
535 __ASM_EMIT("2:") \
536 __ASM_EMIT("adds %[count], #8") \
537 __ASM_EMIT("blt 4f") \
538 __ASM_EMIT("vldm %[" SRC1 "]" INC1 ", {q0-q1}") \
539 __ASM_EMIT("vldm %[" SRC2 "]" INC2 ", {q4-q5}") \
540 __ASM_EMIT("vrecpe.f32 q8, " SEL("q4", "q0")) /* q8 = d */ \
541 __ASM_EMIT("vrecpe.f32 q9, " SEL("q5", "q1")) \
542 __ASM_EMIT("vrecps.f32 q12, q8, " SEL("q4", "q0")) /* q12 = (2 - R*s2) */ \
543 __ASM_EMIT("vrecps.f32 q13, q9, " SEL("q5", "q1")) \
544 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
545 __ASM_EMIT("vmul.f32 q9, q13, q9") \
546 __ASM_EMIT("vrecps.f32 q12, q8, " SEL("q4", "q0")) /* q12 = (2 - R*s2') */ \
547 __ASM_EMIT("vrecps.f32 q13, q9, " SEL("q5", "q1")) \
548 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2" = s2' * (2 - R*s2) = 1/d */ \
549 __ASM_EMIT("vmul.f32 q9, q13, q9") \
550 __ASM_EMIT("vmul.f32 q8, q8, " SEL("q0", "q4")) /* q8 = s/d */ \
551 __ASM_EMIT("vmul.f32 q9, q9, " SEL("q1", "q5")) \
552 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
553 __ASM_EMIT("vcvt.s32.f32 q9, q9") \
554 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
555 __ASM_EMIT("vcvt.f32.s32 q9, q9") \
556 __ASM_EMIT("vmls.f32 " SEL("q0", "q4") ", q8, " SEL("q4", "q0")) \
557 __ASM_EMIT("vmls.f32 " SEL("q1", "q5") ", q9, " SEL("q5", "q1")) \
558 __ASM_EMIT("vstm %[" DST "]!, " SEL("{q0-q1}", "{q4-q5}")) \
559 __ASM_EMIT("sub %[count], #8") \
560 /* 4x blocks */ \
561 __ASM_EMIT("4:") \
562 __ASM_EMIT("adds %[count], #4") \
563 __ASM_EMIT("blt 6f") \
564 __ASM_EMIT("vldm %[" SRC1 "]" INC1 ", {q0}") \
565 __ASM_EMIT("vldm %[" SRC2 "]" INC2 ", {q4}") \
566 __ASM_EMIT("vrecpe.f32 q8, " SEL("q4", "q0")) /* q8 = d */ \
567 __ASM_EMIT("vrecps.f32 q12, q8, " SEL("q4", "q0")) /* q12 = (2 - R*s2) */ \
568 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
569 __ASM_EMIT("vrecps.f32 q12, q8, " SEL("q4", "q0")) /* q12 = (2 - R*s2') */ \
570 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2" = s2' * (2 - R*s2) = 1/d */ \
571 __ASM_EMIT("vmul.f32 q8, q8, " SEL("q0", "q4")) /* q8 = s/d */ \
572 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
573 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
574 __ASM_EMIT("vmls.f32 " SEL("q0", "q4") ", q8, " SEL("q4", "q0")) \
575 __ASM_EMIT("vstm %[" DST "]!, " SEL("{q0}", "{q4}")) \
576 __ASM_EMIT("sub %[count], #4") \
577 /* 1x blocks */ \
578 __ASM_EMIT("6:") \
579 __ASM_EMIT("adds %[count], #3") \
580 __ASM_EMIT("blt 8f") \
581 __ASM_EMIT("7:") \
582 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SRC1 "]]" INC1) \
583 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" SRC2 "]]" INC2) \
584 __ASM_EMIT("vrecpe.f32 q8, " SEL("q4", "q0")) /* q8 = d */ \
585 __ASM_EMIT("vrecps.f32 q12, q8, " SEL("q4", "q0")) /* q12 = (2 - R*s2) */ \
586 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
587 __ASM_EMIT("vrecps.f32 q12, q8, " SEL("q4", "q0")) /* q12 = (2 - R*s2') */ \
588 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2" = s2' * (2 - R*s2) = 1/d */ \
589 __ASM_EMIT("vmul.f32 q8, q8, " SEL("q0", "q4")) /* q8 = s/d */ \
590 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
591 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
592 __ASM_EMIT("vmls.f32 " SEL("q0", "q4") ", q8, " SEL("q4", "q0")) \
593 __ASM_EMIT("vst1.32 " SEL("{d0[0]}", "{d8[0]}") ", [%[" DST "]]!") \
594 __ASM_EMIT("subs %[count], #1") \
595 __ASM_EMIT("bge 7b") \
596 __ASM_EMIT("8:")
597
598 void mod2(float *dst, const float *src, size_t count)
599 {
600 ARCH_ARM_ASM
601 (
602 FMOD_VV_CORE("dst", "dst", "", "src", "!", OP_DSEL)
603 : [dst] "+r" (dst), [src] "+r" (src),
604 [count] "+r" (count)
605 :
606 : "cc", "memory",
607 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
608 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
609 );
610 }
611
612 void rmod2(float *dst, const float *src, size_t count)
613 {
614 ARCH_ARM_ASM
615 (
616 FMOD_VV_CORE("dst", "dst", "", "src", "!", OP_RSEL)
617 : [dst] "+r" (dst), [src] "+r" (src),
618 [count] "+r" (count)
619 :
620 : "cc", "memory",
621 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
622 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
623 );
624 }
625
626 void mod3(float *dst, const float *src1, const float *src2, size_t count)
627 {
628 ARCH_ARM_ASM
629 (
630 FMOD_VV_CORE("dst", "src1", "!", "src2", "!", OP_DSEL)
631 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
632 [count] "+r" (count)
633 :
634 : "cc", "memory",
635 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
636 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
637 );
638 }
639
640 #undef FMOD_VV_CORE
641
642 #undef OP_DSEL
643 #undef OP_RSEL
644 }
645 }
646
647 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_OP_VV_H_ */