Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/pmath/fmop_vv.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_FMOP_VV_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_FMOP_VV_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 #define OP_DSEL(a, b) a
34 #define OP_RSEL(a, b) b
35
36 #define FMADDSUB3_CORE(DST, A, B, OP) \
37 __ASM_EMIT("subs %[count], $16") \
38 __ASM_EMIT("blo 2f") \
39 /* 16x blocks */ \
40 __ASM_EMIT("1:") \
41 __ASM_EMIT("vldm %[" A "]!, {q4-q7}") \
42 __ASM_EMIT("vldm %[" B "]!, {q8-q11}") \
43 __ASM_EMIT("vldm %[" DST "], {q0-q3}") \
44 __ASM_EMIT(OP ".f32 q0, q4, q8") \
45 __ASM_EMIT(OP ".f32 q1, q5, q9") \
46 __ASM_EMIT(OP ".f32 q2, q6, q10") \
47 __ASM_EMIT(OP ".f32 q3, q7, q11") \
48 __ASM_EMIT("subs %[count], $16") \
49 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
50 __ASM_EMIT("bhs 1b") \
51 /* 8x block */ \
52 __ASM_EMIT("2:") \
53 __ASM_EMIT("adds %[count], $8") /* 16 - 8 */ \
54 __ASM_EMIT("blt 4f") \
55 __ASM_EMIT("vldm %[" A "]!, {q4-q5}") \
56 __ASM_EMIT("vldm %[" B "]!, {q8-q9}") \
57 __ASM_EMIT("vldm %[" DST "], {q0-q1}") \
58 __ASM_EMIT(OP ".f32 q0, q4, q8") \
59 __ASM_EMIT(OP ".f32 q1, q5, q9") \
60 __ASM_EMIT("sub %[count], $8") \
61 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
62 /* 4x block */ \
63 __ASM_EMIT("4:") \
64 __ASM_EMIT("adds %[count], $4") /* 8 - 4 */ \
65 __ASM_EMIT("blt 6f") \
66 __ASM_EMIT("vldm %[" A "]!, {q4}") \
67 __ASM_EMIT("vldm %[" B "]!, {q8}") \
68 __ASM_EMIT("vldm %[" DST "], {q0}") \
69 __ASM_EMIT(OP ".f32 q0, q4, q8") \
70 __ASM_EMIT("sub %[count], $4") \
71 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
72 /* 1x block */ \
73 __ASM_EMIT("6:") \
74 __ASM_EMIT("adds %[count], $3") /* 4 - 3 */ \
75 __ASM_EMIT("blt 8f") \
76 __ASM_EMIT("7:") \
77 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" A "]]!") \
78 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[" B "]]!") \
79 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" DST "]]") \
80 __ASM_EMIT(OP ".f32 q0, q4, q8") \
81 __ASM_EMIT("subs %[count], $1") \
82 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
83 __ASM_EMIT("bge 7b") \
84 __ASM_EMIT("8:")
85
86 void fmadd3(float *dst, const float *a, const float *b, size_t count)
87 {
88 ARCH_ARM_ASM
89 (
90 FMADDSUB3_CORE("dst", "a", "b", "vfma")
91 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
92 [count] "+r" (count)
93 :
94 : "cc", "memory",
95 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
96 "q8", "q9", "q10", "q11"
97 );
98 }
99
100 void fmsub3(float *dst, const float *a, const float *b, size_t count)
101 {
102 ARCH_ARM_ASM
103 (
104 FMADDSUB3_CORE("dst", "a", "b", "vfms")
105 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
106 [count] "+r" (count)
107 :
108 : "cc", "memory",
109 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
110 "q8", "q9", "q10", "q11"
111 );
112 }
113
114 #undef FMADDSUB3_CORE
115
116 #define FMOP3_CORE(DST, A, B, OP, SEL) \
117 __ASM_EMIT("subs %[count], $16") \
118 __ASM_EMIT("blo 2f") \
119 /* 16x blocks */ \
120 __ASM_EMIT("1:") \
121 __ASM_EMIT("vldm %[" A "]!, {q0-q3}") \
122 __ASM_EMIT("vldm %[" B "]!, {q8-q11}") \
123 __ASM_EMIT("vldm %[" DST "], {q4-q7}") \
124 __ASM_EMIT("vmul.f32 q0, q0, q8") \
125 __ASM_EMIT("vmul.f32 q1, q1, q9") \
126 __ASM_EMIT("vmul.f32 q2, q2, q10") \
127 __ASM_EMIT("vmul.f32 q3, q3, q11") \
128 __ASM_EMIT(OP ".f32 q0, " SEL("q4", "q0") ", " SEL("q0", "q4")) \
129 __ASM_EMIT(OP ".f32 q1, " SEL("q5", "q1") ", " SEL("q1", "q5")) \
130 __ASM_EMIT(OP ".f32 q2, " SEL("q6", "q2") ", " SEL("q2", "q6")) \
131 __ASM_EMIT(OP ".f32 q3, " SEL("q7", "q3") ", " SEL("q3", "q7")) \
132 __ASM_EMIT("subs %[count], $16") \
133 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
134 __ASM_EMIT("bhs 1b") \
135 /* 8x block */ \
136 __ASM_EMIT("2:") \
137 __ASM_EMIT("adds %[count], $8") /* 16 - 8 */ \
138 __ASM_EMIT("blt 4f") \
139 __ASM_EMIT("vldm %[" A "]!, {q0-q1}") \
140 __ASM_EMIT("vldm %[" B "]!, {q8-q9}") \
141 __ASM_EMIT("vldm %[" DST "], {q4-q5}") \
142 __ASM_EMIT("vmul.f32 q0, q0, q8") \
143 __ASM_EMIT("vmul.f32 q1, q1, q9") \
144 __ASM_EMIT(OP ".f32 q0, " SEL("q4", "q0") ", " SEL("q0", "q4")) \
145 __ASM_EMIT(OP ".f32 q1, " SEL("q5", "q1") ", " SEL("q1", "q5")) \
146 __ASM_EMIT("sub %[count], $8") \
147 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
148 /* 4x block */ \
149 __ASM_EMIT("4:") \
150 __ASM_EMIT("adds %[count], $4") /* 8 - 4 */ \
151 __ASM_EMIT("blt 6f") \
152 __ASM_EMIT("vldm %[" A "]!, {q0}") \
153 __ASM_EMIT("vldm %[" B "]!, {q8}") \
154 __ASM_EMIT("vldm %[" DST "], {q4}") \
155 __ASM_EMIT("vmul.f32 q0, q0, q8") \
156 __ASM_EMIT(OP ".f32 q0, " SEL("q4", "q0") ", " SEL("q0", "q4")) \
157 __ASM_EMIT("sub %[count], $4") \
158 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
159 /* 1x block */ \
160 __ASM_EMIT("6:") \
161 __ASM_EMIT("adds %[count], $3") /* 4 - 3 */ \
162 __ASM_EMIT("blt 8f") \
163 __ASM_EMIT("7:") \
164 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" A "]]!") \
165 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[" B "]]!") \
166 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" DST "]]") \
167 __ASM_EMIT("vmul.f32 q0, q0, q8") \
168 __ASM_EMIT(OP ".f32 q0, " SEL("q4", "q0") ", " SEL("q0", "q4")) \
169 __ASM_EMIT("subs %[count], $1") \
170 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
171 __ASM_EMIT("bge 7b") \
172 __ASM_EMIT("8:")
173
174 void fmmul3(float *dst, const float *a, const float *b, size_t count)
175 {
176 ARCH_ARM_ASM
177 (
178 FMOP3_CORE("dst", "a", "b", "vmul", OP_DSEL)
179 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
180 [count] "+r" (count)
181 :
182 : "cc", "memory",
183 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
184 "q8", "q9", "q10", "q11"
185 );
186 }
187
188 void fmrsub3(float *dst, const float *a, const float *b, size_t count)
189 {
190 ARCH_ARM_ASM
191 (
192 FMOP3_CORE("dst", "a", "b", "vsub", OP_RSEL)
193 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
194 [count] "+r" (count)
195 :
196 : "cc", "memory",
197 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
198 "q8", "q9", "q10", "q11"
199 );
200 }
201
202 #undef FMOP3_CORE
203
204 #define FMDIV3_CORE(DST, A, B, SEL) \
205 __ASM_EMIT("subs %[count], $16") \
206 __ASM_EMIT("blo 2f") \
207 /* 16x blocks */ \
208 __ASM_EMIT("1:") \
209 __ASM_EMIT("vldm %[" SEL(A, DST) "], {q0-q3}") \
210 __ASM_EMIT("vldm %[" B "]!, {q4-q7}") \
211 __ASM_EMIT(SEL("vmul.f32 q0, q0, q4", "")) /* q0 = A*B | DST */ \
212 __ASM_EMIT(SEL("vmul.f32 q1, q1, q5", "")) \
213 __ASM_EMIT(SEL("vmul.f32 q2, q2, q6", "")) \
214 __ASM_EMIT(SEL("vmul.f32 q3, q3, q7", "")) \
215 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
216 __ASM_EMIT("vrecpe.f32 q9, q1") \
217 __ASM_EMIT("vrecpe.f32 q10, q2") \
218 __ASM_EMIT("vrecpe.f32 q11, q3") \
219 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
220 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
221 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
222 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
223 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
224 __ASM_EMIT("vmul.f32 q9, q13, q9") \
225 __ASM_EMIT("vmul.f32 q10, q14, q10") \
226 __ASM_EMIT("vmul.f32 q11, q15, q11") \
227 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
228 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
229 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
230 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
231 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/A*B | 1/DST */ \
232 __ASM_EMIT("vmul.f32 q1, q13, q9") \
233 __ASM_EMIT("vmul.f32 q2, q14, q10") \
234 __ASM_EMIT("vmul.f32 q3, q15, q11") \
235 __ASM_EMIT(SEL("", "vmul.f32 q0, q0, q4")) /* q0 = 1/(A*B) | B/DST */ \
236 __ASM_EMIT(SEL("", "vmul.f32 q1, q1, q5"))\
237 __ASM_EMIT(SEL("", "vmul.f32 q2, q2, q6")) \
238 __ASM_EMIT(SEL("", "vmul.f32 q3, q3, q7")) \
239 __ASM_EMIT("vldm %[" SEL(DST, A) "], {q12-q15}") /* q12 = DST | A */ \
240 __ASM_EMIT("vmul.f32 q0, q0, q12") /* q0 = DST/(A*B) | (A*B)/DST */ \
241 __ASM_EMIT("vmul.f32 q1, q1, q13") \
242 __ASM_EMIT("vmul.f32 q2, q2, q14") \
243 __ASM_EMIT("vmul.f32 q3, q3, q15") \
244 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
245 __ASM_EMIT("subs %[count], $16") \
246 __ASM_EMIT("add %[" A "], $0x40") \
247 __ASM_EMIT("bhs 1b") \
248 /* 8x block */ \
249 __ASM_EMIT("2:") \
250 __ASM_EMIT("adds %[count], $8") \
251 __ASM_EMIT("blt 4f") \
252 __ASM_EMIT("vldm %[" SEL(A, DST) "], {q0-q1}") \
253 __ASM_EMIT("vldm %[" B "]!, {q4-q5}") \
254 __ASM_EMIT(SEL("vmul.f32 q0, q0, q4", "")) /* q0 = A*B | DST */ \
255 __ASM_EMIT(SEL("vmul.f32 q1, q1, q5", "")) \
256 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
257 __ASM_EMIT("vrecpe.f32 q9, q1") \
258 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
259 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
260 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
261 __ASM_EMIT("vmul.f32 q9, q13, q9") \
262 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
263 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
264 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/A*B | 1/DST */ \
265 __ASM_EMIT("vmul.f32 q1, q13, q9") \
266 __ASM_EMIT(SEL("", "vmul.f32 q0, q0, q4")) /* q0 = 1/(A*B) | B/DST */ \
267 __ASM_EMIT(SEL("", "vmul.f32 q1, q1, q5"))\
268 __ASM_EMIT("vldm %[" SEL(DST, A) "], {q12-q13}") \
269 __ASM_EMIT("vmul.f32 q0, q0, q12") /* q0 = DST/(A*B) | (A*B)/DST */ \
270 __ASM_EMIT("vmul.f32 q1, q1, q13") \
271 __ASM_EMIT("sub %[count], $8") \
272 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
273 __ASM_EMIT("add %[" A "], $0x20") \
274 /* 4x blocks */ \
275 __ASM_EMIT("4:") \
276 __ASM_EMIT("adds %[count], $4") \
277 __ASM_EMIT("blt 6f") \
278 __ASM_EMIT("vldm %[" SEL(A, DST) "], {q0}") \
279 __ASM_EMIT("vldm %[" B "]!, {q4}") \
280 __ASM_EMIT(SEL("vmul.f32 q0, q0, q4", "")) /* q0 = A*B | DST */ \
281 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
282 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
283 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
284 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
285 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/A*B | 1/DST */ \
286 __ASM_EMIT(SEL("", "vmul.f32 q0, q0, q4")) /* q0 = 1/(A*B) | B/DST */ \
287 __ASM_EMIT("vldm %[" SEL(DST, A) "], {q12}") \
288 __ASM_EMIT("vmul.f32 q0, q0, q12") /* q0 = DST/(A*B) | (A*B)/DST */ \
289 __ASM_EMIT("sub %[count], $4") \
290 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
291 __ASM_EMIT("add %[" A "], $0x10") \
292 /* 1x blocks */ \
293 __ASM_EMIT("6:") \
294 __ASM_EMIT("adds %[count], $3") \
295 __ASM_EMIT("blt 8f") \
296 __ASM_EMIT("7:") \
297 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SEL(A, DST) "]]") \
298 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" B "]]!") \
299 __ASM_EMIT(SEL("vmul.f32 q0, q0, q4", "")) /* q0 = A*B | DST */ \
300 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
301 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
302 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
303 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
304 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/A*B | 1/DST */ \
305 __ASM_EMIT(SEL("", "vmul.f32 q0, q0, q4")) /* q0 = 1/(A*B) | B/DST */ \
306 __ASM_EMIT("vld1.32 {d24[], d25[]}, [%[" SEL(DST, A) "]]") \
307 __ASM_EMIT("vmul.f32 q0, q0, q12") /* q0 = DST/(A*B) | (A*B)/DST */ \
308 __ASM_EMIT("subs %[count], $1") \
309 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
310 __ASM_EMIT("add %[" A "], $0x04") \
311 __ASM_EMIT("bge 7b") \
312 __ASM_EMIT("8:")
313
314 void fmdiv3(float *dst, const float *a, const float *b, size_t count)
315 {
316 ARCH_ARM_ASM
317 (
318 FMDIV3_CORE("dst", "a", "b", OP_DSEL)
319 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
320 [count] "+r" (count)
321 :
322 : "cc", "memory",
323 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
324 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
325 );
326 }
327
328 void fmrdiv3(float *dst, const float *a, const float *b, size_t count)
329 {
330 ARCH_ARM_ASM
331 (
332 FMDIV3_CORE("dst", "a", "b", OP_RSEL)
333 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
334 [count] "+r" (count)
335 :
336 : "cc", "memory",
337 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
338 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
339 );
340 }
341
342 #undef FMDIV3_CORE
343
344 #define FMADDSUB4_CORE(DST, A, B, C, OP) \
345 __ASM_EMIT("subs %[count], $16") \
346 __ASM_EMIT("blo 2f") \
347 /* 16x blocks */ \
348 __ASM_EMIT("1:") \
349 __ASM_EMIT("vldm %[" A "]!, {q0-q3}") \
350 __ASM_EMIT("vldm %[" B "]!, {q4-q7}") \
351 __ASM_EMIT("vldm %[" C "]!, {q8-q11}") \
352 __ASM_EMIT(OP ".f32 q0, q4, q8") \
353 __ASM_EMIT(OP ".f32 q1, q5, q9") \
354 __ASM_EMIT(OP ".f32 q2, q6, q10") \
355 __ASM_EMIT(OP ".f32 q3, q7, q11") \
356 __ASM_EMIT("subs %[count], $16") \
357 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
358 __ASM_EMIT("bhs 1b") \
359 /* 8x block */ \
360 __ASM_EMIT("2:") \
361 __ASM_EMIT("adds %[count], $8") /* 16 - 8 */ \
362 __ASM_EMIT("blt 4f") \
363 __ASM_EMIT("vldm %[" A "]!, {q0-q1}") \
364 __ASM_EMIT("vldm %[" B "]!, {q4-q5}") \
365 __ASM_EMIT("vldm %[" C "]!, {q8-q9}") \
366 __ASM_EMIT(OP ".f32 q0, q4, q8") \
367 __ASM_EMIT(OP ".f32 q1, q5, q9") \
368 __ASM_EMIT("sub %[count], $8") \
369 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
370 /* 4x block */ \
371 __ASM_EMIT("4:") \
372 __ASM_EMIT("adds %[count], $4") /* 8 - 4 */ \
373 __ASM_EMIT("blt 6f") \
374 __ASM_EMIT("vldm %[" A "]!, {q0}") \
375 __ASM_EMIT("vldm %[" B "]!, {q4}") \
376 __ASM_EMIT("vldm %[" C "]!, {q8}") \
377 __ASM_EMIT(OP ".f32 q0, q4, q8") \
378 __ASM_EMIT("sub %[count], $4") \
379 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
380 /* 1x block */ \
381 __ASM_EMIT("6:") \
382 __ASM_EMIT("adds %[count], $3") /* 4 - 3 */ \
383 __ASM_EMIT("blt 8f") \
384 __ASM_EMIT("7:") \
385 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" A "]]!") \
386 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" B "]]!") \
387 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[" C "]]!") \
388 __ASM_EMIT(OP ".f32 q0, q4, q8") \
389 __ASM_EMIT("subs %[count], $1") \
390 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
391 __ASM_EMIT("bge 7b") \
392 __ASM_EMIT("8:")
393
394 void fmadd4(float *dst, const float *a, const float *b, const float *c, size_t count)
395 {
396 ARCH_ARM_ASM
397 (
398 FMADDSUB4_CORE("dst", "a", "b", "c", "vfma")
399 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c),
400 [count] "+r" (count)
401 :
402 : "cc", "memory",
403 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
404 "q8", "q9", "q10", "q11"
405 );
406 }
407
408 void fmsub4(float *dst, const float *a, const float *b, const float *c, size_t count)
409 {
410 ARCH_ARM_ASM
411 (
412 FMADDSUB4_CORE("dst", "a", "b", "c", "vfms")
413 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c),
414 [count] "+r" (count)
415 :
416 : "cc", "memory",
417 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
418 "q8", "q9", "q10", "q11"
419 );
420 }
421
422 #undef FMADDSUB4_CORE
423
424 #define FMOP4_CORE(DST, A, B, C, OP, SEL) \
425 __ASM_EMIT("subs %[count], $16") \
426 __ASM_EMIT("blo 2f") \
427 /* 16x blocks */ \
428 __ASM_EMIT("1:") \
429 __ASM_EMIT("vldm %[" A "]!, {q4-q7}") \
430 __ASM_EMIT("vldm %[" B "]!, {q0-q3}") \
431 __ASM_EMIT("vldm %[" C "]!, {q8-q11}") \
432 __ASM_EMIT("vmul.f32 q0, q0, q8") \
433 __ASM_EMIT("vmul.f32 q1, q1, q9") \
434 __ASM_EMIT("vmul.f32 q2, q2, q10") \
435 __ASM_EMIT("vmul.f32 q3, q3, q11") \
436 __ASM_EMIT(OP ".f32 q0, " SEL("q4", "q0") ", " SEL("q0", "q4")) \
437 __ASM_EMIT(OP ".f32 q1, " SEL("q5", "q1") ", " SEL("q1", "q5")) \
438 __ASM_EMIT(OP ".f32 q2, " SEL("q6", "q2") ", " SEL("q2", "q6")) \
439 __ASM_EMIT(OP ".f32 q3, " SEL("q7", "q3") ", " SEL("q3", "q7")) \
440 __ASM_EMIT("subs %[count], $16") \
441 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
442 __ASM_EMIT("bhs 1b") \
443 /* 8x block */ \
444 __ASM_EMIT("2:") \
445 __ASM_EMIT("adds %[count], $8") /* 16 - 8 */ \
446 __ASM_EMIT("blt 4f") \
447 __ASM_EMIT("vldm %[" A "]!, {q4-q5}") \
448 __ASM_EMIT("vldm %[" B "]!, {q0-q1}") \
449 __ASM_EMIT("vldm %[" C "]!, {q8-q9}") \
450 __ASM_EMIT("vmul.f32 q0, q0, q8") \
451 __ASM_EMIT("vmul.f32 q1, q1, q9") \
452 __ASM_EMIT(OP ".f32 q0, " SEL("q4", "q0") ", " SEL("q0", "q4")) \
453 __ASM_EMIT(OP ".f32 q1, " SEL("q5", "q1") ", " SEL("q1", "q5")) \
454 __ASM_EMIT("sub %[count], $8") \
455 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
456 /* 4x block */ \
457 __ASM_EMIT("4:") \
458 __ASM_EMIT("adds %[count], $4") /* 8 - 4 */ \
459 __ASM_EMIT("blt 6f") \
460 __ASM_EMIT("vldm %[" A "]!, {q4}") \
461 __ASM_EMIT("vldm %[" B "]!, {q0}") \
462 __ASM_EMIT("vldm %[" C "]!, {q8}") \
463 __ASM_EMIT("vmul.f32 q0, q0, q8") \
464 __ASM_EMIT(OP ".f32 q0, " SEL("q4", "q0") ", " SEL("q0", "q4")) \
465 __ASM_EMIT("sub %[count], $4") \
466 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
467 /* 1x block */ \
468 __ASM_EMIT("6:") \
469 __ASM_EMIT("adds %[count], $3") /* 4 - 3 */ \
470 __ASM_EMIT("blt 8f") \
471 __ASM_EMIT("7:") \
472 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" A "]]!") \
473 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" B "]]!") \
474 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[" C "]]!") \
475 __ASM_EMIT("vmul.f32 q0, q0, q8") \
476 __ASM_EMIT(OP ".f32 q0, " SEL("q4", "q0") ", " SEL("q0", "q4")) \
477 __ASM_EMIT("subs %[count], $1") \
478 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
479 __ASM_EMIT("bge 7b") \
480 __ASM_EMIT("8:")
481
482 void fmmul4(float *dst, const float *a, const float *b, const float *c, size_t count)
483 {
484 ARCH_ARM_ASM
485 (
486 FMOP4_CORE("dst", "a", "b", "c", "vmul", OP_DSEL)
487 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c),
488 [count] "+r" (count)
489 :
490 : "cc", "memory",
491 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
492 "q8", "q9", "q10", "q11"
493 );
494 }
495
496 void fmrsub4(float *dst, const float *a, const float *b, const float *c, size_t count)
497 {
498 ARCH_ARM_ASM
499 (
500 FMOP4_CORE("dst", "a", "b", "c", "vsub", OP_RSEL)
501 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c),
502 [count] "+r" (count)
503 :
504 : "cc", "memory",
505 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
506 "q8", "q9", "q10", "q11"
507 );
508 }
509
510 #undef FMOP4_CORE
511
512 #define FMDIV4_CORE(DST, A, B, C, SEL) \
513 __ASM_EMIT("subs %[count], $16") \
514 __ASM_EMIT("blo 2f") \
515 /* 16x blocks */ \
516 __ASM_EMIT("1:") \
517 __ASM_EMIT("vldm %[" SEL(B, A) "]!, {q0-q3}") \
518 __ASM_EMIT("vldm %[" C "]!, {q4-q7}") \
519 __ASM_EMIT(SEL("vmul.f32 q0, q0, q4", "")) /* q0 = B*C | A */ \
520 __ASM_EMIT(SEL("vmul.f32 q1, q1, q5", "")) \
521 __ASM_EMIT(SEL("vmul.f32 q2, q2, q6", "")) \
522 __ASM_EMIT(SEL("vmul.f32 q3, q3, q7", "")) \
523 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
524 __ASM_EMIT("vrecpe.f32 q9, q1") \
525 __ASM_EMIT("vrecpe.f32 q10, q2") \
526 __ASM_EMIT("vrecpe.f32 q11, q3") \
527 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
528 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
529 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
530 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
531 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
532 __ASM_EMIT("vmul.f32 q9, q13, q9") \
533 __ASM_EMIT("vmul.f32 q10, q14, q10") \
534 __ASM_EMIT("vmul.f32 q11, q15, q11") \
535 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
536 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
537 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
538 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
539 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/(B*C) | 1/A */ \
540 __ASM_EMIT("vmul.f32 q1, q13, q9") \
541 __ASM_EMIT("vmul.f32 q2, q14, q10") \
542 __ASM_EMIT("vmul.f32 q3, q15, q11") \
543 __ASM_EMIT(SEL("", "vmul.f32 q0, q0, q4")) /* q0 = 1/(B*C) | C/A */ \
544 __ASM_EMIT(SEL("", "vmul.f32 q1, q1, q5")) \
545 __ASM_EMIT(SEL("", "vmul.f32 q2, q2, q6")) \
546 __ASM_EMIT(SEL("", "vmul.f32 q3, q3, q7")) \
547 __ASM_EMIT("vldm %[" SEL(A, B) "]!, {q12-q15}") /* q12 = A | B */ \
548 __ASM_EMIT("vmul.f32 q0, q0, q12") /* q0 = A/(B*C) | (B*C)/A */ \
549 __ASM_EMIT("vmul.f32 q1, q1, q13") \
550 __ASM_EMIT("vmul.f32 q2, q2, q14") \
551 __ASM_EMIT("vmul.f32 q3, q3, q15") \
552 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
553 __ASM_EMIT("subs %[count], $16") \
554 __ASM_EMIT("bhs 1b") \
555 /* 8x block */ \
556 __ASM_EMIT("2:") \
557 __ASM_EMIT("adds %[count], $8") \
558 __ASM_EMIT("blt 4f") \
559 __ASM_EMIT("vldm %[" SEL(B, A) "]!, {q0-q1}") \
560 __ASM_EMIT("vldm %[" C "]!, {q4-q5}") \
561 __ASM_EMIT(SEL("vmul.f32 q0, q0, q4", "")) /* q0 = B*C | A */ \
562 __ASM_EMIT(SEL("vmul.f32 q1, q1, q5", "")) \
563 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
564 __ASM_EMIT("vrecpe.f32 q9, q1") \
565 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
566 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
567 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
568 __ASM_EMIT("vmul.f32 q9, q13, q9") \
569 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
570 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
571 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/(B*C) | 1/A */ \
572 __ASM_EMIT("vmul.f32 q1, q13, q9") \
573 __ASM_EMIT(SEL("", "vmul.f32 q0, q0, q4")) /* q0 = 1/(B*C) | C/A */ \
574 __ASM_EMIT(SEL("", "vmul.f32 q1, q1, q5")) \
575 __ASM_EMIT("vldm %[" SEL(A, B) "]!, {q12-q13}") /* q12 = A | B */ \
576 __ASM_EMIT("vmul.f32 q0, q0, q12") /* q0 = A/(B*C) | (B*C)/A */ \
577 __ASM_EMIT("vmul.f32 q1, q1, q13") \
578 __ASM_EMIT("sub %[count], $8") \
579 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
580 /* 4x blocks */ \
581 __ASM_EMIT("4:") \
582 __ASM_EMIT("adds %[count], #4") \
583 __ASM_EMIT("blt 6f") \
584 __ASM_EMIT("vldm %[" SEL(B, A) "]!, {q0}") \
585 __ASM_EMIT("vldm %[" C "]!, {q4}") \
586 __ASM_EMIT(SEL("vmul.f32 q0, q0, q4", "")) /* q0 = B*C | A */ \
587 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
588 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
589 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
590 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
591 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/(B*C) | 1/A */ \
592 __ASM_EMIT(SEL("", "vmul.f32 q0, q0, q4")) /* q0 = 1/(B*C) | C/A */ \
593 __ASM_EMIT("vldm %[" SEL(A, B) "]!, {q12}") /* q12 = A | B */ \
594 __ASM_EMIT("vmul.f32 q0, q0, q12") /* q0 = A/(B*C) | (B*C)/A */ \
595 __ASM_EMIT("sub %[count], #4") \
596 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
597 /* 1x blocks */ \
598 __ASM_EMIT("6:") \
599 __ASM_EMIT("adds %[count], #3") \
600 __ASM_EMIT("blt 8f") \
601 __ASM_EMIT("7:") \
602 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SEL(B, A) "]]!") \
603 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" C "]]!") \
604 __ASM_EMIT(SEL("vmul.f32 q0, q0, q4", "")) /* q0 = B*C | A */ \
605 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
606 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
607 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
608 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
609 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/(B*C) | 1/A */ \
610 __ASM_EMIT(SEL("", "vmul.f32 q0, q0, q4")) /* q0 = 1/(B*C) | C/A */ \
611 __ASM_EMIT("vld1.32 {d24[], d25[]}, [%[" SEL(A, B) "]]!") \
612 __ASM_EMIT("vmul.f32 q0, q0, q12") /* q0 = A/(B*C) | (B*C)/A */ \
613 __ASM_EMIT("subs %[count], #1") \
614 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
615 __ASM_EMIT("bge 7b") \
616 __ASM_EMIT("8:")
617
618 void fmdiv4(float *dst, const float *a, const float *b, const float *c, size_t count)
619 {
620 ARCH_ARM_ASM
621 (
622 FMDIV4_CORE("dst", "a", "b", "c", OP_DSEL)
623 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c),
624 [count] "+r" (count)
625 :
626 : "cc", "memory",
627 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
628 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
629 );
630 }
631
632 void fmrdiv4(float *dst, const float *a, const float *b, const float *c, size_t count)
633 {
634 ARCH_ARM_ASM
635 (
636 FMDIV4_CORE("dst", "a", "b", "c", OP_RSEL)
637 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c),
638 [count] "+r" (count)
639 :
640 : "cc", "memory",
641 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
642 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
643 );
644 }
645
646 #undef FMDIV4_CORE
647
648 #define FMMOD_VV_CORE(DST, A, INCA, B, INCB, C, INCC, SEL) \
649 __ASM_EMIT("subs %[count], #16") \
650 __ASM_EMIT("blo 2f") \
651 /* 16x blocks */ \
652 __ASM_EMIT("1:") \
653 __ASM_EMIT("vldm %[" C "]" INCC ", {q12-q15}") \
654 __ASM_EMIT("vldm %[" SEL(B, A) "]" SEL(INCB, INCA) ", {q4-q7}") \
655 __ASM_EMIT(SEL("vmul.f32 q4, q4, q12", "")) /* q4 = d */ \
656 __ASM_EMIT(SEL("vmul.f32 q5, q5, q13", "")) \
657 __ASM_EMIT(SEL("vmul.f32 q6, q6, q14", "")) \
658 __ASM_EMIT(SEL("vmul.f32 q7, q7, q15", "")) \
659 __ASM_EMIT("vrecpe.f32 q8, q4") /* q8 = s2 */ \
660 __ASM_EMIT("vrecpe.f32 q9, q5") \
661 __ASM_EMIT("vrecpe.f32 q10, q6") \
662 __ASM_EMIT("vrecpe.f32 q11, q7") \
663 __ASM_EMIT("vrecps.f32 q0, q8, q4") /* q0 = (2 - R*s2) */ \
664 __ASM_EMIT("vrecps.f32 q1, q9, q5") \
665 __ASM_EMIT("vrecps.f32 q2, q10, q6") \
666 __ASM_EMIT("vrecps.f32 q3, q11, q7") \
667 __ASM_EMIT("vmul.f32 q8, q0, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
668 __ASM_EMIT("vmul.f32 q9, q1, q9") \
669 __ASM_EMIT("vmul.f32 q10, q2, q10") \
670 __ASM_EMIT("vmul.f32 q11, q3, q11") \
671 __ASM_EMIT("vrecps.f32 q0, q8, q4") /* q0 = (2 - R*s2') */ \
672 __ASM_EMIT("vrecps.f32 q1, q9, q5") \
673 __ASM_EMIT("vrecps.f32 q2, q10, q6") \
674 __ASM_EMIT("vrecps.f32 q3, q11, q7") \
675 __ASM_EMIT("vmul.f32 q8, q0, q8") /* q8 = s2" = s2' * (2 - R*s2) = 1/d */ \
676 __ASM_EMIT("vmul.f32 q9, q1, q9") \
677 __ASM_EMIT("vmul.f32 q10, q2, q10") \
678 __ASM_EMIT("vmul.f32 q11, q3, q11") \
679 __ASM_EMIT("vldm %[" SEL(A, B) "]" SEL(INCA, INCB) ", {q0-q3}") \
680 __ASM_EMIT(SEL("", "vmul.f32 q0, q0, q12")) /* q0 = s */ \
681 __ASM_EMIT(SEL("", "vmul.f32 q1, q1, q13"))\
682 __ASM_EMIT(SEL("", "vmul.f32 q2, q2, q14")) \
683 __ASM_EMIT(SEL("", "vmul.f32 q3, q3, q15")) \
684 __ASM_EMIT("vmul.f32 q8, q8, q0") /* q8 = s/d */ \
685 __ASM_EMIT("vmul.f32 q9, q9, q1") \
686 __ASM_EMIT("vmul.f32 q10, q10, q2") \
687 __ASM_EMIT("vmul.f32 q11, q11, q3") \
688 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
689 __ASM_EMIT("vcvt.s32.f32 q9, q9") \
690 __ASM_EMIT("vcvt.s32.f32 q10, q10") \
691 __ASM_EMIT("vcvt.s32.f32 q11, q11") \
692 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
693 __ASM_EMIT("vcvt.f32.s32 q9, q9") \
694 __ASM_EMIT("vcvt.f32.s32 q10, q10") \
695 __ASM_EMIT("vcvt.f32.s32 q11, q11") \
696 __ASM_EMIT("vmls.f32 q0, q4, q8") /* q0 = s - d*int(s/d) */ \
697 __ASM_EMIT("vmls.f32 q1, q5, q9") \
698 __ASM_EMIT("vmls.f32 q2, q6, q10") \
699 __ASM_EMIT("vmls.f32 q3, q7, q11") \
700 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
701 __ASM_EMIT("subs %[count], #16") \
702 __ASM_EMIT("bhs 1b") \
703 /* 8x block */ \
704 __ASM_EMIT("2:") \
705 __ASM_EMIT("adds %[count], #8") \
706 __ASM_EMIT("blt 4f") \
707 __ASM_EMIT("vldm %[" C "]" INCC ", {q12-q13}") \
708 __ASM_EMIT("vldm %[" SEL(B, A) "]" SEL(INCB, INCA) ", {q4-q5}") \
709 __ASM_EMIT(SEL("vmul.f32 q4, q4, q12", "")) /* q4 = d */ \
710 __ASM_EMIT(SEL("vmul.f32 q5, q5, q13", "")) \
711 __ASM_EMIT("vrecpe.f32 q8, q4") /* q8 = s2 */ \
712 __ASM_EMIT("vrecpe.f32 q9, q5") \
713 __ASM_EMIT("vrecps.f32 q0, q8, q4") /* q0 = (2 - R*s2) */ \
714 __ASM_EMIT("vrecps.f32 q1, q9, q5") \
715 __ASM_EMIT("vmul.f32 q8, q0, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
716 __ASM_EMIT("vmul.f32 q9, q1, q9") \
717 __ASM_EMIT("vrecps.f32 q0, q8, q4") /* q0 = (2 - R*s2') */ \
718 __ASM_EMIT("vrecps.f32 q1, q9, q5") \
719 __ASM_EMIT("vmul.f32 q8, q0, q8") /* q8 = s2" = s2' * (2 - R*s2) = 1/d */ \
720 __ASM_EMIT("vmul.f32 q9, q1, q9") \
721 __ASM_EMIT("vldm %[" SEL(A, B) "]" SEL(INCA, INCB) ", {q0-q1}") \
722 __ASM_EMIT(SEL("", "vmul.f32 q0, q0, q12")) /* q0 = s */ \
723 __ASM_EMIT(SEL("", "vmul.f32 q1, q1, q13"))\
724 __ASM_EMIT("vmul.f32 q8, q8, q0") /* q8 = s/d */ \
725 __ASM_EMIT("vmul.f32 q9, q9, q1") \
726 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
727 __ASM_EMIT("vcvt.s32.f32 q9, q9") \
728 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
729 __ASM_EMIT("vcvt.f32.s32 q9, q9") \
730 __ASM_EMIT("vmls.f32 q0, q4, q8") /* q0 = s - d*int(s/d) */ \
731 __ASM_EMIT("vmls.f32 q1, q5, q9") \
732 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
733 __ASM_EMIT("sub %[count], #8") \
734 /* 4x blocks */ \
735 __ASM_EMIT("4:") \
736 __ASM_EMIT("adds %[count], #4") \
737 __ASM_EMIT("blt 6f") \
738 __ASM_EMIT("vldm %[" C "]" INCC ", {q12}") \
739 __ASM_EMIT("vldm %[" SEL(B, A) "]" SEL(INCB, INCA) ", {q4}") \
740 __ASM_EMIT(SEL("vmul.f32 q4, q4, q12", "")) /* q4 = d */ \
741 __ASM_EMIT("vrecpe.f32 q8, q4") /* q8 = s2 */ \
742 __ASM_EMIT("vrecps.f32 q0, q8, q4") /* q0 = (2 - R*s2) */ \
743 __ASM_EMIT("vmul.f32 q8, q0, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
744 __ASM_EMIT("vrecps.f32 q0, q8, q4") /* q0 = (2 - R*s2') */ \
745 __ASM_EMIT("vmul.f32 q8, q0, q8") /* q8 = s2" = s2' * (2 - R*s2) = 1/d */ \
746 __ASM_EMIT("vldm %[" SEL(A, B) "]" SEL(INCA, INCB) ", {q0}") \
747 __ASM_EMIT(SEL("", "vmul.f32 q0, q0, q12")) /* q0 = s */ \
748 __ASM_EMIT("vmul.f32 q8, q8, q0") /* q8 = s/d */ \
749 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
750 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
751 __ASM_EMIT("vmls.f32 q0, q4, q8") /* q0 = s - d*int(s/d) */ \
752 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
753 __ASM_EMIT("sub %[count], #4") \
754 /* 1x blocks */ \
755 __ASM_EMIT("6:") \
756 __ASM_EMIT("adds %[count], #3") \
757 __ASM_EMIT("blt 8f") \
758 __ASM_EMIT("7:") \
759 __ASM_EMIT("vld1.32 {d24[], d25[]}, [%[" C "]]" INCC) \
760 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" SEL(B, A) "]]" SEL(INCB, INCA)) \
761 __ASM_EMIT(SEL("vmul.f32 q4, q4, q12", "")) /* q4 = d */ \
762 __ASM_EMIT("vrecpe.f32 q8, q4") /* q8 = s2 */ \
763 __ASM_EMIT("vrecps.f32 q0, q8, q4") /* q0 = (2 - R*s2) */ \
764 __ASM_EMIT("vmul.f32 q8, q0, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
765 __ASM_EMIT("vrecps.f32 q0, q8, q4") /* q0 = (2 - R*s2') */ \
766 __ASM_EMIT("vmul.f32 q8, q0, q8") /* q8 = s2" = s2' * (2 - R*s2) = 1/d */ \
767 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SEL(A, B) "]]" SEL(INCA, INCB)) \
768 __ASM_EMIT(SEL("", "vmul.f32 q0, q0, q12")) /* q0 = s */ \
769 __ASM_EMIT("vmul.f32 q8, q8, q0") /* q8 = s/d */ \
770 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
771 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
772 __ASM_EMIT("vmls.f32 q0, q4, q8") /* q0 = s - d*int(s/d) */ \
773 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
774 __ASM_EMIT("subs %[count], #1") \
775 __ASM_EMIT("bge 7b") \
776 __ASM_EMIT("8:")
777
778 void fmmod3(float *dst, const float *a, const float *b, size_t count)
779 {
780 ARCH_ARM_ASM
781 (
782 FMMOD_VV_CORE("dst", "dst", "", "a", "!", "b", "!", OP_DSEL)
783 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
784 [count] "+r" (count)
785 :
786 : "cc", "memory",
787 "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7",
788 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
789 );
790 }
791
792 void fmrmod3(float *dst, const float *a, const float *b, size_t count)
793 {
794 ARCH_ARM_ASM
795 (
796 FMMOD_VV_CORE("dst", "dst", "", "a", "!", "b", "!", OP_RSEL)
797 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
798 [count] "+r" (count)
799 :
800 : "cc", "memory",
801 "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7",
802 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
803 );
804 }
805
806 void fmmod4(float *dst, const float *a, const float *b, const float *c, size_t count)
807 {
808 ARCH_ARM_ASM
809 (
810 FMMOD_VV_CORE("dst", "a", "!", "b", "!", "c", "!", OP_DSEL)
811 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c),
812 [count] "+r" (count)
813 :
814 : "cc", "memory",
815 "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7",
816 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
817 );
818 }
819
820 void fmrmod4(float *dst, const float *a, const float *b, const float *c, size_t count)
821 {
822 ARCH_ARM_ASM
823 (
824 FMMOD_VV_CORE("dst", "a", "!", "b", "!", "c", "!", OP_RSEL)
825 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c),
826 [count] "+r" (count)
827 :
828 : "cc", "memory",
829 "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7",
830 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
831 );
832 }
833
834 #undef FMMOD_VV_CORE
835
836 #undef OP_DSEL
837 #undef OP_RSEL
838 }
839 }
840
841 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_FMOP_VV_H_ */