Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/pmath/fmop_kx.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_FMOP_KX_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_FMOP_KX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 #define OP_DSEL(a, b) a
34 #define OP_RSEL(a, b) b
35
36 #define FMADDSUB_K3_CORE(DST, SRC, OP) \
37 __ASM_EMIT("subs %[count], #16") \
38 __ASM_EMIT("vmov q9, q8") \
39 __ASM_EMIT("blo 2f") \
40 /* 16x blocks */ \
41 __ASM_EMIT("1:") \
42 __ASM_EMIT("vldm %[" SRC "]!, {q4-q7}") \
43 __ASM_EMIT("vldm %[" DST "], {q0-q3}") \
44 __ASM_EMIT(OP ".f32 q0, q4, q8") \
45 __ASM_EMIT(OP ".f32 q1, q5, q9") \
46 __ASM_EMIT(OP ".f32 q2, q6, q8") \
47 __ASM_EMIT(OP ".f32 q3, q7, q9") \
48 __ASM_EMIT("subs %[count], #16") \
49 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
50 __ASM_EMIT("bhs 1b") \
51 /* 8x block */ \
52 __ASM_EMIT("2:") \
53 __ASM_EMIT("adds %[count], #8") /* 16 - 8 */ \
54 __ASM_EMIT("blt 4f") \
55 __ASM_EMIT("vldm %[" SRC "]!, {q4-q5}") \
56 __ASM_EMIT("vldm %[" DST "], {q0-q1}") \
57 __ASM_EMIT(OP ".f32 q0, q4, q8") \
58 __ASM_EMIT(OP ".f32 q1, q5, q9") \
59 __ASM_EMIT("sub %[count], #8") \
60 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
61 /* 4x block */ \
62 __ASM_EMIT("4:") \
63 __ASM_EMIT("adds %[count], #4") /* 8 - 4 */ \
64 __ASM_EMIT("blt 6f") \
65 __ASM_EMIT("vldm %[" SRC "]!, {q4}") \
66 __ASM_EMIT("vldm %[" DST "], {q0}") \
67 __ASM_EMIT(OP ".f32 q0, q4, q8") \
68 __ASM_EMIT("sub %[count], #4") \
69 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
70 /* 1x block */ \
71 __ASM_EMIT("6:") \
72 __ASM_EMIT("adds %[count], #3") /* 4 - 3 */ \
73 __ASM_EMIT("blt 8f") \
74 __ASM_EMIT("7:") \
75 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" SRC "]]!") \
76 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" DST "]]") \
77 __ASM_EMIT(OP ".f32 q0, q4, q8") \
78 __ASM_EMIT("subs %[count], #1") \
79 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
80 __ASM_EMIT("bge 7b") \
81 __ASM_EMIT("8:")
82
83 void fmadd_k3(float *dst, const float *src, float k, size_t count)
84 {
85 IF_ARCH_ARM(float *pk = &k);
86 ARCH_ARM_ASM
87 (
88 __ASM_EMIT("vld1.f32 {d16[], d17[]}, [%[k]]")
89 FMADDSUB_K3_CORE("dst", "src", "vfma")
90 : [dst] "+r" (dst), [src] "+r" (src),
91 [count] "+r" (count)
92 : [k] "r" (pk)
93 : "cc", "memory",
94 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
95 "q8", "q9"
96 );
97 }
98
99 void fmsub_k3(float *dst, const float *src, float k, size_t count)
100 {
101 IF_ARCH_ARM(float *pk = &k);
102 ARCH_ARM_ASM
103 (
104 __ASM_EMIT("vld1.f32 {d16[], d17[]}, [%[k]]")
105 FMADDSUB_K3_CORE("dst", "src", "vfms")
106 : [dst] "+r" (dst), [src] "+r" (src),
107 [count] "+r" (count)
108 : [k] "r" (pk)
109 : "cc", "memory",
110 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
111 "q8", "q9"
112 );
113 }
114
115 #undef FMADDSUB_K3_CORE
116
117 #define FMOP_K3_CORE(DST, SRC, OP, SEL) \
118 __ASM_EMIT("subs %[count], #16") \
119 __ASM_EMIT("vmov q9, q8") \
120 __ASM_EMIT("blo 2f") \
121 /* 16x blocks */ \
122 __ASM_EMIT("1:") \
123 __ASM_EMIT("vldm %[" SRC "]!, {q0-q3}") \
124 __ASM_EMIT("vldm %[" DST "], {q4-q7}") \
125 __ASM_EMIT("vmul.f32 q0, q0, q8") \
126 __ASM_EMIT("vmul.f32 q1, q1, q9") \
127 __ASM_EMIT("vmul.f32 q2, q2, q8") \
128 __ASM_EMIT("vmul.f32 q3, q3, q9") \
129 __ASM_EMIT(OP ".f32 q0, " SEL("q4", "q0") ", " SEL("q0", "q4")) \
130 __ASM_EMIT(OP ".f32 q1, " SEL("q5", "q1") ", " SEL("q1", "q5")) \
131 __ASM_EMIT(OP ".f32 q2, " SEL("q6", "q2") ", " SEL("q2", "q6")) \
132 __ASM_EMIT(OP ".f32 q3, " SEL("q7", "q3") ", " SEL("q3", "q7")) \
133 __ASM_EMIT("subs %[count], #16") \
134 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
135 __ASM_EMIT("bhs 1b") \
136 /* 8x block */ \
137 __ASM_EMIT("2:") \
138 __ASM_EMIT("adds %[count], #8") /* 16 - 8 */ \
139 __ASM_EMIT("blt 4f") \
140 __ASM_EMIT("vldm %[" SRC "]!, {q0-q1}") \
141 __ASM_EMIT("vldm %[" DST "], {q4-q5}") \
142 __ASM_EMIT("vmul.f32 q0, q0, q8") \
143 __ASM_EMIT("vmul.f32 q1, q1, q9") \
144 __ASM_EMIT(OP ".f32 q0, " SEL("q4", "q0") ", " SEL("q0", "q4")) \
145 __ASM_EMIT(OP ".f32 q1, " SEL("q5", "q1") ", " SEL("q1", "q5")) \
146 __ASM_EMIT("sub %[count], #8") \
147 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
148 /* 4x block */ \
149 __ASM_EMIT("4:") \
150 __ASM_EMIT("adds %[count], #4") /* 8 - 4 */ \
151 __ASM_EMIT("blt 6f") \
152 __ASM_EMIT("vldm %[" SRC "]!, {q0}") \
153 __ASM_EMIT("vldm %[" DST "], {q4}") \
154 __ASM_EMIT("vmul.f32 q0, q0, q8") \
155 __ASM_EMIT(OP ".f32 q0, " SEL("q4", "q0") ", " SEL("q0", "q4")) \
156 __ASM_EMIT("sub %[count], #4") \
157 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
158 /* 1x block */ \
159 __ASM_EMIT("6:") \
160 __ASM_EMIT("adds %[count], #3") /* 4 - 3 */ \
161 __ASM_EMIT("blt 8f") \
162 __ASM_EMIT("7:") \
163 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SRC "]]!") \
164 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" DST "]]") \
165 __ASM_EMIT("vmul.f32 q0, q0, q8") \
166 __ASM_EMIT(OP ".f32 q0, " SEL("q4", "q0") ", " SEL("q0", "q4")) \
167 __ASM_EMIT("subs %[count], #1") \
168 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
169 __ASM_EMIT("bge 7b") \
170 __ASM_EMIT("8:")
171
172 void fmmul_k3(float *dst, const float *src, float k, size_t count)
173 {
174 IF_ARCH_ARM(float *pk = &k);
175 ARCH_ARM_ASM
176 (
177 __ASM_EMIT("vld1.f32 {d16[], d17[]}, [%[k]]")
178 FMOP_K3_CORE("dst", "src", "vmul", OP_DSEL)
179 : [dst] "+r" (dst), [src] "+r" (src),
180 [count] "+r" (count)
181 : [k] "r" (pk)
182 : "cc", "memory",
183 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
184 "q8", "q9"
185 );
186 }
187
188 void fmrsub_k3(float *dst, const float *src, float k, size_t count)
189 {
190 IF_ARCH_ARM(float *pk = &k);
191 ARCH_ARM_ASM
192 (
193 __ASM_EMIT("vld1.f32 {d16[], d17[]}, [%[k]]")
194 FMOP_K3_CORE("dst", "src", "vsub", OP_RSEL)
195 : [dst] "+r" (dst), [src] "+r" (src),
196 [count] "+r" (count)
197 : [k] "r" (pk)
198 : "cc", "memory",
199 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
200 "q8", "q9"
201 );
202 }
203
204 #undef FMOP_K3_CORE
205
206 #define FMDIV_K3_CORE(DST, SRC, SEL) \
207 __ASM_EMIT("subs %[count], #16") \
208 __ASM_EMIT("vmov q5, q4") \
209 __ASM_EMIT("blo 2f") \
210 /* 16x blocks */ \
211 __ASM_EMIT("1:") \
212 __ASM_EMIT("vldm %[" SEL(SRC, DST) "], {q0-q3}") \
213 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
214 __ASM_EMIT("vrecpe.f32 q9, q1") \
215 __ASM_EMIT("vrecpe.f32 q10, q2") \
216 __ASM_EMIT("vrecpe.f32 q11, q3") \
217 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
218 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
219 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
220 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
221 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
222 __ASM_EMIT("vmul.f32 q9, q13, q9") \
223 __ASM_EMIT("vmul.f32 q10, q14, q10") \
224 __ASM_EMIT("vmul.f32 q11, q15, q11") \
225 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
226 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
227 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
228 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
229 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
230 __ASM_EMIT("vmul.f32 q1, q13, q9") \
231 __ASM_EMIT("vmul.f32 q2, q14, q10") \
232 __ASM_EMIT("vmul.f32 q3, q15, q11") \
233 __ASM_EMIT("vldm %[" SEL(DST, SRC) "], {q12-q15}") \
234 __ASM_EMIT("vmul.f32 q0, q0, q4") /* k * 1/s2 */ \
235 __ASM_EMIT("vmul.f32 q1, q1, q5") \
236 __ASM_EMIT("vmul.f32 q2, q2, q4") \
237 __ASM_EMIT("vmul.f32 q3, q3, q5") \
238 __ASM_EMIT("vmul.f32 q0, q0, q12") /* s1 * k * 1/s2 */ \
239 __ASM_EMIT("vmul.f32 q1, q1, q13") \
240 __ASM_EMIT("vmul.f32 q2, q2, q14") \
241 __ASM_EMIT("vmul.f32 q3, q3, q15") \
242 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
243 __ASM_EMIT("subs %[count], #16") \
244 __ASM_EMIT("add %[" SRC "], #0x40") \
245 __ASM_EMIT("bhs 1b") \
246 /* 8x block */ \
247 __ASM_EMIT("2:") \
248 __ASM_EMIT("adds %[count], #8") \
249 __ASM_EMIT("blt 4f") \
250 __ASM_EMIT("vldm %[" SEL(SRC, DST) "], {q0-q1}") \
251 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
252 __ASM_EMIT("vrecpe.f32 q9, q1") \
253 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
254 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
255 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
256 __ASM_EMIT("vmul.f32 q9, q13, q9") \
257 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
258 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
259 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
260 __ASM_EMIT("vmul.f32 q1, q13, q9") \
261 __ASM_EMIT("vldm %[" SEL(DST, SRC) "], {q12-q13}") \
262 __ASM_EMIT("vmul.f32 q0, q0, q4") /* k * 1/s2 */ \
263 __ASM_EMIT("vmul.f32 q1, q1, q5") \
264 __ASM_EMIT("vmul.f32 q0, q0, q12") /* s1 * k * 1/s2 */ \
265 __ASM_EMIT("vmul.f32 q1, q1, q13") \
266 __ASM_EMIT("sub %[count], #8") \
267 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
268 __ASM_EMIT("add %[" SRC "], #0x20") \
269 /* 4x blocks */ \
270 __ASM_EMIT("4:") \
271 __ASM_EMIT("adds %[count], #4") \
272 __ASM_EMIT("blt 6f") \
273 __ASM_EMIT("vldm %[" SEL(SRC, DST) "], {q0}") \
274 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
275 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
276 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
277 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
278 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
279 __ASM_EMIT("vldm %[" SEL(DST, SRC) "], {q12}") \
280 __ASM_EMIT("vmul.f32 q0, q0, q4") /* k * 1/s2 */ \
281 __ASM_EMIT("vmul.f32 q0, q0, q12") /* s1 * k * 1/s2 */ \
282 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
283 __ASM_EMIT("add %[" SRC "], #0x10") \
284 __ASM_EMIT("sub %[count], #4") \
285 /* 1x blocks */ \
286 __ASM_EMIT("6:") \
287 __ASM_EMIT("adds %[count], #3") \
288 __ASM_EMIT("blt 8f") \
289 __ASM_EMIT("7:") \
290 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SEL(SRC, DST) "]]") \
291 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
292 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
293 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
294 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
295 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
296 __ASM_EMIT("vld1.32 {d24[], d25[]}, [%[" SEL(DST, SRC) "]]") \
297 __ASM_EMIT("vmul.f32 q0, q0, q4") /* k * 1/s2 */ \
298 __ASM_EMIT("vmul.f32 q0, q0, q12") /* s1 * k * 1/s2 */ \
299 __ASM_EMIT("subs %[count], #1") \
300 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
301 __ASM_EMIT("add %[" SRC "], #0x04") \
302 __ASM_EMIT("bge 7b") \
303 __ASM_EMIT("8:")
304
305 void fmdiv_k3(float *dst, const float *src, float k, size_t count)
306 {
307 IF_ARCH_ARM(float *pk = &k);
308 ARCH_ARM_ASM
309 (
310 __ASM_EMIT("vld1.f32 {d0[], d1[]}, [%[k]]")
311 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = k */
312 __ASM_EMIT("vrecps.f32 q9, q8, q0") /* q9 = (2 - R*k) */
313 __ASM_EMIT("vmul.f32 q8, q9, q8") /* q8 = k' = k * (2 - R*k) */
314 __ASM_EMIT("vrecps.f32 q9, q8, q0") /* q9 = (2 - R*k') */
315 __ASM_EMIT("vmul.f32 q4, q9, q8") /* q4 = k" = k' * (2 - R*k) = 1/k */
316 FMDIV_K3_CORE("dst", "src", OP_DSEL)
317 : [dst] "+r" (dst), [src] "+r" (src),
318 [count] "+r" (count)
319 : [k] "r" (pk)
320 : "cc", "memory",
321 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
322 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
323 );
324 }
325
326 void fmrdiv_k3(float *dst, const float *src, float k, size_t count)
327 {
328 IF_ARCH_ARM(float *pk = &k);
329 ARCH_ARM_ASM
330 (
331 __ASM_EMIT("vld1.f32 {d8[], d9[]}, [%[k]]")
332 FMDIV_K3_CORE("dst", "src", OP_RSEL)
333 : [dst] "+r" (dst), [src] "+r" (src),
334 [count] "+r" (count)
335 : [k] "r" (pk)
336 : "cc", "memory",
337 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
338 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
339 );
340 }
341
342 #define FMADDSUB_K4_CORE(DST, SRC1, SRC2, OP) \
343 __ASM_EMIT("subs %[count], #16") \
344 __ASM_EMIT("vmov q9, q8") \
345 __ASM_EMIT("blo 2f") \
346 /* 16x blocks */ \
347 __ASM_EMIT("1:") \
348 __ASM_EMIT("vldm %[" SRC2 "]!, {q4-q7}") \
349 __ASM_EMIT("vldm %[" SRC1 "]!, {q0-q3}") \
350 __ASM_EMIT(OP ".f32 q0, q4, q8") \
351 __ASM_EMIT(OP ".f32 q1, q5, q9") \
352 __ASM_EMIT(OP ".f32 q2, q6, q8") \
353 __ASM_EMIT(OP ".f32 q3, q7, q9") \
354 __ASM_EMIT("subs %[count], #16") \
355 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
356 __ASM_EMIT("bhs 1b") \
357 /* 8x block */ \
358 __ASM_EMIT("2:") \
359 __ASM_EMIT("adds %[count], #8") /* 16 - 8 */ \
360 __ASM_EMIT("blt 4f") \
361 __ASM_EMIT("vldm %[" SRC2 "]!, {q4-q5}") \
362 __ASM_EMIT("vldm %[" SRC1 "]!, {q0-q1}") \
363 __ASM_EMIT(OP ".f32 q0, q4, q8") \
364 __ASM_EMIT(OP ".f32 q1, q5, q9") \
365 __ASM_EMIT("sub %[count], #8") \
366 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
367 /* 4x block */ \
368 __ASM_EMIT("4:") \
369 __ASM_EMIT("adds %[count], #4") /* 8 - 4 */ \
370 __ASM_EMIT("blt 6f") \
371 __ASM_EMIT("vldm %[" SRC2 "]!, {q4}") \
372 __ASM_EMIT("vldm %[" SRC1 "]!, {q0}") \
373 __ASM_EMIT(OP ".f32 q0, q4, q8") \
374 __ASM_EMIT("sub %[count], #4") \
375 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
376 /* 1x block */ \
377 __ASM_EMIT("6:") \
378 __ASM_EMIT("adds %[count], #3") /* 4 - 3 */ \
379 __ASM_EMIT("blt 8f") \
380 __ASM_EMIT("7:") \
381 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" SRC2 "]]!") \
382 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SRC1 "]]!") \
383 __ASM_EMIT(OP ".f32 q0, q4, q8") \
384 __ASM_EMIT("subs %[count], #1") \
385 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
386 __ASM_EMIT("bge 7b") \
387 __ASM_EMIT("8:")
388
389 void fmadd_k4(float *dst, const float *src1, const float *src2, float k, size_t count)
390 {
391 IF_ARCH_ARM(float *pk = &k);
392 ARCH_ARM_ASM
393 (
394 __ASM_EMIT("vld1.f32 {d16[], d17[]}, [%[k]]")
395 FMADDSUB_K4_CORE("dst", "src1", "src2", "vfma")
396 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
397 [count] "+r" (count)
398 : [k] "r" (pk)
399 : "cc", "memory",
400 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
401 "q8", "q9"
402 );
403 }
404
405 void fmsub_k4(float *dst, const float *src1, const float *src2, float k, size_t count)
406 {
407 IF_ARCH_ARM(float *pk = &k);
408 ARCH_ARM_ASM
409 (
410 __ASM_EMIT("vld1.f32 {d16[], d17[]}, [%[k]]")
411 FMADDSUB_K4_CORE("dst", "src1", "src2", "vfms")
412 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
413 [count] "+r" (count)
414 : [k] "r" (pk)
415 : "cc", "memory",
416 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
417 "q8", "q9"
418 );
419 }
420
421 #define FMOP_K4_CORE(DST, SRC1, SRC2, OP, SEL) \
422 __ASM_EMIT("subs %[count], #16") \
423 __ASM_EMIT("vmov q9, q8") \
424 __ASM_EMIT("blo 2f") \
425 /* 16x blocks */ \
426 __ASM_EMIT("1:") \
427 __ASM_EMIT("vldm %[" SRC2 "]!, {q0-q3}") \
428 __ASM_EMIT("vldm %[" SRC1 "]!, {q4-q7}") \
429 __ASM_EMIT("vmul.f32 q0, q0, q8") \
430 __ASM_EMIT("vmul.f32 q1, q1, q9") \
431 __ASM_EMIT("vmul.f32 q2, q2, q8") \
432 __ASM_EMIT("vmul.f32 q3, q3, q9") \
433 __ASM_EMIT(OP ".f32 q0, " SEL("q4", "q0") ", " SEL("q0", "q4")) \
434 __ASM_EMIT(OP ".f32 q1, " SEL("q5", "q1") ", " SEL("q1", "q5")) \
435 __ASM_EMIT(OP ".f32 q2, " SEL("q6", "q2") ", " SEL("q2", "q6")) \
436 __ASM_EMIT(OP ".f32 q3, " SEL("q7", "q3") ", " SEL("q3", "q7")) \
437 __ASM_EMIT("subs %[count], #16") \
438 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
439 __ASM_EMIT("bhs 1b") \
440 /* 8x block */ \
441 __ASM_EMIT("2:") \
442 __ASM_EMIT("adds %[count], #8") /* 16 - 8 */ \
443 __ASM_EMIT("blt 4f") \
444 __ASM_EMIT("vldm %[" SRC2 "]!, {q0-q1}") \
445 __ASM_EMIT("vldm %[" SRC1 "]!, {q4-q5}") \
446 __ASM_EMIT("vmul.f32 q0, q0, q8") \
447 __ASM_EMIT("vmul.f32 q1, q1, q9") \
448 __ASM_EMIT(OP ".f32 q0, " SEL("q4", "q0") ", " SEL("q0", "q4")) \
449 __ASM_EMIT(OP ".f32 q1, " SEL("q5", "q1") ", " SEL("q1", "q5")) \
450 __ASM_EMIT("sub %[count], #8") \
451 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
452 /* 4x block */ \
453 __ASM_EMIT("4:") \
454 __ASM_EMIT("adds %[count], #4") /* 8 - 4 */ \
455 __ASM_EMIT("blt 6f") \
456 __ASM_EMIT("vldm %[" SRC2 "]!, {q0}") \
457 __ASM_EMIT("vldm %[" SRC1 "]!, {q4}") \
458 __ASM_EMIT("vmul.f32 q0, q0, q8") \
459 __ASM_EMIT(OP ".f32 q0, " SEL("q4", "q0") ", " SEL("q0", "q4")) \
460 __ASM_EMIT("sub %[count], #4") \
461 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
462 /* 1x block */ \
463 __ASM_EMIT("6:") \
464 __ASM_EMIT("adds %[count], #3") /* 4 - 3 */ \
465 __ASM_EMIT("blt 8f") \
466 __ASM_EMIT("7:") \
467 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SRC2 "]]!") \
468 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" SRC1 "]]!") \
469 __ASM_EMIT("vmul.f32 q0, q0, q8") \
470 __ASM_EMIT(OP ".f32 q0, " SEL("q4", "q0") ", " SEL("q0", "q4")) \
471 __ASM_EMIT("subs %[count], #1") \
472 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
473 __ASM_EMIT("bge 7b") \
474 __ASM_EMIT("8:")
475
476 void fmmul_k4(float *dst, const float *src1, const float *src2, float k, size_t count)
477 {
478 IF_ARCH_ARM(float *pk = &k);
479 ARCH_ARM_ASM
480 (
481 __ASM_EMIT("vld1.f32 {d16[], d17[]}, [%[k]]")
482 FMOP_K4_CORE("dst", "src1", "src2", "vmul", OP_DSEL)
483 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
484 [count] "+r" (count)
485 : [k] "r" (pk)
486 : "cc", "memory",
487 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
488 "q8", "q9"
489 );
490 }
491
492 void fmrsub_k4(float *dst, const float *src1, const float *src2, float k, size_t count)
493 {
494 IF_ARCH_ARM(float *pk = &k);
495 ARCH_ARM_ASM
496 (
497 __ASM_EMIT("vld1.f32 {d16[], d17[]}, [%[k]]")
498 FMOP_K4_CORE("dst", "src1", "src2", "vsub", OP_RSEL)
499 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
500 [count] "+r" (count)
501 : [k] "r" (pk)
502 : "cc", "memory",
503 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
504 "q8", "q9"
505 );
506 }
507
508 #undef FMOP_K4_CORE
509
510 #define FMDIV_K4_CORE(DST, SRC1, SRC2, SEL) \
511 __ASM_EMIT("subs %[count], #16") \
512 __ASM_EMIT("vmov q5, q4") \
513 __ASM_EMIT("blo 2f") \
514 /* 16x blocks */ \
515 __ASM_EMIT("1:") \
516 __ASM_EMIT("vldm %[" SEL(SRC2, SRC1) "]!, {q0-q3}") \
517 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
518 __ASM_EMIT("vrecpe.f32 q9, q1") \
519 __ASM_EMIT("vrecpe.f32 q10, q2") \
520 __ASM_EMIT("vrecpe.f32 q11, q3") \
521 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
522 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
523 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
524 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
525 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
526 __ASM_EMIT("vmul.f32 q9, q13, q9") \
527 __ASM_EMIT("vmul.f32 q10, q14, q10") \
528 __ASM_EMIT("vmul.f32 q11, q15, q11") \
529 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
530 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
531 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
532 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
533 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
534 __ASM_EMIT("vmul.f32 q1, q13, q9") \
535 __ASM_EMIT("vmul.f32 q2, q14, q10") \
536 __ASM_EMIT("vmul.f32 q3, q15, q11") \
537 __ASM_EMIT("vldm %[" SEL(SRC1, SRC2) "]!, {q12-q15}") \
538 __ASM_EMIT("vmul.f32 q0, q0, q4") /* k * 1/s2 */ \
539 __ASM_EMIT("vmul.f32 q1, q1, q5") \
540 __ASM_EMIT("vmul.f32 q2, q2, q4") \
541 __ASM_EMIT("vmul.f32 q3, q3, q5") \
542 __ASM_EMIT("vmul.f32 q0, q0, q12") /* s1 * k * 1/s2 */ \
543 __ASM_EMIT("vmul.f32 q1, q1, q13") \
544 __ASM_EMIT("vmul.f32 q2, q2, q14") \
545 __ASM_EMIT("vmul.f32 q3, q3, q15") \
546 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
547 __ASM_EMIT("subs %[count], #16") \
548 __ASM_EMIT("bhs 1b") \
549 /* 8x block */ \
550 __ASM_EMIT("2:") \
551 __ASM_EMIT("adds %[count], #8") \
552 __ASM_EMIT("blt 4f") \
553 __ASM_EMIT("vldm %[" SEL(SRC2, SRC1) "]!, {q0-q1}") \
554 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
555 __ASM_EMIT("vrecpe.f32 q9, q1") \
556 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
557 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
558 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
559 __ASM_EMIT("vmul.f32 q9, q13, q9") \
560 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
561 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
562 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
563 __ASM_EMIT("vmul.f32 q1, q13, q9") \
564 __ASM_EMIT("vldm %[" SEL(SRC1, SRC2) "]!, {q12-q13}") \
565 __ASM_EMIT("vmul.f32 q0, q0, q4") /* k * 1/s2 */ \
566 __ASM_EMIT("vmul.f32 q1, q1, q5") \
567 __ASM_EMIT("vmul.f32 q0, q0, q12") /* s1 * k * 1/s2 */ \
568 __ASM_EMIT("vmul.f32 q1, q1, q13") \
569 __ASM_EMIT("sub %[count], #8") \
570 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
571 /* 4x blocks */ \
572 __ASM_EMIT("4:") \
573 __ASM_EMIT("adds %[count], #4") \
574 __ASM_EMIT("blt 6f") \
575 __ASM_EMIT("vldm %[" SEL(SRC2, SRC1) "]!, {q0}") \
576 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
577 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
578 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
579 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
580 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
581 __ASM_EMIT("vldm %[" SEL(SRC1, SRC2) "]!, {q12}") \
582 __ASM_EMIT("vmul.f32 q0, q0, q4") /* k * 1/s2 */ \
583 __ASM_EMIT("vmul.f32 q0, q0, q12") /* s1 * k * 1/s2 */ \
584 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
585 __ASM_EMIT("sub %[count], #4") \
586 /* 1x blocks */ \
587 __ASM_EMIT("6:") \
588 __ASM_EMIT("adds %[count], #3") \
589 __ASM_EMIT("blt 8f") \
590 __ASM_EMIT("7:") \
591 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SEL(SRC2, SRC1) "]]!") \
592 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
593 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
594 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
595 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
596 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
597 __ASM_EMIT("vld1.32 {d24[], d25[]}, [%[" SEL(SRC1, SRC2) "]]!") \
598 __ASM_EMIT("vmul.f32 q0, q0, q4") /* k * 1/s2 */ \
599 __ASM_EMIT("vmul.f32 q0, q0, q12") /* s1 * k * 1/s2 */ \
600 __ASM_EMIT("subs %[count], #1") \
601 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
602 __ASM_EMIT("bge 7b") \
603 __ASM_EMIT("8:")
604
605 void fmdiv_k4(float *dst, const float *src1, const float *src2, float k, size_t count)
606 {
607 IF_ARCH_ARM(float *pk = &k);
608 ARCH_ARM_ASM
609 (
610 __ASM_EMIT("vld1.f32 {d0[], d1[]}, [%[k]]")
611 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = k */
612 __ASM_EMIT("vrecps.f32 q9, q8, q0") /* q9 = (2 - R*k) */
613 __ASM_EMIT("vmul.f32 q8, q9, q8") /* q8 = k' = k * (2 - R*k) */
614 __ASM_EMIT("vrecps.f32 q9, q8, q0") /* q9 = (2 - R*k') */
615 __ASM_EMIT("vmul.f32 q4, q9, q8") /* q4 = k" = k' * (2 - R*k) = 1/k */
616 FMDIV_K4_CORE("dst", "src1", "src2", OP_DSEL)
617 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
618 [count] "+r" (count)
619 : [k] "r" (pk)
620 : "cc", "memory",
621 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
622 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
623 );
624 }
625
626 void fmrdiv_k4(float *dst, const float *src1, const float *src2, float k, size_t count)
627 {
628 IF_ARCH_ARM(float *pk = &k);
629 ARCH_ARM_ASM
630 (
631 __ASM_EMIT("vld1.f32 {d8[], d9[]}, [%[k]]")
632 FMDIV_K4_CORE("dst", "src1", "src2", OP_RSEL)
633 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
634 [count] "+r" (count)
635 : [k] "r" (pk)
636 : "cc", "memory",
637 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
638 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
639 );
640 }
641
642 #undef FMDIV_K4_CORE
643
644 #define FMMOD_VV_CORE(DST, SRC1, INC1, SRC2, INC2, SEL) \
645 __ASM_EMIT("subs %[count], #16") \
646 __ASM_EMIT("vmov q13, q12") \
647 __ASM_EMIT("blo 2f") \
648 /* 16x blocks */ \
649 __ASM_EMIT("1:") \
650 __ASM_EMIT("vldm %[" SEL(SRC2, SRC1) "]" SEL(INC2, INC1) ", {q4-q7}") \
651 __ASM_EMIT(SEL("vmul.f32 q4, q4, q12", "")) /* q4 = d */ \
652 __ASM_EMIT(SEL("vmul.f32 q5, q5, q13", "")) \
653 __ASM_EMIT(SEL("vmul.f32 q6, q6, q12", "")) \
654 __ASM_EMIT(SEL("vmul.f32 q7, q7, q13", "")) \
655 __ASM_EMIT("vrecpe.f32 q8, q4") /* q8 = s2 */ \
656 __ASM_EMIT("vrecpe.f32 q9, q5") \
657 __ASM_EMIT("vrecpe.f32 q10, q6") \
658 __ASM_EMIT("vrecpe.f32 q11, q7") \
659 __ASM_EMIT("vrecps.f32 q0, q8, q4") /* q0 = (2 - R*s2) */ \
660 __ASM_EMIT("vrecps.f32 q1, q9, q5") \
661 __ASM_EMIT("vrecps.f32 q2, q10, q6") \
662 __ASM_EMIT("vrecps.f32 q3, q11, q7") \
663 __ASM_EMIT("vmul.f32 q8, q0, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
664 __ASM_EMIT("vmul.f32 q9, q1, q9") \
665 __ASM_EMIT("vmul.f32 q10, q2, q10") \
666 __ASM_EMIT("vmul.f32 q11, q3, q11") \
667 __ASM_EMIT("vrecps.f32 q0, q8, q4") /* q0 = (2 - R*s2') */ \
668 __ASM_EMIT("vrecps.f32 q1, q9, q5") \
669 __ASM_EMIT("vrecps.f32 q2, q10, q6") \
670 __ASM_EMIT("vrecps.f32 q3, q11, q7") \
671 __ASM_EMIT("vmul.f32 q8, q0, q8") /* q8 = s2" = s2' * (2 - R*s2) = 1/d */ \
672 __ASM_EMIT("vmul.f32 q9, q1, q9") \
673 __ASM_EMIT("vmul.f32 q10, q2, q10") \
674 __ASM_EMIT("vmul.f32 q11, q3, q11") \
675 __ASM_EMIT("vldm %[" SEL(SRC1, SRC2) "]" SEL(INC1, INC2) ", {q0-q3}") \
676 __ASM_EMIT(SEL("", "vmul.f32 q0, q0, q12")) /* q0 = s */ \
677 __ASM_EMIT(SEL("", "vmul.f32 q1, q1, q13"))\
678 __ASM_EMIT(SEL("", "vmul.f32 q2, q2, q12")) \
679 __ASM_EMIT(SEL("", "vmul.f32 q3, q3, q13")) \
680 __ASM_EMIT("vmul.f32 q8, q8, q0") /* q8 = s/d */ \
681 __ASM_EMIT("vmul.f32 q9, q9, q1") \
682 __ASM_EMIT("vmul.f32 q10, q10, q2") \
683 __ASM_EMIT("vmul.f32 q11, q11, q3") \
684 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
685 __ASM_EMIT("vcvt.s32.f32 q9, q9") \
686 __ASM_EMIT("vcvt.s32.f32 q10, q10") \
687 __ASM_EMIT("vcvt.s32.f32 q11, q11") \
688 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
689 __ASM_EMIT("vcvt.f32.s32 q9, q9") \
690 __ASM_EMIT("vcvt.f32.s32 q10, q10") \
691 __ASM_EMIT("vcvt.f32.s32 q11, q11") \
692 __ASM_EMIT("vmls.f32 q0, q4, q8") /* q0 = s - d*int(s/d) */ \
693 __ASM_EMIT("vmls.f32 q1, q5, q9") \
694 __ASM_EMIT("vmls.f32 q2, q6, q10") \
695 __ASM_EMIT("vmls.f32 q3, q7, q11") \
696 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
697 __ASM_EMIT("subs %[count], #16") \
698 __ASM_EMIT("bhs 1b") \
699 /* 8x block */ \
700 __ASM_EMIT("2:") \
701 __ASM_EMIT("adds %[count], #8") \
702 __ASM_EMIT("blt 4f") \
703 __ASM_EMIT("vldm %[" SEL(SRC2, SRC1) "]" SEL(INC2, INC1) ", {q4-q5}") \
704 __ASM_EMIT(SEL("vmul.f32 q4, q4, q12", "")) /* q4 = d */ \
705 __ASM_EMIT(SEL("vmul.f32 q5, q5, q13", "")) \
706 __ASM_EMIT("vrecpe.f32 q8, q4") /* q8 = s2 */ \
707 __ASM_EMIT("vrecpe.f32 q9, q5") \
708 __ASM_EMIT("vrecps.f32 q0, q8, q4") /* q0 = (2 - R*s2) */ \
709 __ASM_EMIT("vrecps.f32 q1, q9, q5") \
710 __ASM_EMIT("vmul.f32 q8, q0, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
711 __ASM_EMIT("vmul.f32 q9, q1, q9") \
712 __ASM_EMIT("vrecps.f32 q0, q8, q4") /* q0 = (2 - R*s2') */ \
713 __ASM_EMIT("vrecps.f32 q1, q9, q5") \
714 __ASM_EMIT("vmul.f32 q8, q0, q8") /* q8 = s2" = s2' * (2 - R*s2) = 1/d */ \
715 __ASM_EMIT("vmul.f32 q9, q1, q9") \
716 __ASM_EMIT("vldm %[" SEL(SRC1, SRC2) "]" SEL(INC1, INC2) ", {q0-q1}") \
717 __ASM_EMIT(SEL("", "vmul.f32 q0, q0, q12")) /* q0 = s */ \
718 __ASM_EMIT(SEL("", "vmul.f32 q1, q1, q13"))\
719 __ASM_EMIT("vmul.f32 q8, q8, q0") /* q8 = s/d */ \
720 __ASM_EMIT("vmul.f32 q9, q9, q1") \
721 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
722 __ASM_EMIT("vcvt.s32.f32 q9, q9") \
723 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
724 __ASM_EMIT("vcvt.f32.s32 q9, q9") \
725 __ASM_EMIT("vmls.f32 q0, q4, q8") /* q0 = s - d*int(s/d) */ \
726 __ASM_EMIT("vmls.f32 q1, q5, q9") \
727 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
728 __ASM_EMIT("sub %[count], #8") \
729 /* 4x blocks */ \
730 __ASM_EMIT("4:") \
731 __ASM_EMIT("adds %[count], #4") \
732 __ASM_EMIT("blt 6f") \
733 __ASM_EMIT("vldm %[" SEL(SRC2, SRC1) "]" SEL(INC2, INC1) ", {q4}") \
734 __ASM_EMIT(SEL("vmul.f32 q4, q4, q12", "")) /* q4 = d */ \
735 __ASM_EMIT("vrecpe.f32 q8, q4") /* q8 = s2 */ \
736 __ASM_EMIT("vrecps.f32 q0, q8, q4") /* q0 = (2 - R*s2) */ \
737 __ASM_EMIT("vmul.f32 q8, q0, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
738 __ASM_EMIT("vrecps.f32 q0, q8, q4") /* q0 = (2 - R*s2') */ \
739 __ASM_EMIT("vmul.f32 q8, q0, q8") /* q8 = s2" = s2' * (2 - R*s2) = 1/d */ \
740 __ASM_EMIT("vldm %[" SEL(SRC1, SRC2) "]" SEL(INC1, INC2) ", {q0}") \
741 __ASM_EMIT(SEL("", "vmul.f32 q0, q0, q12")) /* q0 = s */ \
742 __ASM_EMIT("vmul.f32 q8, q8, q0") /* q8 = s/d */ \
743 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
744 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
745 __ASM_EMIT("vmls.f32 q0, q4, q8") /* q0 = s - d*int(s/d) */ \
746 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
747 __ASM_EMIT("sub %[count], #4") \
748 /* 1x blocks */ \
749 __ASM_EMIT("6:") \
750 __ASM_EMIT("adds %[count], #3") \
751 __ASM_EMIT("blt 8f") \
752 __ASM_EMIT("7:") \
753 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" SEL(SRC2, SRC1) "]]" SEL(INC2, INC1)) \
754 __ASM_EMIT(SEL("vmul.f32 q4, q4, q12", "")) /* q4 = d */ \
755 __ASM_EMIT("vrecpe.f32 q8, q4") /* q8 = s2 */ \
756 __ASM_EMIT("vrecps.f32 q0, q8, q4") /* q0 = (2 - R*s2) */ \
757 __ASM_EMIT("vmul.f32 q8, q0, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
758 __ASM_EMIT("vrecps.f32 q0, q8, q4") /* q0 = (2 - R*s2') */ \
759 __ASM_EMIT("vmul.f32 q8, q0, q8") /* q8 = s2" = s2' * (2 - R*s2) = 1/d */ \
760 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SEL(SRC1, SRC2) "]]" SEL(INC1, INC2)) \
761 __ASM_EMIT(SEL("", "vmul.f32 q0, q0, q12")) /* q0 = s */ \
762 __ASM_EMIT("vmul.f32 q8, q8, q0") /* q8 = s/d */ \
763 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
764 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
765 __ASM_EMIT("vmls.f32 q0, q4, q8") /* q0 = s - d*int(s/d) */ \
766 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
767 __ASM_EMIT("subs %[count], #1") \
768 __ASM_EMIT("bge 7b") \
769 __ASM_EMIT("8:")
770
771 void fmmod_k3(float *dst, const float *src, float k, size_t count)
772 {
773 IF_ARCH_ARM(float *pk = &k);
774 ARCH_ARM_ASM
775 (
776 __ASM_EMIT("vld1.f32 {d24[], d25[]}, [%[k]]")
777 FMMOD_VV_CORE("dst", "dst", "", "src", "!", OP_DSEL)
778 : [dst] "+r" (dst), [src] "+r" (src),
779 [count] "+r" (count)
780 : [k] "r" (pk)
781 : "cc", "memory",
782 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
783 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
784 );
785 }
786
787 void fmrmod_k3(float *dst, const float *src, float k, size_t count)
788 {
789 IF_ARCH_ARM(float *pk = &k);
790 ARCH_ARM_ASM
791 (
792 __ASM_EMIT("vld1.f32 {d24[], d25[]}, [%[k]]")
793 FMMOD_VV_CORE("dst", "dst", "", "src", "!", OP_RSEL)
794 : [dst] "+r" (dst), [src] "+r" (src),
795 [count] "+r" (count)
796 : [k] "r" (pk)
797 : "cc", "memory",
798 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
799 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
800 );
801 }
802
803 void fmmod_k4(float *dst, const float *src1, const float *src2, float k, size_t count)
804 {
805 IF_ARCH_ARM(float *pk = &k);
806 ARCH_ARM_ASM
807 (
808 __ASM_EMIT("vld1.f32 {d24[], d25[]}, [%[k]]")
809 FMMOD_VV_CORE("dst", "src1", "!", "src2", "!", OP_DSEL)
810 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
811 [count] "+r" (count)
812 : [k] "r" (pk)
813 : "cc", "memory",
814 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
815 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
816 );
817 }
818
819 void fmrmod_k4(float *dst, const float *src1, const float *src2, float k, size_t count)
820 {
821 IF_ARCH_ARM(float *pk = &k);
822 ARCH_ARM_ASM
823 (
824 __ASM_EMIT("vld1.f32 {d24[], d25[]}, [%[k]]")
825 FMMOD_VV_CORE("dst", "src1", "!", "src2", "!", OP_RSEL)
826 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
827 [count] "+r" (count)
828 : [k] "r" (pk)
829 : "cc", "memory",
830 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
831 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
832 );
833 }
834
835 #undef FMMOD_VV_CORE
836
837 #undef OP_DSEL
838 #undef OP_RSEL
839 }
840 }
841
842 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_FMOP_KX_H_ */