Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/pmath/op_kx.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_OP_KX_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_OP_KX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 #define OP_DORDER(a, b) a "," b
34 #define OP_RORDER(a, b) b "," a
35
36 #define OP_K2_CORE(DST, OP, ORDER) \
37 __ASM_EMIT("subs %[count], #32") \
38 __ASM_EMIT("vmov q9, q8") \
39 __ASM_EMIT("blo 2f") \
40 /* 32x blocks */ \
41 __ASM_EMIT("1:") \
42 __ASM_EMIT("vldm %[" DST "], {q0-q7}") \
43 __ASM_EMIT(OP ".f32 q0, " ORDER("q0", "q8")) \
44 __ASM_EMIT(OP ".f32 q1, " ORDER("q1", "q9")) \
45 __ASM_EMIT(OP ".f32 q2, " ORDER("q2", "q8")) \
46 __ASM_EMIT(OP ".f32 q3, " ORDER("q3", "q9")) \
47 __ASM_EMIT(OP ".f32 q4, " ORDER("q4", "q8")) \
48 __ASM_EMIT(OP ".f32 q5, " ORDER("q5", "q9")) \
49 __ASM_EMIT(OP ".f32 q6, " ORDER("q6", "q8")) \
50 __ASM_EMIT(OP ".f32 q7, " ORDER("q7", "q9")) \
51 __ASM_EMIT("subs %[count], #32") \
52 __ASM_EMIT("vstm %[" DST "]!, {q0-q7}") \
53 __ASM_EMIT("bhs 1b") \
54 /* 16x block */ \
55 __ASM_EMIT("2:") \
56 __ASM_EMIT("adds %[count], #16") /* 32 - 16 */ \
57 __ASM_EMIT("blt 4f") \
58 __ASM_EMIT("vldm %[" DST "], {q0-q3}") \
59 __ASM_EMIT(OP ".f32 q0, " ORDER("q0", "q8")) \
60 __ASM_EMIT(OP ".f32 q1, " ORDER("q1", "q9")) \
61 __ASM_EMIT(OP ".f32 q2, " ORDER("q2", "q8")) \
62 __ASM_EMIT(OP ".f32 q3, " ORDER("q3", "q9")) \
63 __ASM_EMIT("sub %[count], #16") \
64 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
65 /* 8x block */ \
66 __ASM_EMIT("4:") \
67 __ASM_EMIT("adds %[count], #8") /* 16 - 8 */ \
68 __ASM_EMIT("blt 6f") \
69 __ASM_EMIT("vldm %[" DST "], {q0-q1}") \
70 __ASM_EMIT(OP ".f32 q0, " ORDER("q0", "q8")) \
71 __ASM_EMIT(OP ".f32 q1, " ORDER("q1", "q9")) \
72 __ASM_EMIT("sub %[count], #8") \
73 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
74 /* 4x block */ \
75 __ASM_EMIT("6:") \
76 __ASM_EMIT("adds %[count], #4") /* 8 - 4 */ \
77 __ASM_EMIT("blt 8f") \
78 __ASM_EMIT("vldm %[" DST "], {q0}") \
79 __ASM_EMIT(OP ".f32 q0, " ORDER("q0", "q8")) \
80 __ASM_EMIT("sub %[count], #4") \
81 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
82 /* 1x block */ \
83 __ASM_EMIT("8:") \
84 __ASM_EMIT("adds %[count], #3") /* 4 - 3 */ \
85 __ASM_EMIT("blt 10f") \
86 __ASM_EMIT("9:") \
87 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" DST "]]") \
88 __ASM_EMIT(OP ".f32 q0, " ORDER("q0", "q8")) \
89 __ASM_EMIT("subs %[count], #1") \
90 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
91 __ASM_EMIT("bge 9b") \
92 __ASM_EMIT("10:")
93
94 #define OP_K3_CORE(DST, SRC, OP, ORDER) \
95 __ASM_EMIT("subs %[count], #32") \
96 __ASM_EMIT("vmov q9, q8") \
97 __ASM_EMIT("blo 2f") \
98 /* 32x blocks */ \
99 __ASM_EMIT("1:") \
100 __ASM_EMIT("vldm %[" SRC "]!, {q0-q7}") \
101 __ASM_EMIT(OP ".f32 q0, " ORDER("q0", "q8")) \
102 __ASM_EMIT(OP ".f32 q1, " ORDER("q1", "q9")) \
103 __ASM_EMIT(OP ".f32 q2, " ORDER("q2", "q8")) \
104 __ASM_EMIT(OP ".f32 q3, " ORDER("q3", "q9")) \
105 __ASM_EMIT(OP ".f32 q4, " ORDER("q4", "q8")) \
106 __ASM_EMIT(OP ".f32 q5, " ORDER("q5", "q9")) \
107 __ASM_EMIT(OP ".f32 q6, " ORDER("q6", "q8")) \
108 __ASM_EMIT(OP ".f32 q7, " ORDER("q7", "q9")) \
109 __ASM_EMIT("subs %[count], #32") \
110 __ASM_EMIT("vstm %[" DST "]!, {q0-q7}") \
111 __ASM_EMIT("bhs 1b") \
112 /* 16x block */ \
113 __ASM_EMIT("2:") \
114 __ASM_EMIT("adds %[count], #16") /* 32 - 16 */ \
115 __ASM_EMIT("blt 4f") \
116 __ASM_EMIT("vldm %[" SRC "]!, {q0-q3}") \
117 __ASM_EMIT(OP ".f32 q0, " ORDER("q0", "q8")) \
118 __ASM_EMIT(OP ".f32 q1, " ORDER("q1", "q9")) \
119 __ASM_EMIT(OP ".f32 q2, " ORDER("q2", "q8")) \
120 __ASM_EMIT(OP ".f32 q3, " ORDER("q3", "q9")) \
121 __ASM_EMIT("sub %[count], #16") \
122 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
123 /* 8x block */ \
124 __ASM_EMIT("4:") \
125 __ASM_EMIT("adds %[count], #8") /* 16 - 8 */ \
126 __ASM_EMIT("blt 6f") \
127 __ASM_EMIT("vldm %[" SRC "]!, {q0-q1}") \
128 __ASM_EMIT(OP ".f32 q0, " ORDER("q0", "q8")) \
129 __ASM_EMIT(OP ".f32 q1, " ORDER("q1", "q9")) \
130 __ASM_EMIT("sub %[count], #8") \
131 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
132 /* 4x block */ \
133 __ASM_EMIT("6:") \
134 __ASM_EMIT("adds %[count], #4") /* 8 - 4 */ \
135 __ASM_EMIT("blt 8f") \
136 __ASM_EMIT("vldm %[" SRC "]!, {q0}") \
137 __ASM_EMIT(OP ".f32 q0, " ORDER("q0", "q8")) \
138 __ASM_EMIT("sub %[count], #4") \
139 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
140 /* 1x block */ \
141 __ASM_EMIT("8:") \
142 __ASM_EMIT("adds %[count], #3") /* 4 - 1 */ \
143 __ASM_EMIT("blt 10f") \
144 __ASM_EMIT("9:") \
145 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SRC "]]!") \
146 __ASM_EMIT(OP ".f32 q0, " ORDER("q0", "q8")) \
147 __ASM_EMIT("subs %[count], #1") \
148 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
149 __ASM_EMIT("bge 9b") \
150 __ASM_EMIT("10:")
151
152 #define RDIV_KX_CORE(DST, SRC, INC) \
153 __ASM_EMIT("subs %[count], #16") \
154 __ASM_EMIT("vmov q5, q4") \
155 __ASM_EMIT("blo 2f") \
156 /* 16x blocks */ \
157 __ASM_EMIT("1:") \
158 __ASM_EMIT("vldm %[" SRC "]" INC ", {q0-q3}") \
159 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
160 __ASM_EMIT("vrecpe.f32 q9, q1") \
161 __ASM_EMIT("vrecpe.f32 q10, q2") \
162 __ASM_EMIT("vrecpe.f32 q11, q3") \
163 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
164 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
165 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
166 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
167 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
168 __ASM_EMIT("vmul.f32 q9, q13, q9") \
169 __ASM_EMIT("vmul.f32 q10, q14, q10") \
170 __ASM_EMIT("vmul.f32 q11, q15, q11") \
171 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
172 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
173 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
174 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
175 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
176 __ASM_EMIT("vmul.f32 q1, q13, q9") \
177 __ASM_EMIT("vmul.f32 q2, q14, q10") \
178 __ASM_EMIT("vmul.f32 q3, q15, q11") \
179 __ASM_EMIT("vmul.f32 q0, q0, q4") /* k / s2 */ \
180 __ASM_EMIT("vmul.f32 q1, q1, q5") \
181 __ASM_EMIT("vmul.f32 q2, q2, q4") \
182 __ASM_EMIT("vmul.f32 q3, q3, q5") \
183 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
184 __ASM_EMIT("subs %[count], #16") \
185 __ASM_EMIT("bhs 1b") \
186 /* 8x block */ \
187 __ASM_EMIT("2:") \
188 __ASM_EMIT("adds %[count], #8") \
189 __ASM_EMIT("blt 4f") \
190 __ASM_EMIT("vldm %[" SRC "]" INC ", {q0-q1}") \
191 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
192 __ASM_EMIT("vrecpe.f32 q9, q1") \
193 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
194 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
195 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
196 __ASM_EMIT("vmul.f32 q9, q13, q9") \
197 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
198 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
199 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
200 __ASM_EMIT("vmul.f32 q1, q13, q9") \
201 __ASM_EMIT("vmul.f32 q0, q0, q4") /* k / s2 */ \
202 __ASM_EMIT("vmul.f32 q1, q1, q5") \
203 __ASM_EMIT("sub %[count], #8") \
204 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
205 /* 4x blocks */ \
206 __ASM_EMIT("4:") \
207 __ASM_EMIT("adds %[count], #4") \
208 __ASM_EMIT("blt 6f") \
209 __ASM_EMIT("vldm %[" SRC "]" INC ", {q0}") \
210 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
211 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
212 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
213 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
214 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
215 __ASM_EMIT("vmul.f32 q0, q0, q4") /* s1 / s2 */ \
216 __ASM_EMIT("sub %[count], #4") \
217 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
218 /* 1x blocks */ \
219 __ASM_EMIT("6:") \
220 __ASM_EMIT("adds %[count], #3") \
221 __ASM_EMIT("blt 8f") \
222 __ASM_EMIT("7:") \
223 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SRC "]]" INC ) \
224 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
225 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
226 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
227 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
228 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
229 __ASM_EMIT("vmul.f32 q0, q0, q4") /* s1 / s2 */ \
230 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
231 __ASM_EMIT("subs %[count], #1") \
232 __ASM_EMIT("bge 7b") \
233 __ASM_EMIT("8:")
234
235
236 #define MOD_KX_CORE(DST, SRC, INC) \
237 __ASM_EMIT("subs %[count], #16") \
238 __ASM_EMIT("vrecpe.f32 q8, q4") \
239 __ASM_EMIT("vmov q5, q4") /* q5 = k */ \
240 __ASM_EMIT("vrecps.f32 q12, q8, q4") \
241 __ASM_EMIT("vmul.f32 q8, q12, q8") \
242 __ASM_EMIT("vrecps.f32 q12, q8, q4") \
243 __ASM_EMIT("vmul.f32 q6, q12, q8") /* q6 = 1/k */ \
244 __ASM_EMIT("vmov q7, q6") /* q7 = 1/k */ \
245 __ASM_EMIT("blo 2f") \
246 /* 16x blocks */ \
247 __ASM_EMIT("1:") \
248 __ASM_EMIT("vldm %[" SRC "]" INC ", {q0-q3}") \
249 __ASM_EMIT("vmul.f32 q8, q0, q6") /* q0 = x/k */ \
250 __ASM_EMIT("vmul.f32 q9, q1, q7") \
251 __ASM_EMIT("vmul.f32 q10, q2, q6") \
252 __ASM_EMIT("vmul.f32 q11, q3, q7") \
253 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
254 __ASM_EMIT("vcvt.s32.f32 q9, q9") \
255 __ASM_EMIT("vcvt.s32.f32 q10, q10") \
256 __ASM_EMIT("vcvt.s32.f32 q11, q11") \
257 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
258 __ASM_EMIT("vcvt.f32.s32 q9, q9") \
259 __ASM_EMIT("vcvt.f32.s32 q10, q10") \
260 __ASM_EMIT("vcvt.f32.s32 q11, q11") \
261 __ASM_EMIT("vmls.f32 q0, q8, q4") \
262 __ASM_EMIT("vmls.f32 q1, q9, q5") \
263 __ASM_EMIT("vmls.f32 q2, q10, q4") \
264 __ASM_EMIT("vmls.f32 q3, q11, q5") \
265 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
266 __ASM_EMIT("subs %[count], #16") \
267 __ASM_EMIT("bhs 1b") \
268 /* 8x block */ \
269 __ASM_EMIT("2:") \
270 __ASM_EMIT("adds %[count], #8") \
271 __ASM_EMIT("blt 4f") \
272 __ASM_EMIT("vldm %[" SRC "]" INC ", {q0-q1}") \
273 __ASM_EMIT("vmul.f32 q8, q0, q6") /* q0 = x/k */ \
274 __ASM_EMIT("vmul.f32 q9, q1, q7") \
275 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
276 __ASM_EMIT("vcvt.s32.f32 q9, q9") \
277 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
278 __ASM_EMIT("vcvt.f32.s32 q9, q9") \
279 __ASM_EMIT("vmls.f32 q0, q8, q4") \
280 __ASM_EMIT("vmls.f32 q1, q9, q5") \
281 __ASM_EMIT("sub %[count], #8") \
282 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
283 /* 4x blocks */ \
284 __ASM_EMIT("4:") \
285 __ASM_EMIT("adds %[count], #4") \
286 __ASM_EMIT("blt 6f") \
287 __ASM_EMIT("vldm %[" SRC "]" INC ", {q0}") \
288 __ASM_EMIT("vmul.f32 q8, q0, q6") /* q0 = x/k */ \
289 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
290 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
291 __ASM_EMIT("vmls.f32 q0, q8, q4") \
292 __ASM_EMIT("sub %[count], #4") \
293 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
294 /* 1x blocks */ \
295 __ASM_EMIT("6:") \
296 __ASM_EMIT("adds %[count], #3") \
297 __ASM_EMIT("blt 8f") \
298 __ASM_EMIT("7:") \
299 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SRC "]]" INC) \
300 __ASM_EMIT("vmul.f32 q8, q0, q6") /* q0 = x/k */ \
301 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
302 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
303 __ASM_EMIT("vmls.f32 q0, q8, q4") \
304 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
305 __ASM_EMIT("subs %[count], #1") \
306 __ASM_EMIT("bge 7b") \
307 __ASM_EMIT("8:")
308
309 #define RMOD_KX_CORE(DST, SRC, INC) \
310 __ASM_EMIT("subs %[count], #16") \
311 __ASM_EMIT("vmov q5, q4") /* q5 = k */ \
312 __ASM_EMIT("blo 2f") \
313 /* 16x blocks */ \
314 __ASM_EMIT("1:") \
315 __ASM_EMIT("vldm %[" SRC "]" INC ", {q0-q3}") \
316 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
317 __ASM_EMIT("vrecpe.f32 q9, q1") \
318 __ASM_EMIT("vrecpe.f32 q10, q2") \
319 __ASM_EMIT("vrecpe.f32 q11, q3") \
320 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
321 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
322 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
323 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
324 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
325 __ASM_EMIT("vmul.f32 q9, q13, q9") \
326 __ASM_EMIT("vmul.f32 q10, q14, q10") \
327 __ASM_EMIT("vmul.f32 q11, q15, q11") \
328 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
329 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
330 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
331 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
332 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2" = s2' * (2 - R*s2) = 1/x */ \
333 __ASM_EMIT("vmul.f32 q9, q13, q9") \
334 __ASM_EMIT("vmul.f32 q10, q14, q10") \
335 __ASM_EMIT("vmul.f32 q11, q15, q11") \
336 __ASM_EMIT("vmul.f32 q8, q8, q4") /* q8 = k/x */ \
337 __ASM_EMIT("vmul.f32 q9, q9, q5") \
338 __ASM_EMIT("vmul.f32 q10, q10, q4") \
339 __ASM_EMIT("vmul.f32 q11, q11, q5") \
340 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
341 __ASM_EMIT("vcvt.s32.f32 q9, q9") \
342 __ASM_EMIT("vcvt.s32.f32 q10, q10") \
343 __ASM_EMIT("vcvt.s32.f32 q11, q11") \
344 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
345 __ASM_EMIT("vcvt.f32.s32 q9, q9") \
346 __ASM_EMIT("vcvt.f32.s32 q10, q10") \
347 __ASM_EMIT("vcvt.f32.s32 q11, q11") \
348 __ASM_EMIT("vmul.f32 q0, q0, q8") /* q0 = x * int(k/x) */ \
349 __ASM_EMIT("vmul.f32 q1, q1, q9") \
350 __ASM_EMIT("vmul.f32 q2, q2, q10") \
351 __ASM_EMIT("vmul.f32 q3, q3, q11") \
352 __ASM_EMIT("vsub.f32 q0, q4, q0") /* q0 = k - x * int(k/x) */ \
353 __ASM_EMIT("vsub.f32 q1, q5, q1") \
354 __ASM_EMIT("vsub.f32 q2, q4, q2") \
355 __ASM_EMIT("vsub.f32 q3, q5, q3") \
356 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
357 __ASM_EMIT("subs %[count], #16") \
358 __ASM_EMIT("bhs 1b") \
359 /* 8x block */ \
360 __ASM_EMIT("2:") \
361 __ASM_EMIT("adds %[count], #8") \
362 __ASM_EMIT("blt 4f") \
363 __ASM_EMIT("vldm %[" SRC "]" INC ", {q0-q1}") \
364 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
365 __ASM_EMIT("vrecpe.f32 q9, q1") \
366 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
367 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
368 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
369 __ASM_EMIT("vmul.f32 q9, q13, q9") \
370 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
371 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
372 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2" = s2' * (2 - R*s2) = 1/x */ \
373 __ASM_EMIT("vmul.f32 q9, q13, q9") \
374 __ASM_EMIT("vmul.f32 q8, q8, q4") /* q8 = k/x */ \
375 __ASM_EMIT("vmul.f32 q9, q9, q5") \
376 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
377 __ASM_EMIT("vcvt.s32.f32 q9, q9") \
378 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
379 __ASM_EMIT("vcvt.f32.s32 q9, q9") \
380 __ASM_EMIT("vmul.f32 q0, q0, q8") /* q0 = x * int(k/x) */ \
381 __ASM_EMIT("vmul.f32 q1, q1, q9") \
382 __ASM_EMIT("vsub.f32 q0, q4, q0") /* q0 = k - x * int(k/x) */ \
383 __ASM_EMIT("vsub.f32 q1, q5, q1") \
384 __ASM_EMIT("sub %[count], #8") \
385 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
386 /* 4x blocks */ \
387 __ASM_EMIT("4:") \
388 __ASM_EMIT("adds %[count], #4") \
389 __ASM_EMIT("blt 6f") \
390 __ASM_EMIT("vldm %[" SRC "]" INC ", {q0}") \
391 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
392 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
393 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
394 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
395 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2" = s2' * (2 - R*s2) = 1/x */ \
396 __ASM_EMIT("vmul.f32 q8, q8, q4") /* q8 = k/x */ \
397 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
398 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
399 __ASM_EMIT("vmul.f32 q0, q0, q8") /* q0 = x * int(k/x) */ \
400 __ASM_EMIT("vsub.f32 q0, q4, q0") /* q0 = k - x * int(k/x) */ \
401 __ASM_EMIT("sub %[count], #4") \
402 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
403 /* 1x blocks */ \
404 __ASM_EMIT("6:") \
405 __ASM_EMIT("adds %[count], #3") \
406 __ASM_EMIT("blt 8f") \
407 __ASM_EMIT("7:") \
408 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SRC "]]" INC) \
409 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
410 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
411 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
412 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
413 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2" = s2' * (2 - R*s2) = 1/x */ \
414 __ASM_EMIT("vmul.f32 q8, q8, q4") /* q8 = k/x */ \
415 __ASM_EMIT("vcvt.s32.f32 q8, q8") \
416 __ASM_EMIT("vcvt.f32.s32 q8, q8") \
417 __ASM_EMIT("vmul.f32 q0, q0, q8") /* q0 = x * int(k/x) */ \
418 __ASM_EMIT("vsub.f32 q0, q4, q0") /* q0 = k - x * int(k/x) */ \
419 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
420 __ASM_EMIT("subs %[count], #1") \
421 __ASM_EMIT("bge 7b") \
422 __ASM_EMIT("8:")
423
424 void add_k2(float *dst, float k, size_t count)
425 {
426 IF_ARCH_ARM(float *pk = &k);
427 ARCH_ARM_ASM
428 (
429 __ASM_EMIT("vld1.f32 {d16[], d17[]}, [%[k]]")
430 OP_K2_CORE("dst", "vadd", OP_DORDER)
431 : [dst] "+r" (dst),
432 [count] "+r" (count)
433 : [k] "r" (pk)
434 : "cc", "memory",
435 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
436 "q8", "q9"
437 );
438 }
439
440 void sub_k2(float *dst, float k, size_t count)
441 {
442 IF_ARCH_ARM(float *pk = &k);
443 ARCH_ARM_ASM
444 (
445 __ASM_EMIT("vld1.f32 {d16[], d17[]}, [%[k]]")
446 OP_K2_CORE("dst", "vsub", OP_DORDER)
447 : [dst] "+r" (dst),
448 [count] "+r" (count)
449 : [k] "r" (pk)
450 : "cc", "memory",
451 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
452 "q8", "q9"
453 );
454 }
455
456 void rsub_k2(float *dst, float k, size_t count)
457 {
458 IF_ARCH_ARM(float *pk = &k);
459 ARCH_ARM_ASM
460 (
461 __ASM_EMIT("vld1.f32 {d16[], d17[]}, [%[k]]")
462 OP_K2_CORE("dst", "vsub", OP_RORDER)
463 : [dst] "+r" (dst),
464 [count] "+r" (count)
465 : [k] "r" (pk)
466 : "cc", "memory",
467 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
468 "q8", "q9"
469 );
470 }
471
472 void mul_k2(float *dst, float k, size_t count)
473 {
474 IF_ARCH_ARM(float *pk = &k);
475 ARCH_ARM_ASM
476 (
477 __ASM_EMIT("vld1.f32 {d16[], d17[]}, [%[k]]")
478 OP_K2_CORE("dst", "vmul", OP_DORDER)
479 : [dst] "+r" (dst),
480 [count] "+r" (count)
481 : [k] "r" (pk)
482 : "cc", "memory",
483 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
484 "q8", "q9"
485 );
486 }
487
488 void div_k2(float *dst, float k, size_t count)
489 {
490 IF_ARCH_ARM(float *pk = &k);
491 ARCH_ARM_ASM
492 (
493 __ASM_EMIT("vld1.f32 {d0[], d1[]}, [%[k]]")
494 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = k */
495 __ASM_EMIT("vrecps.f32 q9, q8, q0") /* q9 = (2 - R*k) */
496 __ASM_EMIT("vmul.f32 q8, q9, q8") /* q8 = k' = k * (2 - R*k) */
497 __ASM_EMIT("vrecps.f32 q9, q8, q0") /* q9 = (2 - R*k') */
498 __ASM_EMIT("vmul.f32 q8, q9, q8") /* q8 = k" = k' * (2 - R*k) = 1/k */
499 OP_K2_CORE("dst", "vmul", OP_DORDER)
500 : [dst] "+r" (dst),
501 [count] "+r" (count)
502 : [k] "r" (pk)
503 : "cc", "memory",
504 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
505 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
506 );
507 }
508
509 void rdiv_k2(float *dst, float k, size_t count)
510 {
511 IF_ARCH_ARM(float *pk = &k);
512 ARCH_ARM_ASM
513 (
514 __ASM_EMIT("vld1.f32 {d8[], d9[]}, [%[k]]")
515 RDIV_KX_CORE("dst", "dst", "")
516 : [dst] "+r" (dst),
517 [count] "+r" (count)
518 : [k] "r" (pk)
519 : "cc", "memory",
520 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
521 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
522 );
523 }
524
525 void mod_k2(float *dst, float k, size_t count)
526 {
527 IF_ARCH_ARM(float *pk = &k);
528 ARCH_ARM_ASM
529 (
530 __ASM_EMIT("vld1.f32 {d8[], d9[]}, [%[k]]")
531 MOD_KX_CORE("dst", "dst", "")
532 : [dst] "+r" (dst),
533 [count] "+r" (count)
534 : [k] "r" (pk)
535 : "cc", "memory",
536 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
537 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
538 );
539 }
540
541 void rmod_k2(float *dst, float k, size_t count)
542 {
543 IF_ARCH_ARM(float *pk = &k);
544 ARCH_ARM_ASM
545 (
546 __ASM_EMIT("vld1.f32 {d8[], d9[]}, [%[k]]")
547 RMOD_KX_CORE("dst", "dst", "")
548 : [dst] "+r" (dst),
549 [count] "+r" (count)
550 : [k] "r" (pk)
551 : "cc", "memory",
552 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
553 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
554 );
555 }
556
557 void add_k3(float *dst, const float *src, float k, size_t count)
558 {
559 IF_ARCH_ARM(float *pk = &k);
560 ARCH_ARM_ASM
561 (
562 __ASM_EMIT("vld1.f32 {d16[], d17[]}, [%[k]]")
563 OP_K3_CORE("dst", "src", "vadd", OP_DORDER)
564 : [dst] "+r" (dst), [src] "+r" (src),
565 [count] "+r" (count)
566 : [k] "r" (pk)
567 : "cc", "memory",
568 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
569 "q8", "q9"
570 );
571 }
572
573 void sub_k3(float *dst, const float *src, float k, size_t count)
574 {
575 IF_ARCH_ARM(float *pk = &k);
576 ARCH_ARM_ASM
577 (
578 __ASM_EMIT("vld1.f32 {d16[], d17[]}, [%[k]]")
579 OP_K3_CORE("dst", "src", "vsub", OP_DORDER)
580 : [dst] "+r" (dst), [src] "+r" (src),
581 [count] "+r" (count)
582 : [k] "r" (pk)
583 : "cc", "memory",
584 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
585 "q8", "q9"
586 );
587 }
588
589 void rsub_k3(float *dst, const float *src, float k, size_t count)
590 {
591 IF_ARCH_ARM(float *pk = &k);
592 ARCH_ARM_ASM
593 (
594 __ASM_EMIT("vld1.f32 {d16[], d17[]}, [%[k]]")
595 OP_K3_CORE("dst", "src", "vsub", OP_RORDER)
596 : [dst] "+r" (dst), [src] "+r" (src),
597 [count] "+r" (count)
598 : [k] "r" (pk)
599 : "cc", "memory",
600 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
601 "q8", "q9"
602 );
603 }
604
605 void mul_k3(float *dst, const float *src, float k, size_t count)
606 {
607 IF_ARCH_ARM(float *pk = &k);
608 ARCH_ARM_ASM
609 (
610 __ASM_EMIT("vld1.f32 {d16[], d17[]}, [%[k]]")
611 OP_K3_CORE("dst", "src", "vmul", OP_DORDER)
612 : [dst] "+r" (dst), [src] "+r" (src),
613 [count] "+r" (count)
614 : [k] "r" (pk)
615 : "cc", "memory",
616 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
617 "q8", "q9"
618 );
619 }
620
621 void div_k3(float *dst, const float *src, float k, size_t count)
622 {
623 IF_ARCH_ARM(float *pk = &k);
624 ARCH_ARM_ASM
625 (
626 __ASM_EMIT("vld1.f32 {d0[], d1[]}, [%[k]]")
627 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = k */
628 __ASM_EMIT("vrecps.f32 q9, q8, q0") /* q9 = (2 - R*k) */
629 __ASM_EMIT("vmul.f32 q8, q9, q8") /* q8 = k' = k * (2 - R*k) */
630 __ASM_EMIT("vrecps.f32 q9, q8, q0") /* q9 = (2 - R*k') */
631 __ASM_EMIT("vmul.f32 q8, q9, q8") /* q8 = k" = k' * (2 - R*k) = 1/k */
632 OP_K3_CORE("dst", "src", "vmul", OP_DORDER)
633 : [dst] "+r" (dst), [src] "+r" (src),
634 [count] "+r" (count)
635 : [k] "r" (pk)
636 : "cc", "memory",
637 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
638 "q8", "q9"
639 );
640 }
641
642 void rdiv_k3(float *dst, const float *src, float k, size_t count)
643 {
644 IF_ARCH_ARM(float *pk = &k);
645 ARCH_ARM_ASM
646 (
647 __ASM_EMIT("vld1.f32 {d8[], d9[]}, [%[k]]")
648 RDIV_KX_CORE("dst", "src", "!")
649 : [dst] "+r" (dst), [src] "+r" (src),
650 [count] "+r" (count)
651 : [k] "r" (pk)
652 : "cc", "memory",
653 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
654 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
655 );
656 }
657
658 void mod_k3(float *dst, const float *src, float k, size_t count)
659 {
660 IF_ARCH_ARM(float *pk = &k);
661 ARCH_ARM_ASM
662 (
663 __ASM_EMIT("vld1.f32 {d8[], d9[]}, [%[k]]")
664 MOD_KX_CORE("dst", "src", "!")
665 : [dst] "+r" (dst), [src] "+r" (src),
666 [count] "+r" (count)
667 : [k] "r" (pk)
668 : "cc", "memory",
669 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
670 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
671 );
672 }
673
674 void rmod_k3(float *dst, const float *src, float k, size_t count)
675 {
676 IF_ARCH_ARM(float *pk = &k);
677 ARCH_ARM_ASM
678 (
679 __ASM_EMIT("vld1.f32 {d8[], d9[]}, [%[k]]")
680 RMOD_KX_CORE("dst", "src", "!")
681 : [dst] "+r" (dst), [src] "+r" (src),
682 [count] "+r" (count)
683 : [k] "r" (pk)
684 : "cc", "memory",
685 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
686 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
687 );
688 }
689
690 #undef OP_DORDER
691 #undef OP_RORDER
692 #undef OP_K2_CORE
693 #undef OP_K3_CORE
694 #undef RDIV_KX_CORE
695 #undef MOD_KX_CORE
696 #undef RMOD_KX_CORE
697 }
698 }
699
700 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_OP_KX_H_ */