Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/pmath/abs_vv.h

raw
1 /*
2 * Copyright (C) 2024 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2024 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_ABS_VV_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_ABS_VV_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 #define OP_DSEL(a, b) a
34 #define OP_RSEL(a, b) b
35
36 #define ABS_VV2_CORE(DST, SRC, OP, SEL) \
37 __ASM_EMIT("subs %[count], #32") \
38 __ASM_EMIT("blo 2f") \
39 /* 32x blocks */ \
40 __ASM_EMIT("1:") \
41 __ASM_EMIT("vldm %[" SEL(SRC, DST) "], {q8-q15}") \
42 __ASM_EMIT("vldm %[" SEL(DST, SRC) "], {q0-q7}") \
43 __ASM_EMIT("vabs.f32 " SEL("q8, q8", "q0, q0")) \
44 __ASM_EMIT("vabs.f32 " SEL("q9, q9", "q1, q1")) \
45 __ASM_EMIT("vabs.f32 " SEL("q10, q10", "q2, q2")) \
46 __ASM_EMIT("vabs.f32 " SEL("q11, q11", "q3, q3")) \
47 __ASM_EMIT("vabs.f32 " SEL("q12, q12", "q4, q4")) \
48 __ASM_EMIT("vabs.f32 " SEL("q13, q13", "q5, q5")) \
49 __ASM_EMIT("vabs.f32 " SEL("q14, q14", "q6, q6")) \
50 __ASM_EMIT("vabs.f32 " SEL("q15, q15", "q7, q7")) \
51 __ASM_EMIT(OP ".f32 q0, q0, q8") \
52 __ASM_EMIT(OP ".f32 q1, q1, q9") \
53 __ASM_EMIT(OP ".f32 q2, q2, q10") \
54 __ASM_EMIT(OP ".f32 q3, q3, q11") \
55 __ASM_EMIT(OP ".f32 q4, q4, q12") \
56 __ASM_EMIT(OP ".f32 q5, q5, q13") \
57 __ASM_EMIT(OP ".f32 q6, q6, q14") \
58 __ASM_EMIT(OP ".f32 q7, q7, q15") \
59 __ASM_EMIT("subs %[count], #32") \
60 __ASM_EMIT("vstm %[" DST "]!, {q0-q7}") \
61 __ASM_EMIT("add %[" SRC "], #0x80") \
62 __ASM_EMIT("bhs 1b") \
63 /* 16x block */ \
64 __ASM_EMIT("2:") \
65 __ASM_EMIT("adds %[count], #16") /* 32 - 16 */ \
66 __ASM_EMIT("blt 4f") \
67 __ASM_EMIT("vldm %[" SEL(SRC, DST) "], {q8-q11}") \
68 __ASM_EMIT("vldm %[" SEL(DST, SRC) "], {q0-q3}") \
69 __ASM_EMIT("vabs.f32 " SEL("q8, q8", "q0, q0")) \
70 __ASM_EMIT("vabs.f32 " SEL("q9, q9", "q1, q1")) \
71 __ASM_EMIT("vabs.f32 " SEL("q10, q10", "q2, q2")) \
72 __ASM_EMIT("vabs.f32 " SEL("q11, q11", "q3, q3")) \
73 __ASM_EMIT(OP ".f32 q0, q0, q8") \
74 __ASM_EMIT(OP ".f32 q1, q1, q9") \
75 __ASM_EMIT(OP ".f32 q2, q2, q10") \
76 __ASM_EMIT(OP ".f32 q3, q3, q11") \
77 __ASM_EMIT("sub %[count], #16") \
78 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
79 __ASM_EMIT("add %[" SRC "], #0x40") \
80 /* 8x block */ \
81 __ASM_EMIT("4:") \
82 __ASM_EMIT("adds %[count], #8") /* 16 - 8 */ \
83 __ASM_EMIT("blt 6f") \
84 __ASM_EMIT("vldm %[" SEL(SRC, DST) "], {q8-q9}") \
85 __ASM_EMIT("vldm %[" SEL(DST, SRC) "], {q0-q1}") \
86 __ASM_EMIT("vabs.f32 " SEL("q8, q8", "q0, q0")) \
87 __ASM_EMIT("vabs.f32 " SEL("q9, q9", "q1, q1")) \
88 __ASM_EMIT(OP ".f32 q0, q0, q8") \
89 __ASM_EMIT(OP ".f32 q1, q1, q9") \
90 __ASM_EMIT("sub %[count], #8") \
91 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
92 __ASM_EMIT("add %[" SRC "], #0x20") \
93 /* 4x block */ \
94 __ASM_EMIT("6:") \
95 __ASM_EMIT("adds %[count], #4") /* 8 - 4 */ \
96 __ASM_EMIT("blt 8f") \
97 __ASM_EMIT("vldm %[" SEL(SRC, DST) "], {q8}") \
98 __ASM_EMIT("vldm %[" SEL(DST, SRC) "], {q0}") \
99 __ASM_EMIT("vabs.f32 " SEL("q8, q8", "q0, q0")) \
100 __ASM_EMIT(OP ".f32 q0, q0, q8") \
101 __ASM_EMIT("sub %[count], #4") \
102 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
103 __ASM_EMIT("add %[" SRC "], #0x10") \
104 /* 1x block */ \
105 __ASM_EMIT("8:") \
106 __ASM_EMIT("adds %[count], #3") /* 4 - 3 */ \
107 __ASM_EMIT("blt 10f") \
108 __ASM_EMIT("9:") \
109 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[" SEL(SRC, DST) "]]") \
110 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SEL(DST, SRC) "]]") \
111 __ASM_EMIT("vabs.f32 " SEL("q8, q8", "q0, q0")) \
112 __ASM_EMIT(OP ".f32 q0, q0, q8") \
113 __ASM_EMIT("subs %[count], #1") \
114 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
115 __ASM_EMIT("add %[" SRC "], #0x04") \
116 __ASM_EMIT("bge 9b") \
117 __ASM_EMIT("10:")
118
119 void abs_add2(float *dst, const float *src, size_t count)
120 {
121 ARCH_ARM_ASM
122 (
123 ABS_VV2_CORE("dst", "src", "vadd", OP_DSEL)
124 : [dst] "+r" (dst), [src] "+r" (src),
125 [count] "+r" (count)
126 :
127 : "cc", "memory",
128 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
129 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
130 );
131 }
132
133 void abs_sub2(float *dst, const float *src, size_t count)
134 {
135 ARCH_ARM_ASM
136 (
137 ABS_VV2_CORE("dst", "src", "vsub", OP_DSEL)
138 : [dst] "+r" (dst), [src] "+r" (src),
139 [count] "+r" (count)
140 :
141 : "cc", "memory",
142 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
143 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
144 );
145 }
146
147 void abs_rsub2(float *dst, const float *src, size_t count)
148 {
149 ARCH_ARM_ASM
150 (
151 ABS_VV2_CORE("dst", "src", "vsub", OP_RSEL)
152 : [dst] "+r" (dst), [src] "+r" (src),
153 [count] "+r" (count)
154 :
155 : "cc", "memory",
156 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
157 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
158 );
159 }
160
161 void abs_mul2(float *dst, const float *src, size_t count)
162 {
163 ARCH_ARM_ASM
164 (
165 ABS_VV2_CORE("dst", "src", "vmul", OP_DSEL)
166 : [dst] "+r" (dst), [src] "+r" (src),
167 [count] "+r" (count)
168 :
169 : "cc", "memory",
170 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
171 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
172 );
173 }
174
175 void abs_max2(float *dst, const float *src, size_t count)
176 {
177 ARCH_ARM_ASM
178 (
179 ABS_VV2_CORE("dst", "src", "vmax", OP_DSEL)
180 : [dst] "+r" (dst), [src] "+r" (src),
181 [count] "+r" (count)
182 :
183 : "cc", "memory",
184 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
185 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
186 );
187 }
188
189 void abs_min2(float *dst, const float *src, size_t count)
190 {
191 ARCH_ARM_ASM
192 (
193 ABS_VV2_CORE("dst", "src", "vmin", OP_DSEL)
194 : [dst] "+r" (dst), [src] "+r" (src),
195 [count] "+r" (count)
196 :
197 : "cc", "memory",
198 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
199 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
200 );
201 }
202
203 #undef ABS_VV2_CORE
204
205 #define ABS_DIV2_CORE(DST, SRC, SEL) \
206 __ASM_EMIT("subs %[count], #16") \
207 __ASM_EMIT("blo 2f") \
208 /* 16x blocks */ \
209 __ASM_EMIT("1:") \
210 __ASM_EMIT("vldm %[" SEL(SRC, DST) "], {q0-q3}") \
211 __ASM_EMIT("vldm %[" SEL(DST, SRC) "], {q4-q7}") \
212 __ASM_EMIT("vabs.f32 " SEL("q0, q0", "q4, q4")) \
213 __ASM_EMIT("vabs.f32 " SEL("q1, q1", "q5, q5")) \
214 __ASM_EMIT("vabs.f32 " SEL("q2, q2", "q6, q6")) \
215 __ASM_EMIT("vabs.f32 " SEL("q3, q3", "q7, q7")) \
216 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
217 __ASM_EMIT("vrecpe.f32 q9, q1") \
218 __ASM_EMIT("vrecpe.f32 q10, q2") \
219 __ASM_EMIT("vrecpe.f32 q11, q3") \
220 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
221 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
222 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
223 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
224 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
225 __ASM_EMIT("vmul.f32 q9, q13, q9") \
226 __ASM_EMIT("vmul.f32 q10, q14, q10") \
227 __ASM_EMIT("vmul.f32 q11, q15, q11") \
228 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
229 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
230 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
231 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
232 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
233 __ASM_EMIT("vmul.f32 q1, q13, q9") \
234 __ASM_EMIT("vmul.f32 q2, q14, q10") \
235 __ASM_EMIT("vmul.f32 q3, q15, q11") \
236 __ASM_EMIT("vmul.f32 q0, q0, q4") /* s1 / s2 */ \
237 __ASM_EMIT("vmul.f32 q1, q1, q5") \
238 __ASM_EMIT("vmul.f32 q2, q2, q6") \
239 __ASM_EMIT("vmul.f32 q3, q3, q7") \
240 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
241 __ASM_EMIT("subs %[count], #16") \
242 __ASM_EMIT("add %[" SRC "], #0x40") \
243 __ASM_EMIT("bhs 1b") \
244 /* 8x block */ \
245 __ASM_EMIT("2:") \
246 __ASM_EMIT("adds %[count], #8") \
247 __ASM_EMIT("blt 4f") \
248 __ASM_EMIT("vldm %[" SEL(SRC, DST) "], {q0-q1}") \
249 __ASM_EMIT("vldm %[" SEL(DST, SRC) "], {q4-q5}") \
250 __ASM_EMIT("vabs.f32 " SEL("q0, q0", "q4, q4")) \
251 __ASM_EMIT("vabs.f32 " SEL("q1, q1", "q5, q5")) \
252 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
253 __ASM_EMIT("vrecpe.f32 q9, q1") \
254 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
255 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
256 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
257 __ASM_EMIT("vmul.f32 q9, q13, q9") \
258 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
259 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
260 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
261 __ASM_EMIT("vmul.f32 q1, q13, q9") \
262 __ASM_EMIT("vmul.f32 q0, q0, q4") /* s1 / s2 */ \
263 __ASM_EMIT("vmul.f32 q1, q1, q5") \
264 __ASM_EMIT("sub %[count], #8") \
265 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
266 __ASM_EMIT("add %[" SRC "], #0x20") \
267 /* 4x blocks */ \
268 __ASM_EMIT("4:") \
269 __ASM_EMIT("adds %[count], #4") \
270 __ASM_EMIT("blt 6f") \
271 __ASM_EMIT("vldm %[" SEL(SRC, DST) "], {q0}") \
272 __ASM_EMIT("vldm %[" SEL(DST, SRC) "], {q4}") \
273 __ASM_EMIT("vabs.f32 " SEL("q0, q0", "q4, q4")) \
274 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
275 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
276 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
277 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
278 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
279 __ASM_EMIT("vmul.f32 q0, q0, q4") /* s1 / s2 */ \
280 __ASM_EMIT("sub %[count], #4") \
281 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
282 __ASM_EMIT("add %[" SRC "], #0x10") \
283 /* 1x blocks */ \
284 __ASM_EMIT("6:") \
285 __ASM_EMIT("adds %[count], #3") \
286 __ASM_EMIT("blt 8f") \
287 __ASM_EMIT("7:") \
288 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SEL(SRC, DST) "]]") \
289 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" SEL(DST, SRC) "]]") \
290 __ASM_EMIT("vabs.f32 " SEL("q0, q0", "q4, q4")) \
291 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
292 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
293 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
294 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
295 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
296 __ASM_EMIT("vmul.f32 q0, q0, q4") /* s1 / s2 */ \
297 __ASM_EMIT("subs %[count], #1") \
298 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
299 __ASM_EMIT("add %[" SRC "], #0x04") \
300 __ASM_EMIT("bge 7b") \
301 __ASM_EMIT("8:")
302
303 void abs_div2(float *dst, const float *src, size_t count)
304 {
305 ARCH_ARM_ASM
306 (
307 ABS_DIV2_CORE("dst", "src", OP_DSEL)
308 : [dst] "+r" (dst), [src] "+r" (src),
309 [count] "+r" (count)
310 :
311 : "cc", "memory",
312 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
313 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
314 );
315 }
316
317 void abs_rdiv2(float *dst, const float *src, size_t count)
318 {
319 ARCH_ARM_ASM
320 (
321 ABS_DIV2_CORE("dst", "src", OP_RSEL)
322 : [dst] "+r" (dst), [src] "+r" (src),
323 [count] "+r" (count)
324 :
325 : "cc", "memory",
326 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
327 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
328 );
329 }
330
331 #undef ABS_DIV2_CORE
332
333 #define ABS_VV3_CORE(DST, SRC1, SRC2, OP, SEL) \
334 __ASM_EMIT("subs %[count], #32") \
335 __ASM_EMIT("blo 2f") \
336 /* 32x blocks */ \
337 __ASM_EMIT("1:") \
338 __ASM_EMIT("vldm %[" SRC1 "]!, {q0-q7}") \
339 __ASM_EMIT("vldm %[" SRC2 "]!, {q8-q15}") \
340 __ASM_EMIT("vabs.f32 q8, q8") \
341 __ASM_EMIT("vabs.f32 q9, q9") \
342 __ASM_EMIT("vabs.f32 q10, q10") \
343 __ASM_EMIT("vabs.f32 q11, q11") \
344 __ASM_EMIT("vabs.f32 q12, q12") \
345 __ASM_EMIT("vabs.f32 q13, q13") \
346 __ASM_EMIT("vabs.f32 q14, q14") \
347 __ASM_EMIT("vabs.f32 q15, q15") \
348 __ASM_EMIT(OP ".f32 q0, " SEL("q0, q8", "q8, q0")) \
349 __ASM_EMIT(OP ".f32 q1, " SEL("q1, q9", "q9, q1")) \
350 __ASM_EMIT(OP ".f32 q2, " SEL("q2, q10", "q10, q2")) \
351 __ASM_EMIT(OP ".f32 q3, " SEL("q3, q11", "q11, q3")) \
352 __ASM_EMIT(OP ".f32 q4, " SEL("q4, q12", "q12, q4")) \
353 __ASM_EMIT(OP ".f32 q5, " SEL("q5, q13", "q13, q5")) \
354 __ASM_EMIT(OP ".f32 q6, " SEL("q6, q14", "q14, q6")) \
355 __ASM_EMIT(OP ".f32 q7, " SEL("q7, q15", "q15, q7")) \
356 __ASM_EMIT("subs %[count], #32") \
357 __ASM_EMIT("vstm %[" DST "]!, {q0-q7}") \
358 __ASM_EMIT("bhs 1b") \
359 /* 16x block */ \
360 __ASM_EMIT("2:") \
361 __ASM_EMIT("adds %[count], #16") /* 32 - 16 */ \
362 __ASM_EMIT("blt 4f") \
363 __ASM_EMIT("vldm %[" SRC1 "]!, {q0-q3}") \
364 __ASM_EMIT("vldm %[" SRC2 "]!, {q8-q11}") \
365 __ASM_EMIT("vabs.f32 q8, q8") \
366 __ASM_EMIT("vabs.f32 q9, q9") \
367 __ASM_EMIT("vabs.f32 q10, q10") \
368 __ASM_EMIT("vabs.f32 q11, q11") \
369 __ASM_EMIT(OP ".f32 q0, " SEL("q0, q8", "q8, q0")) \
370 __ASM_EMIT(OP ".f32 q1, " SEL("q1, q9", "q9, q1")) \
371 __ASM_EMIT(OP ".f32 q2, " SEL("q2, q10", "q10, q2")) \
372 __ASM_EMIT(OP ".f32 q3, " SEL("q3, q11", "q11, q3")) \
373 __ASM_EMIT("sub %[count], #16") \
374 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
375 /* 8x block */ \
376 __ASM_EMIT("4:") \
377 __ASM_EMIT("adds %[count], #8") /* 16 - 8 */ \
378 __ASM_EMIT("blt 6f") \
379 __ASM_EMIT("vldm %[" SRC1 "]!, {q0-q1}") \
380 __ASM_EMIT("vldm %[" SRC2 "]!, {q8-q9}") \
381 __ASM_EMIT("vabs.f32 q8, q8") \
382 __ASM_EMIT("vabs.f32 q9, q9") \
383 __ASM_EMIT(OP ".f32 q0, " SEL("q0, q8", "q8, q0")) \
384 __ASM_EMIT(OP ".f32 q1, " SEL("q1, q9", "q9, q1")) \
385 __ASM_EMIT("sub %[count], #8") \
386 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
387 /* 4x block */ \
388 __ASM_EMIT("6:") \
389 __ASM_EMIT("adds %[count], #4") /* 8 - 4 */ \
390 __ASM_EMIT("blt 8f") \
391 __ASM_EMIT("vldm %[" SRC1 "]!, {q0}") \
392 __ASM_EMIT("vldm %[" SRC2 "]!, {q8}") \
393 __ASM_EMIT("vabs.f32 q8, q8") \
394 __ASM_EMIT(OP ".f32 q0, " SEL("q0, q8", "q8, q0")) \
395 __ASM_EMIT("sub %[count], #4") \
396 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
397 /* 1x block */ \
398 __ASM_EMIT("8:") \
399 __ASM_EMIT("adds %[count], #3") /* 4 - 3 */ \
400 __ASM_EMIT("blt 10f") \
401 __ASM_EMIT("9:") \
402 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SRC1 "]]!") \
403 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[" SRC2 "]]!") \
404 __ASM_EMIT("vabs.f32 q8, q8") \
405 __ASM_EMIT(OP ".f32 q0, " SEL("q0, q8", "q8, q0")) \
406 __ASM_EMIT("subs %[count], #1") \
407 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
408 __ASM_EMIT("bge 9b") \
409 __ASM_EMIT("10:")
410
411 void abs_add3(float *dst, const float *src1, const float *src2, size_t count)
412 {
413 ARCH_ARM_ASM
414 (
415 ABS_VV3_CORE("dst", "src1", "src2", "vadd", OP_DSEL)
416 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
417 [count] "+r" (count)
418 :
419 : "cc", "memory",
420 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
421 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
422 );
423 }
424
425 void abs_sub3(float *dst, const float *src1, const float *src2, size_t count)
426 {
427 ARCH_ARM_ASM
428 (
429 ABS_VV3_CORE("dst", "src1", "src2", "vsub", OP_DSEL)
430 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
431 [count] "+r" (count)
432 :
433 : "cc", "memory",
434 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
435 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
436 );
437 }
438
439 void abs_rsub3(float *dst, const float *src1, const float *src2, size_t count)
440 {
441 ARCH_ARM_ASM
442 (
443 ABS_VV3_CORE("dst", "src1", "src2", "vsub", OP_RSEL)
444 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
445 [count] "+r" (count)
446 :
447 : "cc", "memory",
448 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
449 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
450 );
451 }
452
453 void abs_mul3(float *dst, const float *src1, const float *src2, size_t count)
454 {
455 ARCH_ARM_ASM
456 (
457 ABS_VV3_CORE("dst", "src1", "src2", "vmul", OP_DSEL)
458 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
459 [count] "+r" (count)
460 :
461 : "cc", "memory",
462 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
463 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
464 );
465 }
466
467 void abs_max3(float *dst, const float *src1, const float *src2, size_t count)
468 {
469 ARCH_ARM_ASM
470 (
471 ABS_VV3_CORE("dst", "src1", "src2", "vmax", OP_DSEL)
472 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
473 [count] "+r" (count)
474 :
475 : "cc", "memory",
476 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
477 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
478 );
479 }
480
481 void abs_min3(float *dst, const float *src1, const float *src2, size_t count)
482 {
483 ARCH_ARM_ASM
484 (
485 ABS_VV3_CORE("dst", "src1", "src2", "vmin", OP_DSEL)
486 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
487 [count] "+r" (count)
488 :
489 : "cc", "memory",
490 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
491 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
492 );
493 }
494
495 #undef ABS_VV3_CORE
496
497 #define ABS_DIV3_CORE(DST, SRC1, SRC2, SEL) \
498 __ASM_EMIT("subs %[count], #16") \
499 __ASM_EMIT("blo 2f") \
500 /* 16x blocks */ \
501 __ASM_EMIT("1:") \
502 __ASM_EMIT("vldm %[" SEL(SRC2, SRC1) "]!, {q0-q3}") \
503 __ASM_EMIT("vldm %[" SEL(SRC1, SRC2) "]!, {q4-q7}") \
504 __ASM_EMIT("vabs.f32 " SEL("q0, q0", "q4, q4")) \
505 __ASM_EMIT("vabs.f32 " SEL("q1, q1", "q5, q5")) \
506 __ASM_EMIT("vabs.f32 " SEL("q2, q2", "q6, q6")) \
507 __ASM_EMIT("vabs.f32 " SEL("q3, q3", "q7, q7")) \
508 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
509 __ASM_EMIT("vrecpe.f32 q9, q1") \
510 __ASM_EMIT("vrecpe.f32 q10, q2") \
511 __ASM_EMIT("vrecpe.f32 q11, q3") \
512 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
513 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
514 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
515 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
516 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
517 __ASM_EMIT("vmul.f32 q9, q13, q9") \
518 __ASM_EMIT("vmul.f32 q10, q14, q10") \
519 __ASM_EMIT("vmul.f32 q11, q15, q11") \
520 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
521 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
522 __ASM_EMIT("vrecps.f32 q14, q10, q2") \
523 __ASM_EMIT("vrecps.f32 q15, q11, q3") \
524 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
525 __ASM_EMIT("vmul.f32 q1, q13, q9") \
526 __ASM_EMIT("vmul.f32 q2, q14, q10") \
527 __ASM_EMIT("vmul.f32 q3, q15, q11") \
528 __ASM_EMIT("vmul.f32 q0, q0, q4") /* s1 / s2 */ \
529 __ASM_EMIT("vmul.f32 q1, q1, q5") \
530 __ASM_EMIT("vmul.f32 q2, q2, q6") \
531 __ASM_EMIT("vmul.f32 q3, q3, q7") \
532 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
533 __ASM_EMIT("subs %[count], #16") \
534 __ASM_EMIT("bhs 1b") \
535 /* 8x block */ \
536 __ASM_EMIT("2:") \
537 __ASM_EMIT("adds %[count], #8") \
538 __ASM_EMIT("blt 4f") \
539 __ASM_EMIT("vldm %[" SEL(SRC2, SRC1) "]!, {q0-q1}") \
540 __ASM_EMIT("vldm %[" SEL(SRC1, SRC2) "]!, {q4-q5}") \
541 __ASM_EMIT("vabs.f32 " SEL("q0, q0", "q4, q4")) \
542 __ASM_EMIT("vabs.f32 " SEL("q1, q1", "q5, q5")) \
543 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
544 __ASM_EMIT("vrecpe.f32 q9, q1") \
545 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
546 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
547 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
548 __ASM_EMIT("vmul.f32 q9, q13, q9") \
549 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
550 __ASM_EMIT("vrecps.f32 q13, q9, q1") \
551 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
552 __ASM_EMIT("vmul.f32 q1, q13, q9") \
553 __ASM_EMIT("vmul.f32 q0, q0, q4") /* s1 / s2 */ \
554 __ASM_EMIT("vmul.f32 q1, q1, q5") \
555 __ASM_EMIT("sub %[count], #8") \
556 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
557 /* 4x blocks */ \
558 __ASM_EMIT("4:") \
559 __ASM_EMIT("adds %[count], #4") \
560 __ASM_EMIT("blt 6f") \
561 __ASM_EMIT("vldm %[" SEL(SRC2, SRC1) "]!, {q0}") \
562 __ASM_EMIT("vldm %[" SEL(SRC1, SRC2) "]!, {q4}") \
563 __ASM_EMIT("vabs.f32 " SEL("q0, q0", "q4, q4")) \
564 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
565 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
566 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
567 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
568 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
569 __ASM_EMIT("vmul.f32 q0, q0, q4") /* s1 / s2 */ \
570 __ASM_EMIT("sub %[count], #4") \
571 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
572 /* 1x blocks */ \
573 __ASM_EMIT("6:") \
574 __ASM_EMIT("adds %[count], #3") \
575 __ASM_EMIT("blt 8f") \
576 __ASM_EMIT("7:") \
577 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SEL(SRC2, SRC1) "]]!") \
578 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" SEL(SRC1, SRC2) "]]!") \
579 __ASM_EMIT("vabs.f32 " SEL("q0, q0", "q4, q4")) \
580 __ASM_EMIT("vrecpe.f32 q8, q0") /* q8 = s2 */ \
581 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2) */ \
582 __ASM_EMIT("vmul.f32 q8, q12, q8") /* q8 = s2' = s2 * (2 - R*s2) */ \
583 __ASM_EMIT("vrecps.f32 q12, q8, q0") /* q12 = (2 - R*s2') */ \
584 __ASM_EMIT("vmul.f32 q0, q12, q8") /* q0 = s2" = s2' * (2 - R*s2) = 1/s2 */ \
585 __ASM_EMIT("vmul.f32 q0, q0, q4") /* s1 / s2 */ \
586 __ASM_EMIT("subs %[count], #1") \
587 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
588 __ASM_EMIT("bge 7b") \
589 __ASM_EMIT("8:")
590
591 void abs_div3(float *dst, const float *src1, const float *src2, size_t count)
592 {
593 ARCH_ARM_ASM
594 (
595 ABS_DIV3_CORE("dst", "src1", "src2", OP_DSEL)
596 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
597 [count] "+r" (count)
598 :
599 : "cc", "memory",
600 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
601 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
602 );
603 }
604
605 void abs_rdiv3(float *dst, const float *src1, const float *src2, size_t count)
606 {
607 ARCH_ARM_ASM
608 (
609 ABS_DIV3_CORE("dst", "src1", "src2", OP_RSEL)
610 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
611 [count] "+r" (count)
612 :
613 : "cc", "memory",
614 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
615 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
616 );
617 }
618
619 #undef ABS_DIV3_CORE
620
621 void abs1(float *dst, size_t count)
622 {
623 ARCH_ARM_ASM
624 (
625 /* 32x block */
626 __ASM_EMIT("subs %[count], #32")
627 __ASM_EMIT("blt 2f")
628 __ASM_EMIT("1:")
629 __ASM_EMIT("vldm %[dst], {q0-q7}")
630 __ASM_EMIT("vabs.f32 q0, q0")
631 __ASM_EMIT("vabs.f32 q1, q1")
632 __ASM_EMIT("vabs.f32 q2, q2")
633 __ASM_EMIT("vabs.f32 q3, q3")
634 __ASM_EMIT("vabs.f32 q4, q4")
635 __ASM_EMIT("vabs.f32 q5, q5")
636 __ASM_EMIT("vabs.f32 q6, q6")
637 __ASM_EMIT("vabs.f32 q7, q7")
638 __ASM_EMIT("vstm %[dst]!, {q0-q7}")
639 __ASM_EMIT("subs %[count], %[count], #32")
640 __ASM_EMIT("bhs 1b")
641 /* 16x block */
642 __ASM_EMIT("2:")
643 __ASM_EMIT("adds %[count], #16") // 32-16
644 __ASM_EMIT("blt 4f")
645 __ASM_EMIT("vldm %[dst], {q0-q3}")
646 __ASM_EMIT("vabs.f32 q0, q0")
647 __ASM_EMIT("vabs.f32 q1, q1")
648 __ASM_EMIT("vabs.f32 q2, q2")
649 __ASM_EMIT("vabs.f32 q3, q3")
650 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
651 __ASM_EMIT("sub %[count], %[count], #16")
652 /* 8x block */
653 __ASM_EMIT("4:")
654 __ASM_EMIT("adds %[count], #8") // 16-8
655 __ASM_EMIT("blt 6f")
656 __ASM_EMIT("vldm %[dst], {q0-q1}")
657 __ASM_EMIT("vabs.f32 q0, q0")
658 __ASM_EMIT("vabs.f32 q1, q1")
659 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
660 __ASM_EMIT("sub %[count], #8")
661 /* 4x block */
662 __ASM_EMIT("6:")
663 __ASM_EMIT("adds %[count], #4") // 8-4
664 __ASM_EMIT("blt 8f")
665 __ASM_EMIT("vldm %[dst], {q0}")
666 __ASM_EMIT("vabs.f32 q0, q0")
667 __ASM_EMIT("vabs.f32 q1, q1")
668 __ASM_EMIT("vstm %[dst]!, {q0}")
669 __ASM_EMIT("sub %[count], #4")
670 /* 1x blocks */
671 __ASM_EMIT("8:")
672 __ASM_EMIT("adds %[count], #3") // 4-1
673 __ASM_EMIT("blt 10f")
674 __ASM_EMIT("13:")
675 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[dst]]")
676 __ASM_EMIT("vabs.f32 q0, q0")
677 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
678 __ASM_EMIT("subs %[count], #1")
679 __ASM_EMIT("bge 13b")
680
681 /* End of copy */
682 __ASM_EMIT("10:")
683
684 : [dst] "+r" (dst),
685 [count] "+r" (count)
686 :
687 : "cc", "memory",
688 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7"
689 );
690 }
691
692 void abs2(float *dst, const float *src, size_t count)
693 {
694 ARCH_ARM_ASM
695 (
696 /* 32x block */
697 __ASM_EMIT("subs %[count], #32")
698 __ASM_EMIT("blt 2f")
699 __ASM_EMIT("1:")
700 __ASM_EMIT("vldm %[src]!, {q0-q7}")
701 __ASM_EMIT("vabs.f32 q0, q0")
702 __ASM_EMIT("vabs.f32 q1, q1")
703 __ASM_EMIT("vabs.f32 q2, q2")
704 __ASM_EMIT("vabs.f32 q3, q3")
705 __ASM_EMIT("vabs.f32 q4, q4")
706 __ASM_EMIT("vabs.f32 q5, q5")
707 __ASM_EMIT("vabs.f32 q6, q6")
708 __ASM_EMIT("vabs.f32 q7, q7")
709 __ASM_EMIT("vstm %[dst]!, {q0-q7}")
710 __ASM_EMIT("subs %[count], %[count], #32")
711 __ASM_EMIT("bhs 1b")
712 /* 16x block */
713 __ASM_EMIT("2:")
714 __ASM_EMIT("adds %[count], #16") // 32-16
715 __ASM_EMIT("blt 4f")
716 __ASM_EMIT("vldm %[src]!, {q0-q3}")
717 __ASM_EMIT("vabs.f32 q0, q0")
718 __ASM_EMIT("vabs.f32 q1, q1")
719 __ASM_EMIT("vabs.f32 q2, q2")
720 __ASM_EMIT("vabs.f32 q3, q3")
721 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
722 __ASM_EMIT("sub %[count], %[count], #16")
723 /* 8x block */
724 __ASM_EMIT("4:")
725 __ASM_EMIT("adds %[count], #8") // 16-8
726 __ASM_EMIT("blt 6f")
727 __ASM_EMIT("vldm %[src]!, {q0-q1}")
728 __ASM_EMIT("vabs.f32 q0, q0")
729 __ASM_EMIT("vabs.f32 q1, q1")
730 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
731 __ASM_EMIT("sub %[count], #8")
732 /* 4x block */
733 __ASM_EMIT("6:")
734 __ASM_EMIT("adds %[count], #4") // 8-4
735 __ASM_EMIT("blt 8f")
736 __ASM_EMIT("vldm %[src]!, {q0}")
737 __ASM_EMIT("vabs.f32 q0, q0")
738 __ASM_EMIT("vabs.f32 q1, q1")
739 __ASM_EMIT("vstm %[dst]!, {q0}")
740 __ASM_EMIT("sub %[count], #4")
741 /* 1x blocks */
742 __ASM_EMIT("8:")
743 __ASM_EMIT("adds %[count], #3") // 4-1
744 __ASM_EMIT("blt 10f")
745 __ASM_EMIT("13:")
746 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
747 __ASM_EMIT("vabs.f32 q0, q0")
748 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
749 __ASM_EMIT("subs %[count], #1")
750 __ASM_EMIT("bge 13b")
751
752 /* End of copy */
753 __ASM_EMIT("10:")
754
755 : [dst] "+r" (dst), [src] "+r" (src),
756 [count] "+r" (count)
757 :
758 : "cc", "memory",
759 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7"
760 );
761 }
762 } /* namespace neon_d32 */
763 } /* namespace lsp */
764
765 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_ABS_VV_H_ */