Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/pmath/minmax.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_MINMAX_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_MINMAX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 #define MINMAX_CORE(DST, A, B, OP, INCA) \
34 __ASM_EMIT("subs %[count], #32") \
35 __ASM_EMIT("blo 2f") \
36 /* 32x blocks */ \
37 __ASM_EMIT("1:") \
38 __ASM_EMIT("vldm %[" B "]!, {q8-q15}") \
39 __ASM_EMIT("vldm %[" A "]" INCA ", {q0-q7}") \
40 __ASM_EMIT(OP ".f32 q0, q0, q8") \
41 __ASM_EMIT(OP ".f32 q1, q1, q9") \
42 __ASM_EMIT(OP ".f32 q2, q2, q10") \
43 __ASM_EMIT(OP ".f32 q3, q3, q11") \
44 __ASM_EMIT(OP ".f32 q4, q4, q12") \
45 __ASM_EMIT(OP ".f32 q5, q5, q13") \
46 __ASM_EMIT(OP ".f32 q6, q6, q14") \
47 __ASM_EMIT(OP ".f32 q7, q7, q15") \
48 __ASM_EMIT("subs %[count], #32") \
49 __ASM_EMIT("vstm %[" DST "]!, {q0-q7}") \
50 __ASM_EMIT("bhs 1b") \
51 /* 16x block */ \
52 __ASM_EMIT("2:") \
53 __ASM_EMIT("adds %[count], #16") /* 32 - 16 */ \
54 __ASM_EMIT("blt 4f") \
55 __ASM_EMIT("vldm %[" B "]!, {q8-q11}") \
56 __ASM_EMIT("vldm %[" A "]" INCA ", {q0-q3}") \
57 __ASM_EMIT(OP ".f32 q0, q0, q8") \
58 __ASM_EMIT(OP ".f32 q1, q1, q9") \
59 __ASM_EMIT(OP ".f32 q2, q2, q10") \
60 __ASM_EMIT(OP ".f32 q3, q3, q11") \
61 __ASM_EMIT("sub %[count], #16") \
62 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
63 /* 8x block */ \
64 __ASM_EMIT("4:") \
65 __ASM_EMIT("adds %[count], #8") /* 16 - 8 */ \
66 __ASM_EMIT("blt 6f") \
67 __ASM_EMIT("vldm %[" B "]!, {q8-q9}") \
68 __ASM_EMIT("vldm %[" A "]" INCA ", {q0-q1}") \
69 __ASM_EMIT(OP ".f32 q0, q0, q8") \
70 __ASM_EMIT(OP ".f32 q1, q1, q9") \
71 __ASM_EMIT("sub %[count], #8") \
72 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
73 /* 4x block */ \
74 __ASM_EMIT("6:") \
75 __ASM_EMIT("adds %[count], #4") /* 8 - 4 */ \
76 __ASM_EMIT("blt 8f") \
77 __ASM_EMIT("vldm %[" B "]!, {q8}") \
78 __ASM_EMIT("vldm %[" A "]" INCA ", {q0}") \
79 __ASM_EMIT(OP ".f32 q0, q0, q8") \
80 __ASM_EMIT("sub %[count], #4") \
81 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
82 /* 1x block */ \
83 __ASM_EMIT("8:") \
84 __ASM_EMIT("adds %[count], #3") /* 4 - 3 */ \
85 __ASM_EMIT("blt 10f") \
86 __ASM_EMIT("9:") \
87 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[" B "]]!") \
88 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" A "]]" INCA) \
89 __ASM_EMIT(OP ".f32 q0, q0, q8") \
90 __ASM_EMIT("subs %[count], #1") \
91 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
92 __ASM_EMIT("bge 9b") \
93 __ASM_EMIT("10:")
94
95 void pmin2(float *dst, const float *src, size_t count)
96 {
97 ARCH_ARM_ASM
98 (
99 MINMAX_CORE("dst", "dst", "src", "vmin", "")
100 : [dst] "+r" (dst), [src] "+r" (src),
101 [count] "+r" (count)
102 :
103 : "cc", "memory",
104 "q0", "q1", "q2", "q3",
105 "q4", "q5", "q6", "q7",
106 "q8", "q9", "q10", "q11",
107 "q12", "q13", "q14", "q15"
108 );
109 }
110
111 void pmin3(float *dst, const float *a, const float *b, size_t count)
112 {
113 ARCH_ARM_ASM
114 (
115 MINMAX_CORE("dst", "a", "b", "vmin", "!")
116 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
117 [count] "+r" (count)
118 :
119 : "cc", "memory",
120 "q0", "q1", "q2", "q3",
121 "q4", "q5", "q6", "q7",
122 "q8", "q9", "q10", "q11",
123 "q12", "q13", "q14", "q15"
124 );
125 }
126
127 void pmax2(float *dst, const float *src, size_t count)
128 {
129 ARCH_ARM_ASM
130 (
131 MINMAX_CORE("dst", "dst", "src", "vmax", "")
132 : [dst] "+r" (dst), [src] "+r" (src),
133 [count] "+r" (count)
134 :
135 : "cc", "memory",
136 "q0", "q1", "q2", "q3",
137 "q4", "q5", "q6", "q7",
138 "q8", "q9", "q10", "q11",
139 "q12", "q13", "q14", "q15"
140 );
141 }
142
143 void pmax3(float *dst, const float *a, const float *b, size_t count)
144 {
145 ARCH_ARM_ASM
146 (
147 MINMAX_CORE("dst", "a", "b", "vmax", "!")
148 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
149 [count] "+r" (count)
150 :
151 : "cc", "memory",
152 "q0", "q1", "q2", "q3",
153 "q4", "q5", "q6", "q7",
154 "q8", "q9", "q10", "q11",
155 "q12", "q13", "q14", "q15"
156 );
157 }
158
159 #undef MINMAX_CORE
160
161 #define SIGN_MINMAX_CORE(DST, A, B, OP, INCA) \
162 __ASM_EMIT("subs %[count], #16") \
163 __ASM_EMIT("blo 2f") \
164 /* 16x blocks */ \
165 __ASM_EMIT("1:") \
166 __ASM_EMIT("vldm %[" B "]!, {q4-q7}") \
167 __ASM_EMIT("vldm %[" A "]" INCA ", {q0-q3}") \
168 __ASM_EMIT("vacgt.f32 q8, q4, q0") \
169 __ASM_EMIT("vacgt.f32 q9, q5, q1") \
170 __ASM_EMIT("vacgt.f32 q10, q6, q2") \
171 __ASM_EMIT("vacgt.f32 q11, q7, q3") \
172 __ASM_EMIT(OP " q0, q4, q8") \
173 __ASM_EMIT(OP " q1, q5, q9") \
174 __ASM_EMIT(OP " q2, q6, q10") \
175 __ASM_EMIT(OP " q3, q7, q11") \
176 __ASM_EMIT("subs %[count], #16") \
177 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
178 __ASM_EMIT("bhs 1b") \
179 /* 8x block */ \
180 __ASM_EMIT("2:") \
181 __ASM_EMIT("adds %[count], #8") /* 16 - 8 */ \
182 __ASM_EMIT("blt 4f") \
183 __ASM_EMIT("vldm %[" B "]!, {q4-q5}") \
184 __ASM_EMIT("vldm %[" A "]" INCA ", {q0-q1}") \
185 __ASM_EMIT("vacgt.f32 q8, q4, q0") \
186 __ASM_EMIT("vacgt.f32 q9, q5, q1") \
187 __ASM_EMIT(OP " q0, q4, q8") \
188 __ASM_EMIT(OP " q1, q5, q9") \
189 __ASM_EMIT("sub %[count], #8") \
190 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
191 /* 4x block */ \
192 __ASM_EMIT("4:") \
193 __ASM_EMIT("adds %[count], #4") /* 8 - 4 */ \
194 __ASM_EMIT("blt 6f") \
195 __ASM_EMIT("vldm %[" B "]!, {q4}") \
196 __ASM_EMIT("vldm %[" A "]" INCA ", {q0}") \
197 __ASM_EMIT("vacgt.f32 q8, q4, q0") \
198 __ASM_EMIT(OP " q0, q4, q8") \
199 __ASM_EMIT("sub %[count], #4") \
200 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
201 /* 1x block */ \
202 __ASM_EMIT("6:") \
203 __ASM_EMIT("adds %[count], #3") /* 4 - 3 */ \
204 __ASM_EMIT("blt 8f") \
205 __ASM_EMIT("7:") \
206 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" B "]]!") \
207 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" A "]]" INCA) \
208 __ASM_EMIT("vacgt.f32 q8, q4, q0") \
209 __ASM_EMIT(OP " q0, q4, q8") \
210 __ASM_EMIT("subs %[count], #1") \
211 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
212 __ASM_EMIT("bge 7b") \
213 __ASM_EMIT("8:")
214
215 void psmin2(float *dst, const float *src, size_t count)
216 {
217 ARCH_ARM_ASM
218 (
219 SIGN_MINMAX_CORE("dst", "dst", "src", "vbif", "")
220 : [dst] "+r" (dst), [src] "+r" (src),
221 [count] "+r" (count)
222 :
223 : "cc", "memory",
224 "q0", "q1", "q2", "q3",
225 "q4", "q5", "q6", "q7",
226 "q8", "q9", "q10", "q11",
227 "q12", "q13", "q14", "q15"
228 );
229 }
230
231 void psmin3(float *dst, const float *a, const float *b, size_t count)
232 {
233 ARCH_ARM_ASM
234 (
235 SIGN_MINMAX_CORE("dst", "a", "b", "vbif", "!")
236 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
237 [count] "+r" (count)
238 :
239 : "cc", "memory",
240 "q0", "q1", "q2", "q3",
241 "q4", "q5", "q6", "q7",
242 "q8", "q9", "q10", "q11",
243 "q12", "q13", "q14", "q15"
244 );
245 }
246
247 void psmax2(float *dst, const float *src, size_t count)
248 {
249 ARCH_ARM_ASM
250 (
251 SIGN_MINMAX_CORE("dst", "dst", "src", "vbit", "")
252 : [dst] "+r" (dst), [src] "+r" (src),
253 [count] "+r" (count)
254 :
255 : "cc", "memory",
256 "q0", "q1", "q2", "q3",
257 "q4", "q5", "q6", "q7",
258 "q8", "q9", "q10", "q11",
259 "q12", "q13", "q14", "q15"
260 );
261 }
262
263 void psmax3(float *dst, const float *a, const float *b, size_t count)
264 {
265 ARCH_ARM_ASM
266 (
267 SIGN_MINMAX_CORE("dst", "a", "b", "vbit", "!")
268 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
269 [count] "+r" (count)
270 :
271 : "cc", "memory",
272 "q0", "q1", "q2", "q3",
273 "q4", "q5", "q6", "q7",
274 "q8", "q9", "q10", "q11",
275 "q12", "q13", "q14", "q15"
276 );
277 }
278
279 #undef SIGN_MINMAX_CORE
280
281 #define ABS_MINMAX_CORE(DST, A, B, OP, INCA) \
282 __ASM_EMIT("subs %[count], #32") \
283 __ASM_EMIT("blo 2f") \
284 /* 32x blocks */ \
285 __ASM_EMIT("1:") \
286 __ASM_EMIT("vldm %[" B "]!, {q8-q15}") \
287 __ASM_EMIT("vldm %[" A "]" INCA ", {q0-q7}") \
288 __ASM_EMIT("vabs.f32 q0, q0") \
289 __ASM_EMIT("vabs.f32 q1, q1") \
290 __ASM_EMIT("vabs.f32 q2, q2") \
291 __ASM_EMIT("vabs.f32 q3, q3") \
292 __ASM_EMIT("vabs.f32 q4, q4") \
293 __ASM_EMIT("vabs.f32 q5, q5") \
294 __ASM_EMIT("vabs.f32 q6, q6") \
295 __ASM_EMIT("vabs.f32 q7, q7") \
296 __ASM_EMIT("vabs.f32 q8, q8") \
297 __ASM_EMIT("vabs.f32 q9, q9") \
298 __ASM_EMIT("vabs.f32 q10, q10") \
299 __ASM_EMIT("vabs.f32 q11, q11") \
300 __ASM_EMIT("vabs.f32 q12, q12") \
301 __ASM_EMIT("vabs.f32 q13, q13") \
302 __ASM_EMIT("vabs.f32 q14, q14") \
303 __ASM_EMIT("vabs.f32 q15, q15") \
304 __ASM_EMIT(OP ".f32 q0, q0, q8") \
305 __ASM_EMIT(OP ".f32 q1, q1, q9") \
306 __ASM_EMIT(OP ".f32 q2, q2, q10") \
307 __ASM_EMIT(OP ".f32 q3, q3, q11") \
308 __ASM_EMIT(OP ".f32 q4, q4, q12") \
309 __ASM_EMIT(OP ".f32 q5, q5, q13") \
310 __ASM_EMIT(OP ".f32 q6, q6, q14") \
311 __ASM_EMIT(OP ".f32 q7, q7, q15") \
312 __ASM_EMIT("subs %[count], #32") \
313 __ASM_EMIT("vstm %[" DST "]!, {q0-q7}") \
314 __ASM_EMIT("bhs 1b") \
315 /* 16x block */ \
316 __ASM_EMIT("2:") \
317 __ASM_EMIT("adds %[count], #16") /* 32 - 16 */ \
318 __ASM_EMIT("blt 4f") \
319 __ASM_EMIT("vldm %[" B "]!, {q8-q11}") \
320 __ASM_EMIT("vldm %[" A "]" INCA ", {q0-q3}") \
321 __ASM_EMIT("vabs.f32 q0, q0") \
322 __ASM_EMIT("vabs.f32 q1, q1") \
323 __ASM_EMIT("vabs.f32 q2, q2") \
324 __ASM_EMIT("vabs.f32 q3, q3") \
325 __ASM_EMIT("vabs.f32 q8, q8") \
326 __ASM_EMIT("vabs.f32 q9, q9") \
327 __ASM_EMIT("vabs.f32 q10, q10") \
328 __ASM_EMIT("vabs.f32 q11, q11") \
329 __ASM_EMIT(OP ".f32 q0, q0, q8") \
330 __ASM_EMIT(OP ".f32 q1, q1, q9") \
331 __ASM_EMIT(OP ".f32 q2, q2, q10") \
332 __ASM_EMIT(OP ".f32 q3, q3, q11") \
333 __ASM_EMIT("sub %[count], #16") \
334 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") \
335 /* 8x block */ \
336 __ASM_EMIT("4:") \
337 __ASM_EMIT("adds %[count], #8") /* 16 - 8 */ \
338 __ASM_EMIT("blt 6f") \
339 __ASM_EMIT("vldm %[" B "]!, {q8-q9}") \
340 __ASM_EMIT("vldm %[" A "]" INCA ", {q0-q1}") \
341 __ASM_EMIT("vabs.f32 q0, q0") \
342 __ASM_EMIT("vabs.f32 q1, q1") \
343 __ASM_EMIT("vabs.f32 q8, q8") \
344 __ASM_EMIT("vabs.f32 q9, q9") \
345 __ASM_EMIT(OP ".f32 q0, q0, q8") \
346 __ASM_EMIT(OP ".f32 q1, q1, q9") \
347 __ASM_EMIT("sub %[count], #8") \
348 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
349 /* 4x block */ \
350 __ASM_EMIT("6:") \
351 __ASM_EMIT("adds %[count], #4") /* 8 - 4 */ \
352 __ASM_EMIT("blt 8f") \
353 __ASM_EMIT("vldm %[" B "]!, {q8}") \
354 __ASM_EMIT("vldm %[" A "]" INCA ", {q0}") \
355 __ASM_EMIT("vabs.f32 q0, q0") \
356 __ASM_EMIT("vabs.f32 q8, q8") \
357 __ASM_EMIT(OP ".f32 q0, q0, q8") \
358 __ASM_EMIT("sub %[count], #4") \
359 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
360 /* 1x block */ \
361 __ASM_EMIT("8:") \
362 __ASM_EMIT("adds %[count], #3") /* 4 - 3 */ \
363 __ASM_EMIT("blt 10f") \
364 __ASM_EMIT("9:") \
365 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[" B "]]!") \
366 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" A "]]" INCA) \
367 __ASM_EMIT("vabs.f32 q0, q0") \
368 __ASM_EMIT("vabs.f32 q8, q8") \
369 __ASM_EMIT(OP ".f32 q0, q0, q8") \
370 __ASM_EMIT("subs %[count], #1") \
371 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
372 __ASM_EMIT("bge 9b") \
373 __ASM_EMIT("10:")
374
375 void pamin2(float *dst, const float *src, size_t count)
376 {
377 ARCH_ARM_ASM
378 (
379 ABS_MINMAX_CORE("dst", "dst", "src", "vmin", "")
380 : [dst] "+r" (dst), [src] "+r" (src),
381 [count] "+r" (count)
382 :
383 : "cc", "memory",
384 "q0", "q1", "q2", "q3",
385 "q4", "q5", "q6", "q7",
386 "q8", "q9", "q10", "q11",
387 "q12", "q13", "q14", "q15"
388 );
389 }
390
391 void pamin3(float *dst, const float *a, const float *b, size_t count)
392 {
393 ARCH_ARM_ASM
394 (
395 ABS_MINMAX_CORE("dst", "a", "b", "vmin", "!")
396 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
397 [count] "+r" (count)
398 :
399 : "cc", "memory",
400 "q0", "q1", "q2", "q3",
401 "q4", "q5", "q6", "q7",
402 "q8", "q9", "q10", "q11",
403 "q12", "q13", "q14", "q15"
404 );
405 }
406
407 void pamax2(float *dst, const float *src, size_t count)
408 {
409 ARCH_ARM_ASM
410 (
411 ABS_MINMAX_CORE("dst", "dst", "src", "vmax", "")
412 : [dst] "+r" (dst), [src] "+r" (src),
413 [count] "+r" (count)
414 :
415 : "cc", "memory",
416 "q0", "q1", "q2", "q3",
417 "q4", "q5", "q6", "q7",
418 "q8", "q9", "q10", "q11",
419 "q12", "q13", "q14", "q15"
420 );
421 }
422
423 void pamax3(float *dst, const float *a, const float *b, size_t count)
424 {
425 ARCH_ARM_ASM
426 (
427 ABS_MINMAX_CORE("dst", "a", "b", "vmax", "!")
428 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
429 [count] "+r" (count)
430 :
431 : "cc", "memory",
432 "q0", "q1", "q2", "q3",
433 "q4", "q5", "q6", "q7",
434 "q8", "q9", "q10", "q11",
435 "q12", "q13", "q14", "q15"
436 );
437 }
438
439 #undef ABS_MINMAX_CORE
440 }
441 }
442
443 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_MINMAX_H_ */