Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/search/minmax.h

raw
1 /*
2 * Copyright (C) 2024 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2024 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_SEARCH_MINMAX_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_SEARCH_MINMAX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 #define SEL_NONE(a, b) a
34 #define SEL_ABS(a, b) b
35
36 #define MINMAX_SEARCH_CORE(OP, SEL) \
37 __ASM_EMIT("subs %[count], #1") \
38 __ASM_EMIT("blo 12f") \
39 /* x32 blocks */ \
40 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!") \
41 __ASM_EMIT(SEL("", "vabs.f32 q0, q0")) \
42 __ASM_EMIT("subs %[count], #32") \
43 __ASM_EMIT("vmov q1, q0") \
44 __ASM_EMIT("blt 2f") \
45 __ASM_EMIT("1:") \
46 __ASM_EMIT("vldm %[src]!, {q8-q15}") \
47 __ASM_EMIT(SEL("", "vabs.f32 q8, q8")) \
48 __ASM_EMIT(SEL("", "vabs.f32 q9, q9")) \
49 __ASM_EMIT(SEL("", "vabs.f32 q10, q10")) \
50 __ASM_EMIT(SEL("", "vabs.f32 q11, q11")) \
51 __ASM_EMIT(SEL("", "vabs.f32 q12, q12")) \
52 __ASM_EMIT(SEL("", "vabs.f32 q13, q13")) \
53 __ASM_EMIT(SEL("", "vabs.f32 q14, q14")) \
54 __ASM_EMIT(SEL("", "vabs.f32 q15, q15")) \
55 __ASM_EMIT(OP " q0, q0, q8") \
56 __ASM_EMIT(OP " q1, q1, q9") \
57 __ASM_EMIT(OP " q0, q0, q10") \
58 __ASM_EMIT(OP " q1, q1, q11") \
59 __ASM_EMIT(OP " q0, q0, q12") \
60 __ASM_EMIT(OP " q1, q1, q13") \
61 __ASM_EMIT(OP " q0, q0, q14") \
62 __ASM_EMIT(OP " q1, q1, q15") \
63 __ASM_EMIT("subs %[count], #32") \
64 __ASM_EMIT("bhs 1b") \
65 __ASM_EMIT("2:") \
66 /* x16 block */ \
67 __ASM_EMIT("adds %[count], #16") \
68 __ASM_EMIT("blt 4f") \
69 __ASM_EMIT("vldm %[src]!, {q8-q11}") \
70 __ASM_EMIT(SEL("", "vabs.f32 q8, q8")) \
71 __ASM_EMIT(SEL("", "vabs.f32 q9, q9")) \
72 __ASM_EMIT(SEL("", "vabs.f32 q10, q10")) \
73 __ASM_EMIT(SEL("", "vabs.f32 q11, q11")) \
74 __ASM_EMIT(OP " q0, q0, q8") \
75 __ASM_EMIT(OP " q1, q1, q9") \
76 __ASM_EMIT(OP " q0, q0, q10") \
77 __ASM_EMIT(OP " q1, q1, q11") \
78 __ASM_EMIT("sub %[count], #16") \
79 __ASM_EMIT("4:") \
80 /* x8 block */ \
81 __ASM_EMIT("adds %[count], #8") \
82 __ASM_EMIT("blt 6f") \
83 __ASM_EMIT("vldm %[src]!, {q8-q9}") \
84 __ASM_EMIT(SEL("", "vabs.f32 q8, q8")) \
85 __ASM_EMIT(SEL("", "vabs.f32 q9, q9")) \
86 __ASM_EMIT(OP " q0, q0, q8") \
87 __ASM_EMIT(OP " q1, q1, q9") \
88 __ASM_EMIT("sub %[count], #8") \
89 __ASM_EMIT("6:") \
90 __ASM_EMIT(OP " q0, q0, q1") \
91 /* x4 block */ \
92 __ASM_EMIT("adds %[count], #4") \
93 __ASM_EMIT("blt 8f") \
94 __ASM_EMIT("vldm %[src]!, {q8}") \
95 __ASM_EMIT(SEL("", "vabs.f32 q8, q8")) \
96 __ASM_EMIT(OP " q0, q0, q8") \
97 __ASM_EMIT("sub %[count], #4") \
98 __ASM_EMIT("8:") \
99 /* x1 block */ \
100 __ASM_EMIT("adds %[count], #3") \
101 __ASM_EMIT("blt 10f") \
102 __ASM_EMIT("9:") \
103 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[src]]!") \
104 __ASM_EMIT(SEL("", "vabs.f32 q8, q8")) \
105 __ASM_EMIT(OP " q0, q0, q8") \
106 __ASM_EMIT("subs %[count], #1") \
107 __ASM_EMIT("bge 9b") \
108 __ASM_EMIT("10:") \
109 /* end */ \
110 __ASM_EMIT("vext.32 q8, q0, q0, #2") \
111 __ASM_EMIT(OP " q0, q0, q8") \
112 __ASM_EMIT("vext.32 q8, q0, q0, #1") \
113 __ASM_EMIT(OP " q0, q0, q8") \
114 __ASM_EMIT("vmov %[res], s0") \
115 __ASM_EMIT("12:")
116
117 float min(const float *src, size_t count)
118 {
119 float res = 0.0f;
120 ARCH_ARM_ASM(
121 MINMAX_SEARCH_CORE("vmin.f32", SEL_NONE)
122 : [count] "+r" (count), [src] "+r" (src),
123 [res] "+t" (res)
124 :
125 : "cc",
126 "q1",
127 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
128 );
129 return res;
130 }
131
132 float max(const float *src, size_t count)
133 {
134 float res = 0.0f;
135 ARCH_ARM_ASM(
136 MINMAX_SEARCH_CORE("vmax.f32", SEL_NONE)
137 : [count] "+r" (count), [src] "+r" (src),
138 [res] "+t" (res)
139 :
140 : "cc",
141 "q1",
142 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
143 );
144 return res;
145 }
146
147 float abs_min(const float *src, size_t count)
148 {
149 float res = 0.0f;
150 ARCH_ARM_ASM(
151 MINMAX_SEARCH_CORE("vmin.f32", SEL_ABS)
152 : [count] "+r" (count), [src] "+r" (src),
153 [res] "+t" (res)
154 :
155 : "cc",
156 "q1",
157 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
158 );
159 return res;
160 }
161
162 float abs_max(const float *src, size_t count)
163 {
164 float res = 0.0f;
165 ARCH_ARM_ASM(
166 MINMAX_SEARCH_CORE("vmax.f32", SEL_ABS)
167 : [count] "+r" (count), [src] "+r" (src),
168 [res] "+t" (res)
169 :
170 : "cc",
171 "q1",
172 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
173 );
174 return res;
175 }
176
177 #undef MINMAX_SEARCH_CORE
178
179 #define SIGN_SEARCH_CORE(OP) \
180 __ASM_EMIT("cmp %[count], #0") \
181 __ASM_EMIT("bls 8f") \
182 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]") /* q0 = res0 */ \
183 __ASM_EMIT("vabs.f32 q2, q0") /* q2 = abs(res0) */ \
184 __ASM_EMIT("subs %[count], #16") \
185 __ASM_EMIT("vmov q1, q0") /* q1 = res1 */ \
186 __ASM_EMIT("vmov q3, q2") /* q3 = abs(res1) */ \
187 __ASM_EMIT("blt 2f") \
188 /* x16 blocks */ \
189 __ASM_EMIT("1:") \
190 __ASM_EMIT("vldm %[src]!, {q8-q11}") /* q8 = x0, q9 = x1, q10 = x2, q11 = x3 */ \
191 __ASM_EMIT("vabs.f32 q12, q8") /* q12 = abs(x0) */ \
192 __ASM_EMIT("vabs.f32 q13, q9") /* q13 = abs(x1) */ \
193 __ASM_EMIT("vabs.f32 q14, q10") /* q14 = abs(x2) */ \
194 __ASM_EMIT("vabs.f32 q15, q11") /* q15 = abs(x3) */ \
195 __ASM_EMIT(OP " q4, q2, q12") /* q4 = [abs(res0) <=> abs(x0) ] */ \
196 __ASM_EMIT(OP " q5, q3, q13") /* q5 = [abs(res1) <=> abs(x1) ] */ \
197 __ASM_EMIT("vbif q0, q8, q4") /* q0 = [abs(res0) <=> abs(x0) ] ? res0 : x0 */ \
198 __ASM_EMIT("vbif q1, q9, q5") /* q1 = [abs(res1) <=> abs(x1) ] ? res0 : x0 */ \
199 __ASM_EMIT("vbif q2, q12, q4") /* q12 = [abs(res0) <=> abs(x0) ] ? abs(res0) : abs(x0) */ \
200 __ASM_EMIT("vbif q3, q13, q5") /* q13 = [abs(res1) <=> abs(x1) ] ? abs(res1) : abs(x1) */ \
201 __ASM_EMIT(OP " q4, q2, q14") /* q4 = [abs(res0) <=> abs(x2) ] */ \
202 __ASM_EMIT(OP " q5, q3, q15") /* q5 = [abs(res1) <=> abs(x3) ] */ \
203 __ASM_EMIT("vbif q0, q10, q4") /* q0 = [abs(res0) <=> abs(x2) ] ? res0 : x2 */ \
204 __ASM_EMIT("vbif q1, q11, q5") /* q1 = [abs(res1) <=> abs(x3) ] ? res0 : x3 */ \
205 __ASM_EMIT("vbif q2, q14, q4") /* q12 = [abs(res0) <=> abs(x2) ] ? abs(res0) : abs(x2) */ \
206 __ASM_EMIT("vbif q3, q15, q5") /* q13 = [abs(res1) <=> abs(x3) ] ? abs(res1) : abs(x3) */ \
207 __ASM_EMIT("subs %[count], #16") \
208 __ASM_EMIT("bhs 1b") \
209 __ASM_EMIT("2:") \
210 /* x8 block */ \
211 __ASM_EMIT("adds %[count], #8") \
212 __ASM_EMIT("blt 4f") \
213 __ASM_EMIT("vldm %[src]!, {q8-q9}") /* q8 = x0, q9 = x1 */ \
214 __ASM_EMIT("vabs.f32 q12, q8") /* q12 = abs(x0) */ \
215 __ASM_EMIT("vabs.f32 q13, q9") /* q13 = abs(x1) */ \
216 __ASM_EMIT(OP " q4, q2, q12") /* q4 = [abs(res0) <=> abs(x0) ] */ \
217 __ASM_EMIT(OP " q5, q3, q13") /* q5 = [abs(res1) <=> abs(x1) ] */ \
218 __ASM_EMIT("vbif q0, q8, q4") /* q0 = [abs(res0) <=> abs(x0) ] ? res0 : x0 */ \
219 __ASM_EMIT("vbif q1, q9, q5") /* q1 = [abs(res1) <=> abs(x1) ] ? res0 : x0 */ \
220 __ASM_EMIT("vbif q2, q12, q4") /* q12 = [abs(res0) <=> abs(x0) ] ? abs(res0) : abs(x0) */ \
221 __ASM_EMIT("vbif q3, q13, q5") /* q13 = [abs(res1) <=> abs(x1) ] ? abs(res1) : abs(x1) */ \
222 __ASM_EMIT("sub %[count], #8") \
223 __ASM_EMIT("4:") \
224 __ASM_EMIT(OP " q4, q2, q3") /* q3 = [abs(res0) <=> abs(res1) ] */ \
225 __ASM_EMIT("vbif q0, q1, q4") /* q0 = [abs(res0) <=> abs(res1) ] ? res0 : res1 */ \
226 __ASM_EMIT("vbif q2, q3, q4") /* q1 = [abs(res1) <=> abs(res1) ] ? abs(res0) : abs(res1) */ \
227 /* x4 block */ \
228 __ASM_EMIT("adds %[count], #4") \
229 __ASM_EMIT("blt 6f") \
230 __ASM_EMIT("vldm %[src]!, {q8}") /* q8 = x0 */ \
231 __ASM_EMIT("vabs.f32 q12, q8") /* q12 = abs(x0) */ \
232 __ASM_EMIT(OP " q4, q2, q12") /* q4 = [abs(res0) <=> abs(x0) ] */ \
233 __ASM_EMIT("vbif q0, q8, q4") /* q0 = [abs(res0) <=> abs(x0) ] ? res0 : x0 */ \
234 __ASM_EMIT("vbif q2, q12, q4") /* q12 = [abs(res0) <=> abs(x0) ] ? abs(res0) : abs(x0) */ \
235 __ASM_EMIT("sub %[count], #4") \
236 __ASM_EMIT("6:") \
237 __ASM_EMIT("vext.32 q8, q0, q0, #2") /* q8 = x0 */ \
238 __ASM_EMIT("vext.32 q12, q2, q2, #2") /* q12 = abs(x0) */ \
239 __ASM_EMIT(OP " q4, q2, q12") /* q4 = [abs(res0) <=> abs(x0) ] */ \
240 __ASM_EMIT("vbif q0, q8, q4") /* q0 = [abs(res0) <=> abs(x0) ] ? res0 : x0 */ \
241 __ASM_EMIT("vbif q2, q12, q4") /* q12 = [abs(res0) <=> abs(x0) ] ? abs(res0) : abs(x0) */ \
242 __ASM_EMIT("vext.32 q8, q0, q0, #1") /* q8 = x0 */ \
243 __ASM_EMIT("vext.32 q12, q2, q2, #1") /* q12 = abs(x0) */ \
244 __ASM_EMIT(OP " q4, q2, q12") /* q4 = [abs(res0) <=> abs(x0) ] */ \
245 __ASM_EMIT("vbif q0, q8, q4") /* q0 = [abs(res0) <=> abs(x0) ] ? res0 : x0 */ \
246 __ASM_EMIT("vbif q2, q12, q4") /* q12 = [abs(res0) <=> abs(x0) ] ? abs(res0) : abs(x0) */ \
247 /* x1 block */ \
248 __ASM_EMIT("adds %[count], #3") \
249 __ASM_EMIT("blt 8f") \
250 __ASM_EMIT("7:") \
251 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[src]]!") \
252 __ASM_EMIT("vabs.f32 q12, q8") /* q12 = abs(x0) */ \
253 __ASM_EMIT(OP " q4, q2, q12") /* q4 = [abs(res0) <=> abs(x0) ] */ \
254 __ASM_EMIT("vbif q0, q8, q4") /* q0 = [abs(res0) <=> abs(x0) ] ? res0 : x0 */ \
255 __ASM_EMIT("vbif q2, q12, q4") /* q12 = [abs(res0) <=> abs(x0) ] ? abs(res0) : abs(x0) */ \
256 __ASM_EMIT("subs %[count], #1") \
257 __ASM_EMIT("bge 7b") \
258 __ASM_EMIT("8:") \
259 /* end */ \
260 __ASM_EMIT("vmov %[res], s0")
261
262 float sign_min(const float *src, size_t count)
263 {
264 float res = 0.0f;
265 ARCH_ARM_ASM(
266 SIGN_SEARCH_CORE("vclt.f32")
267 : [count] "+r" (count), [src] "+r" (src),
268 [res] "+t" (res)
269 :
270 : "cc",
271 "q1", "q2", "q3", "q4", "q5",
272 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
273 );
274 return res;
275 }
276
277 float sign_max(const float *src, size_t count)
278 {
279 float res = 0.0f;
280 ARCH_ARM_ASM(
281 SIGN_SEARCH_CORE("vcgt.f32")
282 : [count] "+r" (count), [src] "+r" (src),
283 [res] "+t" (res)
284 :
285 : "cc",
286 "q1", "q2", "q3", "q4", "q5",
287 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
288 );
289 return res;
290 }
291
292 #undef SIGN_SEARCH_CORE
293
294 #define MINMAX2_SEARCH_CORE(SEL) \
295 __ASM_EMIT("veor q0, q0") \
296 __ASM_EMIT("veor q1, q0") \
297 __ASM_EMIT("subs %[count], #1") \
298 __ASM_EMIT("blo 12f") \
299 /* x32 blocks */ \
300 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!") \
301 __ASM_EMIT(SEL("", "vabs.f32 q0, q0")) \
302 __ASM_EMIT("subs %[count], #32") \
303 __ASM_EMIT("vmov q1, q0") \
304 __ASM_EMIT("blt 2f") \
305 __ASM_EMIT("1:") \
306 __ASM_EMIT("vldm %[src]!, {q8-q15}") \
307 __ASM_EMIT(SEL("", "vabs.f32 q8, q8")) \
308 __ASM_EMIT(SEL("", "vabs.f32 q9, q9")) \
309 __ASM_EMIT(SEL("", "vabs.f32 q10, q10")) \
310 __ASM_EMIT(SEL("", "vabs.f32 q11, q11")) \
311 __ASM_EMIT(SEL("", "vabs.f32 q12, q12")) \
312 __ASM_EMIT(SEL("", "vabs.f32 q13, q13")) \
313 __ASM_EMIT(SEL("", "vabs.f32 q14, q14")) \
314 __ASM_EMIT(SEL("", "vabs.f32 q15, q15")) \
315 __ASM_EMIT("vmin.f32 q0, q0, q8") \
316 __ASM_EMIT("vmax.f32 q1, q1, q12") \
317 __ASM_EMIT("vmin.f32 q0, q0, q9") \
318 __ASM_EMIT("vmax.f32 q1, q1, q13") \
319 __ASM_EMIT("vmin.f32 q0, q0, q10") \
320 __ASM_EMIT("vmax.f32 q1, q1, q14") \
321 __ASM_EMIT("vmin.f32 q0, q0, q11") \
322 __ASM_EMIT("vmax.f32 q1, q1, q15") \
323 __ASM_EMIT("vmin.f32 q0, q0, q12") \
324 __ASM_EMIT("vmax.f32 q1, q1, q8") \
325 __ASM_EMIT("vmin.f32 q0, q0, q13") \
326 __ASM_EMIT("vmax.f32 q1, q1, q9") \
327 __ASM_EMIT("vmin.f32 q0, q0, q14") \
328 __ASM_EMIT("vmax.f32 q1, q1, q10") \
329 __ASM_EMIT("vmin.f32 q0, q0, q15") \
330 __ASM_EMIT("vmax.f32 q1, q1, q11") \
331 __ASM_EMIT("subs %[count], #32") \
332 __ASM_EMIT("bhs 1b") \
333 __ASM_EMIT("2:") \
334 /* x16 block */ \
335 __ASM_EMIT("adds %[count], #16") \
336 __ASM_EMIT("blt 4f") \
337 __ASM_EMIT("vldm %[src]!, {q8-q11}") \
338 __ASM_EMIT(SEL("", "vabs.f32 q8, q8")) \
339 __ASM_EMIT(SEL("", "vabs.f32 q9, q9")) \
340 __ASM_EMIT(SEL("", "vabs.f32 q10, q10")) \
341 __ASM_EMIT(SEL("", "vabs.f32 q11, q11")) \
342 __ASM_EMIT("vmin.f32 q0, q0, q8") \
343 __ASM_EMIT("vmax.f32 q1, q1, q10") \
344 __ASM_EMIT("vmin.f32 q0, q0, q9") \
345 __ASM_EMIT("vmax.f32 q1, q1, q11") \
346 __ASM_EMIT("vmin.f32 q0, q0, q10") \
347 __ASM_EMIT("vmax.f32 q1, q1, q8") \
348 __ASM_EMIT("vmin.f32 q0, q0, q11") \
349 __ASM_EMIT("vmax.f32 q1, q1, q9") \
350 __ASM_EMIT("sub %[count], #16") \
351 __ASM_EMIT("4:") \
352 /* x8 block */ \
353 __ASM_EMIT("adds %[count], #8") \
354 __ASM_EMIT("blt 6f") \
355 __ASM_EMIT("vldm %[src]!, {q8-q9}") \
356 __ASM_EMIT(SEL("", "vabs.f32 q8, q8")) \
357 __ASM_EMIT(SEL("", "vabs.f32 q9, q9")) \
358 __ASM_EMIT("vmin.f32 q0, q0, q8") \
359 __ASM_EMIT("vmax.f32 q1, q1, q9") \
360 __ASM_EMIT("vmin.f32 q0, q0, q9") \
361 __ASM_EMIT("vmax.f32 q1, q1, q8") \
362 __ASM_EMIT("sub %[count], #8") \
363 __ASM_EMIT("6:") \
364 /* x4 block */ \
365 __ASM_EMIT("adds %[count], #4") \
366 __ASM_EMIT("blt 8f") \
367 __ASM_EMIT("vldm %[src]!, {q8}") \
368 __ASM_EMIT(SEL("", "vabs.f32 q8, q8")) \
369 __ASM_EMIT("vmin.f32 q0, q0, q8") \
370 __ASM_EMIT("vmax.f32 q1, q1, q8") \
371 __ASM_EMIT("sub %[count], #4") \
372 __ASM_EMIT("8:") \
373 /* x1 block */ \
374 __ASM_EMIT("adds %[count], #3") \
375 __ASM_EMIT("blt 10f") \
376 __ASM_EMIT("9:") \
377 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[src]]!") \
378 __ASM_EMIT(SEL("", "vabs.f32 q8, q8")) \
379 __ASM_EMIT("vmin.f32 q0, q0, q8") \
380 __ASM_EMIT("vmax.f32 q1, q1, q8") \
381 __ASM_EMIT("subs %[count], #1") \
382 __ASM_EMIT("bge 9b") \
383 __ASM_EMIT("10:") \
384 /* end */ \
385 __ASM_EMIT("vext.32 q8, q0, q0, #2") \
386 __ASM_EMIT("vext.32 q9, q1, q1, #2") \
387 __ASM_EMIT("vmin.f32 q0, q0, q8") \
388 __ASM_EMIT("vmax.f32 q1, q1, q9") \
389 __ASM_EMIT("vext.32 q8, q0, q0, #1") \
390 __ASM_EMIT("vext.32 q9, q1, q1, #1") \
391 __ASM_EMIT("vmin.f32 q0, q0, q8") \
392 __ASM_EMIT("vmax.f32 q1, q1, q9") \
393 __ASM_EMIT("12:") \
394 __ASM_EMIT("vst1.32 {d0[0]}, [%[min]]") \
395 __ASM_EMIT("vst1.32 {d2[0]}, [%[max]]")
396
397 void minmax(const float *src, size_t count, float *min, float *max)
398 {
399 ARCH_ARM_ASM(
400 MINMAX2_SEARCH_CORE(SEL_NONE)
401 : [count] "+r" (count), [src] "+r" (src)
402 : [min] "r" (min), [max] "r" (max)
403 : "cc",
404 "q0", "q1",
405 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
406 );
407 }
408
409 void abs_minmax(const float *src, size_t count, float *min, float *max)
410 {
411 ARCH_ARM_ASM(
412 MINMAX2_SEARCH_CORE(SEL_ABS)
413 : [count] "+r" (count), [src] "+r" (src)
414 : [min] "r" (min), [max] "r" (max)
415 : "cc",
416 "q0", "q1",
417 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
418 );
419 }
420
421 #undef SEL_NONE
422 #undef SEL_ABS
423 #undef MINMAX2_SEARCH_CORE
424
425 void sign_minmax(const float *src, size_t count, float *min, float *max)
426 {
427 ARCH_ARM_ASM(
428 __ASM_EMIT("veor q0, q0") \
429 __ASM_EMIT("veor q1, q0") \
430 __ASM_EMIT("cmp %[count], #0") \
431 __ASM_EMIT("bls 8f") \
432 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]") /* q0 = min */ \
433 __ASM_EMIT("vabs.f32 q2, q0") /* q2 = abs(min) */ \
434 __ASM_EMIT("vmov q1, q0") /* q1 = max */ \
435 __ASM_EMIT("vmov q3, q2") /* q3 = abs(max) */ \
436 __ASM_EMIT("subs %[count], #16") \
437 __ASM_EMIT("blt 2f") \
438 /* x16 blocks */ \
439 __ASM_EMIT("1:") \
440 __ASM_EMIT("vldm %[src]!, {q8-q11}") /* q8 = x0, q9 = x1, q10 = x2, q11 = x3 */ \
441 __ASM_EMIT("vabs.f32 q12, q8") /* q12 = abs(x0) */ \
442 __ASM_EMIT("vabs.f32 q13, q9") /* q13 = abs(x1) */ \
443 __ASM_EMIT("vabs.f32 q14, q10") /* q14 = abs(x2) */ \
444 __ASM_EMIT("vabs.f32 q15, q11") /* q15 = abs(x3) */ \
445 __ASM_EMIT("vclt.f32 q4, q2, q12") /* q4 = [abs(min) < abs(x0) ] */ \
446 __ASM_EMIT("vcgt.f32 q5, q3, q12") /* q4 = [abs(max) > abs(x0) ] */ \
447 __ASM_EMIT("vbif q0, q8, q4") /* q0 = [abs(min) < abs(x0) ] ? min : x0 */ \
448 __ASM_EMIT("vbif q1, q8, q5") /* q1 = [abs(max) > abs(x0) ] ? res : x0 */ \
449 __ASM_EMIT("vbif q2, q12, q4") /* q12 = [abs(min) < abs(x0) ] ? abs(min) : abs(x0) */ \
450 __ASM_EMIT("vbif q3, q12, q5") /* q13 = [abs(max) > abs(x0) ] ? abs(max) : abs(x0) */ \
451 __ASM_EMIT("vclt.f32 q4, q2, q13") /* q4 = [abs(min) < abs(x1) ] */ \
452 __ASM_EMIT("vcgt.f32 q5, q3, q13") /* q4 = [abs(max) > abs(x1) ] */ \
453 __ASM_EMIT("vbif q0, q9, q4") /* q0 = [abs(min) < abs(x1) ] ? min : x1 */ \
454 __ASM_EMIT("vbif q1, q9, q5") /* q1 = [abs(max) > abs(x1) ] ? res : x1 */ \
455 __ASM_EMIT("vbif q2, q13, q4") /* q12 = [abs(min) < abs(x1) ] ? abs(min) : abs(x1) */ \
456 __ASM_EMIT("vbif q3, q13, q5") /* q13 = [abs(max) > abs(x1) ] ? abs(max) : abs(x1) */ \
457 __ASM_EMIT("vclt.f32 q4, q2, q14") /* q4 = [abs(min) < abs(x1) ] */ \
458 __ASM_EMIT("vcgt.f32 q5, q3, q14") /* q4 = [abs(max) > abs(x1) ] */ \
459 __ASM_EMIT("vbif q0, q10, q4") /* q0 = [abs(min) < abs(x2) ] ? min : x2 */ \
460 __ASM_EMIT("vbif q1, q10, q5") /* q1 = [abs(max) > abs(x2) ] ? res : x2 */ \
461 __ASM_EMIT("vbif q2, q14, q4") /* q12 = [abs(min) < abs(x2) ] ? abs(min) : abs(x2) */ \
462 __ASM_EMIT("vbif q3, q14, q5") /* q13 = [abs(max) > abs(x2) ] ? abs(max) : abs(x2) */ \
463 __ASM_EMIT("vclt.f32 q4, q2, q15") /* q4 = [abs(min) < abs(x1) ] */ \
464 __ASM_EMIT("vcgt.f32 q5, q3, q15") /* q4 = [abs(max) > abs(x1) ] */ \
465 __ASM_EMIT("vbif q0, q11, q4") /* q0 = [abs(min) < abs(x3) ] ? min : x3 */ \
466 __ASM_EMIT("vbif q1, q11, q5") /* q1 = [abs(max) > abs(x3) ] ? res : x3 */ \
467 __ASM_EMIT("vbif q2, q15, q4") /* q12 = [abs(min) < abs(x3) ] ? abs(min) : abs(x3) */ \
468 __ASM_EMIT("vbif q3, q15, q5") /* q13 = [abs(max) > abs(x3) ] ? abs(max) : abs(x3) */ \
469 __ASM_EMIT("subs %[count], #16") \
470 __ASM_EMIT("bhs 1b") \
471 __ASM_EMIT("2:") \
472 /* x8 block */ \
473 __ASM_EMIT("adds %[count], #8") \
474 __ASM_EMIT("blt 4f") \
475 __ASM_EMIT("vldm %[src]!, {q8-q9}") /* q8 = x0, q9 = x1 */ \
476 __ASM_EMIT("vabs.f32 q12, q8") /* q12 = abs(x0) */ \
477 __ASM_EMIT("vabs.f32 q13, q9") /* q13 = abs(x1) */ \
478 __ASM_EMIT("vclt.f32 q4, q2, q12") /* q4 = [abs(min) < abs(x0) ] */ \
479 __ASM_EMIT("vcgt.f32 q5, q3, q12") /* q4 = [abs(max) > abs(x0) ] */ \
480 __ASM_EMIT("vbif q0, q8, q4") /* q0 = [abs(min) < abs(x0) ] ? min : x0 */ \
481 __ASM_EMIT("vbif q1, q8, q5") /* q1 = [abs(max) > abs(x0) ] ? res : x0 */ \
482 __ASM_EMIT("vbif q2, q12, q4") /* q12 = [abs(min) < abs(x0) ] ? abs(min) : abs(x0) */ \
483 __ASM_EMIT("vbif q3, q12, q5") /* q13 = [abs(max) > abs(x0) ] ? abs(max) : abs(x0) */ \
484 __ASM_EMIT("vclt.f32 q4, q2, q13") /* q4 = [abs(min) < abs(x1) ] */ \
485 __ASM_EMIT("vcgt.f32 q5, q3, q13") /* q4 = [abs(max) > abs(x1) ] */ \
486 __ASM_EMIT("vbif q0, q9, q4") /* q0 = [abs(min) < abs(x1) ] ? min : x1 */ \
487 __ASM_EMIT("vbif q1, q9, q5") /* q1 = [abs(max) > abs(x1) ] ? res : x1 */ \
488 __ASM_EMIT("vbif q2, q13, q4") /* q12 = [abs(min) < abs(x1) ] ? abs(min) : abs(x1) */ \
489 __ASM_EMIT("vbif q3, q13, q5") /* q13 = [abs(max) > abs(x1) ] ? abs(max) : abs(x1) */ \
490 __ASM_EMIT("sub %[count], #8") \
491 __ASM_EMIT("4:") \
492 /* x4 block */ \
493 __ASM_EMIT("adds %[count], #4") \
494 __ASM_EMIT("blt 6f") \
495 __ASM_EMIT("vldm %[src]!, {q8}") /* q8 = x0, q9 = x1 */ \
496 __ASM_EMIT("vabs.f32 q12, q8") /* q12 = abs(x0) */ \
497 __ASM_EMIT("vclt.f32 q4, q2, q12") /* q4 = [abs(min) < abs(x0) ] */ \
498 __ASM_EMIT("vcgt.f32 q5, q3, q12") /* q4 = [abs(max) > abs(x0) ] */ \
499 __ASM_EMIT("vbif q0, q8, q4") /* q0 = [abs(min) < abs(x0) ] ? min : x0 */ \
500 __ASM_EMIT("vbif q1, q8, q5") /* q1 = [abs(max) > abs(x0) ] ? res : x0 */ \
501 __ASM_EMIT("vbif q2, q12, q4") /* q12 = [abs(min) < abs(x0) ] ? abs(min) : abs(x0) */ \
502 __ASM_EMIT("vbif q3, q12, q5") /* q13 = [abs(max) > abs(x0) ] ? abs(max) : abs(x0) */ \
503 __ASM_EMIT("sub %[count], #4") \
504 __ASM_EMIT("6:") \
505 __ASM_EMIT("vext.32 q8, q0, q0, #2") /* q8 = x0 */ \
506 __ASM_EMIT("vext.32 q12, q2, q2, #2") /* q12 = abs(x0) */ \
507 __ASM_EMIT("vclt.f32 q4, q2, q12") /* q4 = [abs(min) < abs(x0) ] */ \
508 __ASM_EMIT("vcgt.f32 q5, q3, q12") /* q4 = [abs(max) > abs(x0) ] */ \
509 __ASM_EMIT("vbif q0, q8, q4") /* q0 = [abs(min) < abs(x0) ] ? min : x0 */ \
510 __ASM_EMIT("vbif q1, q8, q5") /* q1 = [abs(max) > abs(x0) ] ? res : x0 */ \
511 __ASM_EMIT("vbif q2, q12, q4") /* q12 = [abs(min) < abs(x0) ] ? abs(min) : abs(x0) */ \
512 __ASM_EMIT("vbif q3, q12, q5") /* q13 = [abs(max) > abs(x0) ] ? abs(max) : abs(x0) */ \
513 __ASM_EMIT("vext.32 q8, q0, q0, #1") /* q8 = x0 */ \
514 __ASM_EMIT("vext.32 q12, q2, q2, #1") /* q12 = abs(x0) */ \
515 __ASM_EMIT("vclt.f32 q4, q2, q12") /* q4 = [abs(min) < abs(x0) ] */ \
516 __ASM_EMIT("vcgt.f32 q5, q3, q12") /* q4 = [abs(max) > abs(x0) ] */ \
517 __ASM_EMIT("vbif q0, q8, q4") /* q0 = [abs(min) < abs(x0) ] ? min : x0 */ \
518 __ASM_EMIT("vbif q1, q8, q5") /* q1 = [abs(max) > abs(x0) ] ? res : x0 */ \
519 __ASM_EMIT("vbif q2, q12, q4") /* q12 = [abs(min) < abs(x0) ] ? abs(min) : abs(x0) */ \
520 __ASM_EMIT("vbif q3, q12, q5") /* q13 = [abs(max) > abs(x0) ] ? abs(max) : abs(x0) */ \
521 /* x1 block */ \
522 __ASM_EMIT("adds %[count], #3") \
523 __ASM_EMIT("blt 8f") \
524 __ASM_EMIT("7:") \
525 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[src]]!") \
526 __ASM_EMIT("vabs.f32 q12, q8") /* q12 = abs(x0) */ \
527 __ASM_EMIT("vclt.f32 q4, q2, q12") /* q4 = [abs(min) < abs(x0) ] */ \
528 __ASM_EMIT("vcgt.f32 q5, q3, q12") /* q4 = [abs(max) > abs(x0) ] */ \
529 __ASM_EMIT("vbif q0, q8, q4") /* q0 = [abs(min) < abs(x0) ] ? min : x0 */ \
530 __ASM_EMIT("vbif q1, q8, q5") /* q1 = [abs(max) > abs(x0) ] ? res : x0 */ \
531 __ASM_EMIT("vbif q2, q12, q4") /* q12 = [abs(min) < abs(x0) ] ? abs(min) : abs(x0) */ \
532 __ASM_EMIT("vbif q3, q12, q5") /* q13 = [abs(max) > abs(x0) ] ? abs(max) : abs(x0) */ \
533 __ASM_EMIT("subs %[count], #1") \
534 __ASM_EMIT("bge 7b") \
535 __ASM_EMIT("8:") \
536 /* end */ \
537 __ASM_EMIT("vst1.32 {d0[0]}, [%[min]]") \
538 __ASM_EMIT("vst1.32 {d2[0]}, [%[max]]")
539 : [count] "+r" (count), [src] "+r" (src)
540 : [min] "r" (min), [max] "r" (max)
541 : "cc",
542 "q1", "q2", "q3", "q4", "q5",
543 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
544 );
545 }
546 } /* namespace neon_d32 */
547 } /* namespace lsp */
548
549 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_SEARCH_MINMAX_H_ */