Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/search/iminmax.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_SEARCH_IMINMAX_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_SEARCH_IMINMAX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 IF_ARCH_ARM(
34 static uint32_t indexes[] __lsp_aligned16 =
35 {
36 0, 1, 2, 3, 4, 5, 6, 7,
37 8, 8, 8, 8, 8, 8, 8, 8,
38 4, 4, 4, 4,
39 1, 1, 1, 1
40 };
41 );
42
43 /*
44 * Register allocation:
45 * q0 imin0
46 * q1 imin1
47 * q2 vmin0
48 * q3 vmin1
49 * q8 cind0
50 * q9 cind1
51 * q10 cval0
52 * q11 cval1
53 * q12 xcmp0
54 * q13 xcmp1
55 * q14 step0
56 * q15 step1
57 */
58 #define IDX_COND_SEARCH(kmin) \
59 __ASM_EMIT("veor q0, q0") /* q0 = imin0 */ \
60 __ASM_EMIT("cmp %[count], #1") \
61 __ASM_EMIT("blo 6f") \
62 /* 8x blocks */ \
63 __ASM_EMIT("vldm %[IDXS]!, {q8-q9}") /* q8 = cind0, q9 = cind1 */ \
64 __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[src]]") /* q2 = vmin0 */ \
65 __ASM_EMIT("subs %[count], #8") \
66 __ASM_EMIT("vldm %[IDXS]!, {q14-q15}") /* q14 = step0, q15 = step1 */ \
67 __ASM_EMIT("blo 2f") \
68 __ASM_EMIT("vmov q1, q0") /* q1 = imin1 */ \
69 __ASM_EMIT("vmov q3, q2") /* q3 = vmin1 */ \
70 __ASM_EMIT("1:") \
71 __ASM_EMIT("vldm %[src]!, {q10-q11}") /* q10 = cval0, q11 = cval1 */ \
72 __ASM_EMIT(kmin " q12, q2, q10") /* q12 = (vmin0 <= samp0) */ \
73 __ASM_EMIT(kmin " q13, q3, q11") \
74 __ASM_EMIT("vbif q0, q8, q12") /* q0 = imin0 & (vmin0 <= samp0) | inew0 & (vmin0 > samp0) */ \
75 __ASM_EMIT("vbif q1, q9, q13") \
76 __ASM_EMIT("vbif q2, q10, q12") /* q6 = vmin0 & (vmin0 <= samp0) | samp0 & (vmin0 > samp0) */ \
77 __ASM_EMIT("vbif q3, q11, q13") \
78 __ASM_EMIT("vadd.u32 q8, q14") /* inew0 += 8 */ \
79 __ASM_EMIT("vadd.u32 q9, q15") /* inew1 += 8 */ \
80 __ASM_EMIT("subs %[count], #8") /* count -= 8 */ \
81 __ASM_EMIT("bhs 1b") \
82 /* 8 -> 4 reduce */ \
83 __ASM_EMIT(kmin " q12, q2, q3") \
84 __ASM_EMIT("vbif q0, q1, q12") \
85 __ASM_EMIT("vbif q2, q3, q12") \
86 /* 4x block */ \
87 __ASM_EMIT("2:") \
88 __ASM_EMIT("vldm %[IDXS]!, {q14-q15}") /* q14 = incr = 4, q15 = incr = 1 */ \
89 __ASM_EMIT("adds %[count], #4") \
90 __ASM_EMIT("blt 4f") \
91 __ASM_EMIT("vldm %[src]!, {q10}") /* q10 = samp0 */ \
92 __ASM_EMIT(kmin " q12, q2, q10") /* q12 = (vmin0 <= samp0) */ \
93 __ASM_EMIT("vbif q0, q8, q12") /* q0 = imin0 & (vmin0 <= samp0) | inew0 & (vmin0 > samp0) */ \
94 __ASM_EMIT("vbif q2, q10, q12") /* q6 = vmin0 & (vmin0 <= samp0) | samp0 & (vmin0 > samp0) */ \
95 __ASM_EMIT("vadd.u32 q8, q14") /* inew0 += 4 */ \
96 __ASM_EMIT("sub %[count], #4") /* count -= 4 */ \
97 __ASM_EMIT("4:") \
98 /* reduce 4->1, step 1 */ \
99 __ASM_EMIT("vext.32 q10, q2, q2, #3") \
100 __ASM_EMIT("vext.32 q11, q0, q0, #3") \
101 __ASM_EMIT(kmin " q12, q2, q10") \
102 __ASM_EMIT("vbif q2, q10, q12") \
103 __ASM_EMIT("vbif q0, q11, q12") \
104 /* 4x post-process, step 2 */ \
105 __ASM_EMIT("vext.32 q10, q2, q2, #2") \
106 __ASM_EMIT("vext.32 q11, q0, q0, #2") \
107 __ASM_EMIT(kmin " q12, q2, q10") \
108 __ASM_EMIT("vbif q2, q10, q12") \
109 __ASM_EMIT("vbif q0, q11, q12") \
110 /* 1x block */ \
111 __ASM_EMIT("adds %[count], #3") \
112 __ASM_EMIT("blt 6f") \
113 __ASM_EMIT("5:") \
114 __ASM_EMIT("vld1.32 {d20[], d21[]}, [%[src]]!") /* q10 = samp0 */ \
115 __ASM_EMIT(kmin " q12, q2, q10") /* q12 = (vmin0 <= samp0) */ \
116 __ASM_EMIT("vbif q0, q8, q12") /* q0 = imin0 & (vmin0 <= samp0) | inew0 & (vmin0 > samp0) */ \
117 __ASM_EMIT("vbif q2, q10, q12") /* q6 = vmin0 & (vmin0 <= samp0) | samp0 & (vmin0 > samp0) */ \
118 __ASM_EMIT("vadd.u32 q8, q15") /* inew1 += 1 */ \
119 __ASM_EMIT("subs %[count], #1") /* count-- */ \
120 __ASM_EMIT("bge 5b") \
121 __ASM_EMIT("6:") \
122 /* end */ \
123 __ASM_EMIT("vmov.32 %[res], d0[0]")
124
125 size_t min_index(const float *src, size_t count)
126 {
127 uint32_t res = 0;
128 IF_ARCH_ARM(uint32_t *pindexes = indexes);
129 ARCH_ARM_ASM(
130 IDX_COND_SEARCH("vcle.f32")
131 : [src] "+r" (src), [count] "+r" (count),
132 [IDXS] "+r" (pindexes),
133 [res] "+r" (res)
134 :
135 : "cc", "memory",
136 "q1", "q2", "q3",
137 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
138 );
139
140 return res;
141 }
142
143 size_t max_index(const float *src, size_t count)
144 {
145 uint32_t res = 0;
146 IF_ARCH_ARM(uint32_t *pindexes = indexes);
147 ARCH_ARM_ASM(
148 IDX_COND_SEARCH("vcge.f32")
149 : [src] "+r" (src), [count] "+r" (count),
150 [IDXS] "+r" (pindexes),
151 [res] "+r" (res)
152 :
153 : "cc", "memory",
154 "q1", "q2", "q3",
155 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
156 );
157
158 return res;
159 }
160
161 size_t abs_min_index(const float *src, size_t count)
162 {
163 uint32_t res = 0;
164 IF_ARCH_ARM(uint32_t *pindexes = indexes;);
165 ARCH_ARM_ASM(
166 IDX_COND_SEARCH("vacle.f32")
167 : [src] "+r" (src), [count] "+r" (count),
168 [IDXS] "+r" (pindexes),
169 [res] "+r" (res)
170 :
171 : "cc", "memory",
172 "q1", "q2", "q3",
173 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
174 );
175
176 return res;
177 }
178
179 size_t abs_max_index(const float *src, size_t count)
180 {
181 uint32_t res = 0;
182 IF_ARCH_ARM(uint32_t *pindexes = indexes;);
183 ARCH_ARM_ASM(
184 IDX_COND_SEARCH("vacge.f32")
185 : [src] "+r" (src), [count] "+r" (count),
186 [IDXS] "+r" (pindexes),
187 [res] "+r" (res)
188 :
189 : "cc", "memory",
190 "q1", "q2", "q3",
191 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
192 );
193
194 return res;
195 }
196
197 #undef IDX_COND_SEARCH
198
199 /*
200 * Register allocation:
201 * q0 imin0
202 * q1 imin1
203 * q2 vmin0
204 * q3 vmin1
205 * q4 imax0
206 * q5 imax1
207 * q6 vmax0
208 * q7 vmax1
209 * q8 cind0
210 * q9 cind1
211 * q10 cval0
212 * q11 cval1
213 * q12 xcmp0
214 * q13 xcmp1
215 * q14 step0
216 * q15 step1
217 */
218 #define MINMAX_COND_SEARCH(kmin, kmax) \
219 __ASM_EMIT("veor q0, q0") /* q0 = imin0 */ \
220 __ASM_EMIT("veor q4, q4") /* q4 = imax0 */ \
221 __ASM_EMIT("cmp %[count], #1") \
222 __ASM_EMIT("blo 6f") \
223 /* 8x blocks */ \
224 __ASM_EMIT("vldm %[IDXS]!, {q8-q9}") /* q8 = cind0, q9 = cind1 */ \
225 __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[src]]") /* q2 = vmin0 */ \
226 __ASM_EMIT("vmov q6, q2") /* q6 = vmax */ \
227 __ASM_EMIT("subs %[count], #8") \
228 __ASM_EMIT("vldm %[IDXS]!, {q14-q15}") /* q14 = step0, q15 = step1 */ \
229 __ASM_EMIT("blo 2f") \
230 __ASM_EMIT("vmov q1, q0") /* q1 = imin1 */ \
231 __ASM_EMIT("vmov q3, q2") /* q3 = vmin1 */ \
232 __ASM_EMIT("vmov q5, q4") /* q5 = imax1 */ \
233 __ASM_EMIT("vmov q7, q6") /* q7 = vmax1 */ \
234 __ASM_EMIT("1:") \
235 __ASM_EMIT("vldm %[src]!, {q10-q11}") /* q10 = cval0, q11 = cval1 */ \
236 __ASM_EMIT(kmin " q12, q2, q10") /* q12 = (vmin0 <= samp0) */ \
237 __ASM_EMIT(kmin " q13, q3, q11") \
238 __ASM_EMIT("vbif q0, q8, q12") /* q0 = imin0 & (vmin0 <= samp0) | inew0 & (vmin0 > samp0) */ \
239 __ASM_EMIT("vbif q1, q9, q13") \
240 __ASM_EMIT("vbif q2, q10, q12") /* q6 = vmin0 & (vmin0 <= samp0) | samp0 & (vmin0 > samp0) */ \
241 __ASM_EMIT("vbif q3, q11, q13") \
242 __ASM_EMIT(kmax " q12, q6, q10") /* q12 = vmax0 >= samp0 */ \
243 __ASM_EMIT(kmax " q13, q7, q11") \
244 __ASM_EMIT("vbif q4, q8, q12") /* q2 = imax0 & (vmax0 >= samp0) | q12 = inew0 & (vmax0 < samp0) */ \
245 __ASM_EMIT("vbif q5, q9, q13") \
246 __ASM_EMIT("vbif q6, q10, q12") /* q8 = vmax0 & (vmax0 >= samp0) | samp0 & (vmax0 < samp0) */ \
247 __ASM_EMIT("vbif q7, q11, q13") \
248 __ASM_EMIT("vadd.u32 q8, q14") /* inew0 += 8 */ \
249 __ASM_EMIT("vadd.u32 q9, q15") /* inew1 += 8 */ \
250 __ASM_EMIT("subs %[count], #8") /* count -= 8 */ \
251 __ASM_EMIT("bhs 1b") \
252 /* 8 -> 4 reduce */ \
253 __ASM_EMIT(kmin " q12, q2, q3") \
254 __ASM_EMIT(kmax " q13, q6, q7") \
255 __ASM_EMIT("vbif q0, q1, q12") \
256 __ASM_EMIT("vbif q4, q5, q13") \
257 __ASM_EMIT("vbif q2, q3, q12") \
258 __ASM_EMIT("vbif q6, q7, q13") \
259 /* 4x block */ \
260 __ASM_EMIT("2:") \
261 __ASM_EMIT("vldm %[IDXS]!, {q14-q15}") /* q14 = incr = 4, q15 = incr = 1 */ \
262 __ASM_EMIT("adds %[count], #4") \
263 __ASM_EMIT("blt 4f") \
264 __ASM_EMIT("vldm %[src]!, {q10}") /* q10 = samp0 */ \
265 __ASM_EMIT(kmin " q12, q2, q10") /* q12 = (vmin0 <= samp0) */ \
266 __ASM_EMIT(kmax " q13, q6, q10") /* q13 = vmax0 >= samp0 */ \
267 __ASM_EMIT("vbif q0, q8, q12") /* q0 = imin0 & (vmin0 <= samp0) | inew0 & (vmin0 > samp0) */ \
268 __ASM_EMIT("vbif q4, q8, q13") /* q2 = imax0 & (vmax0 >= samp0) | q12 = inew0 & (vmax0 < samp0) */ \
269 __ASM_EMIT("vbif q2, q10, q12") /* q6 = vmin0 & (vmin0 <= samp0) | samp0 & (vmin0 > samp0) */ \
270 __ASM_EMIT("vbif q6, q10, q13") /* q8 = vmax0 & (vmax0 >= samp0) | samp0 & (vmax0 < samp0) */ \
271 __ASM_EMIT("vadd.u32 q8, q14") /* inew0 += 4 */ \
272 __ASM_EMIT("sub %[count], #4") /* count -= 4 */ \
273 __ASM_EMIT("4:") \
274 /* reduce 4->1, step 1 */ \
275 __ASM_EMIT("vext.32 q10, q2, q2, #3") \
276 __ASM_EMIT("vext.32 q11, q0, q0, #3") \
277 __ASM_EMIT(kmin " q12, q2, q10") \
278 __ASM_EMIT("vbif q2, q10, q12") \
279 __ASM_EMIT("vbif q0, q11, q12") \
280 __ASM_EMIT("vext.32 q10, q6, q6, #3") \
281 __ASM_EMIT("vext.32 q11, q4, q4, #3") \
282 __ASM_EMIT(kmax " q12, q6, q10") \
283 __ASM_EMIT("vbif q6, q10, q12") \
284 __ASM_EMIT("vbif q4, q11, q12") \
285 /* 4x post-process, step 2 */ \
286 __ASM_EMIT("vext.32 q10, q2, q2, #2") \
287 __ASM_EMIT("vext.32 q11, q0, q0, #2") \
288 __ASM_EMIT(kmin " q12, q2, q10") \
289 __ASM_EMIT("vbif q2, q10, q12") \
290 __ASM_EMIT("vbif q0, q11, q12") \
291 __ASM_EMIT("vext.32 q10, q6, q6, #2") \
292 __ASM_EMIT("vext.32 q11, q4, q4, #2") \
293 __ASM_EMIT(kmax " q12, q6, q10") \
294 __ASM_EMIT("vbif q6, q10, q12") \
295 __ASM_EMIT("vbif q4, q11, q12") \
296 /* 1x block */ \
297 __ASM_EMIT("adds %[count], #3") \
298 __ASM_EMIT("blt 6f") \
299 __ASM_EMIT("5:") \
300 __ASM_EMIT("vld1.32 {d20[], d21[]}, [%[src]]!") /* q10 = samp0 */ \
301 __ASM_EMIT(kmin " q12, q2, q10") /* q12 = (vmin0 <= samp0) */ \
302 __ASM_EMIT(kmax " q13, q6, q10") /* q13 = vmax0 >= samp0 */ \
303 __ASM_EMIT("vbif q0, q8, q12") /* q0 = imin0 & (vmin0 <= samp0) | inew0 & (vmin0 > samp0) */ \
304 __ASM_EMIT("vbif q4, q8, q13") /* q2 = imax0 & (vmax0 >= samp0) | q12 = inew0 & (vmax0 < samp0) */ \
305 __ASM_EMIT("vbif q2, q10, q12") /* q6 = vmin0 & (vmin0 <= samp0) | samp0 & (vmin0 > samp0) */ \
306 __ASM_EMIT("vbif q6, q10, q13") /* q8 = vmax0 & (vmax0 >= samp0) | samp0 & (vmax0 < samp0) */ \
307 __ASM_EMIT("vadd.u32 q8, q15") /* inew1 += 1 */ \
308 __ASM_EMIT("subs %[count], #1") /* count-- */ \
309 __ASM_EMIT("bge 5b") \
310 __ASM_EMIT("6:") \
311 /* end */ \
312 __ASM_EMIT("vst1.32 {d0[0]}, [%[min]]") \
313 __ASM_EMIT("vst1.32 {d8[0]}, [%[max]]")
314
315 void minmax_index(const float *src, size_t count, size_t *min, size_t *max)
316 {
317 IF_ARCH_ARM(uint32_t *pindexes = indexes);
318 ARCH_ARM_ASM(
319 MINMAX_COND_SEARCH("vcle.f32", "vcge.f32")
320 : [src] "+r" (src), [count] "+r" (count),
321 [IDXS] "+r" (pindexes)
322 : [min] "r" (min), [max] "r" (max)
323 : "cc", "memory",
324 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
325 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
326 );
327 }
328
329 void abs_minmax_index(const float *src, size_t count, size_t *min, size_t *max)
330 {
331 IF_ARCH_ARM(uint32_t *pindexes = indexes);
332 ARCH_ARM_ASM(
333 MINMAX_COND_SEARCH("vacle.f32", "vacge.f32")
334 : [src] "+r" (src), [count] "+r" (count),
335 [IDXS] "+r" (pindexes)
336 : [min] "r" (min), [max] "r" (max)
337 : "cc", "memory",
338 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
339 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
340 );
341 }
342
343 #undef MINMAX_COND_SEARCH
344 }
345 }
346
347 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_SEARCH_IMINMAX_H_ */