Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/aarch64/asimd/search/minmax.h

raw
1 /*
2 * Copyright (C) 2024 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2024 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_SEARCH_MINMAX_H_
23 #define PRIVATE_DSP_ARCH_AARCH64_ASIMD_SEARCH_MINMAX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL */
28
29 namespace lsp
30 {
31 namespace asimd
32 {
33 #define MOD_NONE(src, dst) ""
34 #define MOD_ABS(src, dst) "fabs " dst ", " src
35
36 #define OP_SEARCH_CORE(DST, SRC, OP, MOD) \
37 __ASM_EMIT("cmp %[count], #0") \
38 __ASM_EMIT("b.ls 100f") \
39 /* 32x blocks */ \
40 __ASM_EMIT("ld1r {v0.4s}, [%[" SRC "]]") \
41 __ASM_EMIT(MOD("v0.4s", "v0.4s")) \
42 __ASM_EMIT("subs %[count], %[count], #32") \
43 __ASM_EMIT("mov v1.16b, v0.16b") \
44 __ASM_EMIT("b.lt 2f") \
45 __ASM_EMIT("1:") \
46 __ASM_EMIT("ldp q16, q17, [%[" SRC "], #0x00]") \
47 __ASM_EMIT("ldp q18, q19, [%[" SRC "], #0x20]") \
48 __ASM_EMIT("ldp q20, q21, [%[" SRC "], #0x40]") \
49 __ASM_EMIT("ldp q22, q23, [%[" SRC "], #0x60]") \
50 __ASM_EMIT(MOD("v16.4s", "v16.4s")) \
51 __ASM_EMIT(MOD("v17.4s", "v17.4s")) \
52 __ASM_EMIT(MOD("v18.4s", "v18.4s")) \
53 __ASM_EMIT(MOD("v19.4s", "v19.4s")) \
54 __ASM_EMIT(MOD("v20.4s", "v20.4s")) \
55 __ASM_EMIT(MOD("v21.4s", "v21.4s")) \
56 __ASM_EMIT(MOD("v22.4s", "v22.4s")) \
57 __ASM_EMIT(MOD("v23.4s", "v23.4s")) \
58 __ASM_EMIT(OP " v0.4s, v0.4s, v16.4s") \
59 __ASM_EMIT(OP " v1.4s, v1.4s, v17.4s") \
60 __ASM_EMIT(OP " v0.4s, v0.4s, v18.4s") \
61 __ASM_EMIT(OP " v1.4s, v1.4s, v19.4s") \
62 __ASM_EMIT(OP " v0.4s, v0.4s, v20.4s") \
63 __ASM_EMIT(OP " v1.4s, v1.4s, v21.4s") \
64 __ASM_EMIT(OP " v0.4s, v0.4s, v22.4s") \
65 __ASM_EMIT(OP " v1.4s, v1.4s, v23.4s") \
66 __ASM_EMIT("subs %[count], %[count], #32") \
67 __ASM_EMIT("add %[" SRC "], %[" SRC "], #0x80") \
68 __ASM_EMIT("b.hs 1b") \
69 /* 16x block */ \
70 __ASM_EMIT("2:") \
71 __ASM_EMIT("adds %[count], %[count], #16") \
72 __ASM_EMIT("b.lt 4f") \
73 __ASM_EMIT("ldp q16, q17, [%[" SRC "], #0x00]") \
74 __ASM_EMIT("ldp q18, q19, [%[" SRC "], #0x20]") \
75 __ASM_EMIT(MOD("v16.4s", "v16.4s")) \
76 __ASM_EMIT(MOD("v17.4s", "v17.4s")) \
77 __ASM_EMIT(MOD("v18.4s", "v18.4s")) \
78 __ASM_EMIT(MOD("v19.4s", "v19.4s")) \
79 __ASM_EMIT(OP " v0.4s, v0.4s, v16.4s") \
80 __ASM_EMIT(OP " v1.4s, v1.4s, v17.4s") \
81 __ASM_EMIT(OP " v0.4s, v0.4s, v18.4s") \
82 __ASM_EMIT(OP " v1.4s, v1.4s, v19.4s") \
83 __ASM_EMIT("sub %[count], %[count], #16") \
84 __ASM_EMIT("add %[" SRC "], %[" SRC "], #0x40") \
85 /* 8x block */ \
86 __ASM_EMIT("4:") \
87 __ASM_EMIT("adds %[count], %[count], #8") \
88 __ASM_EMIT("b.lt 6f") \
89 __ASM_EMIT("ldp q16, q17, [%[" SRC "], #0x00]") \
90 __ASM_EMIT(MOD("v16.4s", "v16.4s")) \
91 __ASM_EMIT(MOD("v17.4s", "v17.4s")) \
92 __ASM_EMIT(OP " v0.4s, v0.4s, v16.4s") \
93 __ASM_EMIT(OP " v1.4s, v1.4s, v17.4s") \
94 __ASM_EMIT("sub %[count], %[count], #8") \
95 __ASM_EMIT("add %[" SRC "], %[" SRC "], #0x20") \
96 /* 4x block */ \
97 __ASM_EMIT("6:") \
98 __ASM_EMIT(OP " v0.4s, v0.4s, v1.4s") \
99 __ASM_EMIT("adds %[count], %[count], #4") \
100 __ASM_EMIT("b.lt 8f") \
101 __ASM_EMIT("ldr q16, [%[" SRC "], #0x00]") \
102 __ASM_EMIT(MOD("v16.4s", "v16.4s")) \
103 __ASM_EMIT(OP " v0.4s, v0.4s, v16.4s") \
104 __ASM_EMIT("sub %[count], %[count], #4") \
105 __ASM_EMIT("add %[" SRC "], %[" SRC "], #0x10") \
106 /* 1x blocks */ \
107 __ASM_EMIT("8:") \
108 __ASM_EMIT("adds %[count], %[count], #3") \
109 __ASM_EMIT("b.lt 10f") \
110 __ASM_EMIT("9:") \
111 __ASM_EMIT("ld1r {v16.4s}, [%[" SRC "]]") \
112 __ASM_EMIT(MOD("v16.4s", "v16.4s")) \
113 __ASM_EMIT(OP " v0.4s, v0.4s, v16.4s") \
114 __ASM_EMIT("subs %[count], %[count], #1") \
115 __ASM_EMIT("add %[" SRC "], %[" SRC "], #0x04") \
116 __ASM_EMIT("b.ge 9b") \
117 /* end */ \
118 __ASM_EMIT("10:") \
119 __ASM_EMIT("ext v1.16b, v0.16b, v0.16b, #8") /* v0 = a0 a1 a2 a3, v1 = a2 a3 a0 a1 */ \
120 __ASM_EMIT(OP " v0.4s, v0.4s, v1.4s") /* v0 = a0?a2 a1?a3 a0?a2 a1?a3 */ \
121 __ASM_EMIT("ext v1.16b, v0.16b, v0.16b, #4") /* v1 = a1?a3 a0?a2 a1?a3 a0?a2 */ \
122 __ASM_EMIT(OP " %[" DST "].4s, v0.4s, v1.4s") /* v0 = a0?a1?a2?a3 */ \
123 __ASM_EMIT("100:")
124
125
126 float min(const float *src, size_t count)
127 {
128 float res = 0.0f;
129 ARCH_AARCH64_ASM(
130 OP_SEARCH_CORE("res", "src", "fmin", MOD_NONE)
131 : [res] "+w" (res), [src] "+r" (src),
132 [count] "+r" (count)
133 :
134 : "cc", "memory",
135 "v1",
136 "v16", "v17", "v18", "v19",
137 "v20", "v21", "v22", "v23"
138 );
139 return res;
140 }
141
142 float max(const float *src, size_t count)
143 {
144 float res = 0.0f;
145 ARCH_AARCH64_ASM(
146 OP_SEARCH_CORE("res", "src", "fmax", MOD_NONE)
147 : [res] "+w" (res), [src] "+r" (src),
148 [count] "+r" (count)
149 :
150 : "cc", "memory",
151 "v1",
152 "v16", "v17", "v18", "v19",
153 "v20", "v21", "v22", "v23"
154 );
155 return res;
156 }
157
158 float abs_min(const float *src, size_t count)
159 {
160 float res = 0.0f;
161 ARCH_AARCH64_ASM(
162 OP_SEARCH_CORE("res", "src", "fmin", MOD_ABS)
163 : [res] "+w" (res), [src] "+r" (src),
164 [count] "+r" (count)
165 :
166 : "cc", "memory",
167 "v1",
168 "v16", "v17", "v18", "v19",
169 "v20", "v21", "v22", "v23"
170 );
171 return res;
172 }
173
174 float abs_max(const float *src, size_t count)
175 {
176 float res = 0.0f;
177 ARCH_AARCH64_ASM(
178 OP_SEARCH_CORE("res", "src", "fmax", MOD_ABS)
179 : [res] "+w" (res), [src] "+r" (src),
180 [count] "+r" (count)
181 :
182 : "cc", "memory",
183 "v1",
184 "v16", "v17", "v18", "v19",
185 "v20", "v21", "v22", "v23"
186 );
187 return res;
188 }
189
190 #undef OP_SEARCH_CORE
191
192 #define MINMAX_SEARCH_CORE(MIN, MAX, SRC, MOD) \
193 __ASM_EMIT("eor v0.16b, v0.16b, v0.16b") \
194 __ASM_EMIT("eor v1.16b, v1.16b, v1.16b") \
195 __ASM_EMIT("cmp %[count], #0") \
196 __ASM_EMIT("b.ls 100f") \
197 /* 32x blocks */ \
198 __ASM_EMIT("ld1r {v0.4s}, [%[" SRC "]]") \
199 __ASM_EMIT(MOD("v0.4s", "v0.4s")) \
200 __ASM_EMIT("subs %[count], %[count], #32") \
201 __ASM_EMIT("mov v1.16b, v0.16b") \
202 __ASM_EMIT("mov v2.16b, v0.16b") \
203 __ASM_EMIT("mov v3.16b, v1.16b") \
204 __ASM_EMIT("b.lt 2f") \
205 __ASM_EMIT("1:") \
206 __ASM_EMIT("ldp q16, q17, [%[" SRC "], #0x00]") \
207 __ASM_EMIT("ldp q18, q19, [%[" SRC "], #0x20]") \
208 __ASM_EMIT("ldp q20, q21, [%[" SRC "], #0x40]") \
209 __ASM_EMIT("ldp q22, q23, [%[" SRC "], #0x60]") \
210 __ASM_EMIT(MOD("v16.4s", "v16.4s")) \
211 __ASM_EMIT(MOD("v17.4s", "v17.4s")) \
212 __ASM_EMIT(MOD("v18.4s", "v18.4s")) \
213 __ASM_EMIT(MOD("v19.4s", "v19.4s")) \
214 __ASM_EMIT(MOD("v20.4s", "v20.4s")) \
215 __ASM_EMIT(MOD("v21.4s", "v21.4s")) \
216 __ASM_EMIT(MOD("v22.4s", "v22.4s")) \
217 __ASM_EMIT(MOD("v23.4s", "v23.4s")) \
218 __ASM_EMIT("fmin v0.4s, v0.4s, v16.4s") \
219 __ASM_EMIT("fmin v2.4s, v2.4s, v17.4s") \
220 __ASM_EMIT("fmax v1.4s, v1.4s, v16.4s") \
221 __ASM_EMIT("fmax v3.4s, v3.4s, v17.4s") \
222 __ASM_EMIT("fmin v0.4s, v0.4s, v18.4s") \
223 __ASM_EMIT("fmin v2.4s, v2.4s, v19.4s") \
224 __ASM_EMIT("fmax v1.4s, v1.4s, v18.4s") \
225 __ASM_EMIT("fmax v3.4s, v3.4s, v19.4s") \
226 __ASM_EMIT("fmin v0.4s, v0.4s, v20.4s") \
227 __ASM_EMIT("fmin v2.4s, v2.4s, v21.4s") \
228 __ASM_EMIT("fmax v1.4s, v1.4s, v20.4s") \
229 __ASM_EMIT("fmax v3.4s, v3.4s, v21.4s") \
230 __ASM_EMIT("fmin v0.4s, v0.4s, v22.4s") \
231 __ASM_EMIT("fmin v2.4s, v2.4s, v23.4s") \
232 __ASM_EMIT("fmax v1.4s, v1.4s, v22.4s") \
233 __ASM_EMIT("fmax v3.4s, v3.4s, v23.4s") \
234 __ASM_EMIT("subs %[count], %[count], #32") \
235 __ASM_EMIT("add %[" SRC "], %[" SRC "], #0x80") \
236 __ASM_EMIT("b.hs 1b") \
237 /* 16x block */ \
238 __ASM_EMIT("2:") \
239 __ASM_EMIT("adds %[count], %[count], #16") \
240 __ASM_EMIT("b.lt 4f") \
241 __ASM_EMIT("ldp q16, q17, [%[" SRC "], #0x00]") \
242 __ASM_EMIT("ldp q18, q19, [%[" SRC "], #0x20]") \
243 __ASM_EMIT(MOD("v16.4s", "v16.4s")) \
244 __ASM_EMIT(MOD("v17.4s", "v17.4s")) \
245 __ASM_EMIT(MOD("v18.4s", "v18.4s")) \
246 __ASM_EMIT(MOD("v19.4s", "v19.4s")) \
247 __ASM_EMIT("fmin v0.4s, v0.4s, v16.4s") \
248 __ASM_EMIT("fmin v2.4s, v2.4s, v17.4s") \
249 __ASM_EMIT("fmax v1.4s, v1.4s, v16.4s") \
250 __ASM_EMIT("fmax v3.4s, v3.4s, v17.4s") \
251 __ASM_EMIT("fmin v0.4s, v0.4s, v18.4s") \
252 __ASM_EMIT("fmin v2.4s, v2.4s, v19.4s") \
253 __ASM_EMIT("fmax v1.4s, v1.4s, v18.4s") \
254 __ASM_EMIT("fmax v3.4s, v3.4s, v19.4s") \
255 __ASM_EMIT("sub %[count], %[count], #16") \
256 __ASM_EMIT("add %[" SRC "], %[" SRC "], #0x40") \
257 /* 8x block */ \
258 __ASM_EMIT("4:") \
259 __ASM_EMIT("adds %[count], %[count], #8") \
260 __ASM_EMIT("b.lt 6f") \
261 __ASM_EMIT("ldp q16, q17, [%[" SRC "], #0x00]") \
262 __ASM_EMIT(MOD("v16.4s", "v16.4s")) \
263 __ASM_EMIT(MOD("v17.4s", "v17.4s")) \
264 __ASM_EMIT("fmin v0.4s, v0.4s, v16.4s") \
265 __ASM_EMIT("fmin v2.4s, v2.4s, v17.4s") \
266 __ASM_EMIT("fmax v1.4s, v1.4s, v16.4s") \
267 __ASM_EMIT("fmax v3.4s, v3.4s, v17.4s") \
268 __ASM_EMIT("sub %[count], %[count], #8") \
269 __ASM_EMIT("add %[" SRC "], %[" SRC "], #0x20") \
270 /* 4x block */ \
271 __ASM_EMIT("6:") \
272 __ASM_EMIT("fmin v0.4s, v0.4s, v2.4s") \
273 __ASM_EMIT("fmax v1.4s, v1.4s, v3.4s") \
274 __ASM_EMIT("adds %[count], %[count], #4") \
275 __ASM_EMIT("b.lt 8f") \
276 __ASM_EMIT("ldr q16, [%[" SRC "], #0x00]") \
277 __ASM_EMIT(MOD("v16.4s", "v16.4s")) \
278 __ASM_EMIT("fmin v0.4s, v0.4s, v16.4s") \
279 __ASM_EMIT("fmax v1.4s, v1.4s, v16.4s") \
280 __ASM_EMIT("sub %[count], %[count], #4") \
281 __ASM_EMIT("add %[" SRC "], %[" SRC "], #0x10") \
282 /* 1x blocks */ \
283 __ASM_EMIT("8:") \
284 __ASM_EMIT("adds %[count], %[count], #3") \
285 __ASM_EMIT("b.lt 10f") \
286 __ASM_EMIT("9:") \
287 __ASM_EMIT("ld1r {v16.4s}, [%[" SRC "]]") \
288 __ASM_EMIT(MOD("v16.4s", "v16.4s")) \
289 __ASM_EMIT("fmin v0.4s, v0.4s, v16.4s") \
290 __ASM_EMIT("fmax v1.4s, v1.4s, v16.4s") \
291 __ASM_EMIT("subs %[count], %[count], #1") \
292 __ASM_EMIT("add %[" SRC "], %[" SRC "], #0x04") \
293 __ASM_EMIT("b.ge 9b") \
294 /* end */ \
295 __ASM_EMIT("10:") \
296 __ASM_EMIT("ext v2.16b, v0.16b, v0.16b, #8") /* v0 = a0 a1 a2 a3, v2 = a2 a3 a0 a1 */ \
297 __ASM_EMIT("ext v3.16b, v1.16b, v1.16b, #8") /* v1 = b0 b1 b2 b3, v3 = b2 b3 b0 b1 */ \
298 __ASM_EMIT("fmin v0.4s, v0.4s, v2.4s") /* v0 = a0?a2 a1?a3 a0?a2 a1?a3 */ \
299 __ASM_EMIT("fmax v1.4s, v1.4s, v3.4s") /* v1 = b0?b2 b1?b3 b0?b2 b1?b3 */ \
300 __ASM_EMIT("ext v2.16b, v0.16b, v0.16b, #4") /* v2 = a1?a3 a0?a2 a1?a3 a0?a2 */ \
301 __ASM_EMIT("ext v3.16b, v1.16b, v1.16b, #4") /* v3 = b1?b3 b0?b2 b1?b3 b0?b2 */ \
302 __ASM_EMIT("fmin v0.4s, v0.4s, v2.4s") /* v0 = a0?a1?a2?a3 */ \
303 __ASM_EMIT("fmax v1.4s, v1.4s, v3.4s") /* v1 = b0?b1?b2?b3 */ \
304 __ASM_EMIT("100:") \
305 /* store */ \
306 __ASM_EMIT("st1 {v0.s}[0], [%[" MIN "]]") \
307 __ASM_EMIT("st1 {v1.s}[0], [%[" MAX "]]")
308
309 void minmax(const float *src, size_t count, float *min, float *max)
310 {
311 ARCH_AARCH64_ASM(
312 MINMAX_SEARCH_CORE("min", "max", "src", MOD_NONE)
313 : [src] "+r" (src), [count] "+r" (count)
314 : [min] "r" (min), [max] "r" (max)
315 : "cc",
316 "v0", "v1", "v2", "v3",
317 "v16", "v17", "v18", "v19",
318 "v20", "v21", "v22", "v23"
319 );
320 }
321
322 void abs_minmax(const float *src, size_t count, float *min, float *max)
323 {
324 ARCH_AARCH64_ASM(
325 MINMAX_SEARCH_CORE("min", "max", "src", MOD_ABS)
326 : [src] "+r" (src), [count] "+r" (count)
327 : [min] "r" (min), [max] "r" (max)
328 : "cc", "memory",
329 "v0", "v1", "v2", "v3",
330 "v16", "v17", "v18", "v19",
331 "v20", "v21", "v22", "v23"
332 );
333 }
334
335 #undef MINMAX_SEARCH_CORE
336 #undef MOD_NONE
337 #undef MOD_ABS
338
339 #define MOD_NONE(a, b) a
340 #define MOD_SWAP(a, b) b
341
342 #define OP_SIGN_SEARCH_CORE(MOD, OP) \
343 __ASM_EMIT("cmp %[count], #0") \
344 __ASM_EMIT("b.ls 12f") \
345 __ASM_EMIT("ld1r {v0.4s}, [%[src]]") /* v0 = res0 */ \
346 __ASM_EMIT("subs %[count], %[count], #32") \
347 __ASM_EMIT("fabs v2.4s, v0.4s") /* v2 = fabsf(res0) */ \
348 __ASM_EMIT("mov v1.16b, v0.16b") /* v1 = res1 */ \
349 __ASM_EMIT("mov v3.16b, v2.16b") /* v3 = fabsf(res1) */ \
350 __ASM_EMIT("b.lt 2f") \
351 /* 32x blocks */ \
352 __ASM_EMIT("1:") \
353 __ASM_EMIT("ldp q16, q17, [%[src], #0x00]") /* q16 = x0, x1 */ \
354 __ASM_EMIT("ldp q18, q19, [%[src], #0x20]") \
355 __ASM_EMIT("ldp q20, q21, [%[src], #0x40]") \
356 __ASM_EMIT("ldp q22, q23, [%[src], #0x60]") \
357 __ASM_EMIT("fabs v6.4s, v16.4s") /* v6 = fabsf(x0) */ \
358 __ASM_EMIT("fabs v7.4s, v17.4s") /* v7 = fabsf(x1) */ \
359 __ASM_EMIT("fcmgt v4.4s, " MOD_SWAP("v2.4s, v6.4s", "v6.4s, v2.4s")) /* v4 = [fabsf(res0) <=> fabsf(x0)] */ \
360 __ASM_EMIT("fcmgt v5.4s, " MOD_SWAP("v3.4s, v7.4s", "v7.4s, v3.4s")) /* v5 = [fabsf(res1) <=> fabsf(x1)] */ \
361 __ASM_EMIT(OP " v0.16b, v16.16b, v4.16b") /* v0 = (fabsf(res0) <=> fabsf(x0)) ? res0 : x0 */ \
362 __ASM_EMIT(OP " v1.16b, v17.16b, v5.16b") /* v1 = (fabsf(res1) <=> fabsf(x1)) ? res1 : x1 */ \
363 __ASM_EMIT(OP " v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(res0) <=> fabsf(x0)) ? fabsf(res0) : fabsf(x0) */ \
364 __ASM_EMIT(OP " v3.16b, v7.16b, v5.16b") /* v3 = (fabsf(res1) <=> fabsf(x1)) ? fabsf(res1) : fabsf(x1) */ \
365 __ASM_EMIT("fabs v6.4s, v18.4s") /* v6 = fabsf(x0) */ \
366 __ASM_EMIT("fabs v7.4s, v19.4s") /* v7 = fabsf(x1) */ \
367 __ASM_EMIT("fcmgt v4.4s, " MOD_SWAP("v2.4s, v6.4s", "v6.4s, v2.4s")) /* v4 = [fabsf(res0) <=> fabsf(x0)] */ \
368 __ASM_EMIT("fcmgt v5.4s, " MOD_SWAP("v3.4s, v7.4s", "v7.4s, v3.4s")) /* v5 = [fabsf(res1) <=> fabsf(x1)] */ \
369 __ASM_EMIT(OP " v0.16b, v18.16b, v4.16b") /* v0 = (fabsf(res0) <=> fabsf(x0)) ? res0 : x0 */ \
370 __ASM_EMIT(OP " v1.16b, v19.16b, v5.16b") /* v1 = (fabsf(res1) <=> fabsf(x1)) ? res1 : x1 */ \
371 __ASM_EMIT(OP " v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(res0) <=> fabsf(x0)) ? fabsf(res0) : fabsf(x0) */ \
372 __ASM_EMIT(OP " v3.16b, v7.16b, v5.16b") /* v3 = (fabsf(res1) <=> fabsf(x1)) ? fabsf(res1) : fabsf(x1) */ \
373 __ASM_EMIT("fabs v6.4s, v20.4s") /* v6 = fabsf(x0) */ \
374 __ASM_EMIT("fabs v7.4s, v21.4s") /* v7 = fabsf(x1) */ \
375 __ASM_EMIT("fcmgt v4.4s, " MOD_SWAP("v2.4s, v6.4s", "v6.4s, v2.4s")) /* v4 = [fabsf(res0) <=> fabsf(x0)] */ \
376 __ASM_EMIT("fcmgt v5.4s, " MOD_SWAP("v3.4s, v7.4s", "v7.4s, v3.4s")) /* v5 = [fabsf(res1) <=> fabsf(x1)] */ \
377 __ASM_EMIT(OP " v0.16b, v20.16b, v4.16b") /* v0 = (fabsf(res0) <=> fabsf(x0)) ? res0 : x0 */ \
378 __ASM_EMIT(OP " v1.16b, v21.16b, v5.16b") /* v1 = (fabsf(res1) <=> fabsf(x1)) ? res1 : x1 */ \
379 __ASM_EMIT(OP " v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(res0) <=> fabsf(x0)) ? fabsf(res0) : fabsf(x0) */ \
380 __ASM_EMIT(OP " v3.16b, v7.16b, v5.16b") /* v3 = (fabsf(res1) <=> fabsf(x1)) ? fabsf(res1) : fabsf(x1) */ \
381 __ASM_EMIT("fabs v6.4s, v22.4s") /* v6 = fabsf(x0) */ \
382 __ASM_EMIT("fabs v7.4s, v23.4s") /* v7 = fabsf(x1) */ \
383 __ASM_EMIT("fcmgt v4.4s, " MOD_SWAP("v2.4s, v6.4s", "v6.4s, v2.4s")) /* v4 = [fabsf(res0) <=> fabsf(x0)] */ \
384 __ASM_EMIT("fcmgt v5.4s, " MOD_SWAP("v3.4s, v7.4s", "v7.4s, v3.4s")) /* v5 = [fabsf(res1) <=> fabsf(x1)] */ \
385 __ASM_EMIT(OP " v0.16b, v22.16b, v4.16b") /* v0 = (fabsf(res0) <=> fabsf(x0)) ? res0 : x0 */ \
386 __ASM_EMIT(OP " v1.16b, v23.16b, v5.16b") /* v1 = (fabsf(res1) <=> fabsf(x1)) ? res1 : x1 */ \
387 __ASM_EMIT(OP " v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(res0) <=> fabsf(x0)) ? fabsf(res0) : fabsf(x0) */ \
388 __ASM_EMIT(OP " v3.16b, v7.16b, v5.16b") /* v3 = (fabsf(res1) <=> fabsf(x1)) ? fabsf(res1) : fabsf(x1) */ \
389 __ASM_EMIT("subs %[count], %[count], #32") \
390 __ASM_EMIT("add %[src], %[src], #0x80") \
391 __ASM_EMIT("b.hs 1b") \
392 /* 16x block */ \
393 __ASM_EMIT("2:") \
394 __ASM_EMIT("adds %[count], %[count], #16") \
395 __ASM_EMIT("b.lt 4f") \
396 __ASM_EMIT("ldp q16, q17, [%[src], #0x00]") /* q16 = x0, x1 */ \
397 __ASM_EMIT("ldp q18, q19, [%[src], #0x20]") \
398 __ASM_EMIT("fabs v6.4s, v16.4s") /* v6 = fabsf(x0) */ \
399 __ASM_EMIT("fabs v7.4s, v17.4s") /* v7 = fabsf(x1) */ \
400 __ASM_EMIT("fcmgt v4.4s, " MOD_SWAP("v2.4s, v6.4s", "v6.4s, v2.4s")) /* v4 = [fabsf(res0) <=> fabsf(x0)] */ \
401 __ASM_EMIT("fcmgt v5.4s, " MOD_SWAP("v3.4s, v7.4s", "v7.4s, v3.4s")) /* v5 = [fabsf(res1) <=> fabsf(x1)] */ \
402 __ASM_EMIT(OP " v0.16b, v16.16b, v4.16b") /* v0 = (fabsf(res0) <=> fabsf(x0)) ? res0 : x0 */ \
403 __ASM_EMIT(OP " v1.16b, v17.16b, v5.16b") /* v1 = (fabsf(res1) <=> fabsf(x1)) ? res1 : x1 */ \
404 __ASM_EMIT(OP " v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(res0) <=> fabsf(x0)) ? fabsf(res0) : fabsf(x0) */ \
405 __ASM_EMIT(OP " v3.16b, v7.16b, v5.16b") /* v3 = (fabsf(res1) <=> fabsf(x1)) ? fabsf(res1) : fabsf(x1) */ \
406 __ASM_EMIT("fabs v6.4s, v18.4s") /* v6 = fabsf(x0) */ \
407 __ASM_EMIT("fabs v7.4s, v19.4s") /* v7 = fabsf(x1) */ \
408 __ASM_EMIT("fcmgt v4.4s, " MOD_SWAP("v2.4s, v6.4s", "v6.4s, v2.4s")) /* v4 = [fabsf(res0) <=> fabsf(x0)] */ \
409 __ASM_EMIT("fcmgt v5.4s, " MOD_SWAP("v3.4s, v7.4s", "v7.4s, v3.4s")) /* v5 = [fabsf(res1) <=> fabsf(x1)] */ \
410 __ASM_EMIT(OP " v0.16b, v18.16b, v4.16b") /* v0 = (fabsf(res0) <=> fabsf(x0)) ? res0 : x0 */ \
411 __ASM_EMIT(OP " v1.16b, v19.16b, v5.16b") /* v1 = (fabsf(res1) <=> fabsf(x1)) ? res1 : x1 */ \
412 __ASM_EMIT(OP " v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(res0) <=> fabsf(x0)) ? fabsf(res0) : fabsf(x0) */ \
413 __ASM_EMIT(OP " v3.16b, v7.16b, v5.16b") /* v3 = (fabsf(res1) <=> fabsf(x1)) ? fabsf(res1) : fabsf(x1) */ \
414 __ASM_EMIT("subs %[count], %[count], #32") \
415 __ASM_EMIT("add %[src], %[src], #0x80") \
416 __ASM_EMIT("sub %[count], %[count], #16") \
417 __ASM_EMIT("add %[src], %[src], #0x40") \
418 /* 8x block */ \
419 __ASM_EMIT("4:") \
420 __ASM_EMIT("adds %[count], %[count], #8") \
421 __ASM_EMIT("b.lt 6f") \
422 __ASM_EMIT("ldp q16, q17, [%[src], #0x00]") /* q16 = x0, x1 */ \
423 __ASM_EMIT("fabs v6.4s, v16.4s") /* v6 = fabsf(x0) */ \
424 __ASM_EMIT("fabs v7.4s, v17.4s") /* v7 = fabsf(x1) */ \
425 __ASM_EMIT("fcmgt v4.4s, " MOD_SWAP("v2.4s, v6.4s", "v6.4s, v2.4s")) /* v4 = [fabsf(res0) <=> fabsf(x0)] */ \
426 __ASM_EMIT("fcmgt v5.4s, " MOD_SWAP("v3.4s, v7.4s", "v7.4s, v3.4s")) /* v5 = [fabsf(res1) <=> fabsf(x1)] */ \
427 __ASM_EMIT(OP " v0.16b, v16.16b, v4.16b") /* v0 = (fabsf(res0) <=> fabsf(x0)) ? res0 : x0 */ \
428 __ASM_EMIT(OP " v1.16b, v17.16b, v5.16b") /* v1 = (fabsf(res1) <=> fabsf(x1)) ? res1 : x1 */ \
429 __ASM_EMIT(OP " v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(res0) <=> fabsf(x0)) ? fabsf(res0) : fabsf(x0) */ \
430 __ASM_EMIT(OP " v3.16b, v7.16b, v5.16b") /* v3 = (fabsf(res1) <=> fabsf(x1)) ? fabsf(res1) : fabsf(x1) */ \
431 __ASM_EMIT("sub %[count], %[count], #8") \
432 __ASM_EMIT("add %[src], %[src], #0x20") \
433 __ASM_EMIT("6:") \
434 __ASM_EMIT("fcmgt v4.4s, " MOD_SWAP("v2.4s, v3.4s", "v3.4s, v2.4s")) /* v4 = [fabsf(res0) <=> fabsf(res1)] */ \
435 __ASM_EMIT(OP " v0.16b, v1.16b, v4.16b") /* v0 = (fabsf(res0) <=> fabsf(res1)) ? res0 : res1 */ \
436 __ASM_EMIT(OP " v2.16b, v3.16b, v4.16b") /* v2 = (fabsf(res0) <=> fabsf(res1)) ? fabsf(res0) : fabsf(res1) */ \
437 /* 4x block */ \
438 __ASM_EMIT("adds %[count], %[count], #4") \
439 __ASM_EMIT("b.lt 8f") \
440 __ASM_EMIT("ldr q16, [%[src], #0x00]") /* q16 = x0 */ \
441 __ASM_EMIT("fabs v6.4s, v16.4s") /* v6 = fabsf(x0) */ \
442 __ASM_EMIT("fcmgt v4.4s, " MOD_SWAP("v2.4s, v6.4s", "v6.4s, v2.4s")) /* v4 = [fabsf(res0) <=> fabsf(x0)] */ \
443 __ASM_EMIT(OP " v0.16b, v16.16b, v4.16b") /* v0 = (fabsf(res0) <=> fabsf(x0)) ? res0 : x0 */ \
444 __ASM_EMIT(OP " v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(res0) <=> fabsf(x0)) ? fabsf(res0) : fabsf(x0) */ \
445 __ASM_EMIT("sub %[count], %[count], #4") \
446 __ASM_EMIT("add %[src], %[src], #0x10") \
447 /* 1x blocks */ \
448 __ASM_EMIT("8:") \
449 __ASM_EMIT("adds %[count], %[count], #3") \
450 __ASM_EMIT("b.lt 10f") \
451 __ASM_EMIT("9:") \
452 __ASM_EMIT("ld1r {v16.4s}, [%[src]]") \
453 __ASM_EMIT("fabs v6.4s, v16.4s") /* v6 = fabsf(x0) */ \
454 __ASM_EMIT("fcmgt v4.4s, " MOD_SWAP("v2.4s, v6.4s", "v6.4s, v2.4s")) /* v4 = [fabsf(res0) <=> fabsf(x0)] */ \
455 __ASM_EMIT(OP " v0.16b, v16.16b, v4.16b") /* v0 = (fabsf(res0) <=> fabsf(x0)) ? res0 : x0 */ \
456 __ASM_EMIT(OP " v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(res0) <=> fabsf(x0)) ? fabsf(res0) : fabsf(x0) */ \
457 __ASM_EMIT("subs %[count], %[count], #1") \
458 __ASM_EMIT("add %[src], %[src], #0x04") \
459 __ASM_EMIT("b.ge 9b") \
460 /* end */ \
461 __ASM_EMIT("10:") \
462 __ASM_EMIT("ext v16.16b, v0.16b, v0.16b, #8") /* v16 = x0 */ \
463 __ASM_EMIT("ext v6.16b, v2.16b, v2.16b, #8") /* v6 = fabsf(x0) */ \
464 __ASM_EMIT("fcmgt v4.4s, " MOD_SWAP("v2.4s, v6.4s", "v6.4s, v2.4s")) /* v4 = [fabsf(res0) <=> fabsf(x0)] */ \
465 __ASM_EMIT(OP " v0.16b, v16.16b, v4.16b") /* v0 = (fabsf(res0) <=> fabsf(x0)) ? res0 : x0 */ \
466 __ASM_EMIT(OP " v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(res0) <=> fabsf(x0)) ? fabsf(res0) : fabsf(x0) */ \
467 __ASM_EMIT("ext v16.16b, v0.16b, v0.16b, #4") /* v16 = x0 */ \
468 __ASM_EMIT("ext v6.16b, v2.16b, v2.16b, #4") /* v6 = fabsf(x0) */ \
469 __ASM_EMIT("fcmgt v4.4s, " MOD_SWAP("v2.4s, v6.4s", "v6.4s, v2.4s")) /* v4 = [fabsf(res0) <=> fabsf(x0)] */ \
470 __ASM_EMIT(OP " v0.16b, v16.16b, v4.16b") /* v0 = (fabsf(res0) <=> fabsf(x0)) ? res0 : x0 */ \
471 __ASM_EMIT("mov %[res].16b, v0.16b") /* v2 = (fabsf(res0) <=> fabsf(x0)) ? fabsf(res0) : fabsf(x0) */ \
472 __ASM_EMIT("12:")
473
474 float sign_min(const float *src, size_t count)
475 {
476 float res = 0.0f;
477 ARCH_AARCH64_ASM(
478 OP_SIGN_SEARCH_CORE(MOD_SWAP, "bif")
479 : [res] "+w" (res), [src] "+r" (src),
480 [count] "+r" (count)
481 :
482 : "cc", "memory",
483 /* "v0", */ "v1", "v2", "v3",
484 "v4", "v5", "v6", "v7",
485 "v16", "v17", "v18", "v19",
486 "v20", "v21", "v22", "v23"
487 );
488 return res;
489 }
490
491 float sign_max(const float *src, size_t count)
492 {
493 float res = 0.0f;
494 ARCH_AARCH64_ASM(
495 OP_SIGN_SEARCH_CORE(MOD_NONE, "bit")
496 : [res] "+w" (res), [src] "+r" (src),
497 [count] "+r" (count)
498 :
499 : "cc", "memory",
500 /* "v0", */ "v1", "v2", "v3",
501 "v4", "v5", "v6", "v7",
502 "v16", "v17", "v18", "v19",
503 "v20", "v21", "v22", "v23"
504 );
505 return res;
506 }
507
508 #undef OP_SIGN_SEARCH_CORE
509
510 void sign_minmax(const float *src, size_t count, float *min, float *max)
511 {
512 ARCH_AARCH64_ASM(
513 __ASM_EMIT("eor v0.16b, v0.16b, v0.16b")
514 __ASM_EMIT("eor v2.16b, v1.16b, v1.16b")
515 __ASM_EMIT("cmp %[count], #0")
516 __ASM_EMIT("b.ls 12f")
517 __ASM_EMIT("ld1r {v0.4s}, [%[src]]") /* v0 = min */
518 __ASM_EMIT("subs %[count], %[count], #32")
519 __ASM_EMIT("fabs v2.4s, v0.4s") /* v2 = fabsf(min) */
520 __ASM_EMIT("mov v1.16b, v0.16b") /* v1 = max */
521 __ASM_EMIT("mov v3.16b, v2.16b") /* v3 = fabsf(max) */
522 __ASM_EMIT("b.lt 2f")
523 /* 32x blocks */
524 __ASM_EMIT("1:")
525 __ASM_EMIT("ldp q16, q17, [%[src], #0x00]") /* q16 = x0, x1 */
526 __ASM_EMIT("ldp q18, q19, [%[src], #0x20]")
527 __ASM_EMIT("ldp q20, q21, [%[src], #0x40]")
528 __ASM_EMIT("ldp q22, q23, [%[src], #0x60]")
529 __ASM_EMIT("fabs v6.4s, v16.4s") /* v6 = fabsf(x0) */
530 __ASM_EMIT("fabs v7.4s, v17.4s") /* v7 = fabsf(x1) */
531 __ASM_EMIT("fcmgt v4.4s, v2.4s, v6.4s") /* v4 = [fabsf(min) > fabsf(x0)] */
532 __ASM_EMIT("fcmgt v5.4s, v3.4s, v6.4s") /* v5 = [fabsf(max) > fabsf(x0)] */
533 __ASM_EMIT("bit v0.16b, v16.16b, v4.16b") /* v0 = (fabsf(min) > fabsf(x0)) ? x0 : min */
534 __ASM_EMIT("bif v1.16b, v16.16b, v5.16b") /* v1 = (fabsf(max) > fabsf(x0)) ? max : x0 */
535 __ASM_EMIT("bit v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(min) > fabsf(x0)) ? fabsf(x0) : fabsf(min) */
536 __ASM_EMIT("bif v3.16b, v6.16b, v5.16b") /* v3 = (fabsf(max) > fabsf(x0)) ? fabsf(max) : fabsf(x0) */
537 __ASM_EMIT("fcmgt v4.4s, v2.4s, v7.4s") /* v4 = [fabsf(min) > fabsf(x0)] */
538 __ASM_EMIT("fcmgt v5.4s, v3.4s, v7.4s") /* v5 = [fabsf(max) > fabsf(x0)] */
539 __ASM_EMIT("bit v0.16b, v17.16b, v4.16b") /* v0 = (fabsf(min) > fabsf(x0)) ? x0 : min */
540 __ASM_EMIT("bif v1.16b, v17.16b, v5.16b") /* v1 = (fabsf(max) > fabsf(x0)) ? max : x0 */
541 __ASM_EMIT("bit v2.16b, v7.16b, v4.16b") /* v2 = (fabsf(min) > fabsf(x0)) ? fabsf(x0) : fabsf(min) */
542 __ASM_EMIT("bif v3.16b, v7.16b, v5.16b") /* v3 = (fabsf(max) > fabsf(x0)) ? fabsf(max) : fabsf(x0) */
543 __ASM_EMIT("fabs v6.4s, v18.4s") /* v6 = fabsf(x0) */
544 __ASM_EMIT("fabs v7.4s, v19.4s") /* v7 = fabsf(x1) */
545 __ASM_EMIT("fcmgt v4.4s, v2.4s, v6.4s") /* v4 = [fabsf(min) > fabsf(x0)] */
546 __ASM_EMIT("fcmgt v5.4s, v3.4s, v6.4s") /* v5 = [fabsf(max) > fabsf(x0)] */
547 __ASM_EMIT("bit v0.16b, v18.16b, v4.16b") /* v0 = (fabsf(min) > fabsf(x0)) ? x0 : min */
548 __ASM_EMIT("bif v1.16b, v18.16b, v5.16b") /* v1 = (fabsf(max) > fabsf(x0)) ? max : x0 */
549 __ASM_EMIT("bit v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(min) > fabsf(x0)) ? fabsf(x0) : fabsf(min) */
550 __ASM_EMIT("bif v3.16b, v6.16b, v5.16b") /* v3 = (fabsf(max) > fabsf(x0)) ? fabsf(max) : fabsf(x0) */
551 __ASM_EMIT("fcmgt v4.4s, v2.4s, v7.4s") /* v4 = [fabsf(min) > fabsf(x0)] */
552 __ASM_EMIT("fcmgt v5.4s, v3.4s, v7.4s") /* v5 = [fabsf(max) > fabsf(x0)] */
553 __ASM_EMIT("bit v0.16b, v19.16b, v4.16b") /* v0 = (fabsf(min) > fabsf(x0)) ? x0 : min */
554 __ASM_EMIT("bif v1.16b, v19.16b, v5.16b") /* v1 = (fabsf(max) > fabsf(x0)) ? max : x0 */
555 __ASM_EMIT("bit v2.16b, v7.16b, v4.16b") /* v2 = (fabsf(min) > fabsf(x0)) ? fabsf(x0) : fabsf(min) */
556 __ASM_EMIT("bif v3.16b, v7.16b, v5.16b") /* v3 = (fabsf(max) > fabsf(x0)) ? fabsf(max) : fabsf(x0) */
557 __ASM_EMIT("fabs v6.4s, v20.4s") /* v6 = fabsf(x0) */
558 __ASM_EMIT("fabs v7.4s, v21.4s") /* v7 = fabsf(x1) */
559 __ASM_EMIT("fcmgt v4.4s, v2.4s, v6.4s") /* v4 = [fabsf(min) > fabsf(x0)] */
560 __ASM_EMIT("fcmgt v5.4s, v3.4s, v6.4s") /* v5 = [fabsf(max) > fabsf(x0)] */
561 __ASM_EMIT("bit v0.16b, v20.16b, v4.16b") /* v0 = (fabsf(min) > fabsf(x0)) ? x0 : min */
562 __ASM_EMIT("bif v1.16b, v20.16b, v5.16b") /* v1 = (fabsf(max) > fabsf(x0)) ? max : x0 */
563 __ASM_EMIT("bit v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(min) > fabsf(x0)) ? fabsf(x0) : fabsf(min) */
564 __ASM_EMIT("bif v3.16b, v6.16b, v5.16b") /* v3 = (fabsf(max) > fabsf(x0)) ? fabsf(max) : fabsf(x0) */
565 __ASM_EMIT("fcmgt v4.4s, v2.4s, v7.4s") /* v4 = [fabsf(min) > fabsf(x0)] */
566 __ASM_EMIT("fcmgt v5.4s, v3.4s, v7.4s") /* v5 = [fabsf(max) > fabsf(x0)] */
567 __ASM_EMIT("bit v0.16b, v21.16b, v4.16b") /* v0 = (fabsf(min) > fabsf(x0)) ? x0 : min */
568 __ASM_EMIT("bif v1.16b, v21.16b, v5.16b") /* v1 = (fabsf(max) > fabsf(x0)) ? max : x0 */
569 __ASM_EMIT("bit v2.16b, v7.16b, v4.16b") /* v2 = (fabsf(min) > fabsf(x0)) ? fabsf(x0) : fabsf(min) */
570 __ASM_EMIT("bif v3.16b, v7.16b, v5.16b") /* v3 = (fabsf(max) > fabsf(x0)) ? fabsf(max) : fabsf(x0) */
571 __ASM_EMIT("fabs v6.4s, v22.4s") /* v6 = fabsf(x0) */
572 __ASM_EMIT("fabs v7.4s, v23.4s") /* v7 = fabsf(x1) */
573 __ASM_EMIT("fcmgt v4.4s, v2.4s, v6.4s") /* v4 = [fabsf(min) > fabsf(x0)] */
574 __ASM_EMIT("fcmgt v5.4s, v3.4s, v6.4s") /* v5 = [fabsf(max) > fabsf(x0)] */
575 __ASM_EMIT("bit v0.16b, v22.16b, v4.16b") /* v0 = (fabsf(min) > fabsf(x0)) ? x0 : min */
576 __ASM_EMIT("bif v1.16b, v22.16b, v5.16b") /* v1 = (fabsf(max) > fabsf(x0)) ? max : x0 */
577 __ASM_EMIT("bit v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(min) > fabsf(x0)) ? fabsf(x0) : fabsf(min) */
578 __ASM_EMIT("bif v3.16b, v6.16b, v5.16b") /* v3 = (fabsf(max) > fabsf(x0)) ? fabsf(max) : fabsf(x0) */
579 __ASM_EMIT("fcmgt v4.4s, v2.4s, v7.4s") /* v4 = [fabsf(min) > fabsf(x0)] */
580 __ASM_EMIT("fcmgt v5.4s, v3.4s, v7.4s") /* v5 = [fabsf(max) > fabsf(x0)] */
581 __ASM_EMIT("bit v0.16b, v23.16b, v4.16b") /* v0 = (fabsf(min) > fabsf(x0)) ? x0 : min */
582 __ASM_EMIT("bif v1.16b, v23.16b, v5.16b") /* v1 = (fabsf(max) > fabsf(x0)) ? max : x0 */
583 __ASM_EMIT("bit v2.16b, v7.16b, v4.16b") /* v2 = (fabsf(min) > fabsf(x0)) ? fabsf(x0) : fabsf(min) */
584 __ASM_EMIT("bif v3.16b, v7.16b, v5.16b") /* v3 = (fabsf(max) > fabsf(x0)) ? fabsf(max) : fabsf(x0) */
585 __ASM_EMIT("subs %[count], %[count], #32")
586 __ASM_EMIT("add %[src], %[src], #0x80")
587 __ASM_EMIT("b.hs 1b")
588 /* 16x block */
589 __ASM_EMIT("2:")
590 __ASM_EMIT("adds %[count], %[count], #16")
591 __ASM_EMIT("b.lt 4f")
592 __ASM_EMIT("ldp q16, q17, [%[src], #0x00]") /* q16 = x0, x1 */
593 __ASM_EMIT("ldp q18, q19, [%[src], #0x20]")
594 __ASM_EMIT("fabs v6.4s, v16.4s") /* v6 = fabsf(x0) */
595 __ASM_EMIT("fabs v7.4s, v17.4s") /* v7 = fabsf(x1) */
596 __ASM_EMIT("fcmgt v4.4s, v2.4s, v6.4s") /* v4 = [fabsf(min) > fabsf(x0)] */
597 __ASM_EMIT("fcmgt v5.4s, v3.4s, v6.4s") /* v5 = [fabsf(max) > fabsf(x0)] */
598 __ASM_EMIT("bit v0.16b, v16.16b, v4.16b") /* v0 = (fabsf(min) > fabsf(x0)) ? x0 : min */
599 __ASM_EMIT("bif v1.16b, v16.16b, v5.16b") /* v1 = (fabsf(max) > fabsf(x0)) ? max : x0 */
600 __ASM_EMIT("bit v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(min) > fabsf(x0)) ? fabsf(x0) : fabsf(min) */
601 __ASM_EMIT("bif v3.16b, v6.16b, v5.16b") /* v3 = (fabsf(max) > fabsf(x0)) ? fabsf(max) : fabsf(x0) */
602 __ASM_EMIT("fcmgt v4.4s, v2.4s, v7.4s") /* v4 = [fabsf(min) > fabsf(x0)] */
603 __ASM_EMIT("fcmgt v5.4s, v3.4s, v7.4s") /* v5 = [fabsf(max) > fabsf(x0)] */
604 __ASM_EMIT("bit v0.16b, v17.16b, v4.16b") /* v0 = (fabsf(min) > fabsf(x0)) ? x0 : min */
605 __ASM_EMIT("bif v1.16b, v17.16b, v5.16b") /* v1 = (fabsf(max) > fabsf(x0)) ? max : x0 */
606 __ASM_EMIT("bit v2.16b, v7.16b, v4.16b") /* v2 = (fabsf(min) > fabsf(x0)) ? fabsf(x0) : fabsf(min) */
607 __ASM_EMIT("bif v3.16b, v7.16b, v5.16b") /* v3 = (fabsf(max) > fabsf(x0)) ? fabsf(max) : fabsf(x0) */
608 __ASM_EMIT("fabs v6.4s, v18.4s") /* v6 = fabsf(x0) */
609 __ASM_EMIT("fabs v7.4s, v19.4s") /* v7 = fabsf(x1) */
610 __ASM_EMIT("fcmgt v4.4s, v2.4s, v6.4s") /* v4 = [fabsf(min) > fabsf(x0)] */
611 __ASM_EMIT("fcmgt v5.4s, v3.4s, v6.4s") /* v5 = [fabsf(max) > fabsf(x0)] */
612 __ASM_EMIT("bit v0.16b, v18.16b, v4.16b") /* v0 = (fabsf(min) > fabsf(x0)) ? x0 : min */
613 __ASM_EMIT("bif v1.16b, v18.16b, v5.16b") /* v1 = (fabsf(max) > fabsf(x0)) ? max : x0 */
614 __ASM_EMIT("bit v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(min) > fabsf(x0)) ? fabsf(x0) : fabsf(min) */
615 __ASM_EMIT("bif v3.16b, v6.16b, v5.16b") /* v3 = (fabsf(max) > fabsf(x0)) ? fabsf(max) : fabsf(x0) */
616 __ASM_EMIT("fcmgt v4.4s, v2.4s, v7.4s") /* v4 = [fabsf(min) > fabsf(x0)] */
617 __ASM_EMIT("fcmgt v5.4s, v3.4s, v7.4s") /* v5 = [fabsf(max) > fabsf(x0)] */
618 __ASM_EMIT("bit v0.16b, v19.16b, v4.16b") /* v0 = (fabsf(min) > fabsf(x0)) ? x0 : min */
619 __ASM_EMIT("bif v1.16b, v19.16b, v5.16b") /* v1 = (fabsf(max) > fabsf(x0)) ? max : x0 */
620 __ASM_EMIT("bit v2.16b, v7.16b, v4.16b") /* v2 = (fabsf(min) > fabsf(x0)) ? fabsf(x0) : fabsf(min) */
621 __ASM_EMIT("bif v3.16b, v7.16b, v5.16b") /* v3 = (fabsf(max) > fabsf(x0)) ? fabsf(max) : fabsf(x0) */
622 __ASM_EMIT("subs %[count], %[count], #32")
623 __ASM_EMIT("add %[src], %[src], #0x80")
624 __ASM_EMIT("sub %[count], %[count], #16")
625 __ASM_EMIT("add %[src], %[src], #0x40")
626 /* 8x block */
627 __ASM_EMIT("4:")
628 __ASM_EMIT("adds %[count], %[count], #8")
629 __ASM_EMIT("b.lt 6f")
630 __ASM_EMIT("ldp q16, q17, [%[src], #0x00]") /* q16 = x0, x1 */
631 __ASM_EMIT("fabs v6.4s, v16.4s") /* v6 = fabsf(x0) */
632 __ASM_EMIT("fabs v7.4s, v17.4s") /* v7 = fabsf(x1) */
633 __ASM_EMIT("fcmgt v4.4s, v2.4s, v6.4s") /* v4 = [fabsf(min) > fabsf(x0)] */
634 __ASM_EMIT("fcmgt v5.4s, v3.4s, v6.4s") /* v5 = [fabsf(max) > fabsf(x0)] */
635 __ASM_EMIT("bit v0.16b, v16.16b, v4.16b") /* v0 = (fabsf(min) > fabsf(x0)) ? x0 : min */
636 __ASM_EMIT("bif v1.16b, v16.16b, v5.16b") /* v1 = (fabsf(max) > fabsf(x0)) ? max : x0 */
637 __ASM_EMIT("bit v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(min) > fabsf(x0)) ? fabsf(x0) : fabsf(min) */
638 __ASM_EMIT("bif v3.16b, v6.16b, v5.16b") /* v3 = (fabsf(max) > fabsf(x0)) ? fabsf(max) : fabsf(x0) */
639 __ASM_EMIT("fcmgt v4.4s, v2.4s, v7.4s") /* v4 = [fabsf(min) > fabsf(x0)] */
640 __ASM_EMIT("fcmgt v5.4s, v3.4s, v7.4s") /* v5 = [fabsf(max) > fabsf(x0)] */
641 __ASM_EMIT("bit v0.16b, v17.16b, v4.16b") /* v0 = (fabsf(min) > fabsf(x0)) ? x0 : min */
642 __ASM_EMIT("bif v1.16b, v17.16b, v5.16b") /* v1 = (fabsf(max) > fabsf(x0)) ? max : x0 */
643 __ASM_EMIT("bit v2.16b, v7.16b, v4.16b") /* v2 = (fabsf(min) > fabsf(x0)) ? fabsf(x0) : fabsf(min) */
644 __ASM_EMIT("bif v3.16b, v7.16b, v5.16b") /* v3 = (fabsf(max) > fabsf(x0)) ? fabsf(max) : fabsf(x0) */
645 __ASM_EMIT("sub %[count], %[count], #8")
646 __ASM_EMIT("add %[src], %[src], #0x20")
647 /* 4x block */
648 __ASM_EMIT("6:")
649 __ASM_EMIT("adds %[count], %[count], #4")
650 __ASM_EMIT("b.lt 8f")
651 __ASM_EMIT("ldr q16, [%[src], #0x00]") /* q16 = x0 */
652 __ASM_EMIT("fabs v6.4s, v16.4s") /* v6 = fabsf(x0) */
653 __ASM_EMIT("fcmgt v4.4s, v2.4s, v6.4s") /* v4 = [fabsf(min) > fabsf(x0)] */
654 __ASM_EMIT("fcmgt v5.4s, v3.4s, v6.4s") /* v5 = [fabsf(max) > fabsf(x0)] */
655 __ASM_EMIT("bit v0.16b, v16.16b, v4.16b") /* v0 = (fabsf(min) > fabsf(x0)) ? x0 : min */
656 __ASM_EMIT("bif v1.16b, v16.16b, v5.16b") /* v1 = (fabsf(max) > fabsf(x0)) ? max : x0 */
657 __ASM_EMIT("bit v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(min) > fabsf(x0)) ? fabsf(x0) : fabsf(min) */
658 __ASM_EMIT("bif v3.16b, v6.16b, v5.16b") /* v3 = (fabsf(max) > fabsf(x0)) ? fabsf(max) : fabsf(x0) */
659 __ASM_EMIT("sub %[count], %[count], #4")
660 __ASM_EMIT("add %[src], %[src], #0x10")
661 /* 1x blocks */
662 __ASM_EMIT("8:")
663 __ASM_EMIT("adds %[count], %[count], #3")
664 __ASM_EMIT("b.lt 10f")
665 __ASM_EMIT("9:")
666 __ASM_EMIT("ld1r {v16.4s}, [%[src]]")
667 __ASM_EMIT("fabs v6.4s, v16.4s") /* v6 = fabsf(x0) */
668 __ASM_EMIT("fcmgt v4.4s, v2.4s, v6.4s") /* v4 = [fabsf(min) > fabsf(x0)] */
669 __ASM_EMIT("fcmgt v5.4s, v3.4s, v6.4s") /* v5 = [fabsf(max) > fabsf(x0)] */
670 __ASM_EMIT("bit v0.16b, v16.16b, v4.16b") /* v0 = (fabsf(min) > fabsf(x0)) ? x0 : min */
671 __ASM_EMIT("bif v1.16b, v16.16b, v5.16b") /* v1 = (fabsf(max) > fabsf(x0)) ? max : x0 */
672 __ASM_EMIT("bit v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(min) > fabsf(x0)) ? fabsf(x0) : fabsf(min) */
673 __ASM_EMIT("bif v3.16b, v6.16b, v5.16b") /* v3 = (fabsf(max) > fabsf(x0)) ? fabsf(max) : fabsf(x0) */
674 __ASM_EMIT("subs %[count], %[count], #1")
675 __ASM_EMIT("add %[src], %[src], #0x04")
676 __ASM_EMIT("b.ge 9b")
677 /* end */
678 __ASM_EMIT("10:")
679 __ASM_EMIT("ext v16.16b, v0.16b, v0.16b, #8") /* v16 = x0 */
680 __ASM_EMIT("ext v6.16b, v2.16b, v2.16b, #8") /* v6 = fabsf(x0) */
681 __ASM_EMIT("fcmgt v4.4s, v2.4s, v6.4s") /* v4 = [fabsf(min) > fabsf(x0)] */
682 __ASM_EMIT("fcmgt v5.4s, v3.4s, v6.4s") /* v5 = [fabsf(max) > fabsf(x0)] */
683 __ASM_EMIT("bit v0.16b, v16.16b, v4.16b") /* v0 = (fabsf(min) > fabsf(x0)) ? x0 : min */
684 __ASM_EMIT("bif v1.16b, v16.16b, v5.16b") /* v1 = (fabsf(max) > fabsf(x0)) ? max : x0 */
685 __ASM_EMIT("bit v2.16b, v6.16b, v4.16b") /* v2 = (fabsf(min) > fabsf(x0)) ? fabsf(x0) : fabsf(min) */
686 __ASM_EMIT("bif v3.16b, v6.16b, v5.16b") /* v3 = (fabsf(max) > fabsf(x0)) ? fabsf(max) : fabsf(x0) */
687 __ASM_EMIT("ext v16.16b, v0.16b, v0.16b, #4") /* v16 = x0 */
688 __ASM_EMIT("ext v6.16b, v2.16b, v2.16b, #4") /* v6 = fabsf(x0) */
689 __ASM_EMIT("fcmgt v4.4s, v2.4s, v6.4s") /* v4 = [fabsf(min) > fabsf(x0)] */
690 __ASM_EMIT("fcmgt v5.4s, v3.4s, v6.4s") /* v5 = [fabsf(max) > fabsf(x0)] */
691 __ASM_EMIT("bit v0.16b, v16.16b, v4.16b") /* v0 = (fabsf(min) > fabsf(x0)) ? x0 : min */
692 __ASM_EMIT("bif v1.16b, v16.16b, v5.16b") /* v1 = (fabsf(max) > fabsf(x0)) ? max : x0 */
693 __ASM_EMIT("12:")
694 /* store */
695 __ASM_EMIT("st1 {v0.s}[0], [%[min]]")
696 __ASM_EMIT("st1 {v1.s}[0], [%[max]]")
697 : [src] "+r" (src), [count] "+r" (count)
698 : [min] "r" (min), [max] "r" (max)
699 : "cc", "memory",
700 "v0", "v1", "v2", "v3",
701 "v16", "v17", "v18", "v19",
702 "v20", "v21", "v22", "v23"
703 );
704 }
705
706 } /* namespace asimd */
707 } /* namespace lsp */
708
709 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_SEARCH_MINMAX_H_ */