Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/aarch64/asimd/pmath/clamp.h

raw
1 /*
2 * Copyright (C) 2025 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2025 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 27 нояб. 2025 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_PMATH_CLAMP_H_
23 #define PRIVATE_DSP_ARCH_AARCH64_ASIMD_PMATH_CLAMP_H_
24
25 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL */
28
29 #include <private/dsp/arch/aarch64/asimd/pmath/sin.h>
30
31 namespace lsp
32 {
33 namespace asimd
34 {
35 void clamp_vv1(float *dst, const float *min, const float *max, size_t count)
36 {
37 ARCH_AARCH64_ASM
38 (
39 // x32 blocks
40 __ASM_EMIT("subs %[count], %[count], #32")
41 __ASM_EMIT("b.lo 2f")
42 __ASM_EMIT("1:")
43 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") // v0 = x
44 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
45 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
46 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
47 __ASM_EMIT("ldp q8, q9, [%[min], #0x00]")
48 __ASM_EMIT("ldp q10, q11, [%[min], #0x20]")
49 __ASM_EMIT("ldp q12, q13, [%[min], #0x40]")
50 __ASM_EMIT("ldp q14, q15, [%[min], #0x60]")
51 __ASM_EMIT("ldp q16, q17, [%[max], #0x00]")
52 __ASM_EMIT("ldp q18, q19, [%[max], #0x20]")
53 __ASM_EMIT("ldp q20, q21, [%[max], #0x40]")
54 __ASM_EMIT("ldp q22, q23, [%[max], #0x60]")
55 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
56 __ASM_EMIT("fmax v1.4s, v1.4s, v9.4s")
57 __ASM_EMIT("fmax v2.4s, v2.4s, v10.4s")
58 __ASM_EMIT("fmax v3.4s, v3.4s, v11.4s")
59 __ASM_EMIT("fmax v4.4s, v4.4s, v12.4s")
60 __ASM_EMIT("fmax v5.4s, v5.4s, v13.4s")
61 __ASM_EMIT("fmax v6.4s, v6.4s, v14.4s")
62 __ASM_EMIT("fmax v7.4s, v7.4s, v15.4s")
63 __ASM_EMIT("fmin v0.4s, v0.4s, v16.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
64 __ASM_EMIT("fmin v1.4s, v1.4s, v17.4s")
65 __ASM_EMIT("fmin v2.4s, v2.4s, v18.4s")
66 __ASM_EMIT("fmin v3.4s, v3.4s, v19.4s")
67 __ASM_EMIT("fmin v4.4s, v4.4s, v20.4s")
68 __ASM_EMIT("fmin v5.4s, v5.4s, v21.4s")
69 __ASM_EMIT("fmin v6.4s, v6.4s, v22.4s")
70 __ASM_EMIT("fmin v7.4s, v7.4s, v23.4s")
71 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
72 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
73 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
74 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
75 __ASM_EMIT("subs %[count], %[count], #32")
76 __ASM_EMIT("add %[min], %[min], #0x80")
77 __ASM_EMIT("add %[max], %[max], #0x80")
78 __ASM_EMIT("add %[dst], %[dst], #0x80")
79 __ASM_EMIT("b.hs 1b")
80 // x16 block
81 __ASM_EMIT("2:")
82 __ASM_EMIT("adds %[count], %[count], #16")
83 __ASM_EMIT("b.lt 4f")
84 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") // v0 = x
85 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
86 __ASM_EMIT("ldp q8, q9, [%[min], #0x00]")
87 __ASM_EMIT("ldp q10, q11, [%[min], #0x20]")
88 __ASM_EMIT("ldp q16, q17, [%[max], #0x00]")
89 __ASM_EMIT("ldp q18, q19, [%[max], #0x20]")
90 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
91 __ASM_EMIT("fmax v1.4s, v1.4s, v9.4s")
92 __ASM_EMIT("fmax v2.4s, v2.4s, v10.4s")
93 __ASM_EMIT("fmax v3.4s, v3.4s, v11.4s")
94 __ASM_EMIT("fmin v0.4s, v0.4s, v16.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
95 __ASM_EMIT("fmin v1.4s, v1.4s, v17.4s")
96 __ASM_EMIT("fmin v2.4s, v2.4s, v18.4s")
97 __ASM_EMIT("fmin v3.4s, v3.4s, v19.4s")
98 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
99 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
100 __ASM_EMIT("sub %[count], %[count], #16")
101 __ASM_EMIT("add %[min], %[min], #0x40")
102 __ASM_EMIT("add %[max], %[max], #0x40")
103 __ASM_EMIT("add %[dst], %[dst], #0x40")
104 // x8 block
105 __ASM_EMIT("4:")
106 __ASM_EMIT("adds %[count], %[count], #8")
107 __ASM_EMIT("b.lt 6f")
108 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") // v0 = x
109 __ASM_EMIT("ldp q8, q9, [%[min], #0x00]")
110 __ASM_EMIT("ldp q16, q17, [%[max], #0x00]")
111 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
112 __ASM_EMIT("fmax v1.4s, v1.4s, v9.4s")
113 __ASM_EMIT("fmin v0.4s, v0.4s, v16.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
114 __ASM_EMIT("fmin v1.4s, v1.4s, v17.4s")
115 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
116 __ASM_EMIT("sub %[count], %[count], #8")
117 __ASM_EMIT("add %[min], %[min], #0x20")
118 __ASM_EMIT("add %[max], %[max], #0x20")
119 __ASM_EMIT("add %[dst], %[dst], #0x20")
120 // x4 blocks
121 __ASM_EMIT("6:")
122 __ASM_EMIT("adds %[count], %[count], #4")
123 __ASM_EMIT("b.lt 8f")
124 __ASM_EMIT("ldr q0, [%[dst], #0x00]") // v0 = x
125 __ASM_EMIT("ldr q8, [%[min], #0x00]")
126 __ASM_EMIT("ldr q16, [%[max], #0x00]")
127 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
128 __ASM_EMIT("fmin v0.4s, v0.4s, v16.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
129 __ASM_EMIT("str q0, [%[dst], #0x00]")
130 __ASM_EMIT("sub %[count], %[count], #4")
131 __ASM_EMIT("add %[min], %[min], #0x10")
132 __ASM_EMIT("add %[max], %[max], #0x10")
133 __ASM_EMIT("add %[dst], %[dst], #0x10")
134 // x1 blocks
135 __ASM_EMIT("8:")
136 __ASM_EMIT("adds %[count], %[count], #3")
137 __ASM_EMIT("b.lt 10f")
138 __ASM_EMIT("9:")
139 __ASM_EMIT("ld1r {v0.4s}, [%[dst]]") // v0 = x
140 __ASM_EMIT("ld1r {v8.4s}, [%[min]]")
141 __ASM_EMIT("ld1r {v16.4s}, [%[max]]")
142 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
143 __ASM_EMIT("fmin v0.4s, v0.4s, v16.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
144 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
145 __ASM_EMIT("subs %[count], %[count], #1")
146 __ASM_EMIT("add %[min], %[min], #0x04")
147 __ASM_EMIT("add %[max], %[max], #0x04")
148 __ASM_EMIT("add %[dst], %[dst], #0x04")
149 __ASM_EMIT("b.ge 9b")
150 // end
151 __ASM_EMIT("10:")
152
153 : [dst] "+r" (dst), [min] "+r" (min), [max] "+r" (max),
154 [count] "+r" (count)
155 :
156 : "cc", "memory",
157 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
158 "v8", "v9", "v10", "v11", "v12", "v13", "v14", "v15",
159 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23"
160 );
161 }
162
163 void clamp_vv2(float *dst, const float *src, const float *min, const float *max, size_t count)
164 {
165 ARCH_AARCH64_ASM
166 (
167 // x32 blocks
168 __ASM_EMIT("subs %[count], %[count], #32")
169 __ASM_EMIT("b.lo 2f")
170 __ASM_EMIT("1:")
171 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = x
172 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]")
173 __ASM_EMIT("ldp q4, q5, [%[src], #0x40]")
174 __ASM_EMIT("ldp q6, q7, [%[src], #0x60]")
175 __ASM_EMIT("ldp q8, q9, [%[min], #0x00]")
176 __ASM_EMIT("ldp q10, q11, [%[min], #0x20]")
177 __ASM_EMIT("ldp q12, q13, [%[min], #0x40]")
178 __ASM_EMIT("ldp q14, q15, [%[min], #0x60]")
179 __ASM_EMIT("ldp q16, q17, [%[max], #0x00]")
180 __ASM_EMIT("ldp q18, q19, [%[max], #0x20]")
181 __ASM_EMIT("ldp q20, q21, [%[max], #0x40]")
182 __ASM_EMIT("ldp q22, q23, [%[max], #0x60]")
183 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
184 __ASM_EMIT("fmax v1.4s, v1.4s, v9.4s")
185 __ASM_EMIT("fmax v2.4s, v2.4s, v10.4s")
186 __ASM_EMIT("fmax v3.4s, v3.4s, v11.4s")
187 __ASM_EMIT("fmax v4.4s, v4.4s, v12.4s")
188 __ASM_EMIT("fmax v5.4s, v5.4s, v13.4s")
189 __ASM_EMIT("fmax v6.4s, v6.4s, v14.4s")
190 __ASM_EMIT("fmax v7.4s, v7.4s, v15.4s")
191 __ASM_EMIT("fmin v0.4s, v0.4s, v16.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
192 __ASM_EMIT("fmin v1.4s, v1.4s, v17.4s")
193 __ASM_EMIT("fmin v2.4s, v2.4s, v18.4s")
194 __ASM_EMIT("fmin v3.4s, v3.4s, v19.4s")
195 __ASM_EMIT("fmin v4.4s, v4.4s, v20.4s")
196 __ASM_EMIT("fmin v5.4s, v5.4s, v21.4s")
197 __ASM_EMIT("fmin v6.4s, v6.4s, v22.4s")
198 __ASM_EMIT("fmin v7.4s, v7.4s, v23.4s")
199 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
200 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
201 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
202 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
203 __ASM_EMIT("subs %[count], %[count], #32")
204 __ASM_EMIT("add %[src], %[src], #0x80")
205 __ASM_EMIT("add %[min], %[min], #0x80")
206 __ASM_EMIT("add %[max], %[max], #0x80")
207 __ASM_EMIT("add %[dst], %[dst], #0x80")
208 __ASM_EMIT("b.hs 1b")
209 // x16 block
210 __ASM_EMIT("2:")
211 __ASM_EMIT("adds %[count], %[count], #16")
212 __ASM_EMIT("b.lt 4f")
213 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = x
214 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]")
215 __ASM_EMIT("ldp q8, q9, [%[min], #0x00]")
216 __ASM_EMIT("ldp q10, q11, [%[min], #0x20]")
217 __ASM_EMIT("ldp q16, q17, [%[max], #0x00]")
218 __ASM_EMIT("ldp q18, q19, [%[max], #0x20]")
219 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
220 __ASM_EMIT("fmax v1.4s, v1.4s, v9.4s")
221 __ASM_EMIT("fmax v2.4s, v2.4s, v10.4s")
222 __ASM_EMIT("fmax v3.4s, v3.4s, v11.4s")
223 __ASM_EMIT("fmin v0.4s, v0.4s, v16.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
224 __ASM_EMIT("fmin v1.4s, v1.4s, v17.4s")
225 __ASM_EMIT("fmin v2.4s, v2.4s, v18.4s")
226 __ASM_EMIT("fmin v3.4s, v3.4s, v19.4s")
227 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
228 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
229 __ASM_EMIT("sub %[count], %[count], #16")
230 __ASM_EMIT("add %[src], %[src], #0x40")
231 __ASM_EMIT("add %[min], %[min], #0x40")
232 __ASM_EMIT("add %[max], %[max], #0x40")
233 __ASM_EMIT("add %[dst], %[dst], #0x40")
234 // x8 block
235 __ASM_EMIT("4:")
236 __ASM_EMIT("adds %[count], %[count], #8")
237 __ASM_EMIT("b.lt 6f")
238 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = x
239 __ASM_EMIT("ldp q8, q9, [%[min], #0x00]")
240 __ASM_EMIT("ldp q16, q17, [%[max], #0x00]")
241 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
242 __ASM_EMIT("fmax v1.4s, v1.4s, v9.4s")
243 __ASM_EMIT("fmin v0.4s, v0.4s, v16.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
244 __ASM_EMIT("fmin v1.4s, v1.4s, v17.4s")
245 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
246 __ASM_EMIT("sub %[count], %[count], #8")
247 __ASM_EMIT("add %[src], %[src], #0x20")
248 __ASM_EMIT("add %[min], %[min], #0x20")
249 __ASM_EMIT("add %[max], %[max], #0x20")
250 __ASM_EMIT("add %[dst], %[dst], #0x20")
251 // x4 blocks
252 __ASM_EMIT("6:")
253 __ASM_EMIT("adds %[count], %[count], #4")
254 __ASM_EMIT("b.lt 8f")
255 __ASM_EMIT("ldr q0, [%[src], #0x00]") // v0 = x
256 __ASM_EMIT("ldr q8, [%[min], #0x00]")
257 __ASM_EMIT("ldr q16, [%[max], #0x00]")
258 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
259 __ASM_EMIT("fmin v0.4s, v0.4s, v16.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
260 __ASM_EMIT("str q0, [%[dst], #0x00]")
261 __ASM_EMIT("sub %[count], %[count], #4")
262 __ASM_EMIT("add %[src], %[src], #0x10")
263 __ASM_EMIT("add %[min], %[min], #0x10")
264 __ASM_EMIT("add %[max], %[max], #0x10")
265 __ASM_EMIT("add %[dst], %[dst], #0x10")
266 // x1 blocks
267 __ASM_EMIT("8:")
268 __ASM_EMIT("adds %[count], %[count], #3")
269 __ASM_EMIT("b.lt 10f")
270 __ASM_EMIT("9:")
271 __ASM_EMIT("ld1r {v0.4s}, [%[src]]") // v0 = x
272 __ASM_EMIT("ld1r {v8.4s}, [%[min]]")
273 __ASM_EMIT("ld1r {v16.4s}, [%[max]]")
274 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
275 __ASM_EMIT("fmin v0.4s, v0.4s, v16.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
276 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
277 __ASM_EMIT("subs %[count], %[count], #1")
278 __ASM_EMIT("add %[src], %[src], #0x04")
279 __ASM_EMIT("add %[min], %[min], #0x04")
280 __ASM_EMIT("add %[max], %[max], #0x04")
281 __ASM_EMIT("add %[dst], %[dst], #0x04")
282 __ASM_EMIT("b.ge 9b")
283 // end
284 __ASM_EMIT("10:")
285
286 : [dst] "+r" (dst), [src] "+r" (src), [min] "+r" (min), [max] "+r" (max),
287 [count] "+r" (count)
288 :
289 : "cc", "memory",
290 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
291 "v8", "v9", "v10", "v11", "v12", "v13", "v14", "v15",
292 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23"
293 );
294 }
295
296 void clamp_kk1(float *dst, float min, float max, size_t count)
297 {
298 ARCH_AARCH64_ASM
299 (
300 // x32 blocks
301 __ASM_EMIT("subs %[count], %[count], #32")
302 __ASM_EMIT("ld1r {v8.4s}, [%[min]]")
303 __ASM_EMIT("ld1r {v9.4s}, [%[max]]")
304 __ASM_EMIT("b.lo 2f")
305 __ASM_EMIT("1:")
306 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") // v0 = x
307 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
308 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
309 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
310 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
311 __ASM_EMIT("fmax v1.4s, v1.4s, v8.4s")
312 __ASM_EMIT("fmax v2.4s, v2.4s, v8.4s")
313 __ASM_EMIT("fmax v3.4s, v3.4s, v8.4s")
314 __ASM_EMIT("fmax v4.4s, v4.4s, v8.4s")
315 __ASM_EMIT("fmax v5.4s, v5.4s, v8.4s")
316 __ASM_EMIT("fmax v6.4s, v6.4s, v8.4s")
317 __ASM_EMIT("fmax v7.4s, v7.4s, v8.4s")
318 __ASM_EMIT("fmin v0.4s, v0.4s, v9.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
319 __ASM_EMIT("fmin v1.4s, v1.4s, v9.4s")
320 __ASM_EMIT("fmin v2.4s, v2.4s, v9.4s")
321 __ASM_EMIT("fmin v3.4s, v3.4s, v9.4s")
322 __ASM_EMIT("fmin v4.4s, v4.4s, v9.4s")
323 __ASM_EMIT("fmin v5.4s, v5.4s, v9.4s")
324 __ASM_EMIT("fmin v6.4s, v6.4s, v9.4s")
325 __ASM_EMIT("fmin v7.4s, v7.4s, v9.4s")
326 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
327 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
328 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
329 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
330 __ASM_EMIT("subs %[count], %[count], #32")
331 __ASM_EMIT("add %[dst], %[dst], #0x80")
332 __ASM_EMIT("b.hs 1b")
333 // x16 block
334 __ASM_EMIT("2:")
335 __ASM_EMIT("adds %[count], %[count], #16")
336 __ASM_EMIT("b.lt 4f")
337 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") // v0 = x
338 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
339 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
340 __ASM_EMIT("fmax v1.4s, v1.4s, v8.4s")
341 __ASM_EMIT("fmax v2.4s, v2.4s, v8.4s")
342 __ASM_EMIT("fmax v3.4s, v3.4s, v8.4s")
343 __ASM_EMIT("fmin v0.4s, v0.4s, v9.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
344 __ASM_EMIT("fmin v1.4s, v1.4s, v9.4s")
345 __ASM_EMIT("fmin v2.4s, v2.4s, v9.4s")
346 __ASM_EMIT("fmin v3.4s, v3.4s, v9.4s")
347 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
348 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
349 __ASM_EMIT("sub %[count], %[count], #16")
350 __ASM_EMIT("add %[dst], %[dst], #0x40")
351 // x8 block
352 __ASM_EMIT("4:")
353 __ASM_EMIT("adds %[count], %[count], #8")
354 __ASM_EMIT("b.lt 6f")
355 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") // v0 = x
356 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
357 __ASM_EMIT("fmax v1.4s, v1.4s, v8.4s")
358 __ASM_EMIT("fmin v0.4s, v0.4s, v9.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
359 __ASM_EMIT("fmin v1.4s, v1.4s, v9.4s")
360 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
361 __ASM_EMIT("sub %[count], %[count], #8")
362 __ASM_EMIT("add %[dst], %[dst], #0x20")
363 // x4 blocks
364 __ASM_EMIT("6:")
365 __ASM_EMIT("adds %[count], %[count], #4")
366 __ASM_EMIT("b.lt 8f")
367 __ASM_EMIT("ldr q0, [%[dst], #0x00]") // v0 = x
368 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
369 __ASM_EMIT("fmin v0.4s, v0.4s, v9.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
370 __ASM_EMIT("str q0, [%[dst], #0x00]")
371 __ASM_EMIT("sub %[count], %[count], #4")
372 __ASM_EMIT("add %[dst], %[dst], #0x10")
373 // x1 blocks
374 __ASM_EMIT("8:")
375 __ASM_EMIT("adds %[count], %[count], #3")
376 __ASM_EMIT("b.lt 10f")
377 __ASM_EMIT("9:")
378 __ASM_EMIT("ld1r {v0.4s}, [%[dst]]") // v0 = x
379 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
380 __ASM_EMIT("fmin v0.4s, v0.4s, v9.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
381 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
382 __ASM_EMIT("subs %[count], %[count], #1")
383 __ASM_EMIT("add %[dst], %[dst], #0x04")
384 __ASM_EMIT("b.ge 9b")
385 // end
386 __ASM_EMIT("10:")
387
388 : [dst] "+r" (dst),
389 [count] "+r" (count)
390 : [min] "r" (&min), [max] "r" (&max)
391 : "cc", "memory",
392 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
393 "v8", "v9"
394 );
395 }
396
397 void clamp_kk2(float *dst, const float *src, float min, float max, size_t count)
398 {
399 ARCH_AARCH64_ASM
400 (
401 // x32 blocks
402 __ASM_EMIT("subs %[count], %[count], #32")
403 __ASM_EMIT("ld1r {v8.4s}, [%[min]]")
404 __ASM_EMIT("ld1r {v9.4s}, [%[max]]")
405 __ASM_EMIT("b.lo 2f")
406 __ASM_EMIT("1:")
407 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = x
408 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]")
409 __ASM_EMIT("ldp q4, q5, [%[src], #0x40]")
410 __ASM_EMIT("ldp q6, q7, [%[src], #0x60]")
411 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
412 __ASM_EMIT("fmax v1.4s, v1.4s, v8.4s")
413 __ASM_EMIT("fmax v2.4s, v2.4s, v8.4s")
414 __ASM_EMIT("fmax v3.4s, v3.4s, v8.4s")
415 __ASM_EMIT("fmax v4.4s, v4.4s, v8.4s")
416 __ASM_EMIT("fmax v5.4s, v5.4s, v8.4s")
417 __ASM_EMIT("fmax v6.4s, v6.4s, v8.4s")
418 __ASM_EMIT("fmax v7.4s, v7.4s, v8.4s")
419 __ASM_EMIT("fmin v0.4s, v0.4s, v9.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
420 __ASM_EMIT("fmin v1.4s, v1.4s, v9.4s")
421 __ASM_EMIT("fmin v2.4s, v2.4s, v9.4s")
422 __ASM_EMIT("fmin v3.4s, v3.4s, v9.4s")
423 __ASM_EMIT("fmin v4.4s, v4.4s, v9.4s")
424 __ASM_EMIT("fmin v5.4s, v5.4s, v9.4s")
425 __ASM_EMIT("fmin v6.4s, v6.4s, v9.4s")
426 __ASM_EMIT("fmin v7.4s, v7.4s, v9.4s")
427 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
428 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
429 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
430 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
431 __ASM_EMIT("subs %[count], %[count], #32")
432 __ASM_EMIT("add %[src], %[src], #0x80")
433 __ASM_EMIT("add %[dst], %[dst], #0x80")
434 __ASM_EMIT("b.hs 1b")
435 // x16 block
436 __ASM_EMIT("2:")
437 __ASM_EMIT("adds %[count], %[count], #16")
438 __ASM_EMIT("b.lt 4f")
439 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = x
440 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]")
441 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
442 __ASM_EMIT("fmax v1.4s, v1.4s, v8.4s")
443 __ASM_EMIT("fmax v2.4s, v2.4s, v8.4s")
444 __ASM_EMIT("fmax v3.4s, v3.4s, v8.4s")
445 __ASM_EMIT("fmin v0.4s, v0.4s, v9.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
446 __ASM_EMIT("fmin v1.4s, v1.4s, v9.4s")
447 __ASM_EMIT("fmin v2.4s, v2.4s, v9.4s")
448 __ASM_EMIT("fmin v3.4s, v3.4s, v9.4s")
449 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
450 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
451 __ASM_EMIT("sub %[count], %[count], #16")
452 __ASM_EMIT("add %[src], %[src], #0x40")
453 __ASM_EMIT("add %[dst], %[dst], #0x40")
454 // x8 block
455 __ASM_EMIT("4:")
456 __ASM_EMIT("adds %[count], %[count], #8")
457 __ASM_EMIT("b.lt 6f")
458 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = x
459 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
460 __ASM_EMIT("fmax v1.4s, v1.4s, v8.4s")
461 __ASM_EMIT("fmin v0.4s, v0.4s, v9.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
462 __ASM_EMIT("fmin v1.4s, v1.4s, v9.4s")
463 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
464 __ASM_EMIT("sub %[count], %[count], #8")
465 __ASM_EMIT("add %[src], %[src], #0x20")
466 __ASM_EMIT("add %[dst], %[dst], #0x20")
467 // x4 blocks
468 __ASM_EMIT("6:")
469 __ASM_EMIT("adds %[count], %[count], #4")
470 __ASM_EMIT("b.lt 8f")
471 __ASM_EMIT("ldr q0, [%[src], #0x00]") // v0 = x
472 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
473 __ASM_EMIT("fmin v0.4s, v0.4s, v9.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
474 __ASM_EMIT("str q0, [%[dst], #0x00]")
475 __ASM_EMIT("sub %[count], %[count], #4")
476 __ASM_EMIT("add %[src], %[src], #0x10")
477 __ASM_EMIT("add %[dst], %[dst], #0x10")
478 // x1 blocks
479 __ASM_EMIT("8:")
480 __ASM_EMIT("adds %[count], %[count], #3")
481 __ASM_EMIT("b.lt 10f")
482 __ASM_EMIT("9:")
483 __ASM_EMIT("ld1r {v0.4s}, [%[src]]") // v0 = x
484 __ASM_EMIT("fmax v0.4s, v0.4s, v8.4s") // v0 = max(x, min)
485 __ASM_EMIT("fmin v0.4s, v0.4s, v9.4s") // v0 = clamp(x, min, max) = min(max(x, min), max)
486 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
487 __ASM_EMIT("subs %[count], %[count], #1")
488 __ASM_EMIT("add %[src], %[src], #0x04")
489 __ASM_EMIT("add %[dst], %[dst], #0x04")
490 __ASM_EMIT("b.ge 9b")
491 // end
492 __ASM_EMIT("10:")
493
494 : [dst] "+r" (dst), [src] "+r" (src),
495 [count] "+r" (count)
496 : [min] "r" (&min), [max] "r" (&max)
497 : "cc", "memory",
498 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
499 "v8", "v9"
500 );
501 }
502 } /* namespace asimd */
503 } /* namespace lsp */
504
505
506 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_PMATH_CLAMP_H_ */