Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/aarch64/asimd/resampling.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_RESAMPLING_H_
23 #define PRIVATE_DSP_ARCH_AARCH64_ASIMD_RESAMPLING_H_
24
25 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL */
28
29 namespace lsp
30 {
31 namespace asimd
32 {
33 IF_ARCH_AARCH64(
34 static const float lanczos_2x2[] __lsp_aligned16 =
35 {
36 +0.0000000000000000f,
37 -0.0636843520278618f, // k1
38 +0.0000000000000000f,
39 +0.5731591682507563f, // k0
40
41 +1.0000000000000000f,
42 +0.5731591682507563f, // k0
43 +0.0000000000000000f,
44 -0.0636843520278618f // k1
45 };
46 )
47
48 void lanczos_resample_2x2(float *dst, const float *src, size_t count)
49 {
50 ARCH_AARCH64_ASM(
51 // Prepare
52 __ASM_EMIT("ldp q22, q23, [%[kernel]]") // v22 = 0 k1 0 k0, v23 = 1 k0 0 k1
53 // 8x blocks
54 __ASM_EMIT("subs %[count], %[count], #8")
55 __ASM_EMIT("b.lo 2f")
56 __ASM_EMIT("1:")
57 __ASM_EMIT("ldp q16, q17, [%[src], #0x00]") // v16 = s0 s1 s2 s3, v17 = s4 s5 s6 s7
58
59 __ASM_EMIT("dup v18.4s, v16.s[0]")
60 __ASM_EMIT("dup v20.4s, v17.s[0]")
61 __ASM_EMIT("dup v19.4s, v16.s[2]")
62 __ASM_EMIT("dup v21.4s, v17.s[2]")
63 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
64 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
65 __ASM_EMIT("ldr q4, [%[dst], #0x40]")
66 __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s")
67 __ASM_EMIT("fmla v1.4s, v19.4s, v22.4s")
68 __ASM_EMIT("fmla v2.4s, v20.4s, v22.4s")
69 __ASM_EMIT("fmla v3.4s, v21.4s, v22.4s")
70 __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s")
71 __ASM_EMIT("fmla v2.4s, v19.4s, v23.4s")
72 __ASM_EMIT("fmla v3.4s, v20.4s, v23.4s")
73 __ASM_EMIT("fmla v4.4s, v21.4s, v23.4s")
74 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
75 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
76 __ASM_EMIT("str q4, [%[dst], #0x40]")
77
78 __ASM_EMIT("dup v18.4s, v16.s[1]")
79 __ASM_EMIT("dup v20.4s, v17.s[1]")
80 __ASM_EMIT("add %[dst], %[dst], #0x08")
81 __ASM_EMIT("dup v19.4s, v16.s[3]")
82 __ASM_EMIT("dup v21.4s, v17.s[3]")
83 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
84 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
85 __ASM_EMIT("ldr q4, [%[dst], #0x40]")
86 __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s")
87 __ASM_EMIT("fmla v1.4s, v19.4s, v22.4s")
88 __ASM_EMIT("fmla v2.4s, v20.4s, v22.4s")
89 __ASM_EMIT("fmla v3.4s, v21.4s, v22.4s")
90 __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s")
91 __ASM_EMIT("fmla v2.4s, v19.4s, v23.4s")
92 __ASM_EMIT("fmla v3.4s, v20.4s, v23.4s")
93 __ASM_EMIT("fmla v4.4s, v21.4s, v23.4s")
94 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
95 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
96 __ASM_EMIT("str q4, [%[dst], #0x40]")
97 __ASM_EMIT("subs %[count], %[count], #8")
98 __ASM_EMIT("add %[src], %[src], #0x20")
99 __ASM_EMIT("add %[dst], %[dst], #0x38")
100 __ASM_EMIT("b.hs 1b")
101 __ASM_EMIT("2:")
102 // 4x block
103 __ASM_EMIT("adds %[count], %[count], #4")
104 __ASM_EMIT("b.lt 4f")
105
106 __ASM_EMIT("ldr q16, [%[src]]") // v16 = s0 s1 s2 s3
107 __ASM_EMIT("dup v18.4s, v16.s[0]")
108 __ASM_EMIT("dup v19.4s, v16.s[2]")
109 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
110 __ASM_EMIT("ldr q2, [%[dst], #0x20]")
111 __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s")
112 __ASM_EMIT("fmla v1.4s, v19.4s, v22.4s")
113 __ASM_EMIT("fmla v2.4s, v19.4s, v23.4s")
114 __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s")
115 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
116 __ASM_EMIT("str q2, [%[dst], #0x20]")
117
118 __ASM_EMIT("dup v18.4s, v16.s[1]")
119 __ASM_EMIT("add %[dst], %[dst], #0x08")
120 __ASM_EMIT("dup v19.4s, v16.s[3]")
121 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
122 __ASM_EMIT("ldr q2, [%[dst], #0x20]")
123 __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s")
124 __ASM_EMIT("fmla v1.4s, v19.4s, v22.4s")
125 __ASM_EMIT("fmla v2.4s, v19.4s, v23.4s")
126 __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s")
127 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
128 __ASM_EMIT("str q2, [%[dst], #0x20]")
129
130 __ASM_EMIT("sub %[count], %[count], #4")
131 __ASM_EMIT("add %[src], %[src], #0x10")
132 __ASM_EMIT("add %[dst], %[dst], #0x18")
133 __ASM_EMIT("4:")
134 // 1x blocks
135 __ASM_EMIT("4:")
136 __ASM_EMIT("adds %[count], %[count], #3")
137 __ASM_EMIT("b.lt 6f")
138 __ASM_EMIT("7:")
139 __ASM_EMIT("ld1r {v18.4s}, [%[src]]")
140 __ASM_EMIT("ldp q0, q1, [%[dst]]")
141 __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s")
142 __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s")
143 __ASM_EMIT("stp q0, q1, [%[dst]]")
144 __ASM_EMIT("subs %[count], %[count], #1")
145 __ASM_EMIT("add %[src], %[src], #0x04")
146 __ASM_EMIT("add %[dst], %[dst], #0x08")
147 __ASM_EMIT("b.ge 7b")
148 __ASM_EMIT("6:")
149
150 : [dst] "+r" (dst), [src] "+r" (src),
151 [count] "+r" (count)
152 : [kernel] "r" (&lanczos_2x2[0])
153 : "cc", "memory",
154 "v0", "v1", "v2", "v3", "v4",
155 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23"
156 );
157 }
158
159 IF_ARCH_AARCH64(
160 static const float lanczos_2x3[] __lsp_aligned16 =
161 {
162 +0.0000000000000000f,
163 +0.0243170840741611f, // k2
164 +0.0000000000000000f,
165 -0.1350949115231170f, // k1
166
167 +0.0000000000000000f,
168 +0.6079271018540265f, // k0
169 +1.0000000000000000f,
170 +0.6079271018540265f, // k0
171
172 +0.0000000000000000f,
173 -0.1350949115231170f, // k1
174 +0.0000000000000000f,
175 +0.0243170840741611f // k2
176 };
177 )
178
179 void lanczos_resample_2x3(float *dst, const float *src, size_t count)
180 {
181 ARCH_AARCH64_ASM(
182 // Prepare
183 __ASM_EMIT("ldp q22, q23, [%[kernel]]")
184 __ASM_EMIT("ldr q24, [%[kernel], #0x20]")
185 // 8x blocks
186 __ASM_EMIT("subs %[count], %[count], #8")
187 __ASM_EMIT("b.lo 2f")
188 __ASM_EMIT("1:")
189 __ASM_EMIT("ldp q16, q17, [%[src], #0x00]") // v16 = s0 s1 s2 s3, v17 = s4 s5 s6 s7
190
191 __ASM_EMIT("dup v18.4s, v16.s[0]")
192 __ASM_EMIT("dup v20.4s, v17.s[0]")
193 __ASM_EMIT("dup v19.4s, v16.s[2]")
194 __ASM_EMIT("dup v21.4s, v17.s[2]")
195 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
196 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
197 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
198 __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s")
199 __ASM_EMIT("fmla v1.4s, v19.4s, v22.4s")
200 __ASM_EMIT("fmla v2.4s, v20.4s, v22.4s")
201 __ASM_EMIT("fmla v3.4s, v21.4s, v22.4s")
202 __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s")
203 __ASM_EMIT("fmla v2.4s, v19.4s, v23.4s")
204 __ASM_EMIT("fmla v3.4s, v20.4s, v23.4s")
205 __ASM_EMIT("fmla v4.4s, v21.4s, v23.4s")
206 __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s")
207 __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s")
208 __ASM_EMIT("fmla v4.4s, v20.4s, v24.4s")
209 __ASM_EMIT("fmla v5.4s, v21.4s, v24.4s")
210 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
211 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
212 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
213
214 __ASM_EMIT("dup v18.4s, v16.s[1]")
215 __ASM_EMIT("dup v20.4s, v17.s[1]")
216 __ASM_EMIT("add %[dst], %[dst], #0x08")
217 __ASM_EMIT("dup v19.4s, v16.s[3]")
218 __ASM_EMIT("dup v21.4s, v17.s[3]")
219 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
220 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
221 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
222 __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s")
223 __ASM_EMIT("fmla v1.4s, v19.4s, v22.4s")
224 __ASM_EMIT("fmla v2.4s, v20.4s, v22.4s")
225 __ASM_EMIT("fmla v3.4s, v21.4s, v22.4s")
226 __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s")
227 __ASM_EMIT("fmla v2.4s, v19.4s, v23.4s")
228 __ASM_EMIT("fmla v3.4s, v20.4s, v23.4s")
229 __ASM_EMIT("fmla v4.4s, v21.4s, v23.4s")
230 __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s")
231 __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s")
232 __ASM_EMIT("fmla v4.4s, v20.4s, v24.4s")
233 __ASM_EMIT("fmla v5.4s, v21.4s, v24.4s")
234 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
235 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
236 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
237 __ASM_EMIT("subs %[count], %[count], #8")
238 __ASM_EMIT("add %[src], %[src], #0x20")
239 __ASM_EMIT("add %[dst], %[dst], #0x38")
240 __ASM_EMIT("b.hs 1b")
241 __ASM_EMIT("2:")
242 // 4x block
243 __ASM_EMIT("adds %[count], %[count], #4")
244 __ASM_EMIT("b.lt 4f")
245
246 __ASM_EMIT("ldr q16, [%[src]]") // v16 = s0 s1 s2 s3
247 __ASM_EMIT("dup v18.4s, v16.s[0]")
248 __ASM_EMIT("dup v19.4s, v16.s[2]")
249 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
250 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
251 __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s")
252 __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s")
253 __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s")
254 __ASM_EMIT("fmla v1.4s, v19.4s, v22.4s")
255 __ASM_EMIT("fmla v2.4s, v19.4s, v23.4s")
256 __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s")
257 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
258 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
259
260 __ASM_EMIT("dup v18.4s, v16.s[1]")
261 __ASM_EMIT("add %[dst], %[dst], #0x08")
262 __ASM_EMIT("dup v19.4s, v16.s[3]")
263 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
264 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
265 __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s")
266 __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s")
267 __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s")
268 __ASM_EMIT("fmla v1.4s, v19.4s, v22.4s")
269 __ASM_EMIT("fmla v2.4s, v19.4s, v23.4s")
270 __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s")
271 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
272 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
273
274 __ASM_EMIT("sub %[count], %[count], #4")
275 __ASM_EMIT("add %[src], %[src], #0x10")
276 __ASM_EMIT("add %[dst], %[dst], #0x18")
277 __ASM_EMIT("4:")
278 // 1x blocks
279 __ASM_EMIT("4:")
280 __ASM_EMIT("adds %[count], %[count], #3")
281 __ASM_EMIT("b.lt 6f")
282 __ASM_EMIT("7:")
283 __ASM_EMIT("ld1r {v18.4s}, [%[src]]")
284 __ASM_EMIT("ldp q0, q1, [%[dst]]")
285 __ASM_EMIT("ldr q2, [%[dst], #0x20]")
286 __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s")
287 __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s")
288 __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s")
289 __ASM_EMIT("stp q0, q1, [%[dst]]")
290 __ASM_EMIT("str q2, [%[dst], #0x20]")
291 __ASM_EMIT("subs %[count], %[count], #1")
292 __ASM_EMIT("add %[src], %[src], #0x04")
293 __ASM_EMIT("add %[dst], %[dst], #0x08")
294 __ASM_EMIT("b.ge 7b")
295 __ASM_EMIT("6:")
296
297 : [dst] "+r" (dst), [src] "+r" (src),
298 [count] "+r" (count)
299 : [kernel] "r" (&lanczos_2x3[0])
300 : "cc", "memory",
301 "v0", "v1", "v2", "v3", "v4",
302 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
303 "v24"
304 );
305 }
306
307 IF_ARCH_AARCH64
308 (
309 static const float lanczos_2x4[] __lsp_aligned16 =
310 {
311 +0.0000000000000000f,
312 -0.0126608778212387f,
313 +0.0000000000000000f,
314 +0.0599094833772629f,
315
316 +0.0000000000000000f,
317 -0.1664152316035080f,
318 +0.0000000000000000f,
319 +0.6203830132406946f,
320
321 +1.0000000000000000f,
322 +0.6203830132406946f,
323 +0.0000000000000000f,
324 -0.1664152316035080f,
325
326 +0.0000000000000000f,
327 +0.0599094833772629f,
328 +0.0000000000000000f,
329 -0.0126608778212387f
330 };
331 )
332
333 void lanczos_resample_2x4(float *dst, const float *src, size_t count)
334 {
335 ARCH_AARCH64_ASM
336 (
337 // Prepare
338 __ASM_EMIT("ldp q0, q1, [%[kernel], #0x00]")
339 __ASM_EMIT("ldp q2, q3, [%[kernel], #0x20]")
340 __ASM_EMIT("subs %[count], %[count], #8")
341 __ASM_EMIT("b.lo 2f")
342
343 // 8x blocks
344 __ASM_EMIT("1:")
345 __ASM_EMIT("ldp q4, q5, [%[src], #0x00]") // q4 = s0 s1 s2 s3, q5 = s4 s5 s6 s7
346
347 // Even cycle: prepare
348 __ASM_EMIT("ldp q20, q21, [%[dst], #0x00]")
349 __ASM_EMIT("ldp q22, q23, [%[dst], #0x20]")
350 __ASM_EMIT("dup v16.4s, v4.s[0]") // v16 = s0
351 __ASM_EMIT("ldp q24, q25, [%[dst], #0x40]")
352 __ASM_EMIT("dup v17.4s, v4.s[2]") // v17 = s2
353 __ASM_EMIT("dup v18.4s, v5.s[0]") // v18 = s4
354 __ASM_EMIT("ldr q26, [%[dst], #0x60]")
355 __ASM_EMIT("dup v19.4s, v5.s[2]") // v19 = s6
356
357 // Even cycle: convolve
358 __ASM_EMIT("fmla v20.4s, v16.4s, v0.4s")
359 __ASM_EMIT("fmla v21.4s, v16.4s, v1.4s")
360 __ASM_EMIT("fmla v22.4s, v16.4s, v2.4s")
361 __ASM_EMIT("fmla v23.4s, v16.4s, v3.4s")
362 __ASM_EMIT("fmla v21.4s, v17.4s, v0.4s")
363 __ASM_EMIT("fmla v22.4s, v17.4s, v1.4s")
364 __ASM_EMIT("fmla v23.4s, v17.4s, v2.4s")
365 __ASM_EMIT("fmla v24.4s, v17.4s, v3.4s")
366 __ASM_EMIT("fmla v22.4s, v18.4s, v0.4s")
367 __ASM_EMIT("fmla v23.4s, v18.4s, v1.4s")
368 __ASM_EMIT("fmla v24.4s, v18.4s, v2.4s")
369 __ASM_EMIT("fmla v25.4s, v18.4s, v3.4s")
370 __ASM_EMIT("fmla v23.4s, v19.4s, v0.4s")
371 __ASM_EMIT("fmla v24.4s, v19.4s, v1.4s")
372 __ASM_EMIT("fmla v25.4s, v19.4s, v2.4s")
373 __ASM_EMIT("fmla v26.4s, v19.4s, v3.4s")
374
375 __ASM_EMIT("stp q20, q21, [%[dst], #0x00]")
376 __ASM_EMIT("stp q22, q23, [%[dst], #0x20]")
377 __ASM_EMIT("stp q24, q25, [%[dst], #0x40]")
378 __ASM_EMIT("str q26, [%[dst], #0x60]")
379 __ASM_EMIT("add %[dst], %[dst], #0x08")
380
381 // Odd cycle: prepare
382 __ASM_EMIT("ldp q20, q21, [%[dst], #0x00]")
383 __ASM_EMIT("ldp q22, q23, [%[dst], #0x20]")
384 __ASM_EMIT("dup v16.4s, v4.s[1]") // v16 = s1
385 __ASM_EMIT("ldp q24, q25, [%[dst], #0x40]")
386 __ASM_EMIT("dup v17.4s, v4.s[3]") // v17 = s3
387 __ASM_EMIT("dup v18.4s, v5.s[1]") // v18 = s5
388 __ASM_EMIT("ldr q26, [%[dst], #0x60]")
389 __ASM_EMIT("dup v19.4s, v5.s[3]") // v19 = s7
390
391 // Odd cycle: convolve
392 __ASM_EMIT("fmla v20.4s, v16.4s, v0.4s")
393 __ASM_EMIT("fmla v21.4s, v16.4s, v1.4s")
394 __ASM_EMIT("fmla v22.4s, v16.4s, v2.4s")
395 __ASM_EMIT("fmla v23.4s, v16.4s, v3.4s")
396 __ASM_EMIT("fmla v21.4s, v17.4s, v0.4s")
397 __ASM_EMIT("fmla v22.4s, v17.4s, v1.4s")
398 __ASM_EMIT("fmla v23.4s, v17.4s, v2.4s")
399 __ASM_EMIT("fmla v24.4s, v17.4s, v3.4s")
400 __ASM_EMIT("fmla v22.4s, v18.4s, v0.4s")
401 __ASM_EMIT("fmla v23.4s, v18.4s, v1.4s")
402 __ASM_EMIT("fmla v24.4s, v18.4s, v2.4s")
403 __ASM_EMIT("fmla v25.4s, v18.4s, v3.4s")
404 __ASM_EMIT("fmla v23.4s, v19.4s, v0.4s")
405 __ASM_EMIT("fmla v24.4s, v19.4s, v1.4s")
406 __ASM_EMIT("fmla v25.4s, v19.4s, v2.4s")
407 __ASM_EMIT("fmla v26.4s, v19.4s, v3.4s")
408
409 __ASM_EMIT("stp q20, q21, [%[dst], #0x00]")
410 __ASM_EMIT("stp q22, q23, [%[dst], #0x20]")
411 __ASM_EMIT("stp q24, q25, [%[dst], #0x40]")
412 __ASM_EMIT("str q26, [%[dst], #0x60]")
413
414 __ASM_EMIT("subs %[count], %[count], #8")
415 __ASM_EMIT("add %[dst], %[dst], #0x38")
416 __ASM_EMIT("add %[src], %[src], #0x20")
417 __ASM_EMIT("b.hs 1b")
418
419 // 4x block
420 __ASM_EMIT("2:")
421 __ASM_EMIT("adds %[count], %[count], #4")
422 __ASM_EMIT("b.lt 4f")
423 __ASM_EMIT("ldr q4, [%[src]]")
424
425 // Even cycle: prepare
426 __ASM_EMIT("ldp q20, q21, [%[dst], #0x00]")
427 __ASM_EMIT("dup v16.4s, v4.s[0]") // v16 = s0
428 __ASM_EMIT("ldp q22, q23, [%[dst], #0x20]")
429 __ASM_EMIT("dup v17.4s, v4.s[2]") // v17 = s2
430 __ASM_EMIT("ldr q24, [%[dst], #0x40]")
431 // Even cycle: convolve
432 __ASM_EMIT("fmla v20.4s, v16.4s, v0.4s")
433 __ASM_EMIT("fmla v21.4s, v16.4s, v1.4s")
434 __ASM_EMIT("fmla v22.4s, v16.4s, v2.4s")
435 __ASM_EMIT("fmla v23.4s, v16.4s, v3.4s")
436 __ASM_EMIT("fmla v21.4s, v17.4s, v0.4s")
437 __ASM_EMIT("fmla v22.4s, v17.4s, v1.4s")
438 __ASM_EMIT("fmla v23.4s, v17.4s, v2.4s")
439 __ASM_EMIT("fmla v24.4s, v17.4s, v3.4s")
440
441 __ASM_EMIT("stp q20, q21, [%[dst], #0x00]")
442 __ASM_EMIT("stp q22, q23, [%[dst], #0x20]")
443 __ASM_EMIT("str q24, [%[dst], #0x40]")
444 __ASM_EMIT("add %[dst], %[dst], #0x08")
445
446 // Odd cycle: prepare
447 __ASM_EMIT("ldp q20, q21, [%[dst], #0x00]")
448 __ASM_EMIT("dup v16.4s, v4.s[1]") // v16 = s1
449 __ASM_EMIT("ldp q22, q23, [%[dst], #0x20]")
450 __ASM_EMIT("dup v17.4s, v4.s[3]") // v17 = s3
451 __ASM_EMIT("ldr q24, [%[dst], #0x40]")
452
453 // Even cycle: convolve
454 __ASM_EMIT("fmla v20.4s, v16.4s, v0.4s")
455 __ASM_EMIT("fmla v21.4s, v16.4s, v1.4s")
456 __ASM_EMIT("fmla v22.4s, v16.4s, v2.4s")
457 __ASM_EMIT("fmla v23.4s, v16.4s, v3.4s")
458 __ASM_EMIT("fmla v21.4s, v17.4s, v0.4s")
459 __ASM_EMIT("fmla v22.4s, v17.4s, v1.4s")
460 __ASM_EMIT("fmla v23.4s, v17.4s, v2.4s")
461 __ASM_EMIT("fmla v24.4s, v17.4s, v3.4s")
462
463 __ASM_EMIT("stp q20, q21, [%[dst], #0x00]")
464 __ASM_EMIT("stp q22, q23, [%[dst], #0x20]")
465 __ASM_EMIT("str q24, [%[dst], #0x40]")
466
467 __ASM_EMIT("sub %[count], %[count], #4")
468 __ASM_EMIT("add %[src], %[src], #0x10")
469 __ASM_EMIT("add %[dst], %[dst], #0x18")
470
471 // 1x blocks
472 __ASM_EMIT("4:")
473 __ASM_EMIT("adds %[count], %[count], #3")
474 __ASM_EMIT("b.lt 6f")
475 __ASM_EMIT("7:")
476 __ASM_EMIT("ldp q20, q21, [%[dst], #0x00]")
477 __ASM_EMIT("ld1r {v16.4s}, [%[src]]")
478 __ASM_EMIT("ldp q22, q23, [%[dst], #0x20]")
479 __ASM_EMIT("fmla v20.4s, v16.4s, v0.4s")
480 __ASM_EMIT("fmla v21.4s, v16.4s, v1.4s")
481 __ASM_EMIT("fmla v22.4s, v16.4s, v2.4s")
482 __ASM_EMIT("fmla v23.4s, v16.4s, v3.4s")
483 __ASM_EMIT("stp q20, q21, [%[dst], #0x00]")
484 __ASM_EMIT("stp q22, q23, [%[dst], #0x20]")
485 __ASM_EMIT("subs %[count], %[count], #1")
486 __ASM_EMIT("add %[dst], %[dst], #0x08")
487 __ASM_EMIT("add %[src], %[src], #0x04")
488 __ASM_EMIT("b.ge 7b")
489
490 __ASM_EMIT("6:")
491 : [dst] "+r" (dst), [src] "+r" (src),
492 [count] "+r" (count)
493 : [kernel] "r" (&lanczos_2x4[0])
494 : "cc", "memory",
495 "v0", "v1", "v2", "v3",
496 "v4", "v5",
497 "v16", "v17", "v18", "v19",
498 "v20", "v21", "v22", "v23",
499 "v24", "v25", "v26"
500 );
501 }
502
503 IF_ARCH_AARCH64(
504 static const float lanczos_3x2[] __lsp_aligned16 =
505 {
506 +0.0000000000000000f,
507 -0.0315888188312782f,
508 -0.0854897486982225f,
509 +0.0000000000000000f,
510
511 +0.3419589947928900f,
512 +0.7897204707819555f,
513 +1.0000000000000000f,
514 +0.7897204707819555f,
515
516 +0.3419589947928900f,
517 +0.0000000000000000f,
518 -0.0854897486982225f,
519 -0.0315888188312782f,
520
521 // Shifted by 1 left
522 -0.0315888188312782f,
523 -0.0854897486982225f,
524 +0.0000000000000000f,
525 +0.3419589947928900f,
526
527 +0.7897204707819555f,
528 +1.0000000000000000f,
529 +0.7897204707819555f,
530 +0.3419589947928900f,
531
532 +0.0000000000000000f,
533 -0.0854897486982225f,
534 -0.0315888188312782f,
535 +0.0000000000000000f
536 };
537 )
538
539 void lanczos_resample_3x2(float *dst, const float *src, size_t count)
540 {
541 ARCH_AARCH64_ASM(
542 // Prepare
543 __ASM_EMIT("ldp q24, q25, [%[kernel], #0x00]")
544 __ASM_EMIT("ldp q26, q27, [%[kernel], #0x20]")
545 __ASM_EMIT("ldp q28, q29, [%[kernel], #0x40]")
546 // 2x blocks
547 __ASM_EMIT("subs %[count], %[count], #2")
548 __ASM_EMIT("b.lo 2f")
549 __ASM_EMIT("1:")
550 __ASM_EMIT("ld2r {v4.4s, v5.4s}, [%[src]]") // v4 = s0, v5 = s1
551 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
552 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
553 __ASM_EMIT("fmla v0.4s, v4.4s, v24.4s")
554 __ASM_EMIT("fmla v1.4s, v4.4s, v25.4s")
555 __ASM_EMIT("fmla v2.4s, v4.4s, v26.4s")
556 __ASM_EMIT("fmla v1.4s, v5.4s, v27.4s")
557 __ASM_EMIT("fmla v2.4s, v5.4s, v28.4s")
558 __ASM_EMIT("fmla v3.4s, v5.4s, v29.4s")
559 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
560 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
561 __ASM_EMIT("subs %[count], %[count], #2")
562 __ASM_EMIT("add %[src], %[src], #0x08")
563 __ASM_EMIT("add %[dst], %[dst], #0x18")
564 __ASM_EMIT("b.hs 1b")
565 __ASM_EMIT("2:")
566 // 1x block
567 __ASM_EMIT("adds %[count], %[count], #1")
568 __ASM_EMIT("b.lt 4f")
569 __ASM_EMIT("ld1r {v4.4s}, [%[src]]")
570 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
571 __ASM_EMIT("ldr q2, [%[dst], #0x20]")
572 __ASM_EMIT("fmla v0.4s, v4.4s, v24.4s")
573 __ASM_EMIT("fmla v1.4s, v4.4s, v25.4s")
574 __ASM_EMIT("fmla v2.4s, v4.4s, v26.4s")
575 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
576 __ASM_EMIT("str q2, [%[dst], #0x20]")
577 __ASM_EMIT("4:")
578
579 : [dst] "+r" (dst), [src] "+r" (src),
580 [count] "+r" (count)
581 : [kernel] "r" (&lanczos_3x2[0])
582 : "cc", "memory",
583 "v0", "v1", "v2", "v3", "v4", "v5",
584 "v24", "v25", "v26", "v27", "v28", "v29"
585 );
586 }
587
588 IF_ARCH_AARCH64(
589 static const float lanczos_3x3[] __lsp_aligned16 =
590 {
591 // Part 1
592 +0.0000000000000000f,
593 +0.0126609519658153f,
594 +0.0310789306368038f,
595 +0.0000000000000000f,
596
597 -0.0933267410806225f,
598 -0.1458230329384726f,
599 +0.0000000000000000f,
600 +0.3807169003008463f,
601
602 +0.8103009258121772f,
603 +1.0000000000000000f,
604 +0.8103009258121772f,
605 +0.3807169003008463f,
606
607 +0.0000000000000000f,
608 -0.1458230329384726f,
609 -0.0933267410806225f,
610 +0.0000000000000000f,
611
612 +0.0310789306368038f,
613 +0.0126609519658153f,
614 +0.0000000000000000f,
615 +0.0000000000000000f,
616
617 // Part 2
618 +0.0126609519658153f,
619 +0.0310789306368038f,
620 +0.0000000000000000f,
621 -0.0933267410806225f,
622
623 -0.1458230329384726f,
624 +0.0000000000000000f,
625 +0.3807169003008463f,
626 +0.8103009258121772f,
627
628 +1.0000000000000000f,
629 +0.8103009258121772f,
630 +0.3807169003008463f,
631 +0.0000000000000000f,
632
633 -0.1458230329384726f,
634 -0.0933267410806225f,
635 -0.0000000000000000f,
636 +0.0310789306368038f,
637
638 +0.0126609519658153f,
639 +0.0000000000000000f,
640 +0.0000000000000000f,
641 +0.0000000000000000f
642 };
643 )
644
645 void lanczos_resample_3x3(float *dst, const float *src, size_t count)
646 {
647 ARCH_AARCH64_ASM(
648 // Prepare
649 __ASM_EMIT("ldp q22, q23, [%[kernel], #0x00]")
650 __ASM_EMIT("ldp q24, q25, [%[kernel], #0x20]")
651 __ASM_EMIT("ldp q26, q27, [%[kernel], #0x40]")
652 __ASM_EMIT("ldp q28, q29, [%[kernel], #0x60]")
653 __ASM_EMIT("ldp q30, q31, [%[kernel], #0x80]")
654 // 2x blocks
655 __ASM_EMIT("subs %[count], %[count], #2")
656 __ASM_EMIT("b.lo 2f")
657 __ASM_EMIT("1:")
658 __ASM_EMIT("ld2r {v6.4s, v7.4s}, [%[src]]") // v4 = s0, v5 = s1
659 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
660 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
661 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
662 __ASM_EMIT("fmla v0.4s, v6.4s, v22.4s")
663 __ASM_EMIT("fmla v1.4s, v6.4s, v23.4s")
664 __ASM_EMIT("fmla v2.4s, v6.4s, v24.4s")
665 __ASM_EMIT("fmla v3.4s, v6.4s, v25.4s")
666 __ASM_EMIT("fmla v4.4s, v6.4s, v26.4s")
667 __ASM_EMIT("fmla v1.4s, v7.4s, v27.4s")
668 __ASM_EMIT("fmla v2.4s, v7.4s, v28.4s")
669 __ASM_EMIT("fmla v3.4s, v7.4s, v29.4s")
670 __ASM_EMIT("fmla v4.4s, v7.4s, v30.4s")
671 __ASM_EMIT("fmla v5.4s, v7.4s, v31.4s")
672 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
673 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
674 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
675 __ASM_EMIT("subs %[count], %[count], #2")
676 __ASM_EMIT("add %[src], %[src], #0x08")
677 __ASM_EMIT("add %[dst], %[dst], #0x18")
678 __ASM_EMIT("b.hs 1b")
679 __ASM_EMIT("2:")
680 // 1x block
681 __ASM_EMIT("adds %[count], %[count], #1")
682 __ASM_EMIT("b.lt 4f")
683 __ASM_EMIT("ld1r {v6.4s}, [%[src]]")
684 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
685 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
686 __ASM_EMIT("ldr q4, [%[dst], #0x40]")
687 __ASM_EMIT("fmla v0.4s, v6.4s, v22.4s")
688 __ASM_EMIT("fmla v1.4s, v6.4s, v23.4s")
689 __ASM_EMIT("fmla v2.4s, v6.4s, v24.4s")
690 __ASM_EMIT("fmla v3.4s, v6.4s, v25.4s")
691 __ASM_EMIT("fmla v4.4s, v6.4s, v26.4s")
692 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
693 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
694 __ASM_EMIT("str q4, [%[dst], #0x40]")
695 __ASM_EMIT("4:")
696
697 : [dst] "+r" (dst), [src] "+r" (src),
698 [count] "+r" (count)
699 : [kernel] "r" (&lanczos_3x3[0])
700 : "cc", "memory",
701 "v0", "v1", "v2", "v3",
702 "v4", "v5",
703 "v22", "v23",
704 "v24", "v25", "v26", "v27",
705 "v28", "v29", "v30", "v31"
706 );
707 }
708
709 IF_ARCH_AARCH64(
710 static const float lanczos_3x4[] __lsp_aligned16 =
711 {
712 // Part 1 (unshifted)
713 +0.0000000000000000f,
714 -0.0067568495254777f,
715 -0.0157944094156391f,
716 +0.0000000000000000f,
717
718 +0.0427448743491113f,
719 +0.0622703182267308f,
720 +0.0000000000000000f,
721 -0.1220498237243924f,
722
723 -0.1709794973964449f,
724 +0.0000000000000000f,
725 +0.3948602353909778f,
726 +0.8175787925827955f,
727
728 +1.0000000000000000f,
729 +0.8175787925827955f,
730 +0.3948602353909778f,
731 +0.0000000000000000f,
732
733 -0.1709794973964449f,
734 -0.1220498237243924f,
735 +0.0000000000000000f,
736 +0.0622703182267308f,
737
738 +0.0427448743491113f,
739 +0.0000000000000000f,
740 -0.0157944094156391f,
741 -0.0067568495254777f,
742
743 // Part 2 (shifted)
744 -0.0067568495254777f,
745 -0.0157944094156391f,
746 +0.0000000000000000f,
747 +0.0427448743491113f,
748
749 +0.0622703182267308f,
750 +0.0000000000000000f,
751 -0.1220498237243924f,
752 -0.1709794973964449f,
753
754 +0.0000000000000000f,
755 +0.3948602353909778f,
756 +0.8175787925827955f,
757 +1.0000000000000000f,
758
759 +0.8175787925827955f,
760 +0.3948602353909778f,
761 +0.0000000000000000f,
762 -0.1709794973964449f,
763
764 -0.1220498237243924f,
765 +0.0000000000000000f,
766 +0.0622703182267308f,
767 +0.0427448743491113f,
768
769 +0.0000000000000000f,
770 -0.0157944094156391f,
771 -0.0067568495254777f,
772 +0.0000000000000000f
773 };
774 )
775
776 void lanczos_resample_3x4(float *dst, const float *src, size_t count)
777 {
778 ARCH_AARCH64_ASM(
779 // Prepare
780 __ASM_EMIT("ldp q20, q21, [%[kernel], #0x00]")
781 __ASM_EMIT("ldp q22, q23, [%[kernel], #0x20]")
782 __ASM_EMIT("ldp q24, q25, [%[kernel], #0x40]")
783 __ASM_EMIT("ldp q26, q27, [%[kernel], #0x60]")
784 __ASM_EMIT("ldp q28, q29, [%[kernel], #0x80]")
785 __ASM_EMIT("ldp q30, q31, [%[kernel], #0xa0]")
786 // 2x blocks
787 __ASM_EMIT("subs %[count], %[count], #2")
788 __ASM_EMIT("b.lo 2f")
789 __ASM_EMIT("1:")
790 __ASM_EMIT("ld2r {v18.4s, v19.4s}, [%[src]]") // v18 = s0, v19 = s1
791 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
792 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
793 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
794 __ASM_EMIT("ldr q6, [%[dst], #0x60]")
795
796 __ASM_EMIT("fmla v0.4s, v18.4s, v20.4s")
797 __ASM_EMIT("fmla v1.4s, v18.4s, v21.4s")
798 __ASM_EMIT("fmla v2.4s, v18.4s, v22.4s")
799 __ASM_EMIT("fmla v3.4s, v18.4s, v23.4s")
800 __ASM_EMIT("fmla v4.4s, v18.4s, v24.4s")
801 __ASM_EMIT("fmla v5.4s, v18.4s, v25.4s")
802 __ASM_EMIT("fmla v1.4s, v19.4s, v26.4s")
803 __ASM_EMIT("fmla v2.4s, v19.4s, v27.4s")
804 __ASM_EMIT("fmla v3.4s, v19.4s, v28.4s")
805 __ASM_EMIT("fmla v4.4s, v19.4s, v29.4s")
806 __ASM_EMIT("fmla v5.4s, v19.4s, v30.4s")
807 __ASM_EMIT("fmla v6.4s, v19.4s, v31.4s")
808
809 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
810 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
811 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
812 __ASM_EMIT("str q6, [%[dst], #0x60]")
813
814 __ASM_EMIT("subs %[count], %[count], #2")
815 __ASM_EMIT("add %[src], %[src], #0x08")
816 __ASM_EMIT("add %[dst], %[dst], #0x18")
817 __ASM_EMIT("b.hs 1b")
818
819 // 1x block
820 __ASM_EMIT("2:")
821 __ASM_EMIT("adds %[count], %[count], #1")
822 __ASM_EMIT("b.lt 4f")
823 __ASM_EMIT("ld1r {v18.4s}, [%[src]]")
824 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
825 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
826 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
827 __ASM_EMIT("fmla v0.4s, v18.4s, v20.4s")
828 __ASM_EMIT("fmla v1.4s, v18.4s, v21.4s")
829 __ASM_EMIT("fmla v2.4s, v18.4s, v22.4s")
830 __ASM_EMIT("fmla v3.4s, v18.4s, v23.4s")
831 __ASM_EMIT("fmla v4.4s, v18.4s, v24.4s")
832 __ASM_EMIT("fmla v5.4s, v18.4s, v25.4s")
833 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
834 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
835 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
836 __ASM_EMIT("4:")
837
838 : [dst] "+r" (dst), [src] "+r" (src),
839 [count] "+r" (count)
840 : [kernel] "r" (&lanczos_3x4[0])
841 : "cc", "memory",
842 "v0", "v1", "v2", "v3",
843 "v4", "v5", "v6",
844 "v18", "v19",
845 "v20", "v21", "v22", "v23",
846 "v24", "v25", "v26", "v27",
847 "v28", "v29", "v30", "v31"
848 );
849 }
850
851 IF_ARCH_AARCH64(
852 static const float lanczos_4x2[] __lsp_aligned16 =
853 {
854 +0.0000000000000000f,
855 -0.0179051851263444f,
856 -0.0636843520278618f,
857 -0.0847248039068907f,
858
859 +0.0000000000000000f,
860 +0.2353466775191407f,
861 +0.5731591682507563f,
862 +0.8773540711908775f,
863
864 +1.0000000000000000f,
865 +0.8773540711908775f,
866 +0.5731591682507563f,
867 +0.2353466775191407f,
868
869 +0.0000000000000000f,
870 -0.0847248039068907f,
871 -0.0636843520278618f,
872 -0.0179051851263444f
873 };
874 )
875
876 void lanczos_resample_4x2(float *dst, const float *src, size_t count)
877 {
878 ARCH_AARCH64_ASM(
879 // Prepare
880 __ASM_EMIT("ldp q24, q25, [%[kernel], #0x00]")
881 __ASM_EMIT("ldp q26, q27, [%[kernel], #0x20]")
882 // 4x blocks
883 __ASM_EMIT("subs %[count], %[count], #4")
884 __ASM_EMIT("b.lo 2f")
885 __ASM_EMIT("1:")
886 __ASM_EMIT("ld4r {v16.4s, v17.4s, v18.4s, v19.4s}, [%[src]]") // v16 = s0, v17 = s1, v18 = s2, v19 = s3
887 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
888 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
889 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
890 __ASM_EMIT("ldr q6, [%[dst], #0x60]")
891 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s")
892 __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s")
893 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s")
894 __ASM_EMIT("fmla v3.4s, v18.4s, v25.4s")
895 __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s")
896 __ASM_EMIT("fmla v4.4s, v18.4s, v26.4s")
897 __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s")
898 __ASM_EMIT("fmla v5.4s, v18.4s, v27.4s")
899 __ASM_EMIT("fmla v1.4s, v17.4s, v24.4s")
900 __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s")
901 __ASM_EMIT("fmla v2.4s, v17.4s, v25.4s")
902 __ASM_EMIT("fmla v4.4s, v19.4s, v25.4s")
903 __ASM_EMIT("fmla v3.4s, v17.4s, v26.4s")
904 __ASM_EMIT("fmla v5.4s, v19.4s, v26.4s")
905 __ASM_EMIT("fmla v4.4s, v17.4s, v27.4s")
906 __ASM_EMIT("fmla v6.4s, v19.4s, v27.4s")
907 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
908 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
909 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
910 __ASM_EMIT("str q6, [%[dst], #0x60]")
911 __ASM_EMIT("subs %[count], %[count], #4")
912 __ASM_EMIT("add %[src], %[src], #0x10")
913 __ASM_EMIT("add %[dst], %[dst], #0x40")
914 __ASM_EMIT("b.hs 1b")
915 __ASM_EMIT("2:")
916 // 2x block
917 __ASM_EMIT("adds %[count], %[count], #2")
918 __ASM_EMIT("b.lt 4f")
919 __ASM_EMIT("1:")
920 __ASM_EMIT("ld2r {v16.4s, v17.4s}, [%[src]]") // v16 = s0, v17 = s1
921 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
922 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
923 __ASM_EMIT("ldr q4, [%[dst], #0x40]")
924 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s")
925 __ASM_EMIT("fmla v2.4s, v17.4s, v25.4s")
926 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s")
927 __ASM_EMIT("fmla v3.4s, v17.4s, v26.4s")
928 __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s")
929 __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s")
930 __ASM_EMIT("fmla v4.4s, v17.4s, v27.4s")
931 __ASM_EMIT("fmla v1.4s, v17.4s, v24.4s")
932 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
933 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
934 __ASM_EMIT("str q4, [%[dst], #0x40]")
935 __ASM_EMIT("sub %[count], %[count], #2")
936 __ASM_EMIT("add %[src], %[src], #0x08")
937 __ASM_EMIT("add %[dst], %[dst], #0x20")
938 // 1x block
939 __ASM_EMIT("4:")
940 __ASM_EMIT("adds %[count], %[count], #1")
941 __ASM_EMIT("b.lt 6f")
942 __ASM_EMIT("ld1r {v16.4s}, [%[src]]")
943 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
944 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
945 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s")
946 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s")
947 __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s")
948 __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s")
949 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
950 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
951 __ASM_EMIT("6:")
952
953 : [dst] "+r" (dst), [src] "+r" (src),
954 [count] "+r" (count)
955 : [kernel] "r" (&lanczos_4x2[0])
956 : "cc", "memory",
957 "v0", "v1", "v2", "v3",
958 "v4", "v5",
959 "v16", "v17", "v18", "v19",
960 "v24", "v25", "v26", "v27"
961 );
962 }
963
964 IF_ARCH_AARCH64(
965 static const float lanczos_4x3[] __lsp_aligned16 =
966 {
967 +0.0000000000000000f,
968 +0.0073559260471942f,
969 +0.0243170840741611f,
970 +0.0300210914495816f,
971
972 +0.0000000000000000f,
973 -0.0677913359005429f,
974 -0.1350949115231170f,
975 -0.1328710183650640f,
976
977 +0.0000000000000000f,
978 +0.2701898230462341f,
979 +0.6079271018540265f,
980 +0.8900670517104946f,
981
982 +1.0000000000000000f,
983 +0.8900670517104946f,
984 +0.6079271018540265f,
985 +0.2701898230462341f,
986
987 +0.0000000000000000f,
988 -0.1328710183650640f,
989 -0.1350949115231170f,
990 -0.0677913359005429f,
991
992 +0.0000000000000000f,
993 +0.0300210914495816f,
994 +0.0243170840741611f,
995 +0.0073559260471942f
996 };
997 )
998
999 void lanczos_resample_4x3(float *dst, const float *src, size_t count)
1000 {
1001 ARCH_AARCH64_ASM(
1002 // Prepare
1003 __ASM_EMIT("ldp q24, q25, [%[kernel], #0x00]")
1004 __ASM_EMIT("ldp q26, q27, [%[kernel], #0x20]")
1005 __ASM_EMIT("ldp q28, q29, [%[kernel], #0x40]")
1006 // 4x blocks
1007 __ASM_EMIT("subs %[count], %[count], #4")
1008 __ASM_EMIT("b.lo 2f")
1009 __ASM_EMIT("1:")
1010 __ASM_EMIT("ld4r {v16.4s, v17.4s, v18.4s, v19.4s}, [%[src]]") // v16 = s0, v17 = s1, v18 = s2, v19 = s3
1011 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
1012 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
1013 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
1014 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
1015 __ASM_EMIT("ldr q8, [%[dst], #0x80]")
1016 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s")
1017 __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s")
1018 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s")
1019 __ASM_EMIT("fmla v3.4s, v18.4s, v25.4s")
1020 __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s")
1021 __ASM_EMIT("fmla v4.4s, v18.4s, v26.4s")
1022 __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s")
1023 __ASM_EMIT("fmla v5.4s, v18.4s, v27.4s")
1024 __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s")
1025 __ASM_EMIT("fmla v6.4s, v18.4s, v28.4s")
1026 __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s")
1027 __ASM_EMIT("fmla v7.4s, v18.4s, v29.4s")
1028 __ASM_EMIT("fmla v1.4s, v17.4s, v24.4s")
1029 __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s")
1030 __ASM_EMIT("fmla v2.4s, v17.4s, v25.4s")
1031 __ASM_EMIT("fmla v4.4s, v19.4s, v25.4s")
1032 __ASM_EMIT("fmla v3.4s, v17.4s, v26.4s")
1033 __ASM_EMIT("fmla v5.4s, v19.4s, v26.4s")
1034 __ASM_EMIT("fmla v4.4s, v17.4s, v27.4s")
1035 __ASM_EMIT("fmla v6.4s, v19.4s, v27.4s")
1036 __ASM_EMIT("fmla v5.4s, v17.4s, v28.4s")
1037 __ASM_EMIT("fmla v7.4s, v19.4s, v28.4s")
1038 __ASM_EMIT("fmla v6.4s, v17.4s, v29.4s")
1039 __ASM_EMIT("fmla v8.4s, v19.4s, v29.4s")
1040 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
1041 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
1042 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
1043 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
1044 __ASM_EMIT("str q8, [%[dst], #0x80]")
1045 __ASM_EMIT("subs %[count], %[count], #4")
1046 __ASM_EMIT("add %[src], %[src], #0x10")
1047 __ASM_EMIT("add %[dst], %[dst], #0x40")
1048 __ASM_EMIT("b.hs 1b")
1049 __ASM_EMIT("2:")
1050 // 2x block
1051 __ASM_EMIT("adds %[count], %[count], #2")
1052 __ASM_EMIT("b.lt 4f")
1053 __ASM_EMIT("1:")
1054 __ASM_EMIT("ld2r {v16.4s, v17.4s}, [%[src]]") // v16 = s0, v17 = s1
1055 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
1056 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
1057 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
1058 __ASM_EMIT("ldr q6, [%[dst], #0x60]")
1059 __ASM_EMIT("fmla v1.4s, v17.4s, v24.4s")
1060 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s")
1061 __ASM_EMIT("fmla v2.4s, v17.4s, v25.4s")
1062 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s")
1063 __ASM_EMIT("fmla v3.4s, v17.4s, v26.4s")
1064 __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s")
1065 __ASM_EMIT("fmla v4.4s, v17.4s, v27.4s")
1066 __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s")
1067 __ASM_EMIT("fmla v5.4s, v17.4s, v28.4s")
1068 __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s")
1069 __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s")
1070 __ASM_EMIT("fmla v6.4s, v17.4s, v29.4s")
1071 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
1072 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
1073 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
1074 __ASM_EMIT("str q6, [%[dst], #0x60]")
1075 __ASM_EMIT("sub %[count], %[count], #2")
1076 __ASM_EMIT("add %[src], %[src], #0x08")
1077 __ASM_EMIT("add %[dst], %[dst], #0x20")
1078 // 1x block
1079 __ASM_EMIT("4:")
1080 __ASM_EMIT("adds %[count], %[count], #1")
1081 __ASM_EMIT("b.lt 6f")
1082 __ASM_EMIT("ld1r {v16.4s}, [%[src]]")
1083 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
1084 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
1085 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
1086 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s")
1087 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s")
1088 __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s")
1089 __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s")
1090 __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s")
1091 __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s")
1092 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
1093 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
1094 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
1095 __ASM_EMIT("6:")
1096
1097 : [dst] "+r" (dst), [src] "+r" (src),
1098 [count] "+r" (count)
1099 : [kernel] "r" (&lanczos_4x3[0])
1100 : "cc", "memory",
1101 "v0", "v1", "v2", "v3",
1102 "v4", "v5", "v6", "v7",
1103 "v8",
1104 "v16", "v17", "v18", "v19",
1105 "v24", "v25", "v26", "v27",
1106 "v28", "v29"
1107 );
1108 }
1109
1110 IF_ARCH_AARCH64(
1111 static const float lanczos_4x4[] __lsp_aligned16 =
1112 {
1113 +0.0000000000000000f,
1114 -0.0039757442382413f,
1115 -0.0126608778212387f,
1116 -0.0150736176408234f,
1117
1118 +0.0000000000000000f,
1119 +0.0315083921595442f,
1120 +0.0599094833772629f,
1121 +0.0555206000541729f,
1122
1123 +0.0000000000000000f,
1124 -0.0917789511099593f,
1125 -0.1664152316035080f,
1126 -0.1525006180521938f,
1127
1128 +0.0000000000000000f,
1129 +0.2830490423665725f,
1130 +0.6203830132406946f,
1131 +0.8945424536042901f,
1132
1133 +1.0000000000000000f,
1134 +0.8945424536042901f,
1135 +0.6203830132406946f,
1136 +0.2830490423665725f,
1137
1138 +0.0000000000000000f,
1139 -0.1525006180521938f,
1140 -0.1664152316035080f,
1141 -0.0917789511099593f,
1142
1143 +0.0000000000000000f,
1144 +0.0555206000541729f,
1145 +0.0599094833772629f,
1146 +0.0315083921595442f,
1147
1148 +0.0000000000000000f,
1149 -0.0150736176408234f,
1150 -0.0126608778212387f,
1151 -0.0039757442382413f
1152 };
1153 )
1154
1155 void lanczos_resample_4x4(float *dst, const float *src, size_t count)
1156 {
1157 ARCH_AARCH64_ASM(
1158 // Prepare
1159 __ASM_EMIT("ldp q24, q25, [%[kernel], #0x00]")
1160 __ASM_EMIT("ldp q26, q27, [%[kernel], #0x20]")
1161 __ASM_EMIT("ldp q28, q29, [%[kernel], #0x40]")
1162 __ASM_EMIT("ldp q30, q31, [%[kernel], #0x60]")
1163 // 4x blocks
1164 __ASM_EMIT("subs %[count], %[count], #4")
1165 __ASM_EMIT("b.lo 2f")
1166 __ASM_EMIT("1:")
1167 __ASM_EMIT("ld4r {v16.4s, v17.4s, v18.4s, v19.4s}, [%[src]]") // v16 = s0, v17 = s1, v18 = s2, v19 = s3
1168 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
1169 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
1170 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
1171 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
1172 __ASM_EMIT("ldp q8, q9, [%[dst], #0x80]")
1173 __ASM_EMIT("ldr q10, [%[dst], #0xa0]")
1174
1175 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s")
1176 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s")
1177 __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s")
1178 __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s")
1179 __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s")
1180 __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s")
1181 __ASM_EMIT("fmla v6.4s, v16.4s, v30.4s")
1182 __ASM_EMIT("fmla v7.4s, v16.4s, v31.4s")
1183 __ASM_EMIT("fmla v1.4s, v17.4s, v24.4s")
1184 __ASM_EMIT("fmla v2.4s, v17.4s, v25.4s")
1185 __ASM_EMIT("fmla v3.4s, v17.4s, v26.4s")
1186 __ASM_EMIT("fmla v4.4s, v17.4s, v27.4s")
1187 __ASM_EMIT("fmla v5.4s, v17.4s, v28.4s")
1188 __ASM_EMIT("fmla v6.4s, v17.4s, v29.4s")
1189 __ASM_EMIT("fmla v7.4s, v17.4s, v30.4s")
1190 __ASM_EMIT("fmla v8.4s, v17.4s, v31.4s")
1191 __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s")
1192 __ASM_EMIT("fmla v3.4s, v18.4s, v25.4s")
1193 __ASM_EMIT("fmla v4.4s, v18.4s, v26.4s")
1194 __ASM_EMIT("fmla v5.4s, v18.4s, v27.4s")
1195 __ASM_EMIT("fmla v6.4s, v18.4s, v28.4s")
1196 __ASM_EMIT("fmla v7.4s, v18.4s, v29.4s")
1197 __ASM_EMIT("fmla v8.4s, v18.4s, v30.4s")
1198 __ASM_EMIT("fmla v9.4s, v18.4s, v31.4s")
1199 __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s")
1200 __ASM_EMIT("fmla v4.4s, v19.4s, v25.4s")
1201 __ASM_EMIT("fmla v5.4s, v19.4s, v26.4s")
1202 __ASM_EMIT("fmla v6.4s, v19.4s, v27.4s")
1203 __ASM_EMIT("fmla v7.4s, v19.4s, v28.4s")
1204 __ASM_EMIT("fmla v8.4s, v19.4s, v29.4s")
1205 __ASM_EMIT("fmla v9.4s, v19.4s, v30.4s")
1206 __ASM_EMIT("fmla v10.4s, v19.4s, v31.4s")
1207
1208 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
1209 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
1210 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
1211 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
1212 __ASM_EMIT("stp q8, q9, [%[dst], #0x80]")
1213 __ASM_EMIT("str q10, [%[dst], #0xa0]")
1214 __ASM_EMIT("subs %[count], %[count], #4")
1215 __ASM_EMIT("add %[src], %[src], #0x10")
1216 __ASM_EMIT("add %[dst], %[dst], #0x40")
1217 __ASM_EMIT("b.hs 1b")
1218 __ASM_EMIT("2:")
1219 // 2x block
1220 __ASM_EMIT("adds %[count], %[count], #2")
1221 __ASM_EMIT("b.lt 4f")
1222 __ASM_EMIT("1:")
1223 __ASM_EMIT("ld2r {v16.4s, v17.4s}, [%[src]]") // v16 = s0, v17 = s1
1224 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
1225 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
1226 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
1227 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
1228 __ASM_EMIT("ldr q8, [%[dst], #0x80]")
1229
1230 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s")
1231 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s")
1232 __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s")
1233 __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s")
1234 __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s")
1235 __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s")
1236 __ASM_EMIT("fmla v6.4s, v16.4s, v30.4s")
1237 __ASM_EMIT("fmla v7.4s, v16.4s, v31.4s")
1238 __ASM_EMIT("fmla v1.4s, v17.4s, v24.4s")
1239 __ASM_EMIT("fmla v2.4s, v17.4s, v25.4s")
1240 __ASM_EMIT("fmla v3.4s, v17.4s, v26.4s")
1241 __ASM_EMIT("fmla v4.4s, v17.4s, v27.4s")
1242 __ASM_EMIT("fmla v5.4s, v17.4s, v28.4s")
1243 __ASM_EMIT("fmla v6.4s, v17.4s, v29.4s")
1244 __ASM_EMIT("fmla v7.4s, v17.4s, v30.4s")
1245 __ASM_EMIT("fmla v8.4s, v17.4s, v31.4s")
1246
1247 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
1248 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
1249 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
1250 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
1251 __ASM_EMIT("str q8, [%[dst], #0x80]")
1252
1253 __ASM_EMIT("sub %[count], %[count], #2")
1254 __ASM_EMIT("add %[src], %[src], #0x08")
1255 __ASM_EMIT("add %[dst], %[dst], #0x20")
1256 // 1x block
1257 __ASM_EMIT("4:")
1258 __ASM_EMIT("adds %[count], %[count], #1")
1259 __ASM_EMIT("b.lt 6f")
1260 __ASM_EMIT("ld1r {v16.4s}, [%[src]]")
1261 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
1262 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
1263 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
1264 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
1265 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s")
1266 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s")
1267 __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s")
1268 __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s")
1269 __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s")
1270 __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s")
1271 __ASM_EMIT("fmla v6.4s, v16.4s, v30.4s")
1272 __ASM_EMIT("fmla v7.4s, v16.4s, v31.4s")
1273 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
1274 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
1275 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
1276 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
1277 __ASM_EMIT("6:")
1278
1279 : [dst] "+r" (dst), [src] "+r" (src),
1280 [count] "+r" (count)
1281 : [kernel] "r" (&lanczos_4x4[0])
1282 : "cc", "memory",
1283 "v0", "v1", "v2", "v3",
1284 "v4", "v5", "v6", "v7",
1285 "v8", "v9", "v10",
1286 "v16", "v17", "v18", "v19",
1287 "v24", "v25", "v26", "v27",
1288 "v28", "v29", "v30", "v31"
1289 );
1290 }
1291
1292 IF_ARCH_AARCH64(
1293 static const float lanczos_6x2[] __lsp_aligned16 =
1294 {
1295 +0.0000000000000000f,
1296 -0.0078021377848166f,
1297 -0.0315888188312782f,
1298 -0.0636843520278618f,
1299
1300 -0.0854897486982225f,
1301 -0.0719035699814534f,
1302 +0.0000000000000000f,
1303 +0.1409309971636486f,
1304
1305 +0.3419589947928900f,
1306 +0.5731591682507563f,
1307 +0.7897204707819555f,
1308 +0.9440586719628122f,
1309
1310 +1.0000000000000000f,
1311 +0.9440586719628122f,
1312 +0.7897204707819555f,
1313 +0.5731591682507563f,
1314
1315 +0.3419589947928900f,
1316 +0.1409309971636486f,
1317 +0.0000000000000000f,
1318 -0.0719035699814534f,
1319
1320 -0.0854897486982225f,
1321 -0.0636843520278618f,
1322 -0.0315888188312782f,
1323 -0.0078021377848166f
1324 };
1325 )
1326
1327 void lanczos_resample_6x2(float *dst, const float *src, size_t count)
1328 {
1329 ARCH_AARCH64_ASM(
1330 // Prepare
1331 __ASM_EMIT("ldp q24, q25, [%[kernel], #0x00]")
1332 __ASM_EMIT("ldp q26, q27, [%[kernel], #0x20]")
1333 __ASM_EMIT("ldp q28, q29, [%[kernel], #0x40]")
1334 // 4x blocks
1335 __ASM_EMIT("subs %[count], %[count], #4")
1336 __ASM_EMIT("b.lo 2f")
1337 __ASM_EMIT("1:")
1338 __ASM_EMIT("ld4r {v16.4s, v17.4s, v18.4s, v19.4s}, [%[src]]") // v16 = s0, v17 = s1, v18 = s2, v19 = s3
1339
1340 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
1341 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
1342 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
1343 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
1344 __ASM_EMIT("ldr q8, [%[dst], #0x80]")
1345 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s")
1346 __ASM_EMIT("fmla v3.4s, v18.4s, v24.4s")
1347 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s")
1348 __ASM_EMIT("fmla v4.4s, v18.4s, v25.4s")
1349 __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s")
1350 __ASM_EMIT("fmla v5.4s, v18.4s, v26.4s")
1351 __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s")
1352 __ASM_EMIT("fmla v6.4s, v18.4s, v27.4s")
1353 __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s")
1354 __ASM_EMIT("fmla v7.4s, v18.4s, v28.4s")
1355 __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s")
1356 __ASM_EMIT("fmla v8.4s, v18.4s, v29.4s")
1357 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
1358 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
1359 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
1360 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
1361 __ASM_EMIT("str q8, [%[dst], #0x80]")
1362 __ASM_EMIT("add %[dst], %[dst], #0x18")
1363
1364 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
1365 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
1366 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
1367 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
1368 __ASM_EMIT("ldr q8, [%[dst], #0x80]")
1369 __ASM_EMIT("fmla v0.4s, v17.4s, v24.4s")
1370 __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s")
1371 __ASM_EMIT("fmla v1.4s, v17.4s, v25.4s")
1372 __ASM_EMIT("fmla v4.4s, v19.4s, v25.4s")
1373 __ASM_EMIT("fmla v2.4s, v17.4s, v26.4s")
1374 __ASM_EMIT("fmla v5.4s, v19.4s, v26.4s")
1375 __ASM_EMIT("fmla v3.4s, v17.4s, v27.4s")
1376 __ASM_EMIT("fmla v6.4s, v19.4s, v27.4s")
1377 __ASM_EMIT("fmla v4.4s, v17.4s, v28.4s")
1378 __ASM_EMIT("fmla v7.4s, v19.4s, v28.4s")
1379 __ASM_EMIT("fmla v5.4s, v17.4s, v29.4s")
1380 __ASM_EMIT("fmla v8.4s, v19.4s, v29.4s")
1381 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
1382 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
1383 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
1384 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
1385 __ASM_EMIT("str q8, [%[dst], #0x80]")
1386
1387 __ASM_EMIT("subs %[count], %[count], #4")
1388 __ASM_EMIT("add %[src], %[src], #0x10")
1389 __ASM_EMIT("add %[dst], %[dst], #0x48")
1390 __ASM_EMIT("b.hs 1b")
1391 __ASM_EMIT("2:")
1392 // 1x blocks
1393 __ASM_EMIT("4:")
1394 __ASM_EMIT("adds %[count], %[count], #3")
1395 __ASM_EMIT("b.lt 4f")
1396 __ASM_EMIT("3:")
1397 __ASM_EMIT("ld1r {v16.4s}, [%[src]]")
1398 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
1399 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
1400 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
1401 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s")
1402 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s")
1403 __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s")
1404 __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s")
1405 __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s")
1406 __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s")
1407 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
1408 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
1409 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
1410 __ASM_EMIT("subs %[count], %[count], #1")
1411 __ASM_EMIT("add %[src], %[src], #0x04")
1412 __ASM_EMIT("add %[dst], %[dst], #0x18")
1413 __ASM_EMIT("b.ge 3b")
1414 __ASM_EMIT("4:")
1415
1416 : [dst] "+r" (dst), [src] "+r" (src),
1417 [count] "+r" (count)
1418 : [kernel] "r" (&lanczos_6x2[0])
1419 : "cc", "memory",
1420 "v0", "v1", "v2", "v3",
1421 "v4", "v5", "v6", "v7",
1422 "v8",
1423 "v16", "v17", "v18", "v19",
1424 "v24", "v25", "v26", "v27",
1425 "v28", "v29"
1426 );
1427 }
1428
1429 IF_ARCH_AARCH64(
1430 static const float lanczos_6x3[] __lsp_aligned16 =
1431 {
1432 +0.0000000000000000f,
1433 +0.0032875048460955f,
1434 +0.0126609519658153f,
1435 +0.0243170840741611f,
1436
1437 +0.0310789306368038f,
1438 +0.0248005479513036f,
1439 -0.0000000000000000f,
1440 -0.0424907562338176f,
1441
1442 -0.0933267410806225f,
1443 -0.1350949115231170f,
1444 -0.1458230329384726f,
1445 -0.1049261531488149f,
1446
1447 +0.0000000000000000f,
1448 +0.1676517041508127f,
1449 +0.3807169003008463f,
1450 +0.6079271018540265f,
1451
1452 +0.8103009258121772f,
1453 +0.9500889005216107f,
1454 +1.0000000000000000f,
1455 +0.9500889005216107f,
1456
1457 +0.8103009258121772f,
1458 +0.6079271018540265f,
1459 +0.3807169003008463f,
1460 +0.1676517041508127f,
1461
1462 +0.0000000000000000f,
1463 -0.1049261531488149f,
1464 -0.1458230329384726f,
1465 -0.1350949115231170f,
1466
1467 -0.0933267410806225f,
1468 -0.0424907562338176f,
1469 -0.0000000000000000f,
1470 +0.0248005479513036f,
1471
1472 +0.0310789306368038f,
1473 +0.0243170840741611f,
1474 +0.0126609519658153f,
1475 +0.0032875048460955f
1476 };
1477 )
1478
1479 void lanczos_resample_6x3(float *dst, const float *src, size_t count)
1480 {
1481 ARCH_AARCH64_ASM(
1482 // Prepare
1483 __ASM_EMIT("ldp q22, q23, [%[kernel], #0x00]")
1484 __ASM_EMIT("ldp q24, q25, [%[kernel], #0x20]")
1485 __ASM_EMIT("ldp q26, q27, [%[kernel], #0x40]")
1486 __ASM_EMIT("ldp q28, q29, [%[kernel], #0x60]")
1487 __ASM_EMIT("ldr q30, [%[kernel], #0x80]")
1488 // 4x blocks
1489 __ASM_EMIT("subs %[count], %[count], #4")
1490 __ASM_EMIT("b.lo 2f")
1491 __ASM_EMIT("1:")
1492 __ASM_EMIT("ld4r {v16.4s, v17.4s, v18.4s, v19.4s}, [%[src]]") // v16 = s0, v17 = s1, v18 = s2, v19 = s3
1493
1494 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
1495 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
1496 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
1497 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
1498 __ASM_EMIT("ldp q8, q9, [%[dst], #0x80]")
1499 __ASM_EMIT("ldp q10, q11, [%[dst], #0xa0]")
1500 __ASM_EMIT("fmla v0.4s, v16.4s, v22.4s")
1501 __ASM_EMIT("fmla v3.4s, v18.4s, v22.4s")
1502 __ASM_EMIT("fmla v1.4s, v16.4s, v23.4s")
1503 __ASM_EMIT("fmla v4.4s, v18.4s, v23.4s")
1504 __ASM_EMIT("fmla v2.4s, v16.4s, v24.4s")
1505 __ASM_EMIT("fmla v5.4s, v18.4s, v24.4s")
1506 __ASM_EMIT("fmla v3.4s, v16.4s, v25.4s")
1507 __ASM_EMIT("fmla v6.4s, v18.4s, v25.4s")
1508 __ASM_EMIT("fmla v4.4s, v16.4s, v26.4s")
1509 __ASM_EMIT("fmla v7.4s, v18.4s, v26.4s")
1510 __ASM_EMIT("fmla v5.4s, v16.4s, v27.4s")
1511 __ASM_EMIT("fmla v8.4s, v18.4s, v27.4s")
1512 __ASM_EMIT("fmla v6.4s, v16.4s, v28.4s")
1513 __ASM_EMIT("fmla v9.4s, v18.4s, v28.4s")
1514 __ASM_EMIT("fmla v7.4s, v16.4s, v29.4s")
1515 __ASM_EMIT("fmla v10.4s, v18.4s, v29.4s")
1516 __ASM_EMIT("fmla v8.4s, v16.4s, v30.4s")
1517 __ASM_EMIT("fmla v11.4s, v18.4s, v30.4s")
1518 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
1519 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
1520 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
1521 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
1522 __ASM_EMIT("stp q8, q9, [%[dst], #0x80]")
1523 __ASM_EMIT("stp q10, q11, [%[dst], #0xa0]")
1524 __ASM_EMIT("add %[dst], %[dst], #0x18")
1525
1526 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
1527 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
1528 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
1529 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
1530 __ASM_EMIT("ldp q8, q9, [%[dst], #0x80]")
1531 __ASM_EMIT("ldp q10, q11, [%[dst], #0xa0]")
1532 __ASM_EMIT("fmla v0.4s, v17.4s, v22.4s")
1533 __ASM_EMIT("fmla v3.4s, v19.4s, v22.4s")
1534 __ASM_EMIT("fmla v1.4s, v17.4s, v23.4s")
1535 __ASM_EMIT("fmla v4.4s, v19.4s, v23.4s")
1536 __ASM_EMIT("fmla v2.4s, v17.4s, v24.4s")
1537 __ASM_EMIT("fmla v5.4s, v19.4s, v24.4s")
1538 __ASM_EMIT("fmla v3.4s, v17.4s, v25.4s")
1539 __ASM_EMIT("fmla v6.4s, v19.4s, v25.4s")
1540 __ASM_EMIT("fmla v4.4s, v17.4s, v26.4s")
1541 __ASM_EMIT("fmla v7.4s, v19.4s, v26.4s")
1542 __ASM_EMIT("fmla v5.4s, v17.4s, v27.4s")
1543 __ASM_EMIT("fmla v8.4s, v19.4s, v27.4s")
1544 __ASM_EMIT("fmla v6.4s, v17.4s, v28.4s")
1545 __ASM_EMIT("fmla v9.4s, v19.4s, v28.4s")
1546 __ASM_EMIT("fmla v7.4s, v17.4s, v29.4s")
1547 __ASM_EMIT("fmla v10.4s, v19.4s, v29.4s")
1548 __ASM_EMIT("fmla v8.4s, v17.4s, v30.4s")
1549 __ASM_EMIT("fmla v11.4s, v19.4s, v30.4s")
1550 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
1551 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
1552 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
1553 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
1554 __ASM_EMIT("stp q8, q9, [%[dst], #0x80]")
1555 __ASM_EMIT("stp q10, q11, [%[dst], #0xa0]")
1556
1557 __ASM_EMIT("subs %[count], %[count], #4")
1558 __ASM_EMIT("add %[src], %[src], #0x10")
1559 __ASM_EMIT("add %[dst], %[dst], #0x48")
1560 __ASM_EMIT("b.hs 1b")
1561 __ASM_EMIT("2:")
1562 // 1x blocks
1563 __ASM_EMIT("4:")
1564 __ASM_EMIT("adds %[count], %[count], #3")
1565 __ASM_EMIT("b.lt 4f")
1566 __ASM_EMIT("3:")
1567 __ASM_EMIT("ld1r {v16.4s}, [%[src]]")
1568 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
1569 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
1570 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
1571 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
1572 __ASM_EMIT("ldr q8, [%[dst], #0x80]")
1573 __ASM_EMIT("fmla v0.4s, v16.4s, v22.4s")
1574 __ASM_EMIT("fmla v1.4s, v16.4s, v23.4s")
1575 __ASM_EMIT("fmla v2.4s, v16.4s, v24.4s")
1576 __ASM_EMIT("fmla v3.4s, v16.4s, v25.4s")
1577 __ASM_EMIT("fmla v4.4s, v16.4s, v26.4s")
1578 __ASM_EMIT("fmla v5.4s, v16.4s, v27.4s")
1579 __ASM_EMIT("fmla v6.4s, v16.4s, v28.4s")
1580 __ASM_EMIT("fmla v7.4s, v16.4s, v29.4s")
1581 __ASM_EMIT("fmla v8.4s, v16.4s, v30.4s")
1582 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
1583 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
1584 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
1585 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
1586 __ASM_EMIT("str q8, [%[dst], #0x80]")
1587 __ASM_EMIT("subs %[count], %[count], #1")
1588 __ASM_EMIT("add %[src], %[src], #0x04")
1589 __ASM_EMIT("add %[dst], %[dst], #0x18")
1590 __ASM_EMIT("b.ge 3b")
1591 __ASM_EMIT("4:")
1592
1593 : [dst] "+r" (dst), [src] "+r" (src),
1594 [count] "+r" (count)
1595 : [kernel] "r" (&lanczos_6x3[0])
1596 : "cc", "memory",
1597 "v0", "v1", "v2", "v3",
1598 "v4", "v5", "v6", "v7",
1599 "v8", "v9", "v10", "v11",
1600 "v16", "v17", "v18", "v19",
1601 "v22", "v23",
1602 "v24", "v25", "v26", "v27",
1603 "v28", "v29", "v30"
1604 );
1605 }
1606
1607 IF_ARCH_AARCH64(
1608 static const float lanczos_6x4[] __lsp_aligned16 =
1609 {
1610 +0.0000000000000000f,
1611 -0.0018000092949500f,
1612 -0.0067568495254777f,
1613 -0.0126608778212387f,
1614
1615 -0.0157944094156391f,
1616 -0.0123019137260206f,
1617 +0.0000000000000000f,
1618 +0.0200263389720192f,
1619
1620 +0.0427448743491113f,
1621 +0.0599094833772629f,
1622 +0.0622703182267308f,
1623 +0.0427971267140625f,
1624
1625 +0.0000000000000000f,
1626 -0.0597744992948478f,
1627 -0.1220498237243924f,
1628 -0.1664152316035080f,
1629
1630 -0.1709794973964449f,
1631 -0.1181145298553785f,
1632 +0.0000000000000000f,
1633 +0.1776396342037379f,
1634
1635 +0.3948602353909778f,
1636 +0.6203830132406946f,
1637 +0.8175787925827955f,
1638 +0.9522049170285306f,
1639
1640 +1.0000000000000000f,
1641 +0.9522049170285306f,
1642 +0.8175787925827955f,
1643 +0.6203830132406946f,
1644
1645 +0.3948602353909778f,
1646 +0.1776396342037379f,
1647 +0.0000000000000000f,
1648 -0.1181145298553785f,
1649
1650 -0.1709794973964449f,
1651 -0.1664152316035080f,
1652 -0.1220498237243924f,
1653 -0.0597744992948478f,
1654
1655 +0.0000000000000000f,
1656 +0.0427971267140625f,
1657 +0.0622703182267308f,
1658 +0.0599094833772629f,
1659
1660 +0.0427448743491113f,
1661 +0.0200263389720192f,
1662 +0.0000000000000000f,
1663 -0.0123019137260206f,
1664
1665 -0.0157944094156391f,
1666 -0.0126608778212387f,
1667 -0.0067568495254777f,
1668 -0.0018000092949500f
1669 };
1670 )
1671
1672 void lanczos_resample_6x4(float *dst, const float *src, size_t count)
1673 {
1674 ARCH_AARCH64_ASM(
1675 // Prepare
1676 __ASM_EMIT("ldp q20, q21, [%[kernel], #0x00]")
1677 __ASM_EMIT("ldp q22, q23, [%[kernel], #0x20]")
1678 __ASM_EMIT("ldp q24, q25, [%[kernel], #0x40]")
1679 __ASM_EMIT("ldp q26, q27, [%[kernel], #0x60]")
1680 __ASM_EMIT("ldp q28, q29, [%[kernel], #0x80]")
1681 __ASM_EMIT("ldp q30, q31, [%[kernel], #0xa0]")
1682 // 4x blocks
1683 __ASM_EMIT("subs %[count], %[count], #4")
1684 __ASM_EMIT("b.lo 2f")
1685 __ASM_EMIT("1:")
1686 __ASM_EMIT("ld4r {v16.4s, v17.4s, v18.4s, v19.4s}, [%[src]]") // v16 = s0, v17 = s1, v18 = s2, v19 = s3
1687
1688 // Even part
1689 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
1690 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
1691 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
1692 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
1693 __ASM_EMIT("fmla v0.4s, v16.4s, v20.4s")
1694 __ASM_EMIT("fmla v1.4s, v16.4s, v21.4s")
1695 __ASM_EMIT("fmla v2.4s, v16.4s, v22.4s")
1696 __ASM_EMIT("fmla v3.4s, v16.4s, v23.4s")
1697 __ASM_EMIT("fmla v4.4s, v16.4s, v24.4s")
1698 __ASM_EMIT("fmla v5.4s, v16.4s, v25.4s")
1699 __ASM_EMIT("fmla v6.4s, v16.4s, v26.4s")
1700 __ASM_EMIT("fmla v7.4s, v16.4s, v27.4s")
1701 __ASM_EMIT("fmla v3.4s, v18.4s, v20.4s")
1702 __ASM_EMIT("fmla v4.4s, v18.4s, v21.4s")
1703 __ASM_EMIT("fmla v5.4s, v18.4s, v22.4s")
1704 __ASM_EMIT("fmla v6.4s, v18.4s, v23.4s")
1705 __ASM_EMIT("fmla v7.4s, v18.4s, v24.4s")
1706 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
1707 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
1708 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
1709 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
1710
1711 __ASM_EMIT("ldp q0, q1, [%[dst], #0x80]")
1712 __ASM_EMIT("ldp q2, q3, [%[dst], #0xa0]")
1713 __ASM_EMIT("ldp q4, q5, [%[dst], #0xc0]")
1714 __ASM_EMIT("ldr q6, [%[dst], #0xe0]")
1715 __ASM_EMIT("fmla v0.4s, v16.4s, v28.4s")
1716 __ASM_EMIT("fmla v1.4s, v16.4s, v29.4s")
1717 __ASM_EMIT("fmla v2.4s, v16.4s, v30.4s")
1718 __ASM_EMIT("fmla v3.4s, v16.4s, v31.4s")
1719 __ASM_EMIT("fmla v0.4s, v18.4s, v25.4s")
1720 __ASM_EMIT("fmla v1.4s, v18.4s, v26.4s")
1721 __ASM_EMIT("fmla v2.4s, v18.4s, v27.4s")
1722 __ASM_EMIT("fmla v3.4s, v18.4s, v28.4s")
1723 __ASM_EMIT("fmla v4.4s, v18.4s, v29.4s")
1724 __ASM_EMIT("fmla v5.4s, v18.4s, v30.4s")
1725 __ASM_EMIT("fmla v6.4s, v18.4s, v31.4s")
1726 __ASM_EMIT("stp q0, q1, [%[dst], #0x80]")
1727 __ASM_EMIT("stp q2, q3, [%[dst], #0xa0]")
1728 __ASM_EMIT("stp q4, q5, [%[dst], #0xc0]")
1729 __ASM_EMIT("str q6, [%[dst], #0xe0]")
1730
1731 __ASM_EMIT("add %[dst], %[dst], #0x18")
1732
1733 // Odd part
1734 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
1735 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
1736 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
1737 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
1738 __ASM_EMIT("fmla v0.4s, v17.4s, v20.4s")
1739 __ASM_EMIT("fmla v1.4s, v17.4s, v21.4s")
1740 __ASM_EMIT("fmla v2.4s, v17.4s, v22.4s")
1741 __ASM_EMIT("fmla v3.4s, v17.4s, v23.4s")
1742 __ASM_EMIT("fmla v4.4s, v17.4s, v24.4s")
1743 __ASM_EMIT("fmla v5.4s, v17.4s, v25.4s")
1744 __ASM_EMIT("fmla v6.4s, v17.4s, v26.4s")
1745 __ASM_EMIT("fmla v7.4s, v17.4s, v27.4s")
1746 __ASM_EMIT("fmla v3.4s, v19.4s, v20.4s")
1747 __ASM_EMIT("fmla v4.4s, v19.4s, v21.4s")
1748 __ASM_EMIT("fmla v5.4s, v19.4s, v22.4s")
1749 __ASM_EMIT("fmla v6.4s, v19.4s, v23.4s")
1750 __ASM_EMIT("fmla v7.4s, v19.4s, v24.4s")
1751 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
1752 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
1753 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
1754 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
1755
1756 __ASM_EMIT("ldp q0, q1, [%[dst], #0x80]")
1757 __ASM_EMIT("ldp q2, q3, [%[dst], #0xa0]")
1758 __ASM_EMIT("ldp q4, q5, [%[dst], #0xc0]")
1759 __ASM_EMIT("ldr q6, [%[dst], #0xe0]")
1760 __ASM_EMIT("fmla v0.4s, v17.4s, v28.4s")
1761 __ASM_EMIT("fmla v1.4s, v17.4s, v29.4s")
1762 __ASM_EMIT("fmla v2.4s, v17.4s, v30.4s")
1763 __ASM_EMIT("fmla v3.4s, v17.4s, v31.4s")
1764 __ASM_EMIT("fmla v0.4s, v19.4s, v25.4s")
1765 __ASM_EMIT("fmla v1.4s, v19.4s, v26.4s")
1766 __ASM_EMIT("fmla v2.4s, v19.4s, v27.4s")
1767 __ASM_EMIT("fmla v3.4s, v19.4s, v28.4s")
1768 __ASM_EMIT("fmla v4.4s, v19.4s, v29.4s")
1769 __ASM_EMIT("fmla v5.4s, v19.4s, v30.4s")
1770 __ASM_EMIT("fmla v6.4s, v19.4s, v31.4s")
1771 __ASM_EMIT("stp q0, q1, [%[dst], #0x80]")
1772 __ASM_EMIT("stp q2, q3, [%[dst], #0xa0]")
1773 __ASM_EMIT("stp q4, q5, [%[dst], #0xc0]")
1774 __ASM_EMIT("str q6, [%[dst], #0xe0]")
1775
1776 __ASM_EMIT("subs %[count], %[count], #4")
1777 __ASM_EMIT("add %[src], %[src], #0x10")
1778 __ASM_EMIT("add %[dst], %[dst], #0x48")
1779 __ASM_EMIT("b.hs 1b")
1780 __ASM_EMIT("2:")
1781 // 1x blocks
1782 __ASM_EMIT("4:")
1783 __ASM_EMIT("adds %[count], %[count], #3")
1784 __ASM_EMIT("b.lt 4f")
1785 __ASM_EMIT("3:")
1786 __ASM_EMIT("ld1r {v16.4s}, [%[src]]")
1787
1788 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
1789 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
1790 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
1791 __ASM_EMIT("fmla v0.4s, v16.4s, v20.4s")
1792 __ASM_EMIT("fmla v1.4s, v16.4s, v21.4s")
1793 __ASM_EMIT("fmla v2.4s, v16.4s, v22.4s")
1794 __ASM_EMIT("fmla v3.4s, v16.4s, v23.4s")
1795 __ASM_EMIT("fmla v4.4s, v16.4s, v24.4s")
1796 __ASM_EMIT("fmla v5.4s, v16.4s, v25.4s")
1797 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
1798 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
1799 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
1800
1801 __ASM_EMIT("ldp q0, q1, [%[dst], #0x60]")
1802 __ASM_EMIT("ldp q2, q3, [%[dst], #0x80]")
1803 __ASM_EMIT("ldp q4, q5, [%[dst], #0xa0]")
1804 __ASM_EMIT("fmla v0.4s, v16.4s, v26.4s")
1805 __ASM_EMIT("fmla v1.4s, v16.4s, v27.4s")
1806 __ASM_EMIT("fmla v2.4s, v16.4s, v28.4s")
1807 __ASM_EMIT("fmla v3.4s, v16.4s, v29.4s")
1808 __ASM_EMIT("fmla v4.4s, v16.4s, v30.4s")
1809 __ASM_EMIT("fmla v5.4s, v16.4s, v31.4s")
1810 __ASM_EMIT("stp q0, q1, [%[dst], #0x60]")
1811 __ASM_EMIT("stp q2, q3, [%[dst], #0x80]")
1812 __ASM_EMIT("stp q4, q5, [%[dst], #0xa0]")
1813
1814 __ASM_EMIT("subs %[count], %[count], #1")
1815 __ASM_EMIT("add %[src], %[src], #0x04")
1816 __ASM_EMIT("add %[dst], %[dst], #0x18")
1817 __ASM_EMIT("b.ge 3b")
1818 __ASM_EMIT("4:")
1819
1820 : [dst] "+r" (dst), [src] "+r" (src),
1821 [count] "+r" (count)
1822 : [kernel] "r" (&lanczos_6x4[0])
1823 : "cc", "memory",
1824 "v0", "v1", "v2", "v3",
1825 "v4", "v5", "v6", "v7",
1826 "v16", "v17", "v18", "v19",
1827 "v20", "v21", "v22", "v23",
1828 "v24", "v25", "v26", "v27",
1829 "v28", "v29", "v30", "v31"
1830 );
1831 }
1832
1833 IF_ARCH_AARCH64(
1834 static const float lanczos_8x2[] __lsp_aligned16 =
1835 {
1836 +0.0000000000000000f,
1837 -0.0043033145538298f,
1838 -0.0179051851263444f,
1839 -0.0393892611124141f,
1840
1841 -0.0636843520278618f,
1842 -0.0823353965569232f,
1843 -0.0847248039068907f,
1844 -0.0600950644541902f,
1845
1846 +0.0000000000000000f,
1847 +0.0993408208324369f,
1848 +0.2353466775191407f,
1849 +0.3985033193355084f,
1850
1851 +0.5731591682507563f,
1852 +0.7396427919997760f,
1853 +0.8773540711908775f,
1854 +0.9682457746117045f,
1855
1856 +1.0000000000000000f,
1857 +0.9682457746117045f,
1858 +0.8773540711908775f,
1859 +0.7396427919997760f,
1860
1861 +0.5731591682507563f,
1862 +0.3985033193355084f,
1863 +0.2353466775191407f,
1864 +0.0993408208324369f,
1865
1866 +0.0000000000000000f,
1867 -0.0600950644541902f,
1868 -0.0847248039068907f,
1869 -0.0823353965569232f,
1870
1871 -0.0636843520278618f,
1872 -0.0393892611124141f,
1873 -0.0179051851263444f,
1874 -0.0043033145538298f
1875 };
1876 )
1877
1878 void lanczos_resample_8x2(float *dst, const float *src, size_t count)
1879 {
1880 ARCH_AARCH64_ASM(
1881 // Prepare
1882 __ASM_EMIT("ldp q24, q25, [%[kernel], #0x00]")
1883 __ASM_EMIT("ldp q26, q27, [%[kernel], #0x20]")
1884 __ASM_EMIT("ldp q28, q29, [%[kernel], #0x40]")
1885 __ASM_EMIT("ldp q30, q31, [%[kernel], #0x60]")
1886 // 4x blocks
1887 __ASM_EMIT("subs %[count], %[count], #4")
1888 __ASM_EMIT("b.lo 2f")
1889 __ASM_EMIT("1:")
1890 __ASM_EMIT("ld4r {v16.4s, v17.4s, v18.4s, v19.4s}, [%[src]]") // v16 = s0, v17 = s1, v18 = s2, v19 = s3
1891 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
1892 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
1893 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
1894 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
1895 __ASM_EMIT("ldp q8, q9, [%[dst], #0x80]")
1896 __ASM_EMIT("ldp q10, q11, [%[dst], #0xa0]")
1897 __ASM_EMIT("ldp q12, q13, [%[dst], #0xc0]")
1898
1899 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s")
1900 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s")
1901 __ASM_EMIT("fmla v4.4s, v18.4s, v24.4s")
1902 __ASM_EMIT("fmla v5.4s, v18.4s, v25.4s")
1903 __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s")
1904 __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s")
1905 __ASM_EMIT("fmla v6.4s, v18.4s, v26.4s")
1906 __ASM_EMIT("fmla v7.4s, v18.4s, v27.4s")
1907 __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s")
1908 __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s")
1909 __ASM_EMIT("fmla v8.4s, v18.4s, v28.4s")
1910 __ASM_EMIT("fmla v9.4s, v18.4s, v29.4s")
1911 __ASM_EMIT("fmla v6.4s, v16.4s, v30.4s")
1912 __ASM_EMIT("fmla v7.4s, v16.4s, v31.4s")
1913 __ASM_EMIT("fmla v10.4s, v18.4s, v30.4s")
1914 __ASM_EMIT("fmla v11.4s, v18.4s, v31.4s")
1915
1916 __ASM_EMIT("fmla v2.4s, v17.4s, v24.4s")
1917 __ASM_EMIT("fmla v3.4s, v17.4s, v25.4s")
1918 __ASM_EMIT("fmla v6.4s, v19.4s, v24.4s")
1919 __ASM_EMIT("fmla v7.4s, v19.4s, v25.4s")
1920 __ASM_EMIT("fmla v4.4s, v17.4s, v26.4s")
1921 __ASM_EMIT("fmla v5.4s, v17.4s, v27.4s")
1922 __ASM_EMIT("fmla v8.4s, v19.4s, v26.4s")
1923 __ASM_EMIT("fmla v9.4s, v19.4s, v27.4s")
1924 __ASM_EMIT("fmla v6.4s, v17.4s, v28.4s")
1925 __ASM_EMIT("fmla v7.4s, v17.4s, v29.4s")
1926 __ASM_EMIT("fmla v10.4s, v19.4s, v28.4s")
1927 __ASM_EMIT("fmla v11.4s, v19.4s, v29.4s")
1928 __ASM_EMIT("fmla v8.4s, v17.4s, v30.4s")
1929 __ASM_EMIT("fmla v9.4s, v17.4s, v31.4s")
1930 __ASM_EMIT("fmla v12.4s, v19.4s, v30.4s")
1931 __ASM_EMIT("fmla v13.4s, v19.4s, v31.4s")
1932
1933 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
1934 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
1935 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
1936 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
1937 __ASM_EMIT("stp q8, q9, [%[dst], #0x80]")
1938 __ASM_EMIT("stp q10, q11, [%[dst], #0xa0]")
1939 __ASM_EMIT("stp q12, q13, [%[dst], #0xc0]")
1940 __ASM_EMIT("subs %[count], %[count], #4")
1941 __ASM_EMIT("add %[src], %[src], #0x10")
1942 __ASM_EMIT("add %[dst], %[dst], #0x80")
1943 __ASM_EMIT("b.hs 1b")
1944 __ASM_EMIT("2:")
1945 // 2x block
1946 __ASM_EMIT("adds %[count], %[count], #2")
1947 __ASM_EMIT("b.lt 4f")
1948 __ASM_EMIT("ld2r {v16.4s, v17.4s}, [%[src]]") // v16 = s0, v17 = s1
1949 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
1950 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
1951 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
1952 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
1953 __ASM_EMIT("ldp q8, q9, [%[dst], #0x80]")
1954
1955 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s")
1956 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s")
1957 __ASM_EMIT("fmla v2.4s, v17.4s, v24.4s")
1958 __ASM_EMIT("fmla v3.4s, v17.4s, v25.4s")
1959 __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s")
1960 __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s")
1961 __ASM_EMIT("fmla v4.4s, v17.4s, v26.4s")
1962 __ASM_EMIT("fmla v5.4s, v17.4s, v27.4s")
1963 __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s")
1964 __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s")
1965 __ASM_EMIT("fmla v6.4s, v17.4s, v28.4s")
1966 __ASM_EMIT("fmla v7.4s, v17.4s, v29.4s")
1967 __ASM_EMIT("fmla v6.4s, v16.4s, v30.4s")
1968 __ASM_EMIT("fmla v7.4s, v16.4s, v31.4s")
1969 __ASM_EMIT("fmla v8.4s, v17.4s, v30.4s")
1970 __ASM_EMIT("fmla v9.4s, v17.4s, v31.4s")
1971
1972 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
1973 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
1974 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
1975 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
1976 __ASM_EMIT("stp q8, q9, [%[dst], #0x80]")
1977 __ASM_EMIT("sub %[count], %[count], #2")
1978 __ASM_EMIT("add %[src], %[src], #0x08")
1979 __ASM_EMIT("add %[dst], %[dst], #0x40")
1980 __ASM_EMIT("4:")
1981 // 1x block
1982 __ASM_EMIT("adds %[count], %[count], #1")
1983 __ASM_EMIT("b.lt 6f")
1984 __ASM_EMIT("ld1r {v16.4s}, [%[src]]")
1985
1986 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
1987 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
1988 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
1989 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
1990
1991 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s")
1992 __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s")
1993 __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s")
1994 __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s")
1995 __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s")
1996 __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s")
1997 __ASM_EMIT("fmla v6.4s, v16.4s, v30.4s")
1998 __ASM_EMIT("fmla v7.4s, v16.4s, v31.4s")
1999
2000 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
2001 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
2002 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
2003 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
2004 __ASM_EMIT("6:")
2005
2006 : [dst] "+r" (dst), [src] "+r" (src),
2007 [count] "+r" (count)
2008 : [kernel] "r" (&lanczos_8x2[0])
2009 : "cc", "memory",
2010 "v0", "v1", "v2", "v3",
2011 "v4", "v5", "v6", "v7",
2012 "v8", "v9", "v10", "v11",
2013 "v12", "v13",
2014 "v16", "v17", "v18", "v19",
2015 "v24", "v25", "v26", "v27",
2016 "v28", "v29", "v30", "v31"
2017 );
2018 }
2019
2020 IF_ARCH_AARCH64(
2021 static const float lanczos_8x3[] __lsp_aligned16 =
2022 {
2023 +0.0000000000000000f,
2024 +0.0018368899607481f,
2025 +0.0073559260471942f,
2026 +0.0155961678435580f,
2027
2028 +0.0243170840741611f,
2029 +0.0303079634725070f,
2030 +0.0300210914495816f,
2031 +0.0204366616947175f,
2032
2033 +0.0000000000000000f,
2034 -0.0305684889733737f,
2035 -0.0677913359005429f,
2036 -0.1054383717904384f,
2037
2038 -0.1350949115231170f,
2039 -0.1472651639056537f,
2040 -0.1328710183650640f,
2041 -0.0849124693704824f,
2042
2043 +0.0000000000000000f,
2044 +0.1205345965259870f,
2045 +0.2701898230462341f,
2046 +0.4376469925430009f,
2047
2048 +0.6079271018540265f,
2049 +0.7642122243343417f,
2050 +0.8900670517104946f,
2051 +0.9717147892357163f,
2052
2053 +1.0000000000000000f,
2054 +0.9717147892357163f,
2055 +0.8900670517104946f,
2056 +0.7642122243343417f,
2057
2058 +0.6079271018540265f,
2059 +0.4376469925430009f,
2060 +0.2701898230462341f,
2061 +0.1205345965259870f,
2062
2063 +0.0000000000000000f,
2064 -0.0849124693704824f,
2065 -0.1328710183650640f,
2066 -0.1472651639056537f,
2067
2068 -0.1350949115231170f,
2069 -0.1054383717904384f,
2070 -0.0677913359005429f,
2071 -0.0305684889733737f,
2072
2073 +0.0000000000000000f,
2074 +0.0204366616947175f,
2075 +0.0300210914495816f,
2076 +0.0303079634725070f,
2077
2078 +0.0243170840741611f,
2079 +0.0155961678435580f,
2080 +0.0073559260471942f,
2081 +0.0018368899607481f
2082 };
2083 )
2084
2085 void lanczos_resample_8x3(float *dst, const float *src, size_t count)
2086 {
2087 ARCH_AARCH64_ASM(
2088 // Prepare
2089 __ASM_EMIT("ldp q20, q21, [%[kernel], #0x00]")
2090 __ASM_EMIT("ldp q22, q23, [%[kernel], #0x20]")
2091 __ASM_EMIT("ldp q24, q25, [%[kernel], #0x40]")
2092 __ASM_EMIT("ldp q26, q27, [%[kernel], #0x60]")
2093 __ASM_EMIT("ldp q28, q29, [%[kernel], #0x80]")
2094 __ASM_EMIT("ldp q30, q31, [%[kernel], #0xa0]")
2095 // 2x blocks
2096 __ASM_EMIT("subs %[count], %[count], #2")
2097 __ASM_EMIT("b.lo 2f")
2098 __ASM_EMIT("1:")
2099 __ASM_EMIT("ld2r {v16.4s, v17.4s}, [%[src]]") // v16 = s0, v17 = s1
2100 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
2101 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
2102 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
2103 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
2104 __ASM_EMIT("ldp q8, q9, [%[dst], #0x80]")
2105 __ASM_EMIT("ldp q10, q11, [%[dst], #0xa0]")
2106 __ASM_EMIT("ldp q12, q13, [%[dst], #0xc0]")
2107
2108 __ASM_EMIT("fmla v0.4s, v16.4s, v20.4s")
2109 __ASM_EMIT("fmla v1.4s, v16.4s, v21.4s")
2110 __ASM_EMIT("fmla v2.4s, v17.4s, v20.4s")
2111 __ASM_EMIT("fmla v3.4s, v17.4s, v21.4s")
2112 __ASM_EMIT("fmla v2.4s, v16.4s, v22.4s")
2113 __ASM_EMIT("fmla v3.4s, v16.4s, v23.4s")
2114 __ASM_EMIT("fmla v4.4s, v17.4s, v22.4s")
2115 __ASM_EMIT("fmla v5.4s, v17.4s, v23.4s")
2116 __ASM_EMIT("fmla v4.4s, v16.4s, v24.4s")
2117 __ASM_EMIT("fmla v5.4s, v16.4s, v25.4s")
2118 __ASM_EMIT("fmla v6.4s, v17.4s, v24.4s")
2119 __ASM_EMIT("fmla v7.4s, v17.4s, v25.4s")
2120 __ASM_EMIT("fmla v6.4s, v16.4s, v26.4s")
2121 __ASM_EMIT("fmla v7.4s, v16.4s, v27.4s")
2122 __ASM_EMIT("fmla v8.4s, v17.4s, v26.4s")
2123 __ASM_EMIT("fmla v9.4s, v17.4s, v27.4s")
2124 __ASM_EMIT("fmla v8.4s, v16.4s, v28.4s")
2125 __ASM_EMIT("fmla v9.4s, v16.4s, v29.4s")
2126 __ASM_EMIT("fmla v10.4s, v17.4s, v28.4s")
2127 __ASM_EMIT("fmla v11.4s, v17.4s, v29.4s")
2128 __ASM_EMIT("fmla v10.4s, v16.4s, v30.4s")
2129 __ASM_EMIT("fmla v11.4s, v16.4s, v31.4s")
2130 __ASM_EMIT("fmla v12.4s, v17.4s, v30.4s")
2131 __ASM_EMIT("fmla v13.4s, v17.4s, v31.4s")
2132
2133 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
2134 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
2135 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
2136 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
2137 __ASM_EMIT("stp q8, q9, [%[dst], #0x80]")
2138 __ASM_EMIT("stp q10, q11, [%[dst], #0xa0]")
2139 __ASM_EMIT("stp q12, q13, [%[dst], #0xc0]")
2140 __ASM_EMIT("subs %[count], %[count], #2")
2141 __ASM_EMIT("add %[src], %[src], #0x08")
2142 __ASM_EMIT("add %[dst], %[dst], #0x40")
2143 __ASM_EMIT("b.hs 1b")
2144 __ASM_EMIT("2:")
2145
2146 // 1x block
2147 __ASM_EMIT("adds %[count], %[count], #1")
2148 __ASM_EMIT("b.lt 4f")
2149 __ASM_EMIT("ld1r {v16.4s}, [%[src]]")
2150
2151 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
2152 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
2153 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
2154 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
2155 __ASM_EMIT("ldp q8, q9, [%[dst], #0x80]")
2156 __ASM_EMIT("ldp q10, q11, [%[dst], #0xa0]")
2157
2158 __ASM_EMIT("fmla v0.4s, v16.4s, v20.4s")
2159 __ASM_EMIT("fmla v1.4s, v16.4s, v21.4s")
2160 __ASM_EMIT("fmla v2.4s, v16.4s, v22.4s")
2161 __ASM_EMIT("fmla v3.4s, v16.4s, v23.4s")
2162 __ASM_EMIT("fmla v4.4s, v16.4s, v24.4s")
2163 __ASM_EMIT("fmla v5.4s, v16.4s, v25.4s")
2164 __ASM_EMIT("fmla v6.4s, v16.4s, v26.4s")
2165 __ASM_EMIT("fmla v7.4s, v16.4s, v27.4s")
2166 __ASM_EMIT("fmla v8.4s, v16.4s, v28.4s")
2167 __ASM_EMIT("fmla v9.4s, v16.4s, v29.4s")
2168 __ASM_EMIT("fmla v10.4s, v16.4s, v30.4s")
2169 __ASM_EMIT("fmla v11.4s, v16.4s, v31.4s")
2170
2171 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
2172 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
2173 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
2174 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
2175 __ASM_EMIT("stp q8, q9, [%[dst], #0x80]")
2176 __ASM_EMIT("stp q10, q11, [%[dst], #0xa0]")
2177 __ASM_EMIT("4:")
2178
2179 : [dst] "+r" (dst), [src] "+r" (src),
2180 [count] "+r" (count)
2181 : [kernel] "r" (&lanczos_8x3[0])
2182 : "cc", "memory",
2183 "v0", "v1", "v2", "v3",
2184 "v4", "v5", "v6", "v7",
2185 "v8", "v9", "v10", "v11",
2186 "v12", "v13",
2187 "v16", "v17",
2188 "v24", "v25", "v26", "v27",
2189 "v28", "v29", "v30", "v31"
2190 );
2191 }
2192
2193 IF_ARCH_AARCH64(
2194 static const float lanczos_8x4[] __lsp_aligned16 =
2195 {
2196 +0.0000000000000000f,
2197 -0.0010124148822791f,
2198 -0.0039757442382413f,
2199 -0.0082714887261119f,
2200
2201 -0.0126608778212387f,
2202 -0.0154958216565010f,
2203 -0.0150736176408234f,
2204 -0.0100753105205530f,
2205
2206 +0.0000000000000000f,
2207 +0.0145047275409824f,
2208 +0.0315083921595442f,
2209 +0.0479233082326825f,
2210
2211 +0.0599094833772629f,
2212 +0.0635233253590927f,
2213 +0.0555206000541729f,
2214 +0.0341810767869351f,
2215
2216 +0.0000000000000000f,
2217 -0.0439036941841078f,
2218 -0.0917789511099593f,
2219 -0.1356918370096595f,
2220
2221 -0.1664152316035080f,
2222 -0.1746626357901899f,
2223 -0.1525006180521938f,
2224 -0.0947284057923417f,
2225
2226 +0.0000000000000000f,
2227 +0.1285116137825641f,
2228 +0.2830490423665725f,
2229 +0.4518581595035692f,
2230
2231 +0.6203830132406946f,
2232 +0.7729246687400148f,
2233 +0.8945424536042901f,
2234 +0.9729307018702211f,
2235
2236 +1.0000000000000000f,
2237 +0.9729307018702211f,
2238 +0.8945424536042901f,
2239 +0.7729246687400148f,
2240
2241 +0.6203830132406946f,
2242 +0.4518581595035692f,
2243 +0.2830490423665725f,
2244 +0.1285116137825641f,
2245
2246 +0.0000000000000000f,
2247 -0.0947284057923417f,
2248 -0.1525006180521938f,
2249 -0.1746626357901899f,
2250
2251 -0.1664152316035080f,
2252 -0.1356918370096595f,
2253 -0.0917789511099593f,
2254 -0.0439036941841078f,
2255
2256 +0.0000000000000000f,
2257 +0.0341810767869351f,
2258 +0.0555206000541729f,
2259 +0.0635233253590927f,
2260
2261 +0.0599094833772629f,
2262 +0.0479233082326825f,
2263 +0.0315083921595442f,
2264 +0.0145047275409824f,
2265
2266 +0.0000000000000000f,
2267 -0.0100753105205530f,
2268 -0.0150736176408234f,
2269 -0.0154958216565010f,
2270
2271 -0.0126608778212387f,
2272 -0.0082714887261119f,
2273 -0.0039757442382413f,
2274 -0.0010124148822791f
2275 };
2276 )
2277
2278 void lanczos_resample_8x4(float *dst, const float *src, size_t count)
2279 {
2280 ARCH_AARCH64_ASM(
2281 // Prepare
2282 __ASM_EMIT("ldp q16, q17, [%[kernel], #0x00]")
2283 __ASM_EMIT("ldp q18, q19, [%[kernel], #0x20]")
2284 __ASM_EMIT("ldp q20, q21, [%[kernel], #0x40]")
2285 __ASM_EMIT("ldp q22, q23, [%[kernel], #0x60]")
2286 __ASM_EMIT("ldp q24, q25, [%[kernel], #0x80]")
2287 __ASM_EMIT("ldp q26, q27, [%[kernel], #0xa0]")
2288 __ASM_EMIT("ldp q28, q29, [%[kernel], #0xc0]")
2289 __ASM_EMIT("ldp q30, q31, [%[kernel], #0xe0]")
2290 // 2x blocks
2291 __ASM_EMIT("subs %[count], %[count], #2")
2292 __ASM_EMIT("b.lo 2f")
2293 __ASM_EMIT("1:")
2294 __ASM_EMIT("ld2r {v0.4s, v1.4s}, [%[src]]") // v0 = s0, v1 = s1
2295
2296 // Part 1
2297 __ASM_EMIT("ldp q2, q3, [%[dst], #0x00]")
2298 __ASM_EMIT("ldp q4, q5, [%[dst], #0x20]")
2299 __ASM_EMIT("ldp q6, q7, [%[dst], #0x40]")
2300 __ASM_EMIT("fmla v2.4s, v0.4s, v16.4s")
2301 __ASM_EMIT("fmla v3.4s, v0.4s, v17.4s")
2302 __ASM_EMIT("fmla v4.4s, v0.4s, v18.4s")
2303 __ASM_EMIT("fmla v5.4s, v0.4s, v19.4s")
2304 __ASM_EMIT("fmla v6.4s, v0.4s, v20.4s")
2305 __ASM_EMIT("fmla v7.4s, v0.4s, v21.4s")
2306 __ASM_EMIT("fmla v4.4s, v1.4s, v16.4s")
2307 __ASM_EMIT("fmla v5.4s, v1.4s, v17.4s")
2308 __ASM_EMIT("fmla v6.4s, v1.4s, v18.4s")
2309 __ASM_EMIT("fmla v7.4s, v1.4s, v19.4s")
2310 __ASM_EMIT("stp q2, q3, [%[dst], #0x00]")
2311 __ASM_EMIT("stp q4, q5, [%[dst], #0x20]")
2312 __ASM_EMIT("stp q6, q7, [%[dst], #0x40]")
2313
2314 // Part 2
2315 __ASM_EMIT("ldp q2, q3, [%[dst], #0x60]")
2316 __ASM_EMIT("ldp q4, q5, [%[dst], #0x80]")
2317 __ASM_EMIT("ldp q6, q7, [%[dst], #0xa0]")
2318 __ASM_EMIT("fmla v2.4s, v0.4s, v22.4s")
2319 __ASM_EMIT("fmla v3.4s, v0.4s, v23.4s")
2320 __ASM_EMIT("fmla v4.4s, v0.4s, v24.4s")
2321 __ASM_EMIT("fmla v5.4s, v0.4s, v25.4s")
2322 __ASM_EMIT("fmla v6.4s, v0.4s, v26.4s")
2323 __ASM_EMIT("fmla v7.4s, v0.4s, v27.4s")
2324 __ASM_EMIT("fmla v2.4s, v1.4s, v20.4s")
2325 __ASM_EMIT("fmla v3.4s, v1.4s, v21.4s")
2326 __ASM_EMIT("fmla v4.4s, v1.4s, v22.4s")
2327 __ASM_EMIT("fmla v5.4s, v1.4s, v23.4s")
2328 __ASM_EMIT("fmla v6.4s, v1.4s, v24.4s")
2329 __ASM_EMIT("fmla v7.4s, v1.4s, v25.4s")
2330 __ASM_EMIT("stp q2, q3, [%[dst], #0x60]")
2331 __ASM_EMIT("stp q4, q5, [%[dst], #0x80]")
2332 __ASM_EMIT("stp q6, q7, [%[dst], #0xa0]")
2333
2334 // Part 3
2335 __ASM_EMIT("ldp q2, q3, [%[dst], #0xc0]")
2336 __ASM_EMIT("ldp q4, q5, [%[dst], #0xe0]")
2337 __ASM_EMIT("ldp q6, q7, [%[dst], #0x100]")
2338 __ASM_EMIT("fmla v2.4s, v0.4s, v28.4s")
2339 __ASM_EMIT("fmla v3.4s, v0.4s, v29.4s")
2340 __ASM_EMIT("fmla v4.4s, v0.4s, v30.4s")
2341 __ASM_EMIT("fmla v5.4s, v0.4s, v31.4s")
2342 __ASM_EMIT("fmla v2.4s, v1.4s, v26.4s")
2343 __ASM_EMIT("fmla v3.4s, v1.4s, v27.4s")
2344 __ASM_EMIT("fmla v4.4s, v1.4s, v28.4s")
2345 __ASM_EMIT("fmla v5.4s, v1.4s, v29.4s")
2346 __ASM_EMIT("fmla v6.4s, v1.4s, v30.4s")
2347 __ASM_EMIT("fmla v7.4s, v1.4s, v31.4s")
2348 __ASM_EMIT("stp q2, q3, [%[dst], #0xc0]")
2349 __ASM_EMIT("stp q4, q5, [%[dst], #0xe0]")
2350 __ASM_EMIT("stp q6, q7, [%[dst], #0x100]")
2351
2352 __ASM_EMIT("subs %[count], %[count], #2")
2353 __ASM_EMIT("add %[src], %[src], #0x08")
2354 __ASM_EMIT("add %[dst], %[dst], #0x40")
2355 __ASM_EMIT("b.hs 1b")
2356 __ASM_EMIT("2:")
2357
2358 // 1x block
2359 __ASM_EMIT("adds %[count], %[count], #1")
2360 __ASM_EMIT("b.lt 4f")
2361 __ASM_EMIT("ld1r {v0.4s}, [%[src]]")
2362
2363 // Part 1
2364 __ASM_EMIT("ldp q2, q3, [%[dst], #0x00]")
2365 __ASM_EMIT("ldp q4, q5, [%[dst], #0x20]")
2366 __ASM_EMIT("ldp q6, q7, [%[dst], #0x40]")
2367 __ASM_EMIT("fmla v2.4s, v0.4s, v16.4s")
2368 __ASM_EMIT("fmla v3.4s, v0.4s, v17.4s")
2369 __ASM_EMIT("fmla v4.4s, v0.4s, v18.4s")
2370 __ASM_EMIT("fmla v5.4s, v0.4s, v19.4s")
2371 __ASM_EMIT("fmla v6.4s, v0.4s, v20.4s")
2372 __ASM_EMIT("fmla v7.4s, v0.4s, v21.4s")
2373 __ASM_EMIT("stp q2, q3, [%[dst], #0x00]")
2374 __ASM_EMIT("stp q4, q5, [%[dst], #0x20]")
2375 __ASM_EMIT("stp q6, q7, [%[dst], #0x40]")
2376
2377 // Part 2
2378 __ASM_EMIT("ldp q2, q3, [%[dst], #0x60]")
2379 __ASM_EMIT("ldp q4, q5, [%[dst], #0x80]")
2380 __ASM_EMIT("ldp q6, q7, [%[dst], #0xa0]")
2381 __ASM_EMIT("fmla v2.4s, v0.4s, v22.4s")
2382 __ASM_EMIT("fmla v3.4s, v0.4s, v23.4s")
2383 __ASM_EMIT("fmla v4.4s, v0.4s, v24.4s")
2384 __ASM_EMIT("fmla v5.4s, v0.4s, v25.4s")
2385 __ASM_EMIT("fmla v6.4s, v0.4s, v26.4s")
2386 __ASM_EMIT("fmla v7.4s, v0.4s, v27.4s")
2387 __ASM_EMIT("stp q2, q3, [%[dst], #0x60]")
2388 __ASM_EMIT("stp q4, q5, [%[dst], #0x80]")
2389 __ASM_EMIT("stp q6, q7, [%[dst], #0xa0]")
2390
2391 // Part 3
2392 __ASM_EMIT("ldp q2, q3, [%[dst], #0xc0]")
2393 __ASM_EMIT("ldp q4, q5, [%[dst], #0xe0]")
2394 __ASM_EMIT("ldp q6, q7, [%[dst], #0x100]")
2395 __ASM_EMIT("fmla v2.4s, v0.4s, v28.4s")
2396 __ASM_EMIT("fmla v3.4s, v0.4s, v29.4s")
2397 __ASM_EMIT("fmla v4.4s, v0.4s, v30.4s")
2398 __ASM_EMIT("fmla v5.4s, v0.4s, v31.4s")
2399 __ASM_EMIT("stp q2, q3, [%[dst], #0xc0]")
2400 __ASM_EMIT("stp q4, q5, [%[dst], #0xe0]")
2401 __ASM_EMIT("stp q6, q7, [%[dst], #0x100]")
2402
2403 __ASM_EMIT("4:")
2404
2405 : [dst] "+r" (dst), [src] "+r" (src),
2406 [count] "+r" (count)
2407 : [kernel] "r" (&lanczos_8x4[0])
2408 : "cc", "memory",
2409 "v0", "v1", "v2", "v3",
2410 "v4", "v5", "v6", "v7",
2411 "v16", "v17", "v18", "v19",
2412 "v20", "v21", "v22", "v23",
2413 "v24", "v25", "v26", "v27",
2414 "v28", "v29", "v30", "v31"
2415 );
2416 }
2417
2418 void downsample_2x(float *dst, const float *src, size_t count)
2419 {
2420 ARCH_AARCH64_ASM(
2421 __ASM_EMIT("subs %[count], %[count], #32")
2422 __ASM_EMIT("b.lo 2f")
2423 // x32 blocks
2424 __ASM_EMIT("1:")
2425 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]")
2426 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]")
2427 __ASM_EMIT("ldp q4, q5, [%[src], #0x40]")
2428 __ASM_EMIT("ldp q6, q7, [%[src], #0x60]")
2429 __ASM_EMIT("ldp q16, q17, [%[src], #0x80]")
2430 __ASM_EMIT("ldp q18, q19, [%[src], #0xa0]")
2431 __ASM_EMIT("ldp q20, q21, [%[src], #0xc0]")
2432 __ASM_EMIT("ldp q22, q23, [%[src], #0xe0]")
2433 __ASM_EMIT("uzp1 v0.4s, v0.4s, v1.4s")
2434 __ASM_EMIT("uzp1 v2.4s, v2.4s, v3.4s")
2435 __ASM_EMIT("uzp1 v4.4s, v4.4s, v5.4s")
2436 __ASM_EMIT("uzp1 v6.4s, v6.4s, v7.4s")
2437 __ASM_EMIT("uzp1 v16.4s, v16.4s, v17.4s")
2438 __ASM_EMIT("uzp1 v18.4s, v18.4s, v19.4s")
2439 __ASM_EMIT("uzp1 v20.4s, v20.4s, v21.4s")
2440 __ASM_EMIT("uzp1 v22.4s, v22.4s, v23.4s")
2441 __ASM_EMIT("stp q0, q2, [%[dst], #0x00]")
2442 __ASM_EMIT("stp q4, q6, [%[dst], #0x20]")
2443 __ASM_EMIT("stp q16, q18, [%[dst], #0x40]")
2444 __ASM_EMIT("stp q20, q22, [%[dst], #0x60]")
2445 __ASM_EMIT("subs %[count], %[count], #32")
2446 __ASM_EMIT("add %[src], %[src], #0x100")
2447 __ASM_EMIT("add %[dst], %[dst], #0x80")
2448 __ASM_EMIT("b.hs 1b")
2449 __ASM_EMIT("2:")
2450 // x16 block
2451 __ASM_EMIT("adds %[count], %[count], #16")
2452 __ASM_EMIT("b.lt 4f")
2453 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]")
2454 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]")
2455 __ASM_EMIT("ldp q4, q5, [%[src], #0x40]")
2456 __ASM_EMIT("ldp q6, q7, [%[src], #0x60]")
2457 __ASM_EMIT("uzp1 v0.4s, v0.4s, v1.4s")
2458 __ASM_EMIT("uzp1 v2.4s, v2.4s, v3.4s")
2459 __ASM_EMIT("uzp1 v4.4s, v4.4s, v5.4s")
2460 __ASM_EMIT("uzp1 v6.4s, v6.4s, v7.4s")
2461 __ASM_EMIT("stp q0, q2, [%[dst], #0x00]")
2462 __ASM_EMIT("stp q4, q6, [%[dst], #0x20]")
2463 __ASM_EMIT("sub %[count], %[count], #16")
2464 __ASM_EMIT("add %[src], %[src], #0x80")
2465 __ASM_EMIT("add %[dst], %[dst], #0x40")
2466 __ASM_EMIT("4:")
2467 // x8 block
2468 __ASM_EMIT("adds %[count], %[count], #8")
2469 __ASM_EMIT("b.lt 6f")
2470 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]")
2471 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]")
2472 __ASM_EMIT("uzp1 v0.4s, v0.4s, v1.4s")
2473 __ASM_EMIT("uzp1 v2.4s, v2.4s, v3.4s")
2474 __ASM_EMIT("stp q0, q2, [%[dst], #0x00]")
2475 __ASM_EMIT("sub %[count], %[count], #8")
2476 __ASM_EMIT("add %[src], %[src], #0x40")
2477 __ASM_EMIT("add %[dst], %[dst], #0x20")
2478 __ASM_EMIT("6:")
2479 // x4 block
2480 __ASM_EMIT("adds %[count], %[count], #4")
2481 __ASM_EMIT("b.lt 8f")
2482 __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[src]]")
2483 __ASM_EMIT("str q0, [%[dst]]")
2484 __ASM_EMIT("sub %[count], %[count], #4")
2485 __ASM_EMIT("add %[src], %[src], #0x20")
2486 __ASM_EMIT("add %[dst], %[dst], #0x10")
2487 __ASM_EMIT("8:")
2488 // x1 blocks
2489 __ASM_EMIT("adds %[count], %[count], #3")
2490 __ASM_EMIT("b.lt 10f")
2491 __ASM_EMIT("9:")
2492 __ASM_EMIT("ld1 {v0.s}[0], [%[src]]")
2493 __ASM_EMIT("subs %[count], %[count], #1")
2494 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
2495 __ASM_EMIT("add %[src], %[src], #0x08")
2496 __ASM_EMIT("add %[dst], %[dst], #0x04")
2497 __ASM_EMIT("b.ge 9b")
2498 __ASM_EMIT("10:")
2499
2500 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
2501 :
2502 : "cc", "memory",
2503 "v0", "v1", "v2", "v3",
2504 "v4", "v5", "v6", "v7",
2505 "v16", "v17", "v18", "v19",
2506 "v20", "v21", "v22", "v23"
2507 );
2508 }
2509
2510 void downsample_3x(float *dst, const float *src, size_t count)
2511 {
2512 ARCH_AARCH64_ASM(
2513 __ASM_EMIT("subs %[count], %[count], #16")
2514 __ASM_EMIT("b.lo 2f")
2515 // x16 blocks
2516 __ASM_EMIT("1:")
2517 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = s0 ? ? s1 , v1 = ? ? s2 ?
2518 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]") // v2 = ? s3 ? ? , v3 = s4 ? ? s5
2519 __ASM_EMIT("ldp q4, q5, [%[src], #0x40]") // v4 = ? ? s6 ? , v5 = ? s7 ? ?
2520 __ASM_EMIT("ldp q6, q7, [%[src], #0x60]") // v6 = s8 ? ? s9 , v7 = ? ? s10 ?
2521 __ASM_EMIT("ldp q8, q9, [%[src], #0x80]") // v8 = ? s11 ? ? , v9 = s12 ? ? s13
2522 __ASM_EMIT("ldp q10, q11, [%[src], #0xa0]") // v10 = ? ? s14 ? , v11 = ? s15 ? ?
2523 __ASM_EMIT("mov v0.s[1], v0.s[3]") // v0 = s0 s1 ? s1
2524 __ASM_EMIT("mov v1.s[3], v2.s[1]") // v1 = ? ? s2 s3
2525 __ASM_EMIT("mov v3.s[1], v3.s[3]")
2526 __ASM_EMIT("mov v4.s[3], v5.s[1]")
2527 __ASM_EMIT("mov v6.s[1], v6.s[3]")
2528 __ASM_EMIT("mov v7.s[3], v8.s[1]")
2529 __ASM_EMIT("mov v9.s[1], v9.s[3]")
2530 __ASM_EMIT("mov v10.s[3], v11.s[1]")
2531 __ASM_EMIT("mov v0.d[1], v1.d[1]") // v0 = s0 s1 s2 s3
2532 __ASM_EMIT("mov v3.d[1], v4.d[1]")
2533 __ASM_EMIT("mov v6.d[1], v7.d[1]")
2534 __ASM_EMIT("mov v9.d[1], v10.d[1]")
2535 __ASM_EMIT("stp q0, q3, [%[dst], #0x00]")
2536 __ASM_EMIT("stp q6, q9, [%[dst], #0x20]")
2537 __ASM_EMIT("subs %[count], %[count], #16")
2538 __ASM_EMIT("add %[src], %[src], #0xc0")
2539 __ASM_EMIT("add %[dst], %[dst], #0x40")
2540 __ASM_EMIT("b.hs 1b")
2541 __ASM_EMIT("2:")
2542 // x8 block
2543 __ASM_EMIT("adds %[count], %[count], #8")
2544 __ASM_EMIT("b.lt 4f")
2545 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = s0 ? ? s1 , v1 = ? ? s2 ?
2546 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]") // v2 = ? s3 ? ? , v3 = s4 ? ? s5
2547 __ASM_EMIT("ldp q4, q5, [%[src], #0x40]") // v4 = ? ? s6 ? , v5 = ? s7 ? ?
2548 __ASM_EMIT("mov v0.s[1], v0.s[3]") // v0 = s0 s1 ? s1
2549 __ASM_EMIT("mov v1.s[3], v2.s[1]") // v1 = ? ? s2 s3
2550 __ASM_EMIT("mov v3.s[1], v3.s[3]")
2551 __ASM_EMIT("mov v4.s[3], v5.s[1]")
2552 __ASM_EMIT("mov v0.d[1], v1.d[1]") // v0 = s0 s1 s2 s3
2553 __ASM_EMIT("mov v3.d[1], v4.d[1]")
2554 __ASM_EMIT("stp q0, q3, [%[dst], #0x00]")
2555 __ASM_EMIT("sub %[count], %[count], #8")
2556 __ASM_EMIT("add %[src], %[src], #0x60")
2557 __ASM_EMIT("add %[dst], %[dst], #0x20")
2558 __ASM_EMIT("4:")
2559 // x4 block
2560 __ASM_EMIT("adds %[count], %[count], #4")
2561 __ASM_EMIT("b.lt 6f")
2562 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = s0 ? ? s1 , v1 = ? ? s2 ?
2563 __ASM_EMIT("ldr q2, [%[src], #0x20]") // v2 = ? s3 ? ?
2564 __ASM_EMIT("mov v0.s[1], v0.s[3]") // v0 = s0 s1 ? s1
2565 __ASM_EMIT("mov v1.s[3], v2.s[1]") // v1 = ? ? s2 s3
2566 __ASM_EMIT("mov v0.d[1], v1.d[1]") // v0 = s0 s1 s2 s3
2567 __ASM_EMIT("str q0, [%[dst]]")
2568 __ASM_EMIT("sub %[count], %[count], #4")
2569 __ASM_EMIT("add %[src], %[src], #0x30")
2570 __ASM_EMIT("add %[dst], %[dst], #0x10")
2571 __ASM_EMIT("6:")
2572 // x1 blocks
2573 __ASM_EMIT("adds %[count], %[count], #3")
2574 __ASM_EMIT("b.lt 8f")
2575 __ASM_EMIT("7:")
2576 __ASM_EMIT("ld1 {v0.s}[0], [%[src]]")
2577 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
2578 __ASM_EMIT("subs %[count], %[count], #1")
2579 __ASM_EMIT("add %[src], %[src], #0x0c")
2580 __ASM_EMIT("add %[dst], %[dst], #0x04")
2581 __ASM_EMIT("b.hs 7b")
2582 __ASM_EMIT("8:")
2583
2584 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
2585 :
2586 : "cc", "memory",
2587 "v0", "v1", "v2", "v3",
2588 "v4", "v5", "v6", "v7",
2589 "v8", "v9", "v10", "v11"
2590 );
2591 }
2592
2593 void downsample_4x(float *dst, const float *src, size_t count)
2594 {
2595 ARCH_AARCH64_ASM(
2596 __ASM_EMIT("subs %[count], %[count], #16")
2597 __ASM_EMIT("b.lo 2f")
2598 // x16 blocks
2599 __ASM_EMIT("1:")
2600 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]")
2601 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]")
2602 __ASM_EMIT("ldp q4, q5, [%[src], #0x40]")
2603 __ASM_EMIT("ldp q6, q7, [%[src], #0x60]")
2604 __ASM_EMIT("ldp q16, q17, [%[src], #0x80]")
2605 __ASM_EMIT("ldp q18, q19, [%[src], #0xa0]")
2606 __ASM_EMIT("ldp q20, q21, [%[src], #0xc0]")
2607 __ASM_EMIT("ldp q22, q23, [%[src], #0xe0]")
2608 __ASM_EMIT("mov v0.s[1], v1.s[0]")
2609 __ASM_EMIT("mov v2.s[1], v3.s[0]")
2610 __ASM_EMIT("mov v4.s[1], v5.s[0]")
2611 __ASM_EMIT("mov v6.s[1], v7.s[0]")
2612 __ASM_EMIT("mov v16.s[1], v17.s[0]")
2613 __ASM_EMIT("mov v18.s[1], v19.s[0]")
2614 __ASM_EMIT("mov v20.s[1], v21.s[0]")
2615 __ASM_EMIT("mov v22.s[1], v23.s[0]")
2616 __ASM_EMIT("mov v0.d[1], v2.d[0]")
2617 __ASM_EMIT("mov v4.d[1], v6.d[0]")
2618 __ASM_EMIT("mov v16.d[1], v18.d[0]")
2619 __ASM_EMIT("mov v20.d[1], v22.d[0]")
2620 __ASM_EMIT("stp q0, q4, [%[dst], #0x00]")
2621 __ASM_EMIT("stp q16, q20, [%[dst], #0x20]")
2622 __ASM_EMIT("subs %[count], %[count], #16")
2623 __ASM_EMIT("add %[src], %[src], #0x100")
2624 __ASM_EMIT("add %[dst], %[dst], #0x40")
2625 __ASM_EMIT("b.hs 1b")
2626 __ASM_EMIT("2:")
2627 // x8 block
2628 __ASM_EMIT("adds %[count], %[count], #8")
2629 __ASM_EMIT("b.lt 4f")
2630 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]")
2631 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]")
2632 __ASM_EMIT("ldp q4, q5, [%[src], #0x40]")
2633 __ASM_EMIT("ldp q6, q7, [%[src], #0x60]")
2634 __ASM_EMIT("mov v0.s[1], v1.s[0]")
2635 __ASM_EMIT("mov v2.s[1], v3.s[0]")
2636 __ASM_EMIT("mov v4.s[1], v5.s[0]")
2637 __ASM_EMIT("mov v6.s[1], v7.s[0]")
2638 __ASM_EMIT("mov v0.d[1], v2.d[0]")
2639 __ASM_EMIT("mov v4.d[1], v6.d[0]")
2640 __ASM_EMIT("stp q0, q4, [%[dst], #0x00]")
2641 __ASM_EMIT("sub %[count], %[count], #8")
2642 __ASM_EMIT("add %[src], %[src], #0x80")
2643 __ASM_EMIT("add %[dst], %[dst], #0x20")
2644 __ASM_EMIT("4:")
2645 // x4 block
2646 __ASM_EMIT("adds %[count], %[count], #4")
2647 __ASM_EMIT("b.lt 6f")
2648 __ASM_EMIT("ld4 {v0.4s, v1.4s, v2.4s, v3.4s}, [%[src]]")
2649 __ASM_EMIT("str q0, [%[dst]]")
2650 __ASM_EMIT("sub %[count], %[count], #4")
2651 __ASM_EMIT("add %[src], %[src], #0x40")
2652 __ASM_EMIT("add %[dst], %[dst], #0x10")
2653 __ASM_EMIT("6:")
2654 // x1 blocks
2655 __ASM_EMIT("adds %[count], %[count], #3")
2656 __ASM_EMIT("b.lt 8f")
2657 __ASM_EMIT("7:")
2658 __ASM_EMIT("ld1 {v0.s}[0], [%[src]]")
2659 __ASM_EMIT("subs %[count], %[count], #1")
2660 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
2661 __ASM_EMIT("add %[src], %[src], #0x10")
2662 __ASM_EMIT("add %[dst], %[dst], #0x04")
2663 __ASM_EMIT("b.ge 7b")
2664 __ASM_EMIT("8:")
2665
2666 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
2667 :
2668 : "cc", "memory",
2669 "v0", "v1", "v2", "v3",
2670 "v4", "v5", "v6", "v7",
2671 "v16", "v17", "v18", "v19",
2672 "v20", "v21", "v22", "v23"
2673 );
2674 }
2675
2676 void downsample_6x(float *dst, const float *src, size_t count)
2677 {
2678 ARCH_AARCH64_ASM(
2679 __ASM_EMIT("subs %[count], %[count], #16")
2680 __ASM_EMIT("b.lo 2f")
2681 // x16 blocks
2682 __ASM_EMIT("1:")
2683 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = s0 ? ? ? , v1 = ? ? s1 ?
2684 __ASM_EMIT("ldp q2, q3, [%[src], #0x30]") // v2 = s2 ? ? ? , v3 = ? ? s3 ?
2685 __ASM_EMIT("ldp q4, q5, [%[src], #0x60]") // v4 = s4 ? ? ? , v5 = ? ? s5 ?
2686 __ASM_EMIT("ldp q6, q7, [%[src], #0x90]") // v6 = s6 ? ? ? , v7 = ? ? s7 ?
2687 __ASM_EMIT("ldp q8, q9, [%[src], #0xc0]") // v0 = s8 ? ? ? , v1 = ? ? s9 ?
2688 __ASM_EMIT("ldp q10, q11, [%[src], #0xf0]") // v2 = s10 ? ? ? , v3 = ? ? s11 ?
2689 __ASM_EMIT("ldp q12, q13, [%[src], #0x120]") // v4 = s12 ? ? ? , v5 = ? ? s13 ?
2690 __ASM_EMIT("ldp q14, q15, [%[src], #0x150]") // v6 = s14 ? ? ? , v7 = ? ? s15 ?
2691 __ASM_EMIT("mov v0.s[1], v1.s[2]")
2692 __ASM_EMIT("mov v2.s[1], v3.s[2]")
2693 __ASM_EMIT("mov v4.s[1], v5.s[2]")
2694 __ASM_EMIT("mov v6.s[1], v7.s[2]")
2695 __ASM_EMIT("mov v8.s[1], v9.s[2]")
2696 __ASM_EMIT("mov v10.s[1], v11.s[2]")
2697 __ASM_EMIT("mov v12.s[1], v13.s[2]")
2698 __ASM_EMIT("mov v14.s[1], v15.s[2]")
2699 __ASM_EMIT("mov v0.d[1], v2.d[0]") // v0 = s0 s1 s2 s3
2700 __ASM_EMIT("mov v4.d[1], v6.d[0]")
2701 __ASM_EMIT("mov v8.d[1], v10.d[0]")
2702 __ASM_EMIT("mov v12.d[1], v14.d[0]")
2703 __ASM_EMIT("stp q0, q4, [%[dst], #0x00]")
2704 __ASM_EMIT("stp q8, q12, [%[dst], #0x20]")
2705 __ASM_EMIT("subs %[count], %[count], #16")
2706 __ASM_EMIT("add %[src], %[src], #0x180")
2707 __ASM_EMIT("add %[dst], %[dst], #0x40")
2708 __ASM_EMIT("b.hs 1b")
2709 __ASM_EMIT("2:")
2710 // x8 block
2711 __ASM_EMIT("adds %[count], %[count], #8")
2712 __ASM_EMIT("b.lt 4f")
2713 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = s0 ? ? ? , v1 = ? ? s1 ?
2714 __ASM_EMIT("ldp q2, q3, [%[src], #0x30]") // v2 = s2 ? ? ? , v3 = ? ? s3 ?
2715 __ASM_EMIT("ldp q4, q5, [%[src], #0x60]") // v4 = s4 ? ? ? , v5 = ? ? s5 ?
2716 __ASM_EMIT("ldp q6, q7, [%[src], #0x90]") // v6 = s6 ? ? ? , v7 = ? ? s7 ?
2717 __ASM_EMIT("mov v0.s[1], v1.s[2]")
2718 __ASM_EMIT("mov v2.s[1], v3.s[2]")
2719 __ASM_EMIT("mov v4.s[1], v5.s[2]")
2720 __ASM_EMIT("mov v6.s[1], v7.s[2]")
2721 __ASM_EMIT("mov v0.d[1], v2.d[0]") // v0 = s0 s1 s2 s3
2722 __ASM_EMIT("mov v4.d[1], v6.d[0]")
2723 __ASM_EMIT("stp q0, q4, [%[dst], #0x00]")
2724 __ASM_EMIT("sub %[count], %[count], #8")
2725 __ASM_EMIT("add %[src], %[src], #0xc0")
2726 __ASM_EMIT("add %[dst], %[dst], #0x20")
2727 __ASM_EMIT("4:")
2728 // x4 block
2729 __ASM_EMIT("adds %[count], %[count], #4")
2730 __ASM_EMIT("b.lt 6f")
2731 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = s0 ? ? ? , v1 = ? ? s1 ?
2732 __ASM_EMIT("ldp q2, q3, [%[src], #0x30]") // v2 = s2 ? ? ? , v3 = ? ? s3 ?
2733 __ASM_EMIT("mov v0.s[1], v1.s[2]")
2734 __ASM_EMIT("mov v2.s[1], v3.s[2]")
2735 __ASM_EMIT("mov v0.d[1], v2.d[0]") // v0 = s0 s1 s2 s3
2736 __ASM_EMIT("str q0, [%[dst]]")
2737 __ASM_EMIT("sub %[count], %[count], #4")
2738 __ASM_EMIT("add %[src], %[src], #0x60")
2739 __ASM_EMIT("add %[dst], %[dst], #0x10")
2740 __ASM_EMIT("6:")
2741 // x1 blocks
2742 __ASM_EMIT("adds %[count], %[count], #3")
2743 __ASM_EMIT("b.lt 8f")
2744 __ASM_EMIT("7:")
2745 __ASM_EMIT("ld1 {v0.s}[0], [%[src]]")
2746 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
2747 __ASM_EMIT("subs %[count], %[count], #1")
2748 __ASM_EMIT("add %[src], %[src], #0x18")
2749 __ASM_EMIT("add %[dst], %[dst], #0x04")
2750 __ASM_EMIT("b.hs 7b")
2751 __ASM_EMIT("8:")
2752
2753 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
2754 :
2755 : "cc", "memory",
2756 "v0", "v1", "v2", "v3",
2757 "v4", "v5", "v6", "v7",
2758 "v8", "v9", "v10", "v11"
2759 );
2760 }
2761
2762 void downsample_8x(float *dst, const float *src, size_t count)
2763 {
2764 ARCH_AARCH64_ASM(
2765 __ASM_EMIT("subs %[count], %[count], #16")
2766 __ASM_EMIT("b.lo 2f")
2767 // x16 blocks
2768 __ASM_EMIT("1:")
2769 __ASM_EMIT("ldr q0, [%[src], #0x00]")
2770 __ASM_EMIT("ldr q1, [%[src], #0x20]")
2771 __ASM_EMIT("ldr q2, [%[src], #0x40]")
2772 __ASM_EMIT("ldr q3, [%[src], #0x60]")
2773 __ASM_EMIT("ldr q4, [%[src], #0x80]")
2774 __ASM_EMIT("ldr q5, [%[src], #0xa0]")
2775 __ASM_EMIT("ldr q6, [%[src], #0xc0]")
2776 __ASM_EMIT("ldr q7, [%[src], #0xe0]")
2777 __ASM_EMIT("ldr q16, [%[src], #0x100]")
2778 __ASM_EMIT("ldr q17, [%[src], #0x120]")
2779 __ASM_EMIT("ldr q18, [%[src], #0x140]")
2780 __ASM_EMIT("ldr q19, [%[src], #0x160]")
2781 __ASM_EMIT("ldr q20, [%[src], #0x180]")
2782 __ASM_EMIT("ldr q21, [%[src], #0x1a0]")
2783 __ASM_EMIT("ldr q22, [%[src], #0x1c0]")
2784 __ASM_EMIT("ldr q23, [%[src], #0x1e0]")
2785 __ASM_EMIT("mov v0.s[1], v1.s[0]")
2786 __ASM_EMIT("mov v2.s[1], v3.s[0]")
2787 __ASM_EMIT("mov v4.s[1], v5.s[0]")
2788 __ASM_EMIT("mov v6.s[1], v7.s[0]")
2789 __ASM_EMIT("mov v16.s[1], v17.s[0]")
2790 __ASM_EMIT("mov v18.s[1], v19.s[0]")
2791 __ASM_EMIT("mov v20.s[1], v21.s[0]")
2792 __ASM_EMIT("mov v22.s[1], v23.s[0]")
2793 __ASM_EMIT("mov v0.d[1], v2.d[0]")
2794 __ASM_EMIT("mov v4.d[1], v6.d[0]")
2795 __ASM_EMIT("mov v16.d[1], v18.d[0]")
2796 __ASM_EMIT("mov v20.d[1], v22.d[0]")
2797 __ASM_EMIT("stp q0, q4, [%[dst], #0x00]")
2798 __ASM_EMIT("stp q16, q20, [%[dst], #0x20]")
2799 __ASM_EMIT("subs %[count], %[count], #16")
2800 __ASM_EMIT("add %[src], %[src], #0x200")
2801 __ASM_EMIT("add %[dst], %[dst], #0x40")
2802 __ASM_EMIT("b.hs 1b")
2803 __ASM_EMIT("2:")
2804 // x8 block
2805 __ASM_EMIT("adds %[count], %[count], #8")
2806 __ASM_EMIT("b.lt 4f")
2807 __ASM_EMIT("ldr q0, [%[src], #0x00]")
2808 __ASM_EMIT("ldr q1, [%[src], #0x20]")
2809 __ASM_EMIT("ldr q2, [%[src], #0x40]")
2810 __ASM_EMIT("ldr q3, [%[src], #0x60]")
2811 __ASM_EMIT("ldr q4, [%[src], #0x80]")
2812 __ASM_EMIT("ldr q5, [%[src], #0xa0]")
2813 __ASM_EMIT("ldr q6, [%[src], #0xc0]")
2814 __ASM_EMIT("ldr q7, [%[src], #0xe0]")
2815 __ASM_EMIT("mov v0.s[1], v1.s[0]")
2816 __ASM_EMIT("mov v2.s[1], v3.s[0]")
2817 __ASM_EMIT("mov v4.s[1], v5.s[0]")
2818 __ASM_EMIT("mov v6.s[1], v7.s[0]")
2819 __ASM_EMIT("mov v0.d[1], v2.d[0]")
2820 __ASM_EMIT("mov v4.d[1], v6.d[0]")
2821 __ASM_EMIT("stp q0, q4, [%[dst], #0x00]")
2822 __ASM_EMIT("sub %[count], %[count], #8")
2823 __ASM_EMIT("add %[src], %[src], #0x100")
2824 __ASM_EMIT("add %[dst], %[dst], #0x20")
2825 __ASM_EMIT("4:")
2826 // x4 block
2827 __ASM_EMIT("adds %[count], %[count], #4")
2828 __ASM_EMIT("b.lt 6f")
2829 __ASM_EMIT("ldr q0, [%[src], #0x00]")
2830 __ASM_EMIT("ldr q1, [%[src], #0x20]")
2831 __ASM_EMIT("ldr q2, [%[src], #0x40]")
2832 __ASM_EMIT("ldr q3, [%[src], #0x60]")
2833 __ASM_EMIT("mov v0.s[1], v1.s[0]")
2834 __ASM_EMIT("mov v2.s[1], v3.s[0]")
2835 __ASM_EMIT("mov v0.d[1], v2.d[0]")
2836 __ASM_EMIT("str q0, [%[dst]]")
2837 __ASM_EMIT("sub %[count], %[count], #4")
2838 __ASM_EMIT("add %[src], %[src], #0x80")
2839 __ASM_EMIT("add %[dst], %[dst], #0x10")
2840 __ASM_EMIT("6:")
2841 // x1 blocks
2842 __ASM_EMIT("adds %[count], %[count], #3")
2843 __ASM_EMIT("b.lt 8f")
2844 __ASM_EMIT("7:")
2845 __ASM_EMIT("ld1 {v0.s}[0], [%[src]]")
2846 __ASM_EMIT("subs %[count], %[count], #1")
2847 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
2848 __ASM_EMIT("add %[src], %[src], #0x20")
2849 __ASM_EMIT("add %[dst], %[dst], #0x04")
2850 __ASM_EMIT("b.ge 7b")
2851 __ASM_EMIT("8:")
2852
2853 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
2854 :
2855 : "cc", "memory",
2856 "v0", "v1", "v2", "v3",
2857 "v4", "v5", "v6", "v7",
2858 "v16", "v17", "v18", "v19",
2859 "v20", "v21", "v22", "v23"
2860 );
2861 }
2862 }
2863 }
2864
2865 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_RESAMPLING_H_ */