Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/resampling.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_RESAMPLING_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_RESAMPLING_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 IF_ARCH_ARM(
34 static const float lanczos_2x2[] __lsp_aligned16 =
35 {
36 +0.0000000000000000f,
37 -0.0636843520278618f, // k1
38 +0.0000000000000000f,
39 +0.5731591682507563f, // k0
40
41 +1.0000000000000000f,
42 +0.5731591682507563f, // k0
43 +0.0000000000000000f,
44 -0.0636843520278618f // k1
45 };
46 )
47
48 void lanczos_resample_2x2(float *dst, const float *src, size_t count)
49 {
50 IF_ARCH_ARM(
51 const float *kernel = lanczos_2x2;
52 );
53
54 ARCH_ARM_ASM
55 (
56 // Prepare
57 __ASM_EMIT("subs %[count], #8")
58 __ASM_EMIT("vld1.32 {q0-q1}, [%[kernel]]") // q0 = 0 k1 0 k0, q1 = 1 k0 0 k1
59 __ASM_EMIT("blo 2f")
60
61 // 8x blocks
62 __ASM_EMIT("1:")
63 // Even cycle: prepare
64 __ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!") // q2 = s0 s2 s4 s6, q3 = s1 s3 s5 s7
65 __ASM_EMIT("vldm %[dst], {d14-d23}")
66 __ASM_EMIT("vdup.32 q6, d5[1]")
67 __ASM_EMIT("vdup.32 q5, d5[0]")
68 __ASM_EMIT("vdup.32 q4, d4[1]")
69 __ASM_EMIT("vdup.32 q2, d4[0]")
70 // Even cycle: convolve
71 __ASM_EMIT("vmla.f32 q7, q2, q0")
72 __ASM_EMIT("vmla.f32 q8, q4, q0")
73 __ASM_EMIT("vmla.f32 q9, q5, q0")
74 __ASM_EMIT("vmla.f32 q10, q6, q0")
75 __ASM_EMIT("vmla.f32 q8, q2, q1")
76 __ASM_EMIT("vmla.f32 q9, q4, q1")
77 __ASM_EMIT("vmla.f32 q10, q5, q1")
78 __ASM_EMIT("vmla.f32 q11, q6, q1")
79 __ASM_EMIT("vstm %[dst], {d14-d23}")
80 __ASM_EMIT("add %[dst], #0x08")
81 // Odd cycle: prepare
82 __ASM_EMIT("vldm %[dst], {d14-d23}")
83 __ASM_EMIT("vdup.32 q6, d7[1]")
84 __ASM_EMIT("vdup.32 q5, d7[0]")
85 __ASM_EMIT("vdup.32 q4, d6[1]")
86 __ASM_EMIT("vdup.32 q3, d6[0]")
87 // Odd cycle: convolve
88 __ASM_EMIT("vmla.f32 q7, q3, q0")
89 __ASM_EMIT("vmla.f32 q8, q4, q0")
90 __ASM_EMIT("vmla.f32 q9, q5, q0")
91 __ASM_EMIT("vmla.f32 q10, q6, q0")
92 __ASM_EMIT("vmla.f32 q8, q3, q1")
93 __ASM_EMIT("vmla.f32 q9, q4, q1")
94 __ASM_EMIT("vmla.f32 q10, q5, q1")
95 __ASM_EMIT("vmla.f32 q11, q6, q1")
96 __ASM_EMIT("vstm %[dst], {d14-d23}")
97 __ASM_EMIT("add %[dst], #0x38")
98 // Repeat loop
99 __ASM_EMIT("subs %[count], #8")
100 __ASM_EMIT("bhs 1b")
101
102 // 4x block
103 __ASM_EMIT("2:")
104 __ASM_EMIT("adds %[count], #4")
105 __ASM_EMIT("blt 4f")
106
107 // Prepare
108 __ASM_EMIT("vld1.32 {q2}, [%[src]]!")
109 __ASM_EMIT("vldm %[dst], {d14-d19}")
110 __ASM_EMIT("vdup.32 q5, d5[1]") // q5 = s3
111 __ASM_EMIT("vdup.32 q4, d5[0]") // q4 = s2
112 __ASM_EMIT("vdup.32 q3, d4[1]") // q3 = s1
113 __ASM_EMIT("vdup.32 q2, d4[0]") // q2 = s0
114 // Even cycle: convolve
115 __ASM_EMIT("vmla.f32 q7, q2, q0")
116 __ASM_EMIT("vmla.f32 q8, q4, q0")
117 __ASM_EMIT("vmla.f32 q8, q2, q1")
118 __ASM_EMIT("vmla.f32 q9, q4, q1")
119 __ASM_EMIT("vstm %[dst], {d14-d19}")
120 __ASM_EMIT("add %[dst], #0x08")
121 // Odd cycle: convolve
122 __ASM_EMIT("vldm %[dst], {d14-d19}")
123 __ASM_EMIT("vmla.f32 q7, q3, q0")
124 __ASM_EMIT("vmla.f32 q8, q5, q0")
125 __ASM_EMIT("vmla.f32 q8, q3, q1")
126 __ASM_EMIT("vmla.f32 q9, q5, q1")
127 __ASM_EMIT("vstm %[dst], {d14-d19}")
128 __ASM_EMIT("sub %[count], #4")
129 __ASM_EMIT("add %[dst], #0x18")
130
131 // 1x blocks
132 __ASM_EMIT("4:")
133 __ASM_EMIT("adds %[count], #3")
134 __ASM_EMIT("blt 6f")
135 __ASM_EMIT("7:")
136 __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[src]]!")
137 __ASM_EMIT("vldm %[dst], {q3-q4}")
138 __ASM_EMIT("vmla.f32 q3, q2, q0")
139 __ASM_EMIT("vmla.f32 q4, q2, q1")
140 __ASM_EMIT("vstm %[dst], {q3-q4}")
141 __ASM_EMIT("subs %[count], #1")
142 __ASM_EMIT("add %[dst], #0x08")
143 __ASM_EMIT("bge 7b")
144
145 __ASM_EMIT("6:")
146 : [dst] "+r" (dst), [src] "+r" (src),
147 [count] "+r" (count)
148 : [kernel] "r" (kernel)
149 : "cc", "memory",
150 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
151 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
152 );
153 }
154
155 IF_ARCH_ARM
156 (
157 static const float lanczos_2x3[] __lsp_aligned16 =
158 {
159 +0.0000000000000000f,
160 +0.0243170840741611f, // k2
161 +0.0000000000000000f,
162 -0.1350949115231170f, // k1
163
164 +0.0000000000000000f,
165 +0.6079271018540265f, // k0
166 +1.0000000000000000f,
167 +0.6079271018540265f, // k0
168
169 +0.0000000000000000f,
170 -0.1350949115231170f, // k1
171 +0.0000000000000000f,
172 +0.0243170840741611f // k2
173 };
174 )
175
176 void lanczos_resample_2x3(float *dst, const float *src, size_t count)
177 {
178 IF_ARCH_ARM(
179 const float *kernel = lanczos_2x3;
180 );
181
182 ARCH_ARM_ASM
183 (
184 // Prepare
185 __ASM_EMIT("vldm %[kernel], {q0-q2}")
186 __ASM_EMIT("subs %[count], #8")
187 __ASM_EMIT("blo 2f")
188
189 // 8x blocks
190 __ASM_EMIT("1:")
191 // Even cycle: prepare
192 __ASM_EMIT("vld2.32 {q4-q5}, [%[src]]!") // q4 = s0 s2 s4 s6, q5 = s1 s3 s5 s7
193 __ASM_EMIT("vldm %[dst], {q10-q15}")
194 __ASM_EMIT("vdup.32 q8, d9[1]") // q8 = s6
195 __ASM_EMIT("vdup.32 q7, d9[0]") // q7 = s4
196 __ASM_EMIT("vdup.32 q6, d8[1]") // q6 = s2
197 __ASM_EMIT("vdup.32 q4, d8[0]") // q4 = s0
198 // Even cycle: convolve
199 __ASM_EMIT("vmla.f32 q10, q4, q0")
200 __ASM_EMIT("vmla.f32 q11, q6, q0")
201 __ASM_EMIT("vmla.f32 q12, q7, q0")
202 __ASM_EMIT("vmla.f32 q13, q8, q0")
203 __ASM_EMIT("vmla.f32 q11, q4, q1")
204 __ASM_EMIT("vmla.f32 q12, q6, q1")
205 __ASM_EMIT("vmla.f32 q13, q7, q1")
206 __ASM_EMIT("vmla.f32 q14, q8, q1")
207 __ASM_EMIT("vmla.f32 q12, q4, q2")
208 __ASM_EMIT("vmla.f32 q13, q6, q2")
209 __ASM_EMIT("vmla.f32 q14, q7, q2")
210 __ASM_EMIT("vmla.f32 q15, q8, q2")
211 __ASM_EMIT("vstm %[dst], {q10-q15}")
212 __ASM_EMIT("add %[dst], #0x08")
213 // Odd cycle: prepare
214
215 __ASM_EMIT("vldm %[dst], {q10-q15}")
216 __ASM_EMIT("vdup.32 q8, d11[1]") // q8 = s7
217 __ASM_EMIT("vdup.32 q7, d11[0]") // q7 = s5
218 __ASM_EMIT("vdup.32 q6, d10[1]") // q6 = s3
219 __ASM_EMIT("vdup.32 q5, d10[0]") // q5 = s1
220 // Odd cycle: convolve
221 __ASM_EMIT("vmla.f32 q10, q5, q0")
222 __ASM_EMIT("vmla.f32 q11, q6, q0")
223 __ASM_EMIT("vmla.f32 q12, q7, q0")
224 __ASM_EMIT("vmla.f32 q13, q8, q0")
225 __ASM_EMIT("vmla.f32 q11, q5, q1")
226 __ASM_EMIT("vmla.f32 q12, q6, q1")
227 __ASM_EMIT("vmla.f32 q13, q7, q1")
228 __ASM_EMIT("vmla.f32 q14, q8, q1")
229 __ASM_EMIT("vmla.f32 q12, q5, q2")
230 __ASM_EMIT("vmla.f32 q13, q6, q2")
231 __ASM_EMIT("vmla.f32 q14, q7, q2")
232 __ASM_EMIT("vmla.f32 q15, q8, q2")
233 __ASM_EMIT("vstm %[dst], {q10-q15}")
234 __ASM_EMIT("subs %[count], #8")
235 __ASM_EMIT("add %[dst], #0x38")
236 __ASM_EMIT("bhs 1b")
237
238 // 4x block
239 __ASM_EMIT("2:")
240 __ASM_EMIT("adds %[count], #4")
241 __ASM_EMIT("blt 4f")
242
243 // Prepare
244 __ASM_EMIT("vld1.32 {q4}, [%[src]]!")
245 __ASM_EMIT("vldm %[dst], {q10-q13}")
246 __ASM_EMIT("vdup.32 q7, d9[1]") // q7 = s3
247 __ASM_EMIT("vdup.32 q6, d9[0]") // q6 = s2
248 __ASM_EMIT("vdup.32 q5, d8[1]") // q5 = s1
249 __ASM_EMIT("vdup.32 q4, d8[0]") // q4 = s0
250 // Even cycle: convolve
251 __ASM_EMIT("vmla.f32 q10, q4, q0")
252 __ASM_EMIT("vmla.f32 q11, q6, q0")
253 __ASM_EMIT("vmla.f32 q11, q4, q1")
254 __ASM_EMIT("vmla.f32 q12, q6, q1")
255 __ASM_EMIT("vmla.f32 q12, q4, q2")
256 __ASM_EMIT("vmla.f32 q13, q6, q2")
257 __ASM_EMIT("vstm %[dst], {q10-q13}")
258 __ASM_EMIT("add %[dst], #0x08")
259 // Odd cycle: convolve
260 __ASM_EMIT("vldm %[dst], {q10-q13}")
261 __ASM_EMIT("vmla.f32 q10, q5, q0")
262 __ASM_EMIT("vmla.f32 q11, q7, q0")
263 __ASM_EMIT("vmla.f32 q11, q5, q1")
264 __ASM_EMIT("vmla.f32 q12, q7, q1")
265 __ASM_EMIT("vmla.f32 q12, q5, q2")
266 __ASM_EMIT("vmla.f32 q13, q7, q2")
267 __ASM_EMIT("vstm %[dst], {q10-q13}")
268 __ASM_EMIT("sub %[count], #4")
269 __ASM_EMIT("add %[dst], #0x18")
270
271 // 1x blocks
272 __ASM_EMIT("4:")
273 __ASM_EMIT("adds %[count], #3")
274 __ASM_EMIT("blt 6f")
275 __ASM_EMIT("7:")
276 __ASM_EMIT("vld1.32 {d6[], d7[]}, [%[src]]!")
277 __ASM_EMIT("vldm %[dst], {q4-q6}")
278 __ASM_EMIT("vmla.f32 q4, q3, q0")
279 __ASM_EMIT("vmla.f32 q5, q3, q1")
280 __ASM_EMIT("vmla.f32 q6, q3, q2")
281 __ASM_EMIT("vstm %[dst], {q4-q6}")
282 __ASM_EMIT("subs %[count], #1")
283 __ASM_EMIT("add %[dst], #0x08")
284 __ASM_EMIT("bge 7b")
285
286 __ASM_EMIT("6:")
287 : [dst] "+r" (dst), [src] "+r" (src),
288 [count] "+r" (count)
289 : [kernel] "r" (kernel)
290 : "cc", "memory",
291 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
292 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
293 );
294 }
295
296 IF_ARCH_ARM
297 (
298 static const float lanczos_2x4[] __lsp_aligned16 =
299 {
300 +0.0000000000000000f,
301 -0.0126608778212387f,
302 +0.0000000000000000f,
303 +0.0599094833772629f,
304
305 +0.0000000000000000f,
306 -0.1664152316035080f,
307 +0.0000000000000000f,
308 +0.6203830132406946f,
309
310 +1.0000000000000000f,
311 +0.6203830132406946f,
312 +0.0000000000000000f,
313 -0.1664152316035080f,
314
315 +0.0000000000000000f,
316 +0.0599094833772629f,
317 +0.0000000000000000f,
318 -0.0126608778212387f
319 };
320 )
321
322 void lanczos_resample_2x4(float *dst, const float *src, size_t count)
323 {
324 IF_ARCH_ARM(
325 const float *kernel = lanczos_2x4;
326 );
327
328 ARCH_ARM_ASM
329 (
330 // Prepare
331 __ASM_EMIT("vldm %[kernel], {q0-q3}")
332 __ASM_EMIT("subs %[count], #8")
333 __ASM_EMIT("blo 2f")
334
335 // 8x blocks
336 __ASM_EMIT("1:")
337 // Even cycle: prepare
338 __ASM_EMIT("vld2.32 {q4-q5}, [%[src]]!") // q4 = s0 s2 s4 s6, q5 = s1 s3 s5 s7
339 __ASM_EMIT("vldm %[dst], {q9-q15}")
340 __ASM_EMIT("vdup.32 q6, d8[1]") // q6 = s2
341 __ASM_EMIT("vdup.32 q7, d9[0]") // q7 = s4
342 __ASM_EMIT("vdup.32 q8, d9[1]") // q8 = s6
343 __ASM_EMIT("vdup.32 q4, d8[0]") // q4 = s0
344 // Even cycle: convolve
345 __ASM_EMIT("vmla.f32 q10, q6, q0")
346 __ASM_EMIT("vmla.f32 q11, q6, q1")
347 __ASM_EMIT("vmla.f32 q12, q6, q2")
348 __ASM_EMIT("vmla.f32 q13, q6, q3")
349 __ASM_EMIT("vmla.f32 q11, q7, q0")
350 __ASM_EMIT("vmla.f32 q12, q7, q1")
351 __ASM_EMIT("vmla.f32 q13, q7, q2")
352 __ASM_EMIT("vmla.f32 q14, q7, q3")
353 __ASM_EMIT("vmla.f32 q12, q8, q0")
354 __ASM_EMIT("vmla.f32 q13, q8, q1")
355 __ASM_EMIT("vmla.f32 q14, q8, q2")
356 __ASM_EMIT("vmla.f32 q15, q8, q3")
357 __ASM_EMIT("vmla.f32 q9, q4, q0")
358 __ASM_EMIT("vmla.f32 q10, q4, q1")
359 __ASM_EMIT("vmla.f32 q11, q4, q2")
360 __ASM_EMIT("vmla.f32 q12, q4, q3")
361
362 __ASM_EMIT("vstm %[dst], {q9-q15}")
363 __ASM_EMIT("add %[dst], #0x08")
364
365 // Odd cycle: prepare
366 __ASM_EMIT("vdup.32 q6, d10[1]") // q6 = s3
367 __ASM_EMIT("vdup.32 q7, d11[0]") // q7 = s5
368 __ASM_EMIT("vdup.32 q8, d11[1]") // q8 = s7
369 __ASM_EMIT("vdup.32 q5, d10[0]") // q5 = s1
370 __ASM_EMIT("vldm %[dst], {q9-q15}")
371 // Odd cycle: convolve
372 __ASM_EMIT("vmla.f32 q10, q6, q0")
373 __ASM_EMIT("vmla.f32 q11, q6, q1")
374 __ASM_EMIT("vmla.f32 q12, q6, q2")
375 __ASM_EMIT("vmla.f32 q13, q6, q3")
376 __ASM_EMIT("vmla.f32 q11, q7, q0")
377 __ASM_EMIT("vmla.f32 q12, q7, q1")
378 __ASM_EMIT("vmla.f32 q13, q7, q2")
379 __ASM_EMIT("vmla.f32 q14, q7, q3")
380 __ASM_EMIT("vmla.f32 q12, q8, q0")
381 __ASM_EMIT("vmla.f32 q13, q8, q1")
382 __ASM_EMIT("vmla.f32 q14, q8, q2")
383 __ASM_EMIT("vmla.f32 q15, q8, q3")
384 __ASM_EMIT("vmla.f32 q9, q5, q0")
385 __ASM_EMIT("vmla.f32 q10, q5, q1")
386 __ASM_EMIT("vmla.f32 q11, q5, q2")
387 __ASM_EMIT("vmla.f32 q12, q5, q3")
388
389 __ASM_EMIT("vstm %[dst], {q9-q15}")
390 __ASM_EMIT("subs %[count], #8")
391 __ASM_EMIT("add %[dst], #0x38")
392 __ASM_EMIT("bhs 1b")
393
394 // 4x block
395 __ASM_EMIT("2:")
396 __ASM_EMIT("adds %[count], #4")
397 __ASM_EMIT("blt 4f")
398
399 // Prepare
400 __ASM_EMIT("vld1.32 {q4}, [%[src]]!")
401 __ASM_EMIT("vldm %[dst], {q9-q13}")
402 __ASM_EMIT("vdup.32 q6, d9[0]") // q6 = s2
403 __ASM_EMIT("vdup.32 q5, d8[0]") // q4 = s0
404 // Even cycle: convolve
405 __ASM_EMIT("vmla.f32 q10, q6, q0")
406 __ASM_EMIT("vmla.f32 q11, q6, q1")
407 __ASM_EMIT("vmla.f32 q12, q6, q2")
408 __ASM_EMIT("vmla.f32 q13, q6, q3")
409 __ASM_EMIT("vmla.f32 q9, q5, q0")
410 __ASM_EMIT("vmla.f32 q10, q5, q1")
411 __ASM_EMIT("vmla.f32 q11, q5, q2")
412 __ASM_EMIT("vmla.f32 q12, q5, q3")
413 __ASM_EMIT("vstm %[dst], {q9-q13}")
414 __ASM_EMIT("add %[dst], #0x08")
415 // Odd cycle: convolve
416 __ASM_EMIT("vdup.32 q6, d9[1]") // q6 = s3
417 __ASM_EMIT("vdup.32 q5, d8[1]") // q5 = s1
418 __ASM_EMIT("vldm %[dst], {q9-q13}")
419 __ASM_EMIT("vmla.f32 q10, q6, q0")
420 __ASM_EMIT("vmla.f32 q11, q6, q1")
421 __ASM_EMIT("vmla.f32 q12, q6, q2")
422 __ASM_EMIT("vmla.f32 q13, q6, q3")
423 __ASM_EMIT("vmla.f32 q9, q5, q0")
424 __ASM_EMIT("vmla.f32 q10, q5, q1")
425 __ASM_EMIT("vmla.f32 q11, q5, q2")
426 __ASM_EMIT("vmla.f32 q12, q5, q3")
427 __ASM_EMIT("vstm %[dst], {q9-q13}")
428 __ASM_EMIT("sub %[count], #4")
429 __ASM_EMIT("add %[dst], #0x18")
430
431 // 1x blocks
432 __ASM_EMIT("4:")
433 __ASM_EMIT("adds %[count], #3")
434 __ASM_EMIT("blt 6f")
435 __ASM_EMIT("7:")
436 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[src]]!")
437 __ASM_EMIT("vldm %[dst], {q9-q12}")
438 __ASM_EMIT("vmla.f32 q9, q4, q0")
439 __ASM_EMIT("vmla.f32 q10, q4, q1")
440 __ASM_EMIT("vmla.f32 q11, q4, q2")
441 __ASM_EMIT("vmla.f32 q12, q4, q3")
442 __ASM_EMIT("vstm %[dst], {q9-q12}")
443 __ASM_EMIT("subs %[count], #1")
444 __ASM_EMIT("add %[dst], #0x08")
445 __ASM_EMIT("bge 7b")
446
447 __ASM_EMIT("6:")
448 : [dst] "+r" (dst), [src] "+r" (src),
449 [count] "+r" (count)
450 : [kernel] "r" (kernel)
451 : "cc", "memory",
452 "q0", "q1", "q2", "q3",
453 "q4", "q5", "q6", "q7",
454 "q8", "q9", "q10", "q11",
455 "q12", "q13", "q14", "q15"
456 );
457 }
458
459 IF_ARCH_ARM(
460 static const float lanczos_kernel_3x2[] __lsp_aligned16 =
461 {
462 +0.0000000000000000f,
463 -0.0315888188312782f,
464 -0.0854897486982225f,
465 +0.0000000000000000f,
466
467 +0.3419589947928900f,
468 +0.7897204707819555f,
469 +1.0000000000000000f,
470 +0.7897204707819555f,
471
472 +0.3419589947928900f,
473 +0.0000000000000000f,
474 -0.0854897486982225f,
475 -0.0315888188312782f,
476
477 // Shifted by 1 left
478 -0.0315888188312782f,
479 -0.0854897486982225f,
480 +0.0000000000000000f,
481 +0.3419589947928900f,
482
483 +0.7897204707819555f,
484 +1.0000000000000000f,
485 +0.7897204707819555f,
486 +0.3419589947928900f,
487
488 +0.0000000000000000f,
489 -0.0854897486982225f,
490 -0.0315888188312782f,
491 +0.0000000000000000f
492 };
493 )
494
495 void lanczos_resample_3x2(float *dst, const float *src, size_t count)
496 {
497 IF_ARCH_ARM(
498 const float *kernel = lanczos_kernel_3x2;
499 );
500
501 ARCH_ARM_ASM
502 (
503 // Prepare
504 __ASM_EMIT("vldm %[kernel], {q2-q7}")
505 __ASM_EMIT("subs %[count], #2")
506 __ASM_EMIT("blo 2f")
507
508 // 2x blocks
509 __ASM_EMIT("1:")
510 // Even cycle: prepare
511 __ASM_EMIT("vld1.32 {d0}, [%[src]]!") // d0 = s1 s2
512 __ASM_EMIT("vldm %[dst], {q8-q11}")
513 __ASM_EMIT("vdup.32 q1, d0[1]") // q1 = s2 s2 s2 s2
514 __ASM_EMIT("vdup.32 q0, d0[0]") // q0 = s1 s1 s1 s1
515 __ASM_EMIT("vmla.f32 q8, q2, q0")
516 __ASM_EMIT("vmla.f32 q9, q3, q0")
517 __ASM_EMIT("vmla.f32 q10, q4, q0")
518 __ASM_EMIT("vmla.f32 q9, q5, q1")
519 __ASM_EMIT("vmla.f32 q10, q6, q1")
520 __ASM_EMIT("vmla.f32 q11, q7, q1")
521 __ASM_EMIT("vstm %[dst], {q8-q11}")
522 __ASM_EMIT("subs %[count], #2")
523 __ASM_EMIT("add %[dst], #0x18")
524 __ASM_EMIT("bhs 1b")
525
526 // 1x block
527 __ASM_EMIT("2:")
528 __ASM_EMIT("adds %[count], #1")
529 __ASM_EMIT("blt 4f")
530
531 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]")
532 __ASM_EMIT("vldm %[dst], {q8-q10}")
533 __ASM_EMIT("vmla.f32 q8, q2, q0")
534 __ASM_EMIT("vmla.f32 q9, q3, q0")
535 __ASM_EMIT("vmla.f32 q10, q4, q0")
536 __ASM_EMIT("vstm %[dst], {q8-q10}")
537
538 __ASM_EMIT("4:")
539 : [dst] "+r" (dst), [src] "+r" (src),
540 [count] "+r" (count)
541 : [kernel] "r" (kernel)
542 : "cc", "memory",
543 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
544 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
545 );
546 }
547
548 IF_ARCH_ARM(
549 static const float lanczos_kernel_3x3[] __lsp_aligned16 =
550 {
551 // Middle part
552 +0.8103009258121772f,
553 +1.0000000000000000f,
554 +0.8103009258121772f,
555 +0.3807169003008463f,
556
557 +0.0000000000000000f,
558 -0.1458230329384726f,
559 -0.0933267410806225f,
560 +0.0000000000000000f,
561
562 +0.0310789306368038f,
563 +0.0126609519658153f,
564 +0.0000000000000000f,
565 +0.0000000000000000f,
566
567 +0.0126609519658153f,
568 +0.0310789306368038f,
569 +0.0000000000000000f,
570 -0.0933267410806225f,
571
572 -0.1458230329384726f,
573 +0.0000000000000000f,
574 +0.3807169003008463f,
575 +0.8103009258121772f,
576
577 +1.0000000000000000f,
578 +0.8103009258121772f,
579 +0.3807169003008463f,
580 +0.0000000000000000f,
581
582 // Head part
583 +0.0000000000000000f,
584 +0.0126609519658153f,
585 +0.0310789306368038f,
586 +0.0000000000000000f,
587
588 -0.0933267410806225f,
589 -0.1458230329384726f,
590 +0.0000000000000000f,
591 +0.3807169003008463f,
592
593 // Tail part
594 -0.1458230329384726f,
595 -0.0933267410806225f,
596 +0.0000000000000000f,
597 +0.0310789306368038f,
598
599 +0.0126609519658153f,
600 +0.0000000000000000f,
601 +0.0000000000000000f,
602 +0.0000000000000000f
603 };
604 )
605
606 void lanczos_resample_3x3(float *dst, const float *src, size_t count)
607 {
608 IF_ARCH_ARM(
609 const float *kernel = lanczos_kernel_3x3;
610 );
611
612 ARCH_ARM_ASM
613 (
614 // Prepare
615 __ASM_EMIT("vldm %[kernel]!, {q10-q15}")
616 __ASM_EMIT("subs %[count], #2")
617 __ASM_EMIT("blo 2f")
618
619 // 2x blocks
620 __ASM_EMIT("1:")
621 __ASM_EMIT("vld1.32 {d0}, [%[src]]!") // d0 = s1 s2
622 __ASM_EMIT("vldm %[dst], {q2-q7}")
623 __ASM_EMIT("vdup.32 q1, d0[1]") // q1 = s2 s2 s2 s2
624 __ASM_EMIT("vdup.32 q0, d0[0]") // q0 = s1 s1 s1 s1
625 __ASM_EMIT("vld1.32 {q8-q9}, [%[kernel]]")
626
627 __ASM_EMIT("vmla.f32 q2, q8, q0")
628 __ASM_EMIT("vmla.f32 q3, q9, q0")
629 __ASM_EMIT("vmla.f32 q4, q10, q0")
630 __ASM_EMIT("add %[kernel], #0x20")
631 __ASM_EMIT("vmla.f32 q3, q13, q1")
632 __ASM_EMIT("vmla.f32 q4, q14, q1")
633 __ASM_EMIT("vmla.f32 q5, q11, q0")
634 __ASM_EMIT("vld1.32 {q8-q9}, [%[kernel]]")
635 __ASM_EMIT("vmla.f32 q6, q12, q0")
636 __ASM_EMIT("vmla.f32 q5, q15, q1")
637 __ASM_EMIT("vmla.f32 q6, q8, q1")
638 __ASM_EMIT("vmla.f32 q7, q9, q1")
639 __ASM_EMIT("vstm %[dst], {q2-q7}")
640 __ASM_EMIT("sub %[kernel], #0x20")
641 __ASM_EMIT("subs %[count], #2")
642 __ASM_EMIT("add %[dst], #0x18")
643 __ASM_EMIT("bhs 1b")
644
645 // 1x block
646 __ASM_EMIT("2:")
647 __ASM_EMIT("adds %[count], #1")
648 __ASM_EMIT("blt 4f")
649
650 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]")
651 __ASM_EMIT("vldm %[dst], {q2-q6}")
652 __ASM_EMIT("vld1.32 {q8-q9}, [%[kernel]]")
653
654 __ASM_EMIT("vmla.f32 q2, q8, q0")
655 __ASM_EMIT("vmla.f32 q3, q9, q0")
656 __ASM_EMIT("vmla.f32 q4, q10, q0")
657 __ASM_EMIT("vmla.f32 q5, q11, q0")
658 __ASM_EMIT("vmla.f32 q6, q12, q0")
659 __ASM_EMIT("vstm %[dst], {q2-q6}")
660
661 __ASM_EMIT("4:")
662 : [dst] "+r" (dst), [src] "+r" (src),
663 [count] "+r" (count), [kernel] "+r" (kernel)
664 :
665 : "cc", "memory",
666 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
667 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
668 );
669 }
670
671 IF_ARCH_ARM(
672 static const float lanczos_kernel_3x4[] __lsp_aligned16 =
673 {
674 // Part 1 (unshifted)
675 +0.0000000000000000f,
676 -0.0067568495254777f,
677 -0.0157944094156391f,
678 +0.0000000000000000f,
679
680 +0.0427448743491113f,
681 +0.0622703182267308f,
682 +0.0000000000000000f,
683 -0.1220498237243924f,
684
685 -0.1709794973964449f,
686 +0.0000000000000000f,
687 +0.3948602353909778f,
688 +0.8175787925827955f,
689
690 // Part 1 (shifted)
691 -0.0067568495254777f,
692 -0.0157944094156391f,
693 +0.0000000000000000f,
694 +0.0427448743491113f,
695
696 +0.0622703182267308f,
697 +0.0000000000000000f,
698 -0.1220498237243924f,
699 -0.1709794973964449f,
700
701 +0.0000000000000000f,
702 +0.3948602353909778f,
703 +0.8175787925827955f,
704 +1.0000000000000000f,
705
706 // Part 2 (unshifted)
707 +1.0000000000000000f,
708 +0.8175787925827955f,
709 +0.3948602353909778f,
710 +0.0000000000000000f,
711
712 -0.1709794973964449f,
713 -0.1220498237243924f,
714 +0.0000000000000000f,
715 +0.0622703182267308f,
716
717 +0.0427448743491113f,
718 +0.0000000000000000f,
719 -0.0157944094156391f,
720 -0.0067568495254777f,
721
722 // Part 2 (shifted)
723 +0.8175787925827955f,
724 +0.3948602353909778f,
725 +0.0000000000000000f,
726 -0.1709794973964449f,
727
728 -0.1220498237243924f,
729 +0.0000000000000000f,
730 +0.0622703182267308f,
731 +0.0427448743491113f,
732
733 +0.0000000000000000f,
734 -0.0157944094156391f,
735 -0.0067568495254777f,
736 +0.0000000000000000f
737 };
738 )
739
740 void lanczos_resample_3x4(float *dst, const float *src, size_t count)
741 {
742 IF_ARCH_ARM(
743 const float *kernel = lanczos_kernel_3x4;
744 );
745
746 ARCH_ARM_ASM
747 (
748 // Prepare
749 __ASM_EMIT("vldm %[kernel], {q2-q7}")
750 __ASM_EMIT("subs %[count], #2")
751 __ASM_EMIT("blo 2f")
752
753 // 2x blocks
754 __ASM_EMIT("1:")
755 __ASM_EMIT("vldm %[src]!, {d0}") // d0 = s0 s1
756 __ASM_EMIT("vldm %[dst], {q8-q14}")
757 __ASM_EMIT("vdup.32 q1, d0[1]") // q1 = s1 s1 s1 s1
758 __ASM_EMIT("vdup.32 q0, d0[0]") // q0 = s0 s0 s0 s0
759
760 // Step 1
761 __ASM_EMIT("vldm %[kernel], {q2-q7}")
762 __ASM_EMIT("vmla.f32 q8, q0, q2")
763 __ASM_EMIT("vmla.f32 q9, q0, q3")
764 __ASM_EMIT("vmla.f32 q10, q0, q4")
765 __ASM_EMIT("add %[kernel], #0x60")
766 __ASM_EMIT("vmla.f32 q9, q1, q5")
767 __ASM_EMIT("vmla.f32 q10, q1, q6")
768 __ASM_EMIT("vmla.f32 q11, q1, q7")
769
770 // Step 2
771 __ASM_EMIT("vldm %[kernel], {q2-q7}")
772 __ASM_EMIT("vmla.f32 q11, q0, q2")
773 __ASM_EMIT("vmla.f32 q12, q0, q3")
774 __ASM_EMIT("vmla.f32 q13, q0, q4")
775 __ASM_EMIT("sub %[kernel], #0x60")
776 __ASM_EMIT("vmla.f32 q12, q1, q5")
777 __ASM_EMIT("vmla.f32 q13, q1, q6")
778 __ASM_EMIT("vmla.f32 q14, q1, q7")
779
780 __ASM_EMIT("vstm %[dst], {q8-q14}")
781 __ASM_EMIT("subs %[count], #2")
782 __ASM_EMIT("add %[dst], #0x18")
783 __ASM_EMIT("bhs 1b")
784
785 // 1x block
786 __ASM_EMIT("2:")
787 __ASM_EMIT("adds %[count], #1")
788 __ASM_EMIT("blt 4f")
789
790 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]") // q0 = s0 s0 s0 s0
791 __ASM_EMIT("vldm %[dst], {q8-q13}")
792
793 // Step 1
794 __ASM_EMIT("vldm %[kernel], {q2-q4}")
795 __ASM_EMIT("add %[kernel], #0x60")
796 __ASM_EMIT("vmla.f32 q8, q0, q2")
797 __ASM_EMIT("vmla.f32 q9, q0, q3")
798 __ASM_EMIT("vmla.f32 q10, q0, q4")
799
800 // Step 2
801 __ASM_EMIT("vldm %[kernel], {q2-q4}")
802 __ASM_EMIT("vmla.f32 q11, q0, q2")
803 __ASM_EMIT("vmla.f32 q12, q0, q3")
804 __ASM_EMIT("vmla.f32 q13, q0, q4")
805 __ASM_EMIT("vstm %[dst], {q8-q13}")
806
807 __ASM_EMIT("4:")
808 : [dst] "+r" (dst), [src] "+r" (src),
809 [count] "+r" (count), [kernel] "+r" (kernel)
810 :
811 : "cc", "memory",
812 "q0", "q1", "q2", "q3",
813 "q4", "q5", "q6", "q7",
814 "q8", "q9", "q10", "q11",
815 "q12", "q13", "q14", "q15"
816 );
817 }
818
819 IF_ARCH_ARM(
820 static const float lanczos_kernel_4x2[] __lsp_aligned16 =
821 {
822 +0.0000000000000000f,
823 -0.0179051851263444f,
824 -0.0636843520278618f,
825 -0.0847248039068907f,
826
827 +0.0000000000000000f,
828 +0.2353466775191407f,
829 +0.5731591682507563f,
830 +0.8773540711908775f,
831
832 +1.0000000000000000f,
833 +0.8773540711908775f,
834 +0.5731591682507563f,
835 +0.2353466775191407f,
836
837 +0.0000000000000000f,
838 -0.0847248039068907f,
839 -0.0636843520278618f,
840 -0.0179051851263444f
841 };
842 )
843
844 void lanczos_resample_4x2(float *dst, const float *src, size_t count)
845 {
846 IF_ARCH_ARM(
847 const float *kernel = lanczos_kernel_4x2;
848 );
849
850 ARCH_ARM_ASM
851 (
852 // Prepare
853 __ASM_EMIT("vldm %[kernel], {q12-q15}")
854 __ASM_EMIT("subs %[count], #4")
855 __ASM_EMIT("blo 2f")
856
857 // 4x blocks
858 __ASM_EMIT("1:")
859 __ASM_EMIT("vldm %[src]!, {q0}")
860 __ASM_EMIT("vldm %[dst], {q4-q10}")
861 __ASM_EMIT("vdup.32 q3, d1[1]")
862 __ASM_EMIT("vdup.32 q2, d1[0]")
863 __ASM_EMIT("vdup.32 q1, d0[1]")
864 __ASM_EMIT("vdup.32 q0, d0[0]")
865
866 __ASM_EMIT("vmla.f32 q4, q12, q0")
867 __ASM_EMIT("vmla.f32 q5, q13, q0")
868 __ASM_EMIT("vmla.f32 q6, q14, q0")
869 __ASM_EMIT("vmla.f32 q7, q15, q0")
870 __ASM_EMIT("vmla.f32 q5, q12, q1")
871 __ASM_EMIT("vmla.f32 q6, q13, q1")
872 __ASM_EMIT("vmla.f32 q7, q14, q1")
873 __ASM_EMIT("vmla.f32 q8, q15, q1")
874 __ASM_EMIT("vmla.f32 q6, q12, q2")
875 __ASM_EMIT("vmla.f32 q7, q13, q2")
876 __ASM_EMIT("vmla.f32 q8, q14, q2")
877 __ASM_EMIT("vmla.f32 q9, q15, q2")
878 __ASM_EMIT("vmla.f32 q7, q12, q3")
879 __ASM_EMIT("vmla.f32 q8, q13, q3")
880 __ASM_EMIT("vmla.f32 q9, q14, q3")
881 __ASM_EMIT("vmla.f32 q10, q15, q3")
882 __ASM_EMIT("vstm %[dst], {q4-q10}")
883 __ASM_EMIT("subs %[count], #4")
884 __ASM_EMIT("add %[dst], #0x40")
885 __ASM_EMIT("bhs 1b")
886
887 // 2x block
888 __ASM_EMIT("2:")
889 __ASM_EMIT("adds %[count], #2")
890 __ASM_EMIT("blt 4f")
891
892 __ASM_EMIT("vldm %[src]!, {d0}")
893 __ASM_EMIT("vldm %[dst], {q4-q8}")
894 __ASM_EMIT("vdup.32 q1, d0[1]")
895 __ASM_EMIT("vdup.32 q0, d0[0]")
896
897 __ASM_EMIT("vmla.f32 q4, q12, q0")
898 __ASM_EMIT("vmla.f32 q5, q13, q0")
899 __ASM_EMIT("vmla.f32 q6, q14, q0")
900 __ASM_EMIT("vmla.f32 q7, q15, q0")
901 __ASM_EMIT("vmla.f32 q5, q12, q1")
902 __ASM_EMIT("vmla.f32 q6, q13, q1")
903 __ASM_EMIT("vmla.f32 q7, q14, q1")
904 __ASM_EMIT("vmla.f32 q8, q15, q1")
905 __ASM_EMIT("vstm %[dst], {q4-q8}")
906 __ASM_EMIT("sub %[count], #2")
907 __ASM_EMIT("add %[dst], #0x20")
908
909 // 1x block
910 __ASM_EMIT("4:")
911 __ASM_EMIT("adds %[count], #1")
912 __ASM_EMIT("blt 6f")
913
914 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]")
915 __ASM_EMIT("vldm %[dst], {d8-d15}")
916 __ASM_EMIT("vmla.f32 q4, q12, q0")
917 __ASM_EMIT("vmla.f32 q5, q13, q0")
918 __ASM_EMIT("vmla.f32 q6, q14, q0")
919 __ASM_EMIT("vmla.f32 q7, q15, q0")
920 __ASM_EMIT("vstm %[dst], {d8-d15}")
921
922 __ASM_EMIT("6:")
923 : [dst] "+r" (dst), [src] "+r" (src),
924 [count] "+r" (count)
925 : [kernel] "r" (kernel)
926 : "cc", "memory",
927 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
928 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
929 );
930 }
931
932 IF_ARCH_ARM(
933 static const float lanczos_kernel_4x3[] __lsp_aligned16 =
934 {
935 +0.0000000000000000f,
936 +0.0073559260471942f,
937 +0.0243170840741611f,
938 +0.0300210914495816f,
939
940 +0.0000000000000000f,
941 -0.0677913359005429f,
942 -0.1350949115231170f,
943 -0.1328710183650640f,
944
945 +0.0000000000000000f,
946 +0.2701898230462341f,
947 +0.6079271018540265f,
948 +0.8900670517104946f,
949
950 +1.0000000000000000f,
951 +0.8900670517104946f,
952 +0.6079271018540265f,
953 +0.2701898230462341f,
954
955 +0.0000000000000000f,
956 -0.1328710183650640f,
957 -0.1350949115231170f,
958 -0.0677913359005429f,
959
960 +0.0000000000000000f,
961 +0.0300210914495816f,
962 +0.0243170840741611f,
963 +0.0073559260471942f
964 };
965 )
966
967 void lanczos_resample_4x3(float *dst, const float *src, size_t count)
968 {
969 IF_ARCH_ARM(
970 const float *kernel = lanczos_kernel_4x3;
971 );
972
973 ARCH_ARM_ASM
974 (
975 // Prepare
976 __ASM_EMIT("vldm %[kernel], {q10-q15}")
977 __ASM_EMIT("subs %[count], #4")
978 __ASM_EMIT("blo 2f")
979
980 // 4x blocks
981 __ASM_EMIT("1:")
982 __ASM_EMIT("vldm %[src]!, {q0}")
983 __ASM_EMIT("vdup.32 q3, d1[1]")
984 __ASM_EMIT("vdup.32 q2, d1[0]")
985 __ASM_EMIT("vdup.32 q1, d0[1]")
986 __ASM_EMIT("vdup.32 q0, d0[0]")
987
988 // Part 1 - process 10 multiplications
989 __ASM_EMIT("vldm %[dst], {q4-q7}")
990 __ASM_EMIT("vmla.f32 q4, q10, q0")
991 __ASM_EMIT("vmla.f32 q5, q11, q0")
992 __ASM_EMIT("vmla.f32 q6, q12, q0")
993 __ASM_EMIT("vmla.f32 q7, q13, q0")
994 __ASM_EMIT("vmla.f32 q6, q11, q1")
995 __ASM_EMIT("vmla.f32 q7, q11, q2")
996 __ASM_EMIT("vmla.f32 q6, q10, q2")
997 __ASM_EMIT("vmla.f32 q7, q10, q3")
998 __ASM_EMIT("vmla.f32 q5, q10, q1")
999 __ASM_EMIT("vmla.f32 q7, q12, q1")
1000 __ASM_EMIT("vstm %[dst], {q4-q7}")
1001 __ASM_EMIT("add %[dst], #0x40")
1002 // Part 2 - process 8 multiplications
1003 __ASM_EMIT("vldm %[dst], {q4-q5}")
1004 __ASM_EMIT("vmla.f32 q4, q14, q0")
1005 __ASM_EMIT("vmla.f32 q5, q15, q0")
1006 __ASM_EMIT("vmla.f32 q4, q13, q1")
1007 __ASM_EMIT("vmla.f32 q5, q14, q1")
1008 __ASM_EMIT("vmla.f32 q4, q12, q2")
1009 __ASM_EMIT("vmla.f32 q5, q13, q2")
1010 __ASM_EMIT("vmla.f32 q4, q11, q3")
1011 __ASM_EMIT("vmla.f32 q5, q12, q3")
1012 __ASM_EMIT("vstm %[dst], {q4-q5}")
1013 __ASM_EMIT("add %[dst], #0x20")
1014 // Part 3 - process 6 multiplications
1015 __ASM_EMIT("vldm %[dst], {q4-q6}")
1016 __ASM_EMIT("vmla.f32 q4, q15, q1")
1017 __ASM_EMIT("vmla.f32 q5, q15, q2")
1018 __ASM_EMIT("vmla.f32 q4, q14, q2")
1019 __ASM_EMIT("vmla.f32 q5, q14, q3")
1020 __ASM_EMIT("vmla.f32 q4, q13, q3")
1021 __ASM_EMIT("vmla.f32 q6, q15, q3")
1022 __ASM_EMIT("vstm %[dst], {q4-q6}")
1023 __ASM_EMIT("subs %[count], #4")
1024 __ASM_EMIT("sub %[dst], #0x20")
1025 __ASM_EMIT("bhs 1b")
1026
1027 // 2x block
1028 __ASM_EMIT("2:")
1029 __ASM_EMIT("adds %[count], #2")
1030 __ASM_EMIT("blt 4f")
1031
1032 __ASM_EMIT("vldm %[src]!, {d0}")
1033 __ASM_EMIT("vdup.32 q1, d0[1]")
1034 __ASM_EMIT("vdup.32 q0, d0[0]")
1035
1036 // Part 1 - 7 multiplications
1037 __ASM_EMIT("vldm %[dst], {q4-q7}")
1038 __ASM_EMIT("vmla.f32 q4, q10, q0")
1039 __ASM_EMIT("vmla.f32 q5, q10, q1")
1040 __ASM_EMIT("vmla.f32 q5, q11, q0")
1041 __ASM_EMIT("vmla.f32 q6, q11, q1")
1042 __ASM_EMIT("vmla.f32 q7, q12, q1")
1043 __ASM_EMIT("vmla.f32 q6, q12, q0")
1044 __ASM_EMIT("vmla.f32 q7, q13, q0")
1045 __ASM_EMIT("vstm %[dst], {q4-q7}")
1046 __ASM_EMIT("add %[dst], #0x40")
1047
1048 // Part 2 - 5 multiplications
1049 __ASM_EMIT("vldm %[dst], {q4-q6}")
1050 __ASM_EMIT("vmla.f32 q4, q14, q0")
1051 __ASM_EMIT("vmla.f32 q5, q14, q1")
1052 __ASM_EMIT("vmla.f32 q4, q13, q1")
1053 __ASM_EMIT("vmla.f32 q5, q15, q0")
1054 __ASM_EMIT("vmla.f32 q6, q15, q1")
1055 __ASM_EMIT("vstm %[dst], {q4-q6}")
1056 __ASM_EMIT("sub %[count], #2")
1057 __ASM_EMIT("sub %[dst], #0x20")
1058
1059 // 1x block
1060 __ASM_EMIT("4:")
1061 __ASM_EMIT("adds %[count], #1")
1062 __ASM_EMIT("blt 6f")
1063
1064 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]")
1065 __ASM_EMIT("vldm %[dst], {q4-q9}")
1066 __ASM_EMIT("vmla.f32 q4, q0, q10")
1067 __ASM_EMIT("vmla.f32 q5, q0, q11")
1068 __ASM_EMIT("vmla.f32 q6, q0, q12")
1069 __ASM_EMIT("vmla.f32 q7, q0, q13")
1070 __ASM_EMIT("vmla.f32 q8, q0, q14")
1071 __ASM_EMIT("vmla.f32 q9, q0, q15")
1072 __ASM_EMIT("vstm %[dst], {q4-q9}")
1073
1074 __ASM_EMIT("6:")
1075 : [dst] "+r" (dst), [src] "+r" (src),
1076 [count] "+r" (count)
1077 : [kernel] "r" (kernel)
1078 : "cc", "memory",
1079 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
1080 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
1081 );
1082 }
1083
1084 IF_ARCH_ARM(
1085 static const float lanczos_kernel_4x4[] __lsp_aligned16 =
1086 {
1087 +0.0000000000000000f,
1088 -0.0039757442382413f,
1089 -0.0126608778212387f,
1090 -0.0150736176408234f,
1091
1092 +0.0000000000000000f,
1093 +0.0315083921595442f,
1094 +0.0599094833772629f,
1095 +0.0555206000541729f,
1096
1097 +0.0000000000000000f,
1098 -0.0917789511099593f,
1099 -0.1664152316035080f,
1100 -0.1525006180521938f,
1101
1102 +0.0000000000000000f,
1103 +0.2830490423665725f,
1104 +0.6203830132406946f,
1105 +0.8945424536042901f,
1106
1107 +1.0000000000000000f,
1108 +0.8945424536042901f,
1109 +0.6203830132406946f,
1110 +0.2830490423665725f,
1111
1112 +0.0000000000000000f,
1113 -0.1525006180521938f,
1114 -0.1664152316035080f,
1115 -0.0917789511099593f,
1116
1117 +0.0000000000000000f,
1118 +0.0555206000541729f,
1119 +0.0599094833772629f,
1120 +0.0315083921595442f,
1121
1122 +0.0000000000000000f,
1123 -0.0150736176408234f,
1124 -0.0126608778212387f,
1125 -0.0039757442382413f
1126 };
1127 )
1128
1129 void lanczos_resample_4x4(float *dst, const float *src, size_t count)
1130 {
1131 IF_ARCH_ARM(
1132 const float *kernel = lanczos_kernel_4x4;
1133 );
1134
1135 ARCH_ARM_ASM
1136 (
1137 // Prepare
1138 __ASM_EMIT("vldm %[kernel], {q8-q15}")
1139 __ASM_EMIT("subs %[count], #4")
1140 __ASM_EMIT("blo 2f")
1141
1142 // 4x blocks
1143 __ASM_EMIT("1:")
1144 __ASM_EMIT("vldm %[src]!, {q0}")
1145 __ASM_EMIT("vdup.32 q3, d1[1]")
1146 __ASM_EMIT("vdup.32 q2, d1[0]")
1147 __ASM_EMIT("vdup.32 q1, d0[1]")
1148 __ASM_EMIT("vdup.32 q0, d0[0]")
1149
1150 // Part 1
1151 __ASM_EMIT("vldm %[dst], {q4-q7}")
1152 __ASM_EMIT("vmla.f32 q7, q3, q8")
1153 __ASM_EMIT("vmla.f32 q4, q0, q8")
1154 __ASM_EMIT("vmla.f32 q5, q0, q9")
1155 __ASM_EMIT("vmla.f32 q6, q0, q10")
1156 __ASM_EMIT("vmla.f32 q7, q0, q11")
1157 __ASM_EMIT("vmla.f32 q5, q1, q8")
1158 __ASM_EMIT("vmla.f32 q6, q1, q9")
1159 __ASM_EMIT("vmla.f32 q7, q1, q10")
1160 __ASM_EMIT("vmla.f32 q6, q2, q8")
1161 __ASM_EMIT("vmla.f32 q7, q2, q9")
1162 __ASM_EMIT("vstm %[dst], {q4-q7}")
1163 __ASM_EMIT("add %[dst], #0x40")
1164 // Part 2
1165 __ASM_EMIT("vldm %[dst], {q4-q7}")
1166 __ASM_EMIT("vmla.f32 q4, q0, q12")
1167 __ASM_EMIT("vmla.f32 q5, q0, q13")
1168 __ASM_EMIT("vmla.f32 q6, q0, q14")
1169 __ASM_EMIT("vmla.f32 q7, q0, q15")
1170 __ASM_EMIT("vmla.f32 q4, q1, q11")
1171 __ASM_EMIT("vmla.f32 q5, q1, q12")
1172 __ASM_EMIT("vmla.f32 q6, q1, q13")
1173 __ASM_EMIT("vmla.f32 q7, q1, q14")
1174 __ASM_EMIT("vmla.f32 q4, q2, q10")
1175 __ASM_EMIT("vmla.f32 q5, q2, q11")
1176 __ASM_EMIT("vmla.f32 q6, q2, q12")
1177 __ASM_EMIT("vmla.f32 q7, q2, q13")
1178 __ASM_EMIT("vmla.f32 q4, q3, q9")
1179 __ASM_EMIT("vmla.f32 q5, q3, q10")
1180 __ASM_EMIT("vmla.f32 q6, q3, q11")
1181 __ASM_EMIT("vmla.f32 q7, q3, q12")
1182 __ASM_EMIT("vstm %[dst], {q4-q7}")
1183 __ASM_EMIT("add %[dst], #0x40")
1184 // Part 3
1185 __ASM_EMIT("vldm %[dst], {q4-q6}")
1186 __ASM_EMIT("vmla.f32 q4, q1, q15")
1187 __ASM_EMIT("vmla.f32 q5, q2, q15")
1188 __ASM_EMIT("vmla.f32 q4, q2, q14")
1189 __ASM_EMIT("vmla.f32 q5, q3, q14")
1190 __ASM_EMIT("vmla.f32 q4, q3, q13")
1191 __ASM_EMIT("vmla.f32 q6, q3, q15")
1192 __ASM_EMIT("vstm %[dst], {q4-q6}")
1193 __ASM_EMIT("subs %[count], #4")
1194 __ASM_EMIT("sub %[dst], #0x40")
1195 __ASM_EMIT("bhs 1b")
1196
1197 // 1x blocks
1198 __ASM_EMIT("2:")
1199 __ASM_EMIT("adds %[count], #3")
1200 __ASM_EMIT("blt 4f")
1201 __ASM_EMIT("3:")
1202
1203 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
1204 __ASM_EMIT("vldm %[dst], {q4-q7}")
1205 __ASM_EMIT("vmla.f32 q4, q0, q8")
1206 __ASM_EMIT("vmla.f32 q5, q0, q9")
1207 __ASM_EMIT("vmla.f32 q6, q0, q10")
1208 __ASM_EMIT("vmla.f32 q7, q0, q11")
1209 __ASM_EMIT("vstm %[dst], {q4-q7}")
1210 __ASM_EMIT("add %[dst], #0x40")
1211 __ASM_EMIT("vldm %[dst], {q4-q7}")
1212 __ASM_EMIT("vmla.f32 q4, q0, q12")
1213 __ASM_EMIT("vmla.f32 q5, q0, q13")
1214 __ASM_EMIT("vmla.f32 q6, q0, q14")
1215 __ASM_EMIT("vmla.f32 q7, q0, q15")
1216 __ASM_EMIT("vstm %[dst], {q4-q7}")
1217 __ASM_EMIT("subs %[count], #1")
1218 __ASM_EMIT("sub %[dst], #0x30")
1219 __ASM_EMIT("bhs 3b")
1220
1221 __ASM_EMIT("4:")
1222 : [dst] "+r" (dst), [src] "+r" (src),
1223 [count] "+r" (count)
1224 : [kernel] "r" (kernel)
1225 : "cc", "memory",
1226 "q0", "q1", "q2", "q3",
1227 "q4", "q5", "q6", "q7",
1228 "q8", "q9", "q10", "q11",
1229 "q12", "q13", "q14", "q15"
1230 );
1231 }
1232
1233 IF_ARCH_ARM(
1234 static const float lanczos_kernel_6x2[] __lsp_aligned16 =
1235 {
1236 +0.0000000000000000f,
1237 -0.0078021377848166f,
1238 -0.0315888188312782f,
1239 -0.0636843520278618f,
1240
1241 -0.0854897486982225f,
1242 -0.0719035699814534f,
1243 +0.0000000000000000f,
1244 +0.1409309971636486f,
1245
1246 +0.3419589947928900f,
1247 +0.5731591682507563f,
1248 +0.7897204707819555f,
1249 +0.9440586719628122f,
1250
1251 +1.0000000000000000f,
1252 +0.9440586719628122f,
1253 +0.7897204707819555f,
1254 +0.5731591682507563f,
1255
1256 +0.3419589947928900f,
1257 +0.1409309971636486f,
1258 +0.0000000000000000f,
1259 -0.0719035699814534f,
1260
1261 -0.0854897486982225f,
1262 -0.0636843520278618f,
1263 -0.0315888188312782f,
1264 -0.0078021377848166f
1265 };
1266 )
1267
1268 void lanczos_resample_6x2(float *dst, const float *src, size_t count)
1269 {
1270 IF_ARCH_ARM(
1271 const float *kernel = lanczos_kernel_6x2;
1272 );
1273
1274 ARCH_ARM_ASM
1275 (
1276 __ASM_EMIT("subs %[count], #1")
1277 __ASM_EMIT("blo 2f")
1278 __ASM_EMIT("vldm %[kernel], {q8-q13}")
1279
1280 __ASM_EMIT("1:")
1281 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
1282 __ASM_EMIT("vldm %[dst], {q2-q7}")
1283 __ASM_EMIT("vmla.f32 q2, q8, q0")
1284 __ASM_EMIT("vmla.f32 q3, q9, q0")
1285 __ASM_EMIT("vmla.f32 q4, q10, q0")
1286 __ASM_EMIT("vmla.f32 q5, q11, q0")
1287 __ASM_EMIT("vmla.f32 q6, q12, q0")
1288 __ASM_EMIT("vmla.f32 q7, q13, q0")
1289 __ASM_EMIT("vstm %[dst], {q2-q7}")
1290 __ASM_EMIT("subs %[count], #1")
1291 __ASM_EMIT("add %[dst], #0x18")
1292 __ASM_EMIT("bhs 1b")
1293
1294 __ASM_EMIT("2:")
1295 : [dst] "+r" (dst), [src] "+r" (src),
1296 [count] "+r" (count)
1297 : [kernel] "r" (kernel)
1298 : "cc", "memory",
1299 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
1300 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
1301 );
1302 }
1303
1304 IF_ARCH_ARM(
1305 static const float lanczos_kernel_6x3[] __lsp_aligned16 =
1306 {
1307 +0.0000000000000000f,
1308 +0.0032875048460955f,
1309 +0.0126609519658153f,
1310 +0.0243170840741611f,
1311
1312 +0.0310789306368038f,
1313 +0.0248005479513036f,
1314 +0.0000000000000000f,
1315 -0.0424907562338176f,
1316
1317 -0.0933267410806225f,
1318 -0.1350949115231170f,
1319 -0.1458230329384726f,
1320 -0.1049261531488149f,
1321
1322 +0.0000000000000000f,
1323 +0.1676517041508127f,
1324 +0.3807169003008463f,
1325 +0.6079271018540265f,
1326
1327 +0.8103009258121772f,
1328 +0.9500889005216107f,
1329 +1.0000000000000000f,
1330 +0.9500889005216107f,
1331
1332 +0.8103009258121772f,
1333 +0.6079271018540265f,
1334 +0.3807169003008463f,
1335 +0.1676517041508127f,
1336
1337 +0.0000000000000000f,
1338 -0.1049261531488149f,
1339 -0.1458230329384726f,
1340 -0.1350949115231170f,
1341
1342 -0.0933267410806225f,
1343 -0.0424907562338176f,
1344 +0.0000000000000000f,
1345 +0.0248005479513036f,
1346
1347 +0.0310789306368038f,
1348 +0.0243170840741611f,
1349 +0.0126609519658153f,
1350 +0.0032875048460955f
1351 };
1352 )
1353
1354 void lanczos_resample_6x3(float *dst, const float *src, size_t count)
1355 {
1356 IF_ARCH_ARM(
1357 const float *k1, *kernel = lanczos_kernel_6x3;
1358 float *d1;
1359 );
1360
1361 ARCH_ARM_ASM
1362 (
1363 __ASM_EMIT("subs %[count], #1")
1364 __ASM_EMIT("blo 2f")
1365 __ASM_EMIT("add %[k1], %[k0], #0x30")
1366 __ASM_EMIT("vldm %[k1], {q11-q13}")
1367 __ASM_EMIT("add %[k1], #0x30")
1368 // 1x blocks
1369 __ASM_EMIT("1:")
1370 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
1371 __ASM_EMIT("vldm %[k0], {q8-q10}")
1372 __ASM_EMIT("vldm %[d0], {q2-q7}")
1373 __ASM_EMIT("add %[d1], %[d0], #0x60")
1374 __ASM_EMIT("vmla.f32 q2, q8, q0")
1375 __ASM_EMIT("vmla.f32 q3, q9, q0")
1376 __ASM_EMIT("vmla.f32 q4, q10, q0")
1377 __ASM_EMIT("vmla.f32 q5, q11, q0")
1378 __ASM_EMIT("vmla.f32 q6, q12, q0")
1379 __ASM_EMIT("vmla.f32 q7, q13, q0")
1380 __ASM_EMIT("vstm %[d0], {q2-q7}")
1381 __ASM_EMIT("vldm %[k1], {q8-q10}")
1382 __ASM_EMIT("vldm %[d1], {q2-q4}")
1383 __ASM_EMIT("vmla.f32 q2, q8, q0")
1384 __ASM_EMIT("vmla.f32 q3, q9, q0")
1385 __ASM_EMIT("vmla.f32 q4, q10, q0")
1386 __ASM_EMIT("vstm %[d1], {q2-q4}")
1387 __ASM_EMIT("subs %[count], #1")
1388 __ASM_EMIT("add %[d0], #0x18")
1389 __ASM_EMIT("bhs 1b")
1390
1391 __ASM_EMIT("2:")
1392 : [d0] "+r" (dst), [d1] "=&r" (d1), [k1] "=&r" (k1),
1393 [src] "+r" (src),
1394 [count] "+r" (count)
1395 : [k0] "r" (kernel)
1396 : "cc", "memory",
1397 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
1398 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
1399 );
1400 }
1401
1402 IF_ARCH_ARM(
1403 static const float lanczos_kernel_6x4[] __lsp_aligned16 =
1404 {
1405 +0.0000000000000000f,
1406 -0.0018000092949500f,
1407 -0.0067568495254777f,
1408 -0.0126608778212387f,
1409
1410 -0.0157944094156391f,
1411 -0.0123019137260206f,
1412 +0.0000000000000000f,
1413 +0.0200263389720192f,
1414
1415 +0.0427448743491113f,
1416 +0.0599094833772629f,
1417 +0.0622703182267308f,
1418 +0.0427971267140625f,
1419
1420 +0.0000000000000000f,
1421 -0.0597744992948478f,
1422 -0.1220498237243924f,
1423 -0.1664152316035080f,
1424
1425 -0.1709794973964449f,
1426 -0.1181145298553785f,
1427 +0.0000000000000000f,
1428 +0.1776396342037379f,
1429
1430 +0.3948602353909778f,
1431 +0.6203830132406946f,
1432 +0.8175787925827955f,
1433 +0.9522049170285306f,
1434
1435 +1.0000000000000000f,
1436 +0.9522049170285306f,
1437 +0.8175787925827955f,
1438 +0.6203830132406946f,
1439
1440 +0.3948602353909778f,
1441 +0.1776396342037379f,
1442 +0.0000000000000000f,
1443 -0.1181145298553785f,
1444
1445 -0.1709794973964449f,
1446 -0.1664152316035080f,
1447 -0.1220498237243924f,
1448 -0.0597744992948478f,
1449
1450 +0.0000000000000000f,
1451 +0.0427971267140625f,
1452 +0.0622703182267308f,
1453 +0.0599094833772629f,
1454
1455 +0.0427448743491113f,
1456 +0.0200263389720192f,
1457 +0.0000000000000000f,
1458 -0.0123019137260206f,
1459
1460 -0.0157944094156391f,
1461 -0.0126608778212387f,
1462 -0.0067568495254777f,
1463 -0.0018000092949500f
1464 };
1465 )
1466
1467 void lanczos_resample_6x4(float *dst, const float *src, size_t count)
1468 {
1469 IF_ARCH_ARM(
1470 const float *k0 = lanczos_kernel_6x4, *k1;
1471 );
1472
1473 ARCH_ARM_ASM
1474 (
1475 __ASM_EMIT("subs %[count], #1")
1476 __ASM_EMIT("blo 2f")
1477 __ASM_EMIT("add %[k1], %[k0], #0x60")
1478 // 1x blocks
1479 __ASM_EMIT("1:")
1480 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
1481 // Part 1
1482 __ASM_EMIT("vldm %[k0], {q8-q13}")
1483 __ASM_EMIT("vldm %[dst], {q2-q7}")
1484 __ASM_EMIT("vmla.f32 q2, q8, q0")
1485 __ASM_EMIT("vmla.f32 q3, q9, q0")
1486 __ASM_EMIT("vmla.f32 q4, q10, q0")
1487 __ASM_EMIT("vmla.f32 q5, q11, q0")
1488 __ASM_EMIT("vmla.f32 q6, q12, q0")
1489 __ASM_EMIT("vmla.f32 q7, q13, q0")
1490 __ASM_EMIT("vstm %[dst], {q2-q7}")
1491 __ASM_EMIT("add %[dst], #0x60")
1492 // Part 2
1493 __ASM_EMIT("vldm %[k1], {q8-q13}")
1494 __ASM_EMIT("vldm %[dst], {q2-q7}")
1495 __ASM_EMIT("vmla.f32 q2, q8, q0")
1496 __ASM_EMIT("vmla.f32 q3, q9, q0")
1497 __ASM_EMIT("vmla.f32 q4, q10, q0")
1498 __ASM_EMIT("vmla.f32 q5, q11, q0")
1499 __ASM_EMIT("vmla.f32 q6, q12, q0")
1500 __ASM_EMIT("vmla.f32 q7, q13, q0")
1501 __ASM_EMIT("vstm %[dst], {q2-q7}")
1502 __ASM_EMIT("subs %[count], #1")
1503 __ASM_EMIT("sub %[dst], #0x48")
1504 __ASM_EMIT("bhs 1b")
1505
1506 __ASM_EMIT("2:")
1507 : [dst] "+r" (dst), [src] "+r" (src),
1508 [count] "+r" (count),
1509 [k1] "=&r" (k1)
1510 : [k0] "r" (k0)
1511 : "cc", "memory",
1512 "q0", "q1", "q2", "q3",
1513 "q4", "q5", "q6", "q7",
1514 "q8", "q9", "q10", "q11",
1515 "q12", "q13"
1516 );
1517 }
1518
1519 IF_ARCH_ARM(
1520 static const float lanczos_kernel_8x2[] __lsp_aligned16 =
1521 {
1522 +0.0000000000000000f,
1523 -0.0043033145538298f,
1524 -0.0179051851263444f,
1525 -0.0393892611124141f,
1526
1527 -0.0636843520278618f,
1528 -0.0823353965569232f,
1529 -0.0847248039068907f,
1530 -0.0600950644541902f,
1531
1532 +0.0000000000000000f,
1533 +0.0993408208324369f,
1534 +0.2353466775191407f,
1535 +0.3985033193355084f,
1536
1537 +0.5731591682507563f,
1538 +0.7396427919997760f,
1539 +0.8773540711908775f,
1540 +0.9682457746117045f,
1541
1542 +1.0000000000000000f,
1543 +0.9682457746117045f,
1544 +0.8773540711908775f,
1545 +0.7396427919997760f,
1546
1547 +0.5731591682507563f,
1548 +0.3985033193355084f,
1549 +0.2353466775191407f,
1550 +0.0993408208324369f,
1551
1552 +0.0000000000000000f,
1553 -0.0600950644541902f,
1554 -0.0847248039068907f,
1555 -0.0823353965569232f,
1556
1557 -0.0636843520278618f,
1558 -0.0393892611124141f,
1559 -0.0179051851263444f,
1560 -0.0043033145538298f
1561 };
1562 )
1563
1564 void lanczos_resample_8x2(float *dst, const float *src, size_t count)
1565 {
1566 IF_ARCH_ARM(
1567 const float *kernel = lanczos_kernel_8x2;
1568 float *d1, *d2, *d3;
1569 );
1570
1571 ARCH_ARM_ASM
1572 (
1573 __ASM_EMIT("subs %[count], #4")
1574 __ASM_EMIT("vldm %[kernel], {q8-q15}")
1575 __ASM_EMIT("blo 2f")
1576
1577 // x4 blocks
1578 __ASM_EMIT("1:")
1579 __ASM_EMIT("vld1.32 {q0}, [%[src]]!")
1580 __ASM_EMIT("add %[d1], %[d0], #0x40")
1581 __ASM_EMIT("add %[d2], %[d0], #0x80")
1582 __ASM_EMIT("add %[d3], %[d0], #0xc0")
1583 __ASM_EMIT("vdup.32 q3, d1[1]")
1584 __ASM_EMIT("vdup.32 q2, d1[0]")
1585 __ASM_EMIT("vdup.32 q1, d0[1]")
1586 __ASM_EMIT("vdup.32 q0, d0[0]")
1587 // Part 1
1588 __ASM_EMIT("vldm %[d0], {q4-q7}")
1589 __ASM_EMIT("vmla.f32 q4, q8, q0")
1590 __ASM_EMIT("vmla.f32 q5, q9, q0")
1591 __ASM_EMIT("vmla.f32 q6, q8, q1")
1592 __ASM_EMIT("vmla.f32 q7, q9, q1")
1593 __ASM_EMIT("vmla.f32 q6, q10, q0")
1594 __ASM_EMIT("vmla.f32 q7, q11, q0")
1595 __ASM_EMIT("vstm %[d0], {q4-q7}")
1596 // Part 2
1597 __ASM_EMIT("vldm %[d1], {q4-q7}")
1598 __ASM_EMIT("vmla.f32 q4, q12, q0")
1599 __ASM_EMIT("vmla.f32 q5, q11, q1")
1600 __ASM_EMIT("vmla.f32 q6, q10, q2")
1601 __ASM_EMIT("vmla.f32 q7, q9, q3")
1602 __ASM_EMIT("vmla.f32 q5, q13, q0")
1603 __ASM_EMIT("vmla.f32 q6, q12, q1")
1604 __ASM_EMIT("vmla.f32 q7, q11, q2")
1605 __ASM_EMIT("vmla.f32 q4, q8, q2")
1606 __ASM_EMIT("vmla.f32 q6, q14, q0")
1607 __ASM_EMIT("vmla.f32 q7, q13, q1")
1608 __ASM_EMIT("vmla.f32 q5, q9, q2")
1609 __ASM_EMIT("vmla.f32 q6, q8, q3")
1610 __ASM_EMIT("vmla.f32 q4, q10, q1")
1611 __ASM_EMIT("vmla.f32 q7, q15, q0")
1612 __ASM_EMIT("vstm %[d1], {q4-q7}")
1613 // Part 3
1614 __ASM_EMIT("vldm %[d2], {q4-q7}")
1615 __ASM_EMIT("vmla.f32 q4, q14, q1")
1616 __ASM_EMIT("vmla.f32 q5, q13, q2")
1617 __ASM_EMIT("vmla.f32 q6, q12, q3")
1618 __ASM_EMIT("vmla.f32 q5, q15, q1")
1619 __ASM_EMIT("vmla.f32 q6, q14, q2")
1620 __ASM_EMIT("vmla.f32 q7, q13, q3")
1621 __ASM_EMIT("vmla.f32 q4, q12, q2")
1622 __ASM_EMIT("vmla.f32 q5, q11, q3")
1623 __ASM_EMIT("vmla.f32 q7, q15, q2")
1624 __ASM_EMIT("vmla.f32 q4, q10, q3")
1625 __ASM_EMIT("vstm %[d2], {q4-q7}")
1626 // Part 4
1627 __ASM_EMIT("vldm %[d3], {q4-q5}")
1628 __ASM_EMIT("vmla.f32 q4, q14, q3")
1629 __ASM_EMIT("vmla.f32 q5, q15, q3")
1630 __ASM_EMIT("vstm %[d3], {q4-q5}")
1631 __ASM_EMIT("subs %[count], #4")
1632 __ASM_EMIT("add %[d0], #0x80")
1633 __ASM_EMIT("bhs 1b")
1634
1635 // x2 block
1636 __ASM_EMIT("2:")
1637 __ASM_EMIT("adds %[count], #2")
1638 __ASM_EMIT("blt 4f")
1639
1640 __ASM_EMIT("vldm %[src]!, {d0}")
1641 __ASM_EMIT("add %[d1], %[d0], #0x50")
1642 __ASM_EMIT("vdup.32 q1, d0[1]")
1643 __ASM_EMIT("vdup.32 q0, d0[0]")
1644 // Part 1
1645 __ASM_EMIT("vldm %[d0], {q2-q6}")
1646 __ASM_EMIT("vmla.f32 q2, q8, q0")
1647 __ASM_EMIT("vmla.f32 q5, q9, q1")
1648 __ASM_EMIT("vmla.f32 q4, q10, q0")
1649 __ASM_EMIT("vmla.f32 q6, q12, q0")
1650 __ASM_EMIT("vmla.f32 q3, q9, q0")
1651 __ASM_EMIT("vmla.f32 q4, q8, q1")
1652 __ASM_EMIT("vmla.f32 q5, q11, q0")
1653 __ASM_EMIT("vmla.f32 q6, q10, q1")
1654 __ASM_EMIT("vstm %[d0], {q2-q6}")
1655 // Part 2
1656 __ASM_EMIT("vldm %[d1], {q2-q6}")
1657 __ASM_EMIT("vmla.f32 q2, q13, q0")
1658 __ASM_EMIT("vmla.f32 q5, q14, q1")
1659 __ASM_EMIT("vmla.f32 q4, q15, q0")
1660 __ASM_EMIT("vmla.f32 q2, q11, q1")
1661 __ASM_EMIT("vmla.f32 q3, q14, q0")
1662 __ASM_EMIT("vmla.f32 q6, q15, q1")
1663 __ASM_EMIT("vmla.f32 q3, q12, q1")
1664 __ASM_EMIT("vmla.f32 q4, q13, q1")
1665 __ASM_EMIT("vstm %[d1], {q2-q6}")
1666 __ASM_EMIT("sub %[count], #2")
1667 __ASM_EMIT("add %[d0], #0x40")
1668
1669 // x1 block
1670 __ASM_EMIT("4:")
1671 __ASM_EMIT("adds %[count], #1")
1672 __ASM_EMIT("blt 6f")
1673
1674 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]")
1675 __ASM_EMIT("add %[d1], %[d0], #0x40")
1676 __ASM_EMIT("vldm %[d0], {q2-q5}")
1677 // Part 1
1678 __ASM_EMIT("vmla.f32 q2, q8, q0")
1679 __ASM_EMIT("vmla.f32 q3, q9, q0")
1680 __ASM_EMIT("vmla.f32 q4, q10, q0")
1681 __ASM_EMIT("vmla.f32 q5, q11, q0")
1682 __ASM_EMIT("vstm %[d0], {q2-q5}")
1683 // Part 2
1684 __ASM_EMIT("vldm %[d1], {q2-q5}")
1685 __ASM_EMIT("vmla.f32 q2, q12, q0")
1686 __ASM_EMIT("vmla.f32 q3, q13, q0")
1687 __ASM_EMIT("vmla.f32 q4, q14, q0")
1688 __ASM_EMIT("vmla.f32 q5, q15, q0")
1689 __ASM_EMIT("vstm %[d1], {q2-q5}")
1690
1691 __ASM_EMIT("6:")
1692 : [d0] "+r" (dst), [d1] "=&r" (d1), [d2] "=&r" (d2), [d3] "=&r" (d3),
1693 [src] "+r" (src),
1694 [count] "+r" (count)
1695 : [kernel] "r" (kernel)
1696 : "cc", "memory",
1697 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
1698 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
1699 );
1700 }
1701
1702 IF_ARCH_ARM(
1703 static const float lanczos_kernel_8x3[] __lsp_aligned16 =
1704 {
1705 +0.0000000000000000f,
1706 +0.0018368899607481f,
1707 +0.0073559260471942f,
1708 +0.0155961678435580f,
1709
1710 +0.0243170840741611f,
1711 +0.0303079634725070f,
1712 +0.0300210914495816f,
1713 +0.0204366616947175f,
1714
1715 +0.0000000000000000f,
1716 -0.0305684889733737f,
1717 -0.0677913359005429f,
1718 -0.1054383717904384f,
1719
1720 -0.1350949115231170f,
1721 -0.1472651639056537f,
1722 -0.1328710183650640f,
1723 -0.0849124693704824f,
1724
1725 +0.0000000000000000f,
1726 +0.1205345965259870f,
1727 +0.2701898230462341f,
1728 +0.4376469925430009f,
1729
1730 +0.6079271018540265f,
1731 +0.7642122243343417f,
1732 +0.8900670517104946f,
1733 +0.9717147892357163f,
1734
1735 +1.0000000000000000f,
1736 +0.9717147892357163f,
1737 +0.8900670517104946f,
1738 +0.7642122243343417f,
1739
1740 +0.6079271018540265f,
1741 +0.4376469925430009f,
1742 +0.2701898230462341f,
1743 +0.1205345965259870f,
1744
1745 +0.0000000000000000f,
1746 -0.0849124693704824f,
1747 -0.1328710183650640f,
1748 -0.1472651639056537f,
1749
1750 -0.1350949115231170f,
1751 -0.1054383717904384f,
1752 -0.0677913359005429f,
1753 -0.0305684889733737f,
1754
1755 +0.0000000000000000f,
1756 +0.0204366616947175f,
1757 +0.0300210914495816f,
1758 +0.0303079634725070f,
1759
1760 +0.0243170840741611f,
1761 +0.0155961678435580f,
1762 +0.0073559260471942f,
1763 +0.0018368899607481f
1764 };
1765 )
1766
1767 void lanczos_resample_8x3(float *dst, const float *src, size_t count)
1768 {
1769 IF_ARCH_ARM(
1770 const float *k1, *kernel = lanczos_kernel_8x3;
1771 float *d1, *d2;
1772 );
1773
1774 ARCH_ARM_ASM
1775 (
1776 __ASM_EMIT("subs %[count], #4")
1777 __ASM_EMIT("blo 2f")
1778
1779 // x4 blocks
1780 __ASM_EMIT("1:")
1781 __ASM_EMIT("vld1.32 {q0}, [%[src]]!")
1782 __ASM_EMIT("vldm %[k0], {q10-q15}")
1783 __ASM_EMIT("add %[k1], %[k0], #0x60")
1784 __ASM_EMIT("add %[d1], %[d0], #0x60")
1785 __ASM_EMIT("add %[d2], %[d0], #0xc0")
1786 __ASM_EMIT("vdup.32 q3, d1[1]")
1787 __ASM_EMIT("vdup.32 q2, d1[0]")
1788 __ASM_EMIT("vdup.32 q1, d0[1]")
1789 __ASM_EMIT("vdup.32 q0, d0[0]")
1790
1791 // Part 1
1792 __ASM_EMIT("vldm %[d0], {q4-q9}")
1793 __ASM_EMIT("vmla.f32 q4, q10, q0")
1794 __ASM_EMIT("vmla.f32 q7, q11, q1")
1795 __ASM_EMIT("vmla.f32 q6, q12, q0")
1796 __ASM_EMIT("vmla.f32 q9, q13, q1")
1797 __ASM_EMIT("vmla.f32 q5, q11, q0")
1798 __ASM_EMIT("vmla.f32 q8, q10, q2")
1799 __ASM_EMIT("vmla.f32 q7, q13, q0")
1800 __ASM_EMIT("vmla.f32 q9, q11, q2")
1801 __ASM_EMIT("vmla.f32 q8, q14, q0")
1802 __ASM_EMIT("vmla.f32 q6, q10, q1")
1803 __ASM_EMIT("vmla.f32 q9, q15, q0")
1804 __ASM_EMIT("vmla.f32 q8, q12, q1")
1805 __ASM_EMIT("vstm %[d0], {q4-q9}")
1806 // Part 2
1807 __ASM_EMIT("vldm %[d1], {q4-q9}")
1808 __ASM_EMIT("vmla.f32 q4, q14, q1")
1809 __ASM_EMIT("vmla.f32 q7, q15, q2")
1810 __ASM_EMIT("vmla.f32 q8, q14, q3")
1811 __ASM_EMIT("vmla.f32 q6, q12, q3")
1812 __ASM_EMIT("vmla.f32 q5, q13, q2")
1813 __ASM_EMIT("vmla.f32 q9, q15, q3")
1814 __ASM_EMIT("vmla.f32 q4, q12, q2")
1815 __ASM_EMIT("vmla.f32 q7, q13, q3")
1816 __ASM_EMIT("vmla.f32 q6, q14, q2")
1817 __ASM_EMIT("vmla.f32 q4, q10, q3")
1818 __ASM_EMIT("vmla.f32 q5, q15, q1")
1819 __ASM_EMIT("vmla.f32 q5, q11, q3")
1820 // Part 3
1821 __ASM_EMIT("vldm %[k1], {q10-q15}")
1822 __ASM_EMIT("vmla.f32 q4, q10, q0")
1823 __ASM_EMIT("vmla.f32 q7, q11, q1")
1824 __ASM_EMIT("vmla.f32 q6, q12, q0")
1825 __ASM_EMIT("vmla.f32 q9, q13, q1")
1826 __ASM_EMIT("vmla.f32 q5, q11, q0")
1827 __ASM_EMIT("vmla.f32 q8, q10, q2")
1828 __ASM_EMIT("vmla.f32 q7, q13, q0")
1829 __ASM_EMIT("vmla.f32 q9, q11, q2")
1830 __ASM_EMIT("vmla.f32 q8, q14, q0")
1831 __ASM_EMIT("vmla.f32 q6, q10, q1")
1832 __ASM_EMIT("vmla.f32 q9, q15, q0")
1833 __ASM_EMIT("vmla.f32 q8, q12, q1")
1834 __ASM_EMIT("vstm %[d1], {q4-q9}")
1835 // Part 4
1836 __ASM_EMIT("vldm %[d2], {q4-q9}")
1837 __ASM_EMIT("vmla.f32 q4, q14, q1")
1838 __ASM_EMIT("vmla.f32 q7, q15, q2")
1839 __ASM_EMIT("vmla.f32 q8, q14, q3")
1840 __ASM_EMIT("vmla.f32 q6, q12, q3")
1841 __ASM_EMIT("vmla.f32 q5, q13, q2")
1842 __ASM_EMIT("vmla.f32 q9, q15, q3")
1843 __ASM_EMIT("vmla.f32 q4, q12, q2")
1844 __ASM_EMIT("vmla.f32 q7, q13, q3")
1845 __ASM_EMIT("vmla.f32 q6, q14, q2")
1846 __ASM_EMIT("vmla.f32 q4, q10, q3")
1847 __ASM_EMIT("vmla.f32 q5, q15, q1")
1848 __ASM_EMIT("vmla.f32 q5, q11, q3")
1849 __ASM_EMIT("vstm %[d2], {q4-q9}")
1850 __ASM_EMIT("subs %[count], #4")
1851 __ASM_EMIT("add %[d0], #0x80")
1852 __ASM_EMIT("bhs 1b")
1853
1854 // x2 block
1855 __ASM_EMIT("2:")
1856 __ASM_EMIT("adds %[count], #2")
1857 __ASM_EMIT("blt 4f")
1858
1859 __ASM_EMIT("vldm %[src]!, {d0}")
1860 __ASM_EMIT("add %[d1], %[d0], #0x70")
1861 __ASM_EMIT("vldm %[k0], {q9-q15}")
1862 __ASM_EMIT("add %[k1], %[k0], #0x50")
1863 __ASM_EMIT("vdup.32 q1, d0[1]")
1864 __ASM_EMIT("vdup.32 q0, d0[0]")
1865 // Part 1
1866 __ASM_EMIT("vldm %[d0], {q2-q8}")
1867 __ASM_EMIT("vmla.f32 q2, q9, q0")
1868 __ASM_EMIT("vmla.f32 q7, q14, q0")
1869 __ASM_EMIT("vmla.f32 q4, q9, q1")
1870 __ASM_EMIT("vmla.f32 q3, q10, q0")
1871 __ASM_EMIT("vmla.f32 q6, q11, q1")
1872 __ASM_EMIT("vmla.f32 q8, q15, q0")
1873 __ASM_EMIT("vmla.f32 q5, q12, q0")
1874 __ASM_EMIT("vmla.f32 q8, q13, q1")
1875 __ASM_EMIT("vmla.f32 q4, q11, q0")
1876 __ASM_EMIT("vmla.f32 q5, q10, q1")
1877 __ASM_EMIT("vmla.f32 q6, q13, q0")
1878 __ASM_EMIT("vmla.f32 q7, q12, q1")
1879 __ASM_EMIT("vstm %[d0], {q2-q8}")
1880 // Part 2
1881 __ASM_EMIT("vldm %[k1], {q9-q15}")
1882 __ASM_EMIT("vldm %[d1], {q2-q8}")
1883 __ASM_EMIT("vmla.f32 q2, q9, q1")
1884 __ASM_EMIT("vmla.f32 q3, q10, q1")
1885 __ASM_EMIT("vmla.f32 q4, q13, q0")
1886 __ASM_EMIT("vmla.f32 q7, q14, q1")
1887 __ASM_EMIT("vmla.f32 q2, q11, q0")
1888 __ASM_EMIT("vmla.f32 q5, q12, q1")
1889 __ASM_EMIT("vmla.f32 q6, q15, q0")
1890 __ASM_EMIT("vmla.f32 q4, q11, q1")
1891 __ASM_EMIT("vmla.f32 q5, q14, q0")
1892 __ASM_EMIT("vmla.f32 q8, q15, q1")
1893 __ASM_EMIT("vmla.f32 q3, q12, q0")
1894 __ASM_EMIT("vmla.f32 q6, q13, q1")
1895 __ASM_EMIT("vstm %[d1], {q2-q8}")
1896 __ASM_EMIT("sub %[count], #2")
1897 __ASM_EMIT("add %[d0], #0x40")
1898
1899 // x1 block
1900 __ASM_EMIT("4:")
1901 __ASM_EMIT("adds %[count], #1")
1902 __ASM_EMIT("blt 6f")
1903
1904 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]")
1905 __ASM_EMIT("vldm %[k0], {q10-q15}")
1906 __ASM_EMIT("add %[d1], %[d0], #0x60")
1907 __ASM_EMIT("add %[k1], %[k0], #0x60")
1908 // Part 1
1909 __ASM_EMIT("vldm %[d0], {q4-q9}")
1910 __ASM_EMIT("vmla.f32 q4, q10, q0")
1911 __ASM_EMIT("vmla.f32 q5, q11, q0")
1912 __ASM_EMIT("vmla.f32 q6, q12, q0")
1913 __ASM_EMIT("vmla.f32 q7, q13, q0")
1914 __ASM_EMIT("vmla.f32 q8, q14, q0")
1915 __ASM_EMIT("vmla.f32 q9, q15, q0")
1916 __ASM_EMIT("vstm %[d0], {q4-q9}")
1917 // Part 2
1918 __ASM_EMIT("vldm %[k1], {q10-q15}")
1919 __ASM_EMIT("vldm %[d1], {q4-q9}")
1920 __ASM_EMIT("vmla.f32 q4, q10, q0")
1921 __ASM_EMIT("vmla.f32 q5, q11, q0")
1922 __ASM_EMIT("vmla.f32 q6, q12, q0")
1923 __ASM_EMIT("vmla.f32 q7, q13, q0")
1924 __ASM_EMIT("vmla.f32 q8, q14, q0")
1925 __ASM_EMIT("vmla.f32 q9, q15, q0")
1926 __ASM_EMIT("vstm %[d1], {q4-q9}")
1927
1928 __ASM_EMIT("6:")
1929 : [d0] "+r" (dst), [d1] "=&r" (d1), [d2] "=&r" (d2), [k1] "=&r" (k1),
1930 [src] "+r" (src),
1931 [count] "+r" (count)
1932 : [k0] "r" (kernel)
1933 : "cc", "memory",
1934 "q0", "q1", "q2", "q3",
1935 "q4", "q5", "q6", "q7",
1936 "q8", "q9", "q10", "q11",
1937 "q12", "q13", "q14", "q15"
1938 );
1939 }
1940
1941 IF_ARCH_ARM(
1942 static const float lanczos_kernel_8x4[] __lsp_aligned16 =
1943 {
1944 +0.0000000000000000f,
1945 -0.0010124148822791f,
1946 -0.0039757442382413f,
1947 -0.0082714887261119f,
1948
1949 -0.0126608778212387f,
1950 -0.0154958216565010f,
1951 -0.0150736176408234f,
1952 -0.0100753105205530f,
1953
1954 +0.0000000000000000f,
1955 +0.0145047275409824f,
1956 +0.0315083921595442f,
1957 +0.0479233082326825f,
1958
1959 +0.0599094833772629f,
1960 +0.0635233253590927f,
1961 +0.0555206000541729f,
1962 +0.0341810767869351f,
1963
1964 +0.0000000000000000f,
1965 -0.0439036941841078f,
1966 -0.0917789511099593f,
1967 -0.1356918370096595f,
1968
1969 -0.1664152316035080f,
1970 -0.1746626357901899f,
1971 -0.1525006180521938f,
1972 -0.0947284057923417f,
1973
1974 +0.0000000000000000f,
1975 +0.1285116137825641f,
1976 +0.2830490423665725f,
1977 +0.4518581595035692f,
1978
1979 +0.6203830132406946f,
1980 +0.7729246687400148f,
1981 +0.8945424536042901f,
1982 +0.9729307018702211f,
1983
1984 +1.0000000000000000f,
1985 +0.9729307018702211f,
1986 +0.8945424536042901f,
1987 +0.7729246687400148f,
1988
1989 +0.6203830132406946f,
1990 +0.4518581595035692f,
1991 +0.2830490423665725f,
1992 +0.1285116137825641f,
1993
1994 +0.0000000000000000f,
1995 -0.0947284057923417f,
1996 -0.1525006180521938f,
1997 -0.1746626357901899f,
1998
1999 -0.1664152316035080f,
2000 -0.1356918370096595f,
2001 -0.0917789511099593f,
2002 -0.0439036941841078f,
2003
2004 +0.0000000000000000f,
2005 +0.0341810767869351f,
2006 +0.0555206000541729f,
2007 +0.0635233253590927f,
2008
2009 +0.0599094833772629f,
2010 +0.0479233082326825f,
2011 +0.0315083921595442f,
2012 +0.0145047275409824f,
2013
2014 +0.0000000000000000f,
2015 -0.0100753105205530f,
2016 -0.0150736176408234f,
2017 -0.0154958216565010f,
2018
2019 -0.0126608778212387f,
2020 -0.0082714887261119f,
2021 -0.0039757442382413f,
2022 -0.0010124148822791f
2023 };
2024 )
2025
2026 void lanczos_resample_8x4(float *dst, const float *src, size_t count)
2027 {
2028 IF_ARCH_ARM(
2029 const float *k0 = lanczos_kernel_8x4, *k1;
2030 );
2031
2032 ARCH_ARM_ASM
2033 (
2034 __ASM_EMIT("subs %[count], #2")
2035 __ASM_EMIT("add %[k1], %[k0], #0x80")
2036 __ASM_EMIT("blo 2f")
2037
2038 // x2 blocks
2039 __ASM_EMIT("1:")
2040 __ASM_EMIT("vldm %[src]!, {d0}")
2041 __ASM_EMIT("vdup.32 q1, d0[1]")
2042 __ASM_EMIT("vdup.32 q0, d0[0]")
2043 // Part 1
2044 __ASM_EMIT("vldm %[k0], {q8-q15}")
2045 __ASM_EMIT("vldm %[dst], {q4-q7}")
2046 __ASM_EMIT("vmla.f32 q4, q8, q0")
2047 __ASM_EMIT("vmla.f32 q5, q9, q0")
2048 __ASM_EMIT("vmla.f32 q6, q10, q0")
2049 __ASM_EMIT("vmla.f32 q7, q11, q0")
2050 __ASM_EMIT("vmla.f32 q6, q8, q1")
2051 __ASM_EMIT("vmla.f32 q7, q9, q1")
2052 __ASM_EMIT("vmul.f32 q2, q10, q1")
2053 __ASM_EMIT("vmul.f32 q3, q11, q1")
2054 __ASM_EMIT("vstm %[dst], {q4-q7}")
2055 __ASM_EMIT("add %[dst], #0x40")
2056 // Part 2
2057 __ASM_EMIT("vldm %[dst], {q4-q7}")
2058 __ASM_EMIT("vmla.f32 q4, q12, q0")
2059 __ASM_EMIT("vmla.f32 q5, q13, q0")
2060 __ASM_EMIT("vmla.f32 q6, q14, q0")
2061 __ASM_EMIT("vmla.f32 q7, q15, q0")
2062 __ASM_EMIT("vadd.f32 q4, q4, q2")
2063 __ASM_EMIT("vadd.f32 q5, q5, q3")
2064 __ASM_EMIT("vmla.f32 q6, q12, q1")
2065 __ASM_EMIT("vmla.f32 q7, q13, q1")
2066 __ASM_EMIT("vmul.f32 q2, q14, q1")
2067 __ASM_EMIT("vmul.f32 q3, q15, q1")
2068 __ASM_EMIT("vstm %[dst], {q4-q7}")
2069 __ASM_EMIT("add %[dst], #0x40")
2070 // Part 3
2071 __ASM_EMIT("vldm %[k1], {q8-q15}")
2072 __ASM_EMIT("vldm %[dst], {q4-q7}")
2073 __ASM_EMIT("vmla.f32 q4, q8, q0")
2074 __ASM_EMIT("vmla.f32 q5, q9, q0")
2075 __ASM_EMIT("vmla.f32 q6, q10, q0")
2076 __ASM_EMIT("vmla.f32 q7, q11, q0")
2077 __ASM_EMIT("vadd.f32 q4, q4, q2")
2078 __ASM_EMIT("vadd.f32 q5, q5, q3")
2079 __ASM_EMIT("vmla.f32 q6, q8, q1")
2080 __ASM_EMIT("vmla.f32 q7, q9, q1")
2081 __ASM_EMIT("vmul.f32 q2, q10, q1")
2082 __ASM_EMIT("vmul.f32 q3, q11, q1")
2083 __ASM_EMIT("vstm %[dst], {q4-q7}")
2084 __ASM_EMIT("add %[dst], #0x40")
2085 // Part 4
2086 __ASM_EMIT("vldm %[dst], {q4-q9}")
2087 __ASM_EMIT("vmla.f32 q4, q12, q0")
2088 __ASM_EMIT("vmla.f32 q5, q13, q0")
2089 __ASM_EMIT("vmla.f32 q6, q14, q0")
2090 __ASM_EMIT("vmla.f32 q7, q15, q0")
2091 __ASM_EMIT("vadd.f32 q4, q4, q2")
2092 __ASM_EMIT("vadd.f32 q5, q5, q3")
2093 __ASM_EMIT("vmla.f32 q6, q12, q1")
2094 __ASM_EMIT("vmla.f32 q7, q13, q1")
2095 __ASM_EMIT("vmla.f32 q8, q14, q1")
2096 __ASM_EMIT("vmla.f32 q9, q15, q1")
2097 __ASM_EMIT("vstm %[dst], {q4-q9}")
2098 __ASM_EMIT("subs %[count], #2")
2099 __ASM_EMIT("sub %[dst], #0x80")
2100 __ASM_EMIT("bhs 1b")
2101
2102 // x2 block
2103 __ASM_EMIT("2:")
2104 __ASM_EMIT("adds %[count], #1")
2105 __ASM_EMIT("blt 4f")
2106
2107 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]")
2108 // Part 1
2109 __ASM_EMIT("vldm %[k0], {q8-q15}")
2110 __ASM_EMIT("vldm %[dst], {q4-q7}")
2111 __ASM_EMIT("vmla.f32 q4, q8, q0")
2112 __ASM_EMIT("vmla.f32 q5, q9, q0")
2113 __ASM_EMIT("vmla.f32 q6, q10, q0")
2114 __ASM_EMIT("vmla.f32 q7, q11, q0")
2115 __ASM_EMIT("vstm %[dst], {q4-q7}")
2116 __ASM_EMIT("add %[dst], #0x40")
2117 // Part 2
2118 __ASM_EMIT("vldm %[dst], {q4-q7}")
2119 __ASM_EMIT("vmla.f32 q4, q12, q0")
2120 __ASM_EMIT("vmla.f32 q5, q13, q0")
2121 __ASM_EMIT("vmla.f32 q6, q14, q0")
2122 __ASM_EMIT("vmla.f32 q7, q15, q0")
2123 __ASM_EMIT("vstm %[dst], {q4-q7}")
2124 __ASM_EMIT("add %[dst], #0x40")
2125 // Part 3
2126 __ASM_EMIT("vldm %[k1], {q8-q15}")
2127 __ASM_EMIT("vldm %[dst], {q4-q7}")
2128 __ASM_EMIT("vmla.f32 q4, q8, q0")
2129 __ASM_EMIT("vmla.f32 q5, q9, q0")
2130 __ASM_EMIT("vmla.f32 q6, q10, q0")
2131 __ASM_EMIT("vmla.f32 q7, q11, q0")
2132 __ASM_EMIT("vstm %[dst], {q4-q7}")
2133 __ASM_EMIT("add %[dst], #0x40")
2134 // Part 4
2135 __ASM_EMIT("vldm %[dst], {q4-q7}")
2136 __ASM_EMIT("vmla.f32 q4, q12, q0")
2137 __ASM_EMIT("vmla.f32 q5, q13, q0")
2138 __ASM_EMIT("vmla.f32 q6, q14, q0")
2139 __ASM_EMIT("vmla.f32 q7, q15, q0")
2140 __ASM_EMIT("vstm %[dst], {q4-q7}")
2141 __ASM_EMIT("add %[dst], #0x40")
2142
2143 __ASM_EMIT("4:")
2144 : [dst] "+r" (dst), [src] "+r" (src),
2145 [count] "+r" (count),
2146 [k1] "=&r" (k1)
2147 : [k0] "r" (k0)
2148 : "cc", "memory",
2149 "q0", "q1", "q2", "q3",
2150 "q4", "q5", "q6", "q7",
2151 "q8", "q9", "q10", "q11",
2152 "q12", "q13", "q14", "q15"
2153 );
2154 }
2155
2156 void downsample_2x(float *dst, const float *src, size_t count)
2157 {
2158 ARCH_ARM_ASM
2159 (
2160 __ASM_EMIT("subs %[count], #32")
2161 __ASM_EMIT("blo 2f")
2162
2163 // x32 blocks
2164 __ASM_EMIT("1:")
2165 __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!")
2166 __ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!")
2167 __ASM_EMIT("vld2.32 {q4-q5}, [%[src]]!")
2168 __ASM_EMIT("vmov q1, q2")
2169 __ASM_EMIT("vld2.32 {q6-q7}, [%[src]]!")
2170 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
2171 __ASM_EMIT("vmov q2, q4")
2172 __ASM_EMIT("vld2.32 {q8-q9}, [%[src]]!")
2173 __ASM_EMIT("vmov q3, q6")
2174 __ASM_EMIT("vld2.32 {q10-q11}, [%[src]]!")
2175 __ASM_EMIT("vst1.32 {q2-q3}, [%[dst]]!")
2176 __ASM_EMIT("vmov q4, q8")
2177 __ASM_EMIT("vld2.32 {q12-q13}, [%[src]]!")
2178 __ASM_EMIT("vmov q5, q10")
2179 __ASM_EMIT("vld2.32 {q14-q15}, [%[src]]!")
2180 __ASM_EMIT("vst1.32 {q4-q5}, [%[dst]]!")
2181 __ASM_EMIT("vmov q6, q12")
2182 __ASM_EMIT("vmov q7, q14")
2183 __ASM_EMIT("subs %[count], #32")
2184 __ASM_EMIT("vst1.32 {q6-q7}, [%[dst]]!")
2185 __ASM_EMIT("bhs 1b")
2186
2187 // x16 block
2188 __ASM_EMIT("2:")
2189 __ASM_EMIT("adds %[count], #16")
2190 __ASM_EMIT("blt 4f")
2191 __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!")
2192 __ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!")
2193 __ASM_EMIT("vld2.32 {q4-q5}, [%[src]]!")
2194 __ASM_EMIT("vmov q1, q2")
2195 __ASM_EMIT("vld2.32 {q6-q7}, [%[src]]!")
2196 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
2197 __ASM_EMIT("vmov q2, q4")
2198 __ASM_EMIT("vmov q3, q6")
2199 __ASM_EMIT("sub %[count], #16")
2200 __ASM_EMIT("vst1.32 {q2-q3}, [%[dst]]!")
2201
2202 // x8 block
2203 __ASM_EMIT("4:")
2204 __ASM_EMIT("adds %[count], #8")
2205 __ASM_EMIT("blt 6f")
2206 __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!")
2207 __ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!")
2208 __ASM_EMIT("vmov q1, q2")
2209 __ASM_EMIT("sub %[count], #8")
2210 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
2211
2212 // x4 block
2213 __ASM_EMIT("6:")
2214 __ASM_EMIT("adds %[count], #4")
2215 __ASM_EMIT("blt 8f")
2216 __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!")
2217 __ASM_EMIT("sub %[count], #4")
2218 __ASM_EMIT("vst1.32 {q0}, [%[dst]]!")
2219
2220 // x1 blocks
2221 __ASM_EMIT("8:")
2222 __ASM_EMIT("adds %[count], #3")
2223 __ASM_EMIT("blt 10f")
2224 __ASM_EMIT("9:")
2225 __ASM_EMIT("vldm.32 %[src]!, {s0, s1}")
2226 __ASM_EMIT("subs %[count], #1")
2227 __ASM_EMIT("vstm.32 %[dst]!, {s0}")
2228 __ASM_EMIT("bge 9b")
2229 __ASM_EMIT("10:")
2230
2231 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
2232 :
2233 : "cc", "memory",
2234 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
2235 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
2236 );
2237 }
2238
2239 void downsample_3x(float *dst, const float *src, size_t count)
2240 {
2241 ARCH_ARM_ASM
2242 (
2243 __ASM_EMIT("subs %[count], #16")
2244 __ASM_EMIT("blo 2f")
2245
2246 // x16 blocks
2247 __ASM_EMIT("1:")
2248 __ASM_EMIT("vldr s0, [%[src], #0x000]")
2249 __ASM_EMIT("vldr s1, [%[src], #0x00c]")
2250 __ASM_EMIT("vldr s2, [%[src], #0x018]")
2251 __ASM_EMIT("vldr s3, [%[src], #0x024]")
2252 __ASM_EMIT("vldr s4, [%[src], #0x030]")
2253 __ASM_EMIT("vldr s5, [%[src], #0x03c]")
2254 __ASM_EMIT("vldr s6, [%[src], #0x048]")
2255 __ASM_EMIT("vldr s7, [%[src], #0x054]")
2256 __ASM_EMIT("vldr s8, [%[src], #0x060]")
2257 __ASM_EMIT("vldr s9, [%[src], #0x06c]")
2258 __ASM_EMIT("vldr s10, [%[src], #0x078]")
2259 __ASM_EMIT("vldr s11, [%[src], #0x084]")
2260 __ASM_EMIT("vldr s12, [%[src], #0x090]")
2261 __ASM_EMIT("vldr s13, [%[src], #0x09c]")
2262 __ASM_EMIT("vldr s14, [%[src], #0x0a8]")
2263 __ASM_EMIT("vldr s15, [%[src], #0x0b4]")
2264 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
2265 __ASM_EMIT("add %[src], #0xc0")
2266 __ASM_EMIT("subs %[count], #16")
2267 __ASM_EMIT("bhs 1b")
2268
2269 // x8 block
2270 __ASM_EMIT("2:")
2271 __ASM_EMIT("adds %[count], #8")
2272 __ASM_EMIT("blt 4f")
2273
2274 __ASM_EMIT("vldr s0, [%[src], #0x000]")
2275 __ASM_EMIT("vldr s1, [%[src], #0x00c]")
2276 __ASM_EMIT("vldr s2, [%[src], #0x018]")
2277 __ASM_EMIT("vldr s3, [%[src], #0x024]")
2278 __ASM_EMIT("vldr s4, [%[src], #0x030]")
2279 __ASM_EMIT("vldr s5, [%[src], #0x03c]")
2280 __ASM_EMIT("vldr s6, [%[src], #0x048]")
2281 __ASM_EMIT("vldr s7, [%[src], #0x054]")
2282 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
2283 __ASM_EMIT("add %[src], #0x60")
2284 __ASM_EMIT("sub %[count], #8")
2285
2286 // x4 block
2287 __ASM_EMIT("4:")
2288 __ASM_EMIT("adds %[count], #4")
2289 __ASM_EMIT("blt 6f")
2290 __ASM_EMIT("vldr s0, [%[src], #0x000]")
2291 __ASM_EMIT("vldr s1, [%[src], #0x00c]")
2292 __ASM_EMIT("vldr s2, [%[src], #0x018]")
2293 __ASM_EMIT("vldr s3, [%[src], #0x024]")
2294 __ASM_EMIT("vstm %[dst]!, {q0}")
2295 __ASM_EMIT("add %[src], #0x30")
2296 __ASM_EMIT("sub %[count], #4")
2297
2298 // x1 blocks
2299 __ASM_EMIT("6:")
2300 __ASM_EMIT("adds %[count], #3")
2301 __ASM_EMIT("blt 8f")
2302 __ASM_EMIT("7:")
2303 __ASM_EMIT("vldm.32 %[src]!, {s0-s2}")
2304 __ASM_EMIT("vstm.32 %[dst]!, {s0}")
2305 __ASM_EMIT("subs %[count], #1")
2306 __ASM_EMIT("bge 7b")
2307
2308 __ASM_EMIT("8:")
2309
2310 : [dst] "+r" (dst), [src] "+r" (src),
2311 [count] "+r" (count)
2312 :
2313 : "cc", "memory",
2314 "q0", "q1", "q2", "q3"
2315 );
2316 }
2317
2318 void downsample_4x(float *dst, const float *src, size_t count)
2319 {
2320 ARCH_ARM_ASM
2321 (
2322 __ASM_EMIT("subs %[count], #16")
2323 __ASM_EMIT("blo 2f")
2324
2325 // x16 blocks
2326 __ASM_EMIT("1:")
2327 __ASM_EMIT("vldr s0, [%[src], #0x000]")
2328 __ASM_EMIT("vldr s1, [%[src], #0x010]")
2329 __ASM_EMIT("vldr s2, [%[src], #0x020]")
2330 __ASM_EMIT("vldr s3, [%[src], #0x030]")
2331 __ASM_EMIT("vldr s4, [%[src], #0x040]")
2332 __ASM_EMIT("vldr s5, [%[src], #0x050]")
2333 __ASM_EMIT("vldr s6, [%[src], #0x060]")
2334 __ASM_EMIT("vldr s7, [%[src], #0x070]")
2335 __ASM_EMIT("vldr s8, [%[src], #0x080]")
2336 __ASM_EMIT("vldr s9, [%[src], #0x090]")
2337 __ASM_EMIT("vldr s10, [%[src], #0x0a0]")
2338 __ASM_EMIT("vldr s11, [%[src], #0x0b0]")
2339 __ASM_EMIT("vldr s12, [%[src], #0x0c0]")
2340 __ASM_EMIT("vldr s13, [%[src], #0x0d0]")
2341 __ASM_EMIT("vldr s14, [%[src], #0x0e0]")
2342 __ASM_EMIT("vldr s15, [%[src], #0x0f0]")
2343 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
2344 __ASM_EMIT("add %[src], #0x100")
2345 __ASM_EMIT("subs %[count], #16")
2346 __ASM_EMIT("bhs 1b")
2347
2348 // x8 block
2349 __ASM_EMIT("2:")
2350 __ASM_EMIT("adds %[count], #8")
2351 __ASM_EMIT("blt 4f")
2352
2353 __ASM_EMIT("vldr s0, [%[src], #0x000]")
2354 __ASM_EMIT("vldr s1, [%[src], #0x010]")
2355 __ASM_EMIT("vldr s2, [%[src], #0x020]")
2356 __ASM_EMIT("vldr s3, [%[src], #0x030]")
2357 __ASM_EMIT("vldr s4, [%[src], #0x040]")
2358 __ASM_EMIT("vldr s5, [%[src], #0x050]")
2359 __ASM_EMIT("vldr s6, [%[src], #0x060]")
2360 __ASM_EMIT("vldr s7, [%[src], #0x070]")
2361 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
2362 __ASM_EMIT("add %[src], #0x80")
2363 __ASM_EMIT("sub %[count], #8")
2364
2365 // x4 block
2366 __ASM_EMIT("4:")
2367 __ASM_EMIT("adds %[count], #4")
2368 __ASM_EMIT("blt 6f")
2369 __ASM_EMIT("vldr s0, [%[src], #0x000]")
2370 __ASM_EMIT("vldr s1, [%[src], #0x010]")
2371 __ASM_EMIT("vldr s2, [%[src], #0x020]")
2372 __ASM_EMIT("vldr s3, [%[src], #0x030]")
2373 __ASM_EMIT("vstm %[dst]!, {q0}")
2374 __ASM_EMIT("add %[src], #0x40")
2375 __ASM_EMIT("sub %[count], #4")
2376
2377 // x1 blocks
2378 __ASM_EMIT("6:")
2379 __ASM_EMIT("adds %[count], #3")
2380 __ASM_EMIT("blt 8f")
2381 __ASM_EMIT("7:")
2382 __ASM_EMIT("vldm.32 %[src]!, {q0}")
2383 __ASM_EMIT("vstm.32 %[dst]!, {s0}")
2384 __ASM_EMIT("subs %[count], #1")
2385 __ASM_EMIT("bge 7b")
2386
2387 __ASM_EMIT("8:")
2388
2389 : [dst] "+r" (dst), [src] "+r" (src),
2390 [count] "+r" (count)
2391 :
2392 : "cc", "memory",
2393 "q0", "q1", "q2", "q3"
2394 );
2395 }
2396
2397 void downsample_6x(float *dst, const float *src, size_t count)
2398 {
2399 ARCH_ARM_ASM
2400 (
2401 __ASM_EMIT("subs %[count], #16")
2402 __ASM_EMIT("blo 2f")
2403
2404 // x16 blocks
2405 __ASM_EMIT("1:")
2406 __ASM_EMIT("vldr s0, [%[src], #0x000]")
2407 __ASM_EMIT("vldr s1, [%[src], #0x018]")
2408 __ASM_EMIT("vldr s2, [%[src], #0x030]")
2409 __ASM_EMIT("vldr s3, [%[src], #0x048]")
2410 __ASM_EMIT("vldr s4, [%[src], #0x060]")
2411 __ASM_EMIT("vldr s5, [%[src], #0x078]")
2412 __ASM_EMIT("vldr s6, [%[src], #0x090]")
2413 __ASM_EMIT("vldr s7, [%[src], #0x0a8]")
2414 __ASM_EMIT("vldr s8, [%[src], #0x0c0]")
2415 __ASM_EMIT("vldr s9, [%[src], #0x0d8]")
2416 __ASM_EMIT("vldr s10, [%[src], #0x0f0]")
2417 __ASM_EMIT("vldr s11, [%[src], #0x108]")
2418 __ASM_EMIT("vldr s12, [%[src], #0x120]")
2419 __ASM_EMIT("vldr s13, [%[src], #0x138]")
2420 __ASM_EMIT("vldr s14, [%[src], #0x150]")
2421 __ASM_EMIT("vldr s15, [%[src], #0x168]")
2422 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
2423 __ASM_EMIT("add %[src], #0x180")
2424 __ASM_EMIT("subs %[count], #16")
2425 __ASM_EMIT("bhs 1b")
2426
2427 // x8 block
2428 __ASM_EMIT("2:")
2429 __ASM_EMIT("adds %[count], #8")
2430 __ASM_EMIT("blt 4f")
2431
2432 __ASM_EMIT("vldr s0, [%[src], #0x000]")
2433 __ASM_EMIT("vldr s1, [%[src], #0x018]")
2434 __ASM_EMIT("vldr s2, [%[src], #0x030]")
2435 __ASM_EMIT("vldr s3, [%[src], #0x048]")
2436 __ASM_EMIT("vldr s4, [%[src], #0x060]")
2437 __ASM_EMIT("vldr s5, [%[src], #0x078]")
2438 __ASM_EMIT("vldr s6, [%[src], #0x090]")
2439 __ASM_EMIT("vldr s7, [%[src], #0x0a8]")
2440 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
2441 __ASM_EMIT("add %[src], #0xc0")
2442 __ASM_EMIT("sub %[count], #8")
2443
2444 // x4 block
2445 __ASM_EMIT("4:")
2446 __ASM_EMIT("adds %[count], #4")
2447 __ASM_EMIT("blt 6f")
2448 __ASM_EMIT("vldr s0, [%[src], #0x000]")
2449 __ASM_EMIT("vldr s1, [%[src], #0x018]")
2450 __ASM_EMIT("vldr s2, [%[src], #0x030]")
2451 __ASM_EMIT("vldr s3, [%[src], #0x048]")
2452 __ASM_EMIT("vstm %[dst]!, {q0}")
2453 __ASM_EMIT("add %[src], #0x60")
2454 __ASM_EMIT("sub %[count], #4")
2455
2456 // x1 blocks
2457 __ASM_EMIT("6:")
2458 __ASM_EMIT("adds %[count], #3")
2459 __ASM_EMIT("blt 8f")
2460 __ASM_EMIT("7:")
2461 __ASM_EMIT("vldm.32 %[src]!, {d0-d2}")
2462 __ASM_EMIT("vstm.32 %[dst]!, {s0}")
2463 __ASM_EMIT("subs %[count], #1")
2464 __ASM_EMIT("bge 7b")
2465
2466 __ASM_EMIT("8:")
2467
2468 : [dst] "+r" (dst), [src] "+r" (src),
2469 [count] "+r" (count)
2470 :
2471 : "cc", "memory",
2472 "q0", "q1", "q2", "q3"
2473 );
2474 }
2475
2476 void downsample_8x(float *dst, const float *src, size_t count)
2477 {
2478 ARCH_ARM_ASM
2479 (
2480 __ASM_EMIT("subs %[count], #16")
2481 __ASM_EMIT("blo 2f")
2482
2483 // x16 blocks
2484 __ASM_EMIT("1:")
2485 __ASM_EMIT("vldr s0, [%[src], #0x000]")
2486 __ASM_EMIT("vldr s1, [%[src], #0x020]")
2487 __ASM_EMIT("vldr s2, [%[src], #0x040]")
2488 __ASM_EMIT("vldr s3, [%[src], #0x060]")
2489 __ASM_EMIT("vldr s4, [%[src], #0x080]")
2490 __ASM_EMIT("vldr s5, [%[src], #0x0a0]")
2491 __ASM_EMIT("vldr s6, [%[src], #0x0c0]")
2492 __ASM_EMIT("vldr s7, [%[src], #0x0e0]")
2493 __ASM_EMIT("vldr s8, [%[src], #0x100]")
2494 __ASM_EMIT("vldr s9, [%[src], #0x120]")
2495 __ASM_EMIT("vldr s10, [%[src], #0x140]")
2496 __ASM_EMIT("vldr s11, [%[src], #0x160]")
2497 __ASM_EMIT("vldr s12, [%[src], #0x180]")
2498 __ASM_EMIT("vldr s13, [%[src], #0x1a0]")
2499 __ASM_EMIT("vldr s14, [%[src], #0x1c0]")
2500 __ASM_EMIT("vldr s15, [%[src], #0x1e0]")
2501 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
2502 __ASM_EMIT("add %[src], #0x200")
2503 __ASM_EMIT("subs %[count], #16")
2504 __ASM_EMIT("bhs 1b")
2505
2506 // x8 block
2507 __ASM_EMIT("2:")
2508 __ASM_EMIT("adds %[count], #8")
2509 __ASM_EMIT("blt 4f")
2510
2511 __ASM_EMIT("vldr s0, [%[src], #0x000]")
2512 __ASM_EMIT("vldr s1, [%[src], #0x020]")
2513 __ASM_EMIT("vldr s2, [%[src], #0x040]")
2514 __ASM_EMIT("vldr s3, [%[src], #0x060]")
2515 __ASM_EMIT("vldr s4, [%[src], #0x080]")
2516 __ASM_EMIT("vldr s5, [%[src], #0x0a0]")
2517 __ASM_EMIT("vldr s6, [%[src], #0x0c0]")
2518 __ASM_EMIT("vldr s7, [%[src], #0x0e0]")
2519 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
2520 __ASM_EMIT("add %[src], #0x100")
2521 __ASM_EMIT("sub %[count], #8")
2522
2523 // x4 block
2524 __ASM_EMIT("4:")
2525 __ASM_EMIT("adds %[count], #4")
2526 __ASM_EMIT("blt 6f")
2527 __ASM_EMIT("vldr s0, [%[src], #0x000]")
2528 __ASM_EMIT("vldr s1, [%[src], #0x020]")
2529 __ASM_EMIT("vldr s2, [%[src], #0x040]")
2530 __ASM_EMIT("vldr s3, [%[src], #0x060]")
2531 __ASM_EMIT("vstm %[dst]!, {q0}")
2532 __ASM_EMIT("add %[src], #0x80")
2533 __ASM_EMIT("sub %[count], #4")
2534
2535 // x1 blocks
2536 __ASM_EMIT("6:")
2537 __ASM_EMIT("adds %[count], #3")
2538 __ASM_EMIT("blt 8f")
2539 __ASM_EMIT("7:")
2540 __ASM_EMIT("vldm.32 %[src]!, {q0-q1}")
2541 __ASM_EMIT("vstm.32 %[dst]!, {s0}")
2542 __ASM_EMIT("subs %[count], #1")
2543 __ASM_EMIT("bge 7b")
2544
2545 __ASM_EMIT("8:")
2546
2547 : [dst] "+r" (dst), [src] "+r" (src),
2548 [count] "+r" (count)
2549 :
2550 : "cc", "memory",
2551 "q0", "q1", "q2", "q3"
2552 );
2553 }
2554 }
2555 }
2556
2557 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_RESAMPLING_H_ */