Debian Codegraph @

.cargo/vendor/rav1e/src/arm/32/itx.S

raw
1 /******************************************************************************
2 * Copyright © 2018, VideoLAN and dav1d authors
3 * Copyright © 2020, Martin Storsjo
4 * All rights reserved.
5 *
6 * Redistribution and use in source and binary forms, with or without
7 * modification, are permitted provided that the following conditions are met:
8 *
9 * 1. Redistributions of source code must retain the above copyright notice, this
10 * list of conditions and the following disclaimer.
11 *
12 * 2. Redistributions in binary form must reproduce the above copyright notice,
13 * this list of conditions and the following disclaimer in the documentation
14 * and/or other materials provided with the distribution.
15 *
16 * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND
17 * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
18 * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
19 * DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR
20 * ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
21 * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
22 * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
23 * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
24 * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
25 * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
26 *****************************************************************************/
27
28 #include "src/arm/asm.S"
29 #include "util.S"
30
31 // The exported functions in this file have got the following signature:
32 // void itxfm_add(pixel *dst, ptrdiff_t dst_stride, coef *coeff, int eob);
33
34 // Most of the functions use the following register layout:
35 // r0-r3 external parameters
36 // r4 function pointer to first transform
37 // r5 function pointer to second transform
38 // r6 output parameter for helper function
39 // r7 input parameter for helper function
40 // r8 input stride for helper function
41 // r9 scratch variable for helper functions
42 // r10-r11 pointer to list of eob thresholds, eob threshold value,
43 // scratch variables within helper functions (backed up)
44
45 // The SIMD registers most often use the following layout:
46 // d0-d3 multiplication coefficients
47 // d4-d7 scratch registers
48 // d8-d15 unused in some transforms, used for scratch registers in others
49 // d16-v31 inputs/outputs of transforms
50
51 // Potential further optimizations, that are left unimplemented for now:
52 // - Trying to keep multiplication coefficients in registers across multiple
53 // transform functions. (The register layout is designed to potentially
54 // allow this.)
55 // - Use a simplified version of the transforms themselves for cases where
56 // we know a significant number of inputs are zero. E.g. if the eob value
57 // indicates only a quarter of input values are set, for idct16 and up,
58 // a significant amount of calculation can be skipped, at the cost of more
59 // code duplication and special casing.
60
61 const idct_coeffs, align=4
62 // idct4
63 .short 2896, 2896*8, 1567, 3784
64 // idct8
65 .short 799, 4017, 3406, 2276
66 // idct16
67 .short 401, 4076, 3166, 2598
68 .short 1931, 3612, 3920, 1189
69 // idct32
70 .short 201, 4091, 3035, 2751
71 .short 1751, 3703, 3857, 1380
72 .short 995, 3973, 3513, 2106
73 .short 2440, 3290, 4052, 601
74 endconst
75
76 const idct64_coeffs, align=4
77 .short 101*8, 4095*8, 2967*8, -2824*8
78 .short 1660*8, 3745*8, 3822*8, -1474*8
79 .short 4076, 401, 4017, 799
80
81 .short 4036*8, -700*8, 2359*8, 3349*8
82 .short 3461*8, -2191*8, 897*8, 3996*8
83 .short -3166, -2598, -799, -4017
84
85 .short 501*8, 4065*8, 3229*8, -2520*8
86 .short 2019*8, 3564*8, 3948*8, -1092*8
87 .short 3612, 1931, 2276, 3406
88
89 .short 4085*8, -301*8, 2675*8, 3102*8
90 .short 3659*8, -1842*8, 1285*8, 3889*8
91 .short -3920, -1189, -3406, -2276
92 endconst
93
94 const iadst4_coeffs, align=4
95 // .h[4-5] can be interpreted as .s[2]
96 .short 1321, 3803, 2482, 3344, 3344, 0
97 endconst
98
99 const iadst8_coeffs, align=4
100 .short 4076, 401, 3612, 1931
101 .short 2598, 3166, 1189, 3920
102 // idct_coeffs
103 .short 2896, 0, 1567, 3784, 0, 0, 0, 0
104 endconst
105
106 const iadst16_coeffs, align=4
107 .short 4091, 201, 3973, 995
108 .short 3703, 1751, 3290, 2440
109 .short 2751, 3035, 2106, 3513
110 .short 1380, 3857, 601, 4052
111 endconst
112
113 .macro vmull_vmlal d0, s0, s1, c0, c1
114 vmull.s16 \d0, \s0, \c0
115 vmlal.s16 \d0, \s1, \c1
116 .endm
117
118 .macro vmull_vmlal_8h d0, d1, s0, s1, s2, s3, c0, c1
119 vmull.s16 \d0, \s0, \c0
120 vmlal.s16 \d0, \s2, \c1
121 vmull.s16 \d1, \s1, \c0
122 vmlal.s16 \d1, \s3, \c1
123 .endm
124
125 .macro vmull_vmlsl d0, s0, s1, c0, c1
126 vmull.s16 \d0, \s0, \c0
127 vmlsl.s16 \d0, \s1, \c1
128 .endm
129
130 .macro vmull_vmlsl_8h d0, d1, s0, s1, s2, s3, c0, c1
131 vmull.s16 \d0, \s0, \c0
132 vmlsl.s16 \d0, \s2, \c1
133 vmull.s16 \d1, \s1, \c0
134 vmlsl.s16 \d1, \s3, \c1
135 .endm
136
137 .macro vqrshrn_8h d0, d1, s0, s1, shift
138 vqrshrn.s32 \d0, \s0, \shift
139 vqrshrn.s32 \d1, \s1, \shift
140 .endm
141
142 .macro scale_input c, r0, r1, r2 r3, r4, r5, r6, r7
143 vqrdmulh.s16 \r0, \r0, \c
144 vqrdmulh.s16 \r1, \r1, \c
145 .ifnb \r2
146 vqrdmulh.s16 \r2, \r2, \c
147 vqrdmulh.s16 \r3, \r3, \c
148 .endif
149 .ifnb \r4
150 vqrdmulh.s16 \r4, \r4, \c
151 vqrdmulh.s16 \r5, \r5, \c
152 vqrdmulh.s16 \r6, \r6, \c
153 vqrdmulh.s16 \r7, \r7, \c
154 .endif
155 .endm
156
157 .macro load_add_store load, shift, addsrc, adddst, narrowsrc, narrowdst, store, dst, src, shiftbits=4
158 .ifnb \load
159 vld1.8 {\load}, [\src, :64], r1
160 .endif
161 .ifnb \shift
162 vrshr.s16 \shift, \shift, #\shiftbits
163 .endif
164 .ifnb \addsrc
165 vaddw.u8 \adddst, \adddst, \addsrc
166 .endif
167 .ifnb \narrowsrc
168 vqmovun.s16 \narrowdst, \narrowsrc
169 .endif
170 .ifnb \store
171 vst1.8 {\store}, [\dst, :64], r1
172 .endif
173 .endm
174 .macro load_add_store_8x8 dst, src, shiftbits=4
175 mov \src, \dst
176 load_add_store d2, q8, , , , , , \dst, \src, \shiftbits
177 load_add_store d3, q9, , , , , , \dst, \src, \shiftbits
178 load_add_store d4, q10, d2, q8, , , , \dst, \src, \shiftbits
179 load_add_store d5, q11, d3, q9, q8, d2, , \dst, \src, \shiftbits
180 load_add_store d6, q12, d4, q10, q9, d3, d2, \dst, \src, \shiftbits
181 load_add_store d7, q13, d5, q11, q10, d4, d3, \dst, \src, \shiftbits
182 load_add_store d2, q14, d6, q12, q11, d5, d4, \dst, \src, \shiftbits
183 load_add_store d3, q15, d7, q13, q12, d6, d5, \dst, \src, \shiftbits
184 load_add_store , , d2, q14, q13, d7, d6, \dst, \src, \shiftbits
185 load_add_store , , d3, q15, q14, d2, d7, \dst, \src, \shiftbits
186 load_add_store , , , , q15, d3, d2, \dst, \src, \shiftbits
187 load_add_store , , , , , , d3, \dst, \src, \shiftbits
188 .endm
189 .macro load_add_store_8x4 dst, src
190 mov \src, \dst
191 load_add_store d2, q8, , , , , , \dst, \src
192 load_add_store d3, q9, , , , , , \dst, \src
193 load_add_store d4, q10, d2, q8, , , , \dst, \src
194 load_add_store d5, q11, d3, q9, q8, d2, , \dst, \src
195 load_add_store , , d4, q10, q9, d3, d2, \dst, \src
196 load_add_store , , d5, q11, q10, d4, d3, \dst, \src
197 load_add_store , , , , q11, d5, d4, \dst, \src
198 load_add_store , , , , , , d5, \dst, \src
199 .endm
200 .macro load_add_store4 load, shift, addsrc, adddst, narrowsrc, narrowdst, store, dst, src
201 .ifnb \load
202 vld1.32 {\load[0]}, [\src, :32], r1
203 .endif
204 .ifnb \shift
205 vrshr.s16 \shift, \shift, #4
206 .endif
207 .ifnb \load
208 vld1.32 {\load[1]}, [\src, :32], r1
209 .endif
210 .ifnb \addsrc
211 vaddw.u8 \adddst, \adddst, \addsrc
212 .endif
213 .ifnb \store
214 vst1.32 {\store[0]}, [\dst, :32], r1
215 .endif
216 .ifnb \narrowsrc
217 vqmovun.s16 \narrowdst, \narrowsrc
218 .endif
219 .ifnb \store
220 vst1.32 {\store[1]}, [\dst, :32], r1
221 .endif
222 .endm
223 .macro load_add_store_4x16 dst, src
224 mov \src, \dst
225 load_add_store4 d0, , , , , , , \dst, \src
226 load_add_store4 d1, q8, , , , , , \dst, \src
227 load_add_store4 d2, q9, d0, q8, , , , \dst, \src
228 load_add_store4 d3, q10, d1, q9, q8, d0, , \dst, \src
229 load_add_store4 d4, q11, d2, q10, q9, d1, d0, \dst, \src
230 load_add_store4 d5, q12, d3, q11, q10, d2, d1, \dst, \src
231 load_add_store4 d6, q13, d4, q12, q11, d3, d2, \dst, \src
232 load_add_store4 d7, q14, d5, q13, q12, d4, d3, \dst, \src
233 load_add_store4 , q15, d6, q14, q13, d5, d4, \dst, \src
234 load_add_store4 , , d7, q15, q14, d6, d5, \dst, \src
235 load_add_store4 , , , , q15, d7, d6, \dst, \src
236 load_add_store4 , , , , , , d7, \dst, \src
237 .endm
238 .macro load_add_store_4x8 dst, src
239 mov \src, \dst
240 load_add_store4 d0, , , , , , , \dst, \src
241 load_add_store4 d1, q8, , , , , , \dst, \src
242 load_add_store4 d2, q9, d0, q8, , , , \dst, \src
243 load_add_store4 d3, q10, d1, q9, q8, d0, , \dst, \src
244 load_add_store4 , q11, d2, q10, q9, d1, d0, \dst, \src
245 load_add_store4 , , d3, q11, q10, d2, d1, \dst, \src
246 load_add_store4 , , , , q11, d3, d2, \dst, \src
247 load_add_store4 , , , , , , d3, \dst, \src
248 .endm
249
250 .macro idct_dc w, h, shift
251 cmp r3, #0
252 bne 1f
253 vmov.i16 d30, #0
254 movw r12, #2896*8
255 vld1.16 {d16[]}, [r2, :16]
256 vdup.16 d0, r12
257 vqrdmulh.s16 d16, d16, d0[0]
258 vst1.16 {d30[0]}, [r2, :16]
259 .if (\w == 2*\h) || (2*\w == \h)
260 vqrdmulh.s16 d16, d16, d0[0]
261 .endif
262 .if \shift > 0
263 vrshr.s16 d16, d16, #\shift
264 .endif
265 vqrdmulh.s16 d20, d16, d0[0]
266 mov r3, #\h
267 vrshr.s16 d16, d20, #4
268 vrshr.s16 d17, d20, #4
269 b idct_dc_w\w\()_neon
270 1:
271 .endm
272
273 function idct_dc_w4_neon
274 1:
275 vld1.32 {d0[0]}, [r0, :32], r1
276 vld1.32 {d0[1]}, [r0, :32], r1
277 vld1.32 {d1[0]}, [r0, :32], r1
278 vld1.32 {d1[1]}, [r0, :32], r1
279 subs r3, r3, #4
280 sub r0, r0, r1, lsl #2
281 vaddw.u8 q10, q8, d0
282 vqmovun.s16 d0, q10
283 vaddw.u8 q11, q8, d1
284 vst1.32 {d0[0]}, [r0, :32], r1
285 vqmovun.s16 d1, q11
286 vst1.32 {d0[1]}, [r0, :32], r1
287 vst1.32 {d1[0]}, [r0, :32], r1
288 vst1.32 {d1[1]}, [r0, :32], r1
289 bgt 1b
290 bx lr
291 endfunc
292
293 function idct_dc_w8_neon
294 1:
295 vld1.8 {d0}, [r0, :64], r1
296 vld1.8 {d1}, [r0, :64], r1
297 vld1.8 {d2}, [r0, :64], r1
298 vaddw.u8 q10, q8, d0
299 vld1.8 {d3}, [r0, :64], r1
300 sub r0, r0, r1, lsl #2
301 subs r3, r3, #4
302 vaddw.u8 q11, q8, d1
303 vqmovun.s16 d0, q10
304 vaddw.u8 q12, q8, d2
305 vqmovun.s16 d1, q11
306 vaddw.u8 q13, q8, d3
307 vst1.8 {d0}, [r0, :64], r1
308 vqmovun.s16 d2, q12
309 vst1.8 {d1}, [r0, :64], r1
310 vqmovun.s16 d3, q13
311 vst1.8 {d2}, [r0, :64], r1
312 vst1.8 {d3}, [r0, :64], r1
313 bgt 1b
314 bx lr
315 endfunc
316
317 function idct_dc_w16_neon
318 1:
319 vld1.8 {q0}, [r0, :128], r1
320 vld1.8 {q1}, [r0, :128], r1
321 vld1.8 {q2}, [r0, :128], r1
322 subs r3, r3, #4
323 vaddw.u8 q10, q8, d0
324 vaddw.u8 q11, q8, d1
325 vld1.8 {q3}, [r0, :128], r1
326 vaddw.u8 q12, q8, d2
327 vaddw.u8 q13, q8, d3
328 sub r0, r0, r1, lsl #2
329 vaddw.u8 q14, q8, d4
330 vaddw.u8 q15, q8, d5
331 vqmovun.s16 d0, q10
332 vqmovun.s16 d1, q11
333 vaddw.u8 q10, q8, d6
334 vaddw.u8 q11, q8, d7
335 vqmovun.s16 d2, q12
336 vqmovun.s16 d3, q13
337 vqmovun.s16 d4, q14
338 vqmovun.s16 d5, q15
339 vst1.8 {q0}, [r0, :128], r1
340 vqmovun.s16 d6, q10
341 vqmovun.s16 d7, q11
342 vst1.8 {q1}, [r0, :128], r1
343 vst1.8 {q2}, [r0, :128], r1
344 vst1.8 {q3}, [r0, :128], r1
345 bgt 1b
346 bx lr
347 endfunc
348
349 function idct_dc_w32_neon
350 1:
351 vld1.8 {q0, q1}, [r0, :128], r1
352 subs r3, r3, #2
353 vld1.8 {q2, q3}, [r0, :128], r1
354 vaddw.u8 q10, q8, d0
355 vaddw.u8 q11, q8, d1
356 vaddw.u8 q12, q8, d2
357 vaddw.u8 q13, q8, d3
358 sub r0, r0, r1, lsl #1
359 vaddw.u8 q14, q8, d4
360 vaddw.u8 q15, q8, d5
361 vqmovun.s16 d0, q10
362 vqmovun.s16 d1, q11
363 vaddw.u8 q10, q8, d6
364 vaddw.u8 q11, q8, d7
365 vqmovun.s16 d2, q12
366 vqmovun.s16 d3, q13
367 vqmovun.s16 d4, q14
368 vqmovun.s16 d5, q15
369 vst1.8 {q0, q1}, [r0, :128], r1
370 vqmovun.s16 d6, q10
371 vqmovun.s16 d7, q11
372 vst1.8 {q2, q3}, [r0, :128], r1
373 bgt 1b
374 bx lr
375 endfunc
376
377 function idct_dc_w64_neon
378 sub r1, r1, #32
379 1:
380 vld1.8 {q0, q1}, [r0, :128]!
381 subs r3, r3, #1
382 vld1.8 {q2, q3}, [r0, :128]
383 vaddw.u8 q10, q8, d0
384 vaddw.u8 q11, q8, d1
385 vaddw.u8 q12, q8, d2
386 vaddw.u8 q13, q8, d3
387 sub r0, r0, #32
388 vaddw.u8 q14, q8, d4
389 vaddw.u8 q15, q8, d5
390 vqmovun.s16 d0, q10
391 vqmovun.s16 d1, q11
392 vaddw.u8 q10, q8, d6
393 vaddw.u8 q11, q8, d7
394 vqmovun.s16 d2, q12
395 vqmovun.s16 d3, q13
396 vqmovun.s16 d4, q14
397 vqmovun.s16 d5, q15
398 vst1.8 {q0, q1}, [r0, :128]!
399 vqmovun.s16 d6, q10
400 vqmovun.s16 d7, q11
401 vst1.8 {q2, q3}, [r0, :128], r1
402 bgt 1b
403 bx lr
404 endfunc
405
406 .macro iwht4
407 vadd.i16 d16, d16, d17
408 vsub.i16 d21, d18, d19
409 vsub.i16 d20, d16, d21
410 vshr.s16 d20, d20, #1
411 vsub.i16 d18, d20, d17
412 vsub.i16 d17, d20, d19
413 vadd.i16 d19, d21, d18
414 vsub.i16 d16, d16, d17
415 .endm
416
417 .macro idct_4h_x4 r0, r1, r2, r3
418 vmull_vmlal q3, \r1, \r3, d0[3], d0[2]
419 vmull_vmlsl q2, \r1, \r3, d0[2], d0[3]
420 vmull_vmlal q1, \r0, \r2, d0[0], d0[0]
421 vqrshrn.s32 d6, q3, #12
422 vqrshrn.s32 d7, q2, #12
423 vmull_vmlsl q2, \r0, \r2, d0[0], d0[0]
424 vqrshrn.s32 d2, q1, #12
425 vqrshrn.s32 d3, q2, #12
426 vqadd.s16 \r0, d2, d6
427 vqsub.s16 \r3, d2, d6
428 vqadd.s16 \r1, d3, d7
429 vqsub.s16 \r2, d3, d7
430 .endm
431
432 .macro idct_8h_x4 q0, q1, q2, q3, r0, r1, r2, r3, r4, r5, r6, r7
433 vmull_vmlal_8h q6, q7, \r2, \r3, \r6, \r7, d0[3], d0[2]
434 vmull_vmlsl_8h q4, q5, \r2, \r3, \r6, \r7, d0[2], d0[3]
435 vmull_vmlal_8h q2, q3, \r0, \r1, \r4, \r5, d0[0], d0[0]
436 vqrshrn_8h d12, d13, q6, q7, #12
437 vqrshrn_8h d14, d15, q4, q5, #12
438 vmull_vmlsl_8h q4, q5, \r0, \r1, \r4, \r5, d0[0], d0[0]
439 vqrshrn_8h d4, d5, q2, q3, #12
440 vqrshrn_8h d6, d7, q4, q5, #12
441 vqadd.s16 \q0, q2, q6
442 vqsub.s16 \q3, q2, q6
443 vqadd.s16 \q1, q3, q7
444 vqsub.s16 \q2, q3, q7
445 .endm
446
447 function inv_dct_4h_x4_neon, export=1
448 movrel_local r12, idct_coeffs
449 vld1.16 {d0}, [r12, :64]
450 idct_4h_x4 d16, d17, d18, d19
451 bx lr
452 endfunc
453
454 function inv_dct_8h_x4_neon, export=1
455 movrel_local r12, idct_coeffs
456 vld1.16 {d0}, [r12, :64]
457 idct_8h_x4 q8, q9, q10, q11, d16, d17, d18, d19, d20, d21, d22, d23
458 bx lr
459 endfunc
460
461 .macro iadst_4x4 o0, o1, o2, o3
462 movrel_local r12, iadst4_coeffs
463 vld1.16 {d0, d1}, [r12, :128]
464
465 vsubl.s16 q1, d16, d18
466 vmull.s16 q2, d16, d0[0]
467 vmlal.s16 q2, d18, d0[1]
468 vmlal.s16 q2, d19, d0[2]
469 vmull.s16 q10, d17, d0[3]
470 vaddw.s16 q1, q1, d19
471 vmull.s16 q3, d16, d0[2]
472 vmlsl.s16 q3, d18, d0[0]
473 vmlsl.s16 q3, d19, d0[1]
474
475 vadd.s32 q11, q2, q3
476 vmul.s32 q1, q1, d1[0]
477 vadd.s32 q2, q2, q10
478 vadd.s32 q3, q3, q10
479 vsub.s32 q11, q11, q10
480
481 vqrshrn.s32 \o0, q2, #12
482 vqrshrn.s32 \o2, q1, #12
483 vqrshrn.s32 \o1, q3, #12
484 vqrshrn.s32 \o3, q11, #12
485 .endm
486
487 function inv_adst_4h_x4_neon, export=1
488 iadst_4x4 d16, d17, d18, d19
489 bx lr
490 endfunc
491
492 function inv_flipadst_4h_x4_neon, export=1
493 iadst_4x4 d19, d18, d17, d16
494 bx lr
495 endfunc
496
497 .macro iadst_8x4 o0, o1, o2, o3, o4, o5, o6, o7
498 movrel_local r12, iadst4_coeffs
499 vld1.16 {d0, d1}, [r12, :128]
500
501 vsubl.s16 q2, d16, d20
502 vsubl.s16 q3, d17, d21
503 vmull.s16 q4, d16, d0[0]
504 vmlal.s16 q4, d20, d0[1]
505 vmlal.s16 q4, d22, d0[2]
506 vmull.s16 q5, d17, d0[0]
507 vmlal.s16 q5, d21, d0[1]
508 vmlal.s16 q5, d23, d0[2]
509 vaddw.s16 q2, q2, d22
510 vaddw.s16 q3, q3, d23
511 vmull.s16 q6, d16, d0[2]
512 vmlsl.s16 q6, d20, d0[0]
513 vmlsl.s16 q6, d22, d0[1]
514 vmull.s16 q7, d17, d0[2]
515 vmlsl.s16 q7, d21, d0[0]
516 vmlsl.s16 q7, d23, d0[1]
517
518 vmul.s32 q10, q2, d1[0]
519 vmul.s32 q11, q3, d1[0]
520
521 vmull.s16 q2, d18, d0[3]
522 vmull.s16 q3, d19, d0[3]
523
524 vadd.s32 q8, q4, q2 // out0
525 vadd.s32 q9, q5, q3
526
527 vadd.s32 q4, q4, q6 // out3
528 vadd.s32 q5, q5, q7
529
530 vadd.s32 q6, q6, q2 // out1
531 vadd.s32 q7, q7, q3
532
533 vsub.s32 q4, q4, q2 // out3
534 vsub.s32 q5, q5, q3
535
536 vqrshrn.s32 d20, q10, #12
537 vqrshrn.s32 d21, q11, #12
538
539 vqrshrn.s32 \o0, q8, #12
540 vqrshrn.s32 \o1, q9, #12
541
542 .ifc \o4, d18
543 vmov q9, q10
544 .endif
545
546 vqrshrn.s32 \o2, q6, #12
547 vqrshrn.s32 \o3, q7, #12
548
549 vqrshrn.s32 \o6, q4, #12
550 vqrshrn.s32 \o7, q5, #12
551 .endm
552
553 function inv_adst_8h_x4_neon, export=1
554 iadst_8x4 d16, d17, d18, d19, d20, d21, d22, d23
555 bx lr
556 endfunc
557
558 function inv_flipadst_8h_x4_neon, export=1
559 iadst_8x4 d22, d23, d20, d21, d18, d19, d16, d17
560 bx lr
561 endfunc
562
563 function inv_identity_4h_x4_neon, export=1
564 movw r12, #(5793-4096)*8
565 vdup.16 d0, r12
566 vqrdmulh.s16 q2, q8, d0[0]
567 vqrdmulh.s16 q3, q9, d0[0]
568 vqadd.s16 q8, q8, q2
569 vqadd.s16 q9, q9, q3
570 bx lr
571 endfunc
572
573 function inv_identity_8h_x4_neon, export=1
574 movw r12, #(5793-4096)*8
575 vdup.16 d0, r12
576 vqrdmulh.s16 q1, q8, d0[0]
577 vqrdmulh.s16 q2, q9, d0[0]
578 vqrdmulh.s16 q3, q10, d0[0]
579 vqadd.s16 q8, q8, q1
580 vqrdmulh.s16 q1, q11, d0[0]
581 vqadd.s16 q9, q9, q2
582 vqadd.s16 q10, q10, q3
583 vqadd.s16 q11, q11, q1
584 bx lr
585 endfunc
586
587 .macro identity_8x4_shift1 r0, r1, r2, r3, c
588 .irp i, \r0, \r1, \r2, \r3
589 vqrdmulh.s16 q1, \i, \c
590 vrhadd.s16 \i, \i, q1
591 .endr
592 .endm
593
594 function inv_txfm_add_wht_wht_4x4_8bpc_neon, export=1
595 push {r4-r5,lr}
596 vmov.i16 q15, #0
597 vld1.16 {d16, d17, d18, d19}, [r2, :128]
598 vst1.16 {q15}, [r2, :128]!
599
600 vshr.s16 q8, q8, #2
601 vshr.s16 q9, q9, #2
602
603 iwht4
604
605 vst1.16 {q15}, [r2, :128]!
606 transpose_4x4h q8, q9, d16, d17, d18, d19
607
608 iwht4
609
610 vld1.32 {d0[]}, [r0, :32], r1
611 vld1.32 {d0[1]}, [r0, :32], r1
612 vld1.32 {d1[]}, [r0, :32], r1
613 vld1.32 {d1[1]}, [r0, :32], r1
614
615 b L(itx_4x4_end)
616 endfunc
617
618 function inv_txfm_add_4x4_neon
619 vmov.i16 q15, #0
620 vld1.16 {d16, d17, d18, d19}, [r2, :128]
621 vst1.16 {q15}, [r2, :128]!
622
623 blx r4
624
625 vst1.16 {q15}, [r2, :128]!
626 transpose_4x4h q8, q9, d16, d17, d18, d19
627
628 blx r5
629
630 vld1.32 {d0[]}, [r0, :32], r1
631 vld1.32 {d0[1]}, [r0, :32], r1
632 vld1.32 {d1[]}, [r0, :32], r1
633 vld1.32 {d1[1]}, [r0, :32], r1
634 vrshr.s16 q8, q8, #4
635 vrshr.s16 q9, q9, #4
636
637 L(itx_4x4_end):
638 sub r0, r0, r1, lsl #2
639 vaddw.u8 q8, q8, d0
640 vqmovun.s16 d0, q8
641 vaddw.u8 q9, q9, d1
642 vst1.32 {d0[0]}, [r0, :32], r1
643 vqmovun.s16 d1, q9
644 vst1.32 {d0[1]}, [r0, :32], r1
645 vst1.32 {d1[0]}, [r0, :32], r1
646 vst1.32 {d1[1]}, [r0, :32], r1
647
648 pop {r4-r5,pc}
649 endfunc
650
651 .macro def_fn_4x4 txfm1, txfm2
652 function inv_txfm_add_\txfm1\()_\txfm2\()_4x4_8bpc_neon, export=1
653 push {r4-r5,lr}
654
655 .ifc \txfm1\()_\txfm2, dct_dct
656 cmp r3, #0
657 bne 1f
658 vmov.i16 d30, #0
659 movw r12, #2896*8
660 vld1.16 {d16[]}, [r2, :16]
661 vdup.16 d4, r12
662 vst1.16 {d30[0]}, [r2, :16]
663 vqrdmulh.s16 d16, d16, d4[0]
664 vld1.32 {d0[0]}, [r0, :32], r1
665 vqrdmulh.s16 d20, d16, d4[0]
666 vld1.32 {d0[1]}, [r0, :32], r1
667 vrshr.s16 d16, d20, #4
668 vrshr.s16 d17, d20, #4
669 vld1.32 {d1[0]}, [r0, :32], r1
670 vmov q9, q8
671 vld1.32 {d1[1]}, [r0, :32], r1
672 b L(itx_4x4_end)
673 1:
674 .endif
675 movrel_local r4, inv_\txfm1\()_4h_x4_neon
676 movrel_local r5, inv_\txfm2\()_4h_x4_neon
677 b inv_txfm_add_4x4_neon
678 endfunc
679 .endm
680
681 def_fn_4x4 dct, dct
682 def_fn_4x4 identity, identity
683 def_fn_4x4 dct, adst
684 def_fn_4x4 dct, flipadst
685 def_fn_4x4 dct, identity
686 def_fn_4x4 adst, dct
687 def_fn_4x4 adst, adst
688 def_fn_4x4 adst, flipadst
689 def_fn_4x4 flipadst, dct
690 def_fn_4x4 flipadst, adst
691 def_fn_4x4 flipadst, flipadst
692 def_fn_4x4 identity, dct
693
694 def_fn_4x4 adst, identity
695 def_fn_4x4 flipadst, identity
696 def_fn_4x4 identity, adst
697 def_fn_4x4 identity, flipadst
698
699 .macro idct_8h_x8 q0, q1, q2, q3, q4, q5, q6, q7, r0, r1, r2, r3, r4, r5, r6, r7, r8, r9, r10, r11, r12, r13, r14, r15
700 idct_8h_x4 \q0, \q2, \q4, \q6, \r0, \r1, \r4, \r5, \r8, \r9, \r12, \r13
701
702 vmull_vmlsl_8h q2, q3, \r2, \r3, \r14, \r15, d1[0], d1[1] // -> t4a
703 vmull_vmlal_8h q4, q5, \r2, \r3, \r14, \r15, d1[1], d1[0] // -> t7a
704 vmull_vmlsl_8h q6, q7, \r10, \r11, \r6, \r7, d1[2], d1[3] // -> t5a
705 vqrshrn_8h \r2, \r3, q2, q3, #12 // t4a
706 vqrshrn_8h \r14, \r15, q4, q5, #12 // t7a
707 vmull_vmlal_8h q2, q3, \r10, \r11, \r6, \r7, d1[3], d1[2] // -> t6a
708 vqrshrn_8h \r6, \r7, q6, q7, #12 // t5a
709 vqrshrn_8h \r10, \r11, q2, q3, #12 // t6a
710
711 vqadd.s16 q2, \q1, \q3 // t4
712 vqsub.s16 \q1, \q1, \q3 // t5a
713 vqadd.s16 q3, \q7, \q5 // t7
714 vqsub.s16 \q3, \q7, \q5 // t6a
715
716 vmull_vmlsl_8h q4, q5, \r6, \r7, \r2, \r3, d0[0], d0[0] // -> t5
717 vmull_vmlal_8h q6, q7, \r6, \r7, \r2, \r3, d0[0], d0[0] // -> t6
718 vqrshrn_8h d8, d9, q4, q5, #12 // t5
719 vqrshrn_8h d10, d11, q6, q7, #12 // t6
720
721 vqsub.s16 \q7, \q0, q3 // out7
722 vqadd.s16 \q0, \q0, q3 // out0
723 vqadd.s16 \q1, \q2, q5 // out1
724 vqsub.s16 q6, \q2, q5 // out6
725 vqadd.s16 \q2, \q4, q4 // out2
726 vqsub.s16 \q5, \q4, q4 // out5
727 vqadd.s16 \q3, \q6, q2 // out3
728 vqsub.s16 \q4, \q6, q2 // out4
729 vmov \q6, q6 // out6
730 .endm
731
732 .macro idct_4h_x8 r0, r1, r2, r3, r4, r5, r6, r7
733 idct_4h_x4 \r0, \r2, \r4, \r6
734
735 vmull_vmlsl q1, \r1, \r7, d1[0], d1[1] // -> t4a
736 vmull_vmlal q2, \r1, \r7, d1[1], d1[0] // -> t7a
737 vmull_vmlsl q3, \r5, \r3, d1[2], d1[3] // -> t5a
738 vqrshrn.s32 \r1, q1, #12 // t4a
739 vmull_vmlal q1, \r5, \r3, d1[3], d1[2] // -> t6a
740 vqrshrn.s32 \r7, q2, #12 // t7a
741 vqrshrn.s32 \r3, q3, #12 // t5a
742 vqrshrn.s32 \r5, q1, #12 // taa
743
744 vqadd.s16 d2, \r1, \r3 // t4
745 vqsub.s16 \r1, \r1, \r3 // t5a
746 vqadd.s16 d3, \r7, \r5 // t7
747 vqsub.s16 \r3, \r7, \r5 // t6a
748
749 vmull_vmlsl q2, \r3, \r1, d0[0], d0[0] // -> t5
750 vmull_vmlal q3, \r3, \r1, d0[0], d0[0] // -> t6
751 vqrshrn.s32 d4, q2, #12 // t5
752 vqrshrn.s32 d5, q3, #12 // t6
753
754 vqsub.s16 \r7, \r0, d3 // out7
755 vqadd.s16 \r0, \r0, d3 // out0
756 vqadd.s16 \r1, \r2, d5 // out1
757 vqsub.s16 d6, \r2, d5 // out6
758 vqadd.s16 \r2, \r4, d4 // out2
759 vqsub.s16 \r5, \r4, d4 // out5
760 vqadd.s16 \r3, \r6, d2 // out3
761 vqsub.s16 \r4, \r6, d2 // out4
762 vmov \r6, d6 // out6
763 .endm
764
765 function inv_dct_8h_x8_neon, export=1
766 movrel_local r12, idct_coeffs
767 vld1.16 {q0}, [r12, :128]
768 idct_8h_x8 q8, q9, q10, q11, q12, q13, q14, q15, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
769 bx lr
770 endfunc
771
772 function inv_dct_4h_x8_neon, export=1
773 movrel_local r12, idct_coeffs
774 vld1.16 {q0}, [r12, :128]
775 idct_4h_x8 d16, d17, d18, d19, d20, d21, d22, d23
776 bx lr
777 endfunc
778
779 .macro iadst_8h_x8 q0, q1, q2, q3, q4, q5, q6, q7, r0, r1, r2, r3, r4, r5, r6, r7, r8, r9, r10, r11, r12, r13, r14, r15
780 movrel_local r12, iadst8_coeffs
781 vld1.16 {d0, d1, d2}, [r12, :64]
782
783 vmull_vmlal_8h q2, q3, d30, d31, d16, d17, d0[0], d0[1]
784 vmull_vmlsl_8h q4, q5, d30, d31, d16, d17, d0[1], d0[0]
785 vmull_vmlal_8h q6, q7, d26, d27, d20, d21, d0[2], d0[3]
786 vqrshrn_8h d16, d17, q2, q3, #12 // t0a
787 vqrshrn_8h d30, d31, q4, q5, #12 // t1a
788 vmull_vmlsl_8h q2, q3, d26, d27, d20, d21, d0[3], d0[2]
789 vmull_vmlal_8h q4, q5, d22, d23, d24, d25, d1[0], d1[1]
790 vqrshrn_8h d20, d21, q6, q7, #12 // t2a
791 vqrshrn_8h d26, d27, q2, q3, #12 // t3a
792 vmull_vmlsl_8h q6, q7, d22, d23, d24, d25, d1[1], d1[0]
793 vmull_vmlal_8h q2, q3, d18, d19, d28, d29, d1[2], d1[3]
794 vqrshrn_8h d24, d25, q4, q5, #12 // t4a
795 vqrshrn_8h d22, d23, q6, q7, #12 // t5a
796 vmull_vmlsl_8h q4, q5, d18, d19, d28, d29, d1[3], d1[2]
797 vqrshrn_8h d28, d29, q2, q3, #12 // t6a
798 vqrshrn_8h d18, d19, q4, q5, #12 // t7a
799
800 vqadd.s16 q2, q8, q12 // t0
801 vqsub.s16 q3, q8, q12 // t4
802 vqadd.s16 q4, q15, q11 // t1
803 vqsub.s16 q5, q15, q11 // t5
804 vqadd.s16 q6, q10, q14 // t2
805 vqsub.s16 q7, q10, q14 // t6
806 vqadd.s16 q10, q13, q9 // t3
807 vqsub.s16 q11, q13, q9 // t7
808
809 vmull_vmlal_8h q8, q9, d6, d7, d10, d11, d2[3], d2[2]
810 vmull_vmlsl_8h q12, q13, d6, d7, d10, d11, d2[2], d2[3]
811 vmull_vmlsl_8h q14, q15, d22, d23, d14, d15, d2[3], d2[2]
812
813 vqrshrn_8h d6, d7, q8, q9, #12 // t4a
814 vqrshrn_8h d10, d11, q12, q13, #12 // t5a
815
816 vmull_vmlal_8h q8, q9, d22, d23, d14, d15, d2[2], d2[3]
817
818 vqrshrn_8h d14, d15, q14, q15, #12 // t6a
819 vqrshrn_8h d22, d23, q8, q9, #12 // t7a
820
821 vqadd.s16 \q0, q2, q6 // out0
822 vqsub.s16 q2, q2, q6 // t2
823 vqadd.s16 \q7, q4, q10 // out7
824 vqsub.s16 q4, q4, q10 // t3
825 vqneg.s16 \q7, \q7 // out7
826
827 vqadd.s16 \q1, q3, q7 // out1
828 vqsub.s16 q3, q3, q7 // t6
829 vqadd.s16 \q6, q5, q11 // out6
830 vqsub.s16 q5, q5, q11 // t7
831 vqneg.s16 \q1, \q1 // out1
832
833 vmull_vmlal_8h q10, q11, d4, d5, d8, d9, d2[0], d2[0] // -> out3 (q11 or q12)
834 vmull_vmlsl_8h q6, q7, d4, d5, d8, d9, d2[0], d2[0] // -> out4 (q12 or q11)
835 vmull_vmlsl_8h q12, q13, d6, d7, d10, d11, d2[0], d2[0] // -> out5 (q13 or q10)
836 vqrshrn_8h d4, d5, q10, q11, #12 // out3
837 vmull_vmlal_8h q10, q11, d6, d7, d10, d11, d2[0], d2[0] // -> out2 (q10 or q13)
838 vqrshrn_8h d6, d7, q12, q13, #12 // out5
839 vqrshrn_8h \r4, \r5, q10, q11, #12 // out2 (q10 or q13)
840 vqrshrn_8h \r8, \r9, q6, q7, #12 // out4 (q12 or q11)
841
842 vqneg.s16 \q3, q2 // out3
843 vqneg.s16 \q5, q3 // out5
844 .endm
845
846 .macro iadst_4h_x8 r0, r1, r2, r3, r4, r5, r6, r7
847 movrel_local r12, iadst8_coeffs
848 vld1.16 {d0, d1, d2}, [r12, :64]
849
850 vmull_vmlal q2, d23, d16, d0[0], d0[1]
851 vmull_vmlsl q3, d23, d16, d0[1], d0[0]
852 vmull_vmlal q4, d21, d18, d0[2], d0[3]
853 vqrshrn.s32 d16, q2, #12 // t0a
854 vqrshrn.s32 d23, q3, #12 // t1a
855 vmull_vmlsl q5, d21, d18, d0[3], d0[2]
856 vmull_vmlal q6, d19, d20, d1[0], d1[1]
857 vqrshrn.s32 d18, q4, #12 // t2a
858 vqrshrn.s32 d21, q5, #12 // t3a
859 vmull_vmlsl q7, d19, d20, d1[1], d1[0]
860 vmull_vmlal q2, d17, d22, d1[2], d1[3]
861 vqrshrn.s32 d20, q6, #12 // t4a
862 vqrshrn.s32 d19, q7, #12 // t5a
863 vmull_vmlsl q3, d17, d22, d1[3], d1[2]
864 vqrshrn.s32 d22, q2, #12 // t6a
865 vqrshrn.s32 d17, q3, #12 // t7a
866
867 vqadd.s16 d4, d16, d20 // t0
868 vqsub.s16 d5, d16, d20 // t4
869 vqadd.s16 d6, d23, d19 // t1
870 vqsub.s16 d7, d23, d19 // t5
871 vqadd.s16 d8, d18, d22 // t2
872 vqsub.s16 d9, d18, d22 // t6
873 vqadd.s16 d18, d21, d17 // t3
874 vqsub.s16 d19, d21, d17 // t7
875
876 vmull_vmlal q8, d5, d7, d2[3], d2[2]
877 vmull_vmlsl q10, d5, d7, d2[2], d2[3]
878 vmull_vmlsl q11, d19, d9, d2[3], d2[2]
879
880 vqrshrn.s32 d5, q8, #12 // t4a
881 vqrshrn.s32 d7, q10, #12 // t5a
882
883 vmull_vmlal q8, d19, d9, d2[2], d2[3]
884
885 vqrshrn.s32 d9, q11, #12 // t6a
886 vqrshrn.s32 d19, q8, #12 // t7a
887
888 vqadd.s16 \r0, d4, d8 // out0
889 vqsub.s16 d4, d4, d8 // t2
890 vqadd.s16 \r7, d6, d18 // out7
891 vqsub.s16 d6, d6, d18 // t3
892 vqneg.s16 \r7, \r7 // out7
893
894 vqadd.s16 \r1, d5, d9 // out1
895 vqsub.s16 d5, d5, d9 // t6
896 vqadd.s16 \r6, d7, d19 // out6
897 vqsub.s16 d7, d7, d19 // t7
898 vqneg.s16 \r1, \r1 // out1
899
900 vmull_vmlal q9, d4, d6, d2[0], d2[0] // -> out3 (d19 or d20)
901 vmull_vmlsl q4, d4, d6, d2[0], d2[0] // -> out4 (d20 or d19)
902 vmull_vmlsl q10, d5, d7, d2[0], d2[0] // -> out5 (d21 or d18)
903 vqrshrn.s32 d4, q9, #12 // out3
904 vmull_vmlal q9, d5, d7, d2[0], d2[0] // -> out2 (d18 or d21)
905 vqrshrn.s32 d5, q10, #12 // out5
906 vqrshrn.s32 \r2, q9, #12 // out2 (d18 or d21)
907 vqrshrn.s32 \r4, q4, #12 // out4 (d20 or d19)
908
909 vqneg.s16 \r3, d4 // out3
910 vqneg.s16 \r5, d5 // out5
911 .endm
912
913 function inv_adst_8h_x8_neon, export=1
914 iadst_8h_x8 q8, q9, q10, q11, q12, q13, q14, q15, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
915 bx lr
916 endfunc
917
918 function inv_flipadst_8h_x8_neon, export=1
919 iadst_8h_x8 q15, q14, q13, q12, q11, q10, q9, q8, d30, d31, d28, d29, d26, d27, d24, d25, d22, d23, d20, d21, d18, d19, d16, d17
920 bx lr
921 endfunc
922
923 function inv_adst_4h_x8_neon, export=1
924 iadst_4h_x8 d16, d17, d18, d19, d20, d21, d22, d23
925 bx lr
926 endfunc
927
928 function inv_flipadst_4h_x8_neon, export=1
929 iadst_4h_x8 d23, d22, d21, d20, d19, d18, d17, d16
930 bx lr
931 endfunc
932
933 function inv_identity_8h_x8_neon, export=1
934 vqshl.s16 q8, q8, #1
935 vqshl.s16 q9, q9, #1
936 vqshl.s16 q10, q10, #1
937 vqshl.s16 q11, q11, #1
938 vqshl.s16 q12, q12, #1
939 vqshl.s16 q13, q13, #1
940 vqshl.s16 q14, q14, #1
941 vqshl.s16 q15, q15, #1
942 bx lr
943 endfunc
944
945 function inv_identity_4h_x8_neon, export=1
946 vqshl.s16 q8, q8, #1
947 vqshl.s16 q9, q9, #1
948 vqshl.s16 q10, q10, #1
949 vqshl.s16 q11, q11, #1
950 bx lr
951 endfunc
952
953 .macro def_fn_8x8_base variant
954 function inv_txfm_\variant\()add_8x8_neon
955 vmov.i16 q0, #0
956 vmov.i16 q1, #0
957 vld1.16 {q8, q9}, [r2, :128]
958 vst1.16 {q0, q1}, [r2, :128]!
959 vld1.16 {q10, q11}, [r2, :128]
960 vst1.16 {q0, q1}, [r2, :128]!
961 vld1.16 {q12, q13}, [r2, :128]
962 vst1.16 {q0, q1}, [r2, :128]!
963 vld1.16 {q14, q15}, [r2, :128]
964 vst1.16 {q0, q1}, [r2, :128]
965
966 .ifc \variant, identity_
967 // The identity shl #1 and downshift srshr #1 cancel out
968 .else
969 blx r4
970
971 vrshr.s16 q8, q8, #1
972 vrshr.s16 q9, q9, #1
973 vrshr.s16 q10, q10, #1
974 vrshr.s16 q11, q11, #1
975 vrshr.s16 q12, q12, #1
976 vrshr.s16 q13, q13, #1
977 vrshr.s16 q14, q14, #1
978 vrshr.s16 q15, q15, #1
979 .endif
980
981 transpose_8x8h q8, q9, q10, q11, q12, q13, q14, q15, d17, d19, d21, d23, d24, d26, d28, d30
982
983 blx r5
984
985 load_add_store_8x8 r0, r7
986 vpop {q4-q7}
987 pop {r4-r5,r7,pc}
988 endfunc
989 .endm
990
991 def_fn_8x8_base
992 def_fn_8x8_base identity_
993
994 .macro def_fn_8x8 txfm1, txfm2
995 function inv_txfm_add_\txfm1\()_\txfm2\()_8x8_8bpc_neon, export=1
996 .ifc \txfm1\()_\txfm2, dct_dct
997 idct_dc 8, 8, 1
998 .endif
999 push {r4-r5,r7,lr}
1000 vpush {q4-q7}
1001 movrel_local r5, inv_\txfm2\()_8h_x8_neon
1002 .ifc \txfm1, identity
1003 b inv_txfm_identity_add_8x8_neon
1004 .else
1005 movrel_local r4, inv_\txfm1\()_8h_x8_neon
1006 b inv_txfm_add_8x8_neon
1007 .endif
1008 endfunc
1009 .endm
1010
1011 def_fn_8x8 dct, dct
1012 def_fn_8x8 identity, identity
1013 def_fn_8x8 dct, adst
1014 def_fn_8x8 dct, flipadst
1015 def_fn_8x8 dct, identity
1016 def_fn_8x8 adst, dct
1017 def_fn_8x8 adst, adst
1018 def_fn_8x8 adst, flipadst
1019 def_fn_8x8 flipadst, dct
1020 def_fn_8x8 flipadst, adst
1021 def_fn_8x8 flipadst, flipadst
1022 def_fn_8x8 identity, dct
1023 def_fn_8x8 adst, identity
1024 def_fn_8x8 flipadst, identity
1025 def_fn_8x8 identity, adst
1026 def_fn_8x8 identity, flipadst
1027
1028 function inv_txfm_add_8x4_neon
1029 vmov.i16 q14, #0
1030 vmov.i16 q15, #0
1031 movw r12, #2896*8
1032 vdup.16 d0, r12
1033 vld1.16 {d16, d17, d18, d19}, [r2, :128]
1034 vst1.16 {q14, q15}, [r2, :128]!
1035 vld1.16 {d20, d21, d22, d23}, [r2, :128]
1036 vst1.16 {q14, q15}, [r2, :128]
1037
1038 scale_input d0[0], q8, q9, q10, q11
1039
1040 blx r4
1041
1042 transpose_4x4h q8, q9, d16, d17, d18, d19
1043 transpose_4x4h q10, q11, d20, d21, d22, d23
1044 vswp d17, d20
1045 vswp d19, d21
1046 vswp d18, d20
1047 vswp d21, d22
1048
1049 blx r5
1050
1051 load_add_store_8x4 r0, r7
1052 vpop {q4-q7}
1053 pop {r4-r5,r7,pc}
1054 endfunc
1055
1056 function inv_txfm_add_4x8_neon
1057 vmov.i16 q14, #0
1058 vmov.i16 q15, #0
1059 movw r12, #2896*8
1060 vdup.16 d0, r12
1061 vld1.16 {q8, q9}, [r2, :128]
1062 vst1.16 {q14, q15}, [r2, :128]!
1063 vld1.16 {q10, q11}, [r2, :128]
1064 vst1.16 {q14, q15}, [r2, :128]
1065
1066 scale_input d0[0], q8, q9, q10, q11
1067
1068 blx r4
1069
1070 transpose_4x8h q8, q9, q10, q11
1071 vswp d17, d20
1072 vswp d19, d21
1073 vswp d17, d18
1074 vswp d19, d22
1075
1076 blx r5
1077
1078 load_add_store_4x8 r0, r7
1079 vpop {q4-q7}
1080 pop {r4-r5,r7,pc}
1081 endfunc
1082
1083 .macro def_fn_48 w, h, txfm1, txfm2
1084 function inv_txfm_add_\txfm1\()_\txfm2\()_\w\()x\h\()_8bpc_neon, export=1
1085 .ifc \txfm1\()_\txfm2, dct_dct
1086 idct_dc \w, \h, 0
1087 .endif
1088 push {r4-r5,r7,lr}
1089 vpush {q4-q7}
1090 movrel_local r4, inv_\txfm1\()_\h\()h_x\w\()_neon
1091 movrel_local r5, inv_\txfm2\()_\w\()h_x\h\()_neon
1092 b inv_txfm_add_\w\()x\h\()_neon
1093 endfunc
1094 .endm
1095
1096 .macro def_fns_48 w, h
1097 def_fn_48 \w, \h, dct, dct
1098 def_fn_48 \w, \h, identity, identity
1099 def_fn_48 \w, \h, dct, adst
1100 def_fn_48 \w, \h, dct, flipadst
1101 def_fn_48 \w, \h, dct, identity
1102 def_fn_48 \w, \h, adst, dct
1103 def_fn_48 \w, \h, adst, adst
1104 def_fn_48 \w, \h, adst, flipadst
1105 def_fn_48 \w, \h, flipadst, dct
1106 def_fn_48 \w, \h, flipadst, adst
1107 def_fn_48 \w, \h, flipadst, flipadst
1108 def_fn_48 \w, \h, identity, dct
1109 def_fn_48 \w, \h, adst, identity
1110 def_fn_48 \w, \h, flipadst, identity
1111 def_fn_48 \w, \h, identity, adst
1112 def_fn_48 \w, \h, identity, flipadst
1113 .endm
1114
1115 def_fns_48 4, 8
1116 def_fns_48 8, 4
1117
1118 function inv_dct_4h_x16_neon, export=1
1119 movrel_local r12, idct_coeffs
1120 vld1.16 {q0, q1}, [r12, :128]
1121
1122 vmull_vmlsl q2, d17, d31, d2[0], d2[1] // -> t8a
1123 vmull_vmlal q3, d17, d31, d2[1], d2[0] // -> t15a
1124 vmull_vmlsl q4, d25, d23, d2[2], d2[3] // -> t9a
1125 vqrshrn.s32 d17, q2, #12 // t8a
1126 vqrshrn.s32 d31, q3, #12 // t15a
1127 vmull_vmlal q2, d25, d23, d2[3], d2[2] // -> t14a
1128 vmull_vmlsl q3, d21, d27, d3[0], d3[1] // -> t10a
1129 vqrshrn.s32 d23, q4, #12 // t9a
1130 vqrshrn.s32 d25, q2, #12 // t14a
1131 vmull_vmlal q4, d21, d27, d3[1], d3[0] // -> t13a
1132 vmull_vmlsl q2, d29, d19, d3[2], d3[3] // -> t11a
1133 vqrshrn.s32 d21, q3, #12 // t10a
1134 vqrshrn.s32 d27, q4, #12 // t13a
1135 vmull_vmlal q3, d29, d19, d3[3], d3[2] // -> t12a
1136 vqrshrn.s32 d19, q2, #12 // t11a
1137 vqrshrn.s32 d29, q3, #12 // t12a
1138
1139 idct_4h_x8 d16, d18, d20, d22, d24, d26, d28, d30
1140
1141 vqsub.s16 d4, d17, d23 // t9
1142 vqadd.s16 d17, d17, d23 // t8
1143 vqsub.s16 d5, d31, d25 // t14
1144 vqadd.s16 d31, d31, d25 // t15
1145 vqsub.s16 d23, d19, d21 // t10
1146 vqadd.s16 d19, d19, d21 // t11
1147 vqadd.s16 d25, d29, d27 // t12
1148 vqsub.s16 d29, d29, d27 // t13
1149
1150 vmull_vmlsl q3, d5, d4, d0[2], d0[3] // -> t9a
1151 vmull_vmlal q4, d5, d4, d0[3], d0[2] // -> t14a
1152 vqrshrn.s32 d21, q3, #12 // t9a
1153 vqrshrn.s32 d27, q4, #12 // t14a
1154
1155 vmull_vmlsl q3, d29, d23, d0[2], d0[3] // -> t13a
1156 vmull_vmlal q4, d29, d23, d0[3], d0[2] // -> t10a
1157 vqrshrn.s32 d29, q3, #12 // t13a
1158 vneg.s32 q4, q4
1159 vqrshrn.s32 d23, q4, #12 // t10a
1160
1161 vqsub.s16 d4, d17, d19 // t11a
1162 vqadd.s16 d17, d17, d19 // t8a
1163 vqsub.s16 d5, d31, d25 // t12a
1164 vqadd.s16 d31, d31, d25 // t15a
1165 vqadd.s16 d19, d21, d23 // t9
1166 vqsub.s16 d21, d21, d23 // t10
1167 vqsub.s16 d25, d27, d29 // t13
1168 vqadd.s16 d27, d27, d29 // t14
1169
1170 vmull_vmlsl q3, d5, d4, d0[0], d0[0] // -> t11
1171 vmull_vmlal q4, d5, d4, d0[0], d0[0] // -> t12
1172 vmull_vmlsl q2, d25, d21, d0[0], d0[0] // -> t10a
1173
1174 vqrshrn.s32 d6, q3, #12 // t11
1175 vqrshrn.s32 d7, q4, #12 // t12
1176 vmull_vmlal q4, d25, d21, d0[0], d0[0] // -> t13a
1177 vqrshrn.s32 d4, q2, #12 // t10a
1178 vqrshrn.s32 d5, q4, #12 // t13a
1179
1180 vqadd.s16 d8, d16, d31 // out0
1181 vqsub.s16 d31, d16, d31 // out15
1182 vmov d16, d8
1183 vqadd.s16 d23, d30, d17 // out7
1184 vqsub.s16 d9, d30, d17 // out8
1185 vqadd.s16 d17, d18, d27 // out1
1186 vqsub.s16 d30, d18, d27 // out14
1187 vqadd.s16 d18, d20, d5 // out2
1188 vqsub.s16 d29, d20, d5 // out13
1189 vqadd.s16 d5, d28, d19 // out6
1190 vqsub.s16 d25, d28, d19 // out9
1191 vqadd.s16 d19, d22, d7 // out3
1192 vqsub.s16 d28, d22, d7 // out12
1193 vqadd.s16 d20, d24, d6 // out4
1194 vqsub.s16 d27, d24, d6 // out11
1195 vqadd.s16 d21, d26, d4 // out5
1196 vqsub.s16 d26, d26, d4 // out10
1197 vmov d24, d9
1198 vmov d22, d5
1199
1200 bx lr
1201 endfunc
1202
1203 .macro iadst_16 o0, o1, o2, o3, o4, o5, o6, o7, o8, o9, o10, o11, o12, o13, o14, o15
1204 movrel_local r12, iadst16_coeffs
1205 vld1.16 {q0, q1}, [r12, :128]
1206 movrel_local r12, idct_coeffs
1207
1208 vmull_vmlal q2, d31, d16, d0[0], d0[1] // -> t0
1209 vmull_vmlsl q3, d31, d16, d0[1], d0[0] // -> t1
1210 vmull_vmlal q4, d29, d18, d0[2], d0[3] // -> t2
1211 vqrshrn.s32 d16, q2, #12 // t0
1212 vqrshrn.s32 d31, q3, #12 // t1
1213 vmull_vmlsl q2, d29, d18, d0[3], d0[2] // -> t3
1214 vmull_vmlal q3, d27, d20, d1[0], d1[1] // -> t4
1215 vqrshrn.s32 d18, q4, #12 // t2
1216 vqrshrn.s32 d29, q2, #12 // t3
1217 vmull_vmlsl q4, d27, d20, d1[1], d1[0] // -> t5
1218 vmull_vmlal q2, d25, d22, d1[2], d1[3] // -> t6
1219 vqrshrn.s32 d20, q3, #12 // t4
1220 vqrshrn.s32 d27, q4, #12 // t5
1221 vmull_vmlsl q3, d25, d22, d1[3], d1[2] // -> t7
1222 vmull_vmlal q4, d23, d24, d2[0], d2[1] // -> t8
1223 vqrshrn.s32 d22, q2, #12 // t6
1224 vqrshrn.s32 d25, q3, #12 // t7
1225 vmull_vmlsl q2, d23, d24, d2[1], d2[0] // -> t9
1226 vmull_vmlal q3, d21, d26, d2[2], d2[3] // -> t10
1227 vqrshrn.s32 d23, q4, #12 // t8
1228 vqrshrn.s32 d24, q2, #12 // t9
1229 vmull_vmlsl q4, d21, d26, d2[3], d2[2] // -> t11
1230 vmull_vmlal q2, d19, d28, d3[0], d3[1] // -> t12
1231 vqrshrn.s32 d21, q3, #12 // t10
1232 vqrshrn.s32 d26, q4, #12 // t11
1233 vmull_vmlsl q3, d19, d28, d3[1], d3[0] // -> t13
1234 vmull_vmlal q4, d17, d30, d3[2], d3[3] // -> t14
1235 vqrshrn.s32 d19, q2, #12 // t12
1236 vqrshrn.s32 d28, q3, #12 // t13
1237 vmull_vmlsl q2, d17, d30, d3[3], d3[2] // -> t15
1238 vqrshrn.s32 d17, q4, #12 // t14
1239 vqrshrn.s32 d30, q2, #12 // t15
1240
1241 vld1.16 {q0}, [r12, :128]
1242
1243 vqsub.s16 d2, d16, d23 // t8a
1244 vqadd.s16 d16, d16, d23 // t0a
1245 vqsub.s16 d3, d31, d24 // t9a
1246 vqadd.s16 d31, d31, d24 // t1a
1247 vqadd.s16 d23, d18, d21 // t2a
1248 vqsub.s16 d18, d18, d21 // t10a
1249 vqadd.s16 d24, d29, d26 // t3a
1250 vqsub.s16 d29, d29, d26 // t11a
1251 vqadd.s16 d21, d20, d19 // t4a
1252 vqsub.s16 d20, d20, d19 // t12a
1253 vqadd.s16 d26, d27, d28 // t5a
1254 vqsub.s16 d27, d27, d28 // t13a
1255 vqadd.s16 d19, d22, d17 // t6a
1256 vqsub.s16 d22, d22, d17 // t14a
1257 vqadd.s16 d28, d25, d30 // t7a
1258 vqsub.s16 d25, d25, d30 // t15a
1259
1260 vmull_vmlal q2, d2, d3, d1[1], d1[0] // -> t8
1261 vmull_vmlsl q3, d2, d3, d1[0], d1[1] // -> t9
1262 vmull_vmlal q4, d18, d29, d1[3], d1[2] // -> t10
1263 vqrshrn.s32 d17, q2, #12 // t8
1264 vqrshrn.s32 d30, q3, #12 // t9
1265 vmull_vmlsl q2, d18, d29, d1[2], d1[3] // -> t11
1266 vmull_vmlsl q3, d27, d20, d1[1], d1[0] // -> t12
1267 vqrshrn.s32 d18, q4, #12 // t10
1268 vqrshrn.s32 d29, q2, #12 // t11
1269 vmull_vmlal q4, d27, d20, d1[0], d1[1] // -> t13
1270 vmull_vmlsl q2, d25, d22, d1[3], d1[2] // -> t14
1271 vqrshrn.s32 d27, q3, #12 // t12
1272 vqrshrn.s32 d20, q4, #12 // t13
1273 vmull_vmlal q3, d25, d22, d1[2], d1[3] // -> t15
1274 vqrshrn.s32 d25, q2, #12 // t14
1275 vqrshrn.s32 d22, q3, #12 // t15
1276
1277 vqsub.s16 d2, d16, d21 // t4
1278 vqadd.s16 d16, d16, d21 // t0
1279 vqsub.s16 d3, d31, d26 // t5
1280 vqadd.s16 d31, d31, d26 // t1
1281 vqadd.s16 d21, d23, d19 // t2
1282 vqsub.s16 d23, d23, d19 // t6
1283 vqadd.s16 d26, d24, d28 // t3
1284 vqsub.s16 d24, d24, d28 // t7
1285 vqadd.s16 d19, d17, d27 // t8a
1286 vqsub.s16 d17, d17, d27 // t12a
1287 vqadd.s16 d28, d30, d20 // t9a
1288 vqsub.s16 d30, d30, d20 // t13a
1289 vqadd.s16 d27, d18, d25 // t10a
1290 vqsub.s16 d18, d18, d25 // t14a
1291 vqadd.s16 d20, d29, d22 // t11a
1292 vqsub.s16 d29, d29, d22 // t15a
1293
1294 vmull_vmlal q2, d2, d3, d0[3], d0[2] // -> t4a
1295 vmull_vmlsl q3, d2, d3, d0[2], d0[3] // -> t5a
1296 vmull_vmlsl q4, d24, d23, d0[3], d0[2] // -> t6a
1297 vqrshrn.s32 d22, q2, #12 // t4a
1298 vqrshrn.s32 d25, q3, #12 // t5a
1299 vmull_vmlal q2, d24, d23, d0[2], d0[3] // -> t7a
1300 vmull_vmlal q3, d17, d30, d0[3], d0[2] // -> t12
1301 vqrshrn.s32 d24, q4, #12 // t6a
1302 vqrshrn.s32 d23, q2, #12 // t7a
1303 vmull_vmlsl q4, d17, d30, d0[2], d0[3] // -> t13
1304 vmull_vmlsl q2, d29, d18, d0[3], d0[2] // -> t14
1305 vqrshrn.s32 d17, q3, #12 // t12
1306 vmull_vmlal q3, d29, d18, d0[2], d0[3] // -> t15
1307 vqrshrn.s32 d29, q4, #12 // t13
1308 vqrshrn.s32 d30, q2, #12 // t14
1309 vqrshrn.s32 d18, q3, #12 // t15
1310
1311 vqsub.s16 d2, d16, d21 // t2a
1312 .ifc \o0, d16
1313 vqadd.s16 \o0, d16, d21 // out0
1314 vqsub.s16 d21, d31, d26 // t3a
1315 vqadd.s16 \o15,d31, d26 // out15
1316 .else
1317 vqadd.s16 d4, d16, d21 // out0
1318 vqsub.s16 d21, d31, d26 // t3a
1319 vqadd.s16 \o15,d31, d26 // out15
1320 vmov \o0, d4
1321 .endif
1322 vqneg.s16 \o15, \o15 // out15
1323
1324 vqsub.s16 d3, d29, d18 // t15a
1325 vqadd.s16 \o13,d29, d18 // out13
1326 vqadd.s16 \o2, d17, d30 // out2
1327 vqsub.s16 d26, d17, d30 // t14a
1328 vqneg.s16 \o13,\o13 // out13
1329
1330 vqadd.s16 \o1, d19, d27 // out1
1331 vqsub.s16 d27, d19, d27 // t10
1332 vqadd.s16 \o14,d28, d20 // out14
1333 vqsub.s16 d20, d28, d20 // t11
1334 vqneg.s16 \o1, \o1 // out1
1335
1336 vqadd.s16 \o3, d22, d24 // out3
1337 vqsub.s16 d22, d22, d24 // t6
1338 vqadd.s16 \o12,d25, d23 // out12
1339 vqsub.s16 d23, d25, d23 // t7
1340 vqneg.s16 \o3, \o3 // out3
1341
1342 vmull_vmlsl q12, d2, d21, d0[0], d0[0] // -> out8 (d24 or d23)
1343 vmull_vmlal q2, d2, d21, d0[0], d0[0] // -> out7 (d23 or d24)
1344 vmull_vmlal q3, d26, d3, d0[0], d0[0] // -> out5 (d21 or d26)
1345
1346 vqrshrn.s32 d24, q12, #12 // out8
1347 vqrshrn.s32 d4, q2, #12 // out7
1348 vqrshrn.s32 d5, q3, #12 // out5
1349 vmull_vmlsl q4, d26, d3, d0[0], d0[0] // -> out10 (d26 or d21)
1350 vmull_vmlal q1, d22, d23, d0[0], d0[0] // -> out4 (d20 or d27)
1351 vqrshrn.s32 d26, q4, #12 // out10
1352
1353 vmull_vmlsl q4, d22, d23, d0[0], d0[0] // -> out11 (d27 or d20)
1354 vmull_vmlal q11, d27, d20, d0[0], d0[0] // -> out6 (d22 or d25)
1355 vmull_vmlsl q3, d27, d20, d0[0], d0[0] // -> out9 (d25 or d22)
1356
1357 vqrshrn.s32 \o4, q1, #12 // out4
1358 vqrshrn.s32 d7, q3, #12 // out9
1359 vqrshrn.s32 d6, q4, #12 // out11
1360 vqrshrn.s32 \o6, q11, #12 // out6
1361
1362 .ifc \o8, d23
1363 vmov \o8, d24
1364 vmov \o10,d26
1365 .endif
1366
1367 vqneg.s16 \o7, d4 // out7
1368 vqneg.s16 \o5, d5 // out5
1369 vqneg.s16 \o11,d6 // out11
1370 vqneg.s16 \o9, d7 // out9
1371 .endm
1372
1373 function inv_adst_4h_x16_neon, export=1
1374 iadst_16 d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
1375 bx lr
1376 endfunc
1377
1378 function inv_flipadst_4h_x16_neon, export=1
1379 iadst_16 d31, d30, d29, d28, d27, d26, d25, d24, d23, d22, d21, d20, d19, d18, d17, d16
1380 bx lr
1381 endfunc
1382
1383 function inv_identity_4h_x16_neon, export=1
1384 movw r12, #2*(5793-4096)*8
1385 vdup.16 d0, r12
1386 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
1387 vqrdmulh.s16 q1, \i, d0[0]
1388 vqadd.s16 \i, \i, \i
1389 vqadd.s16 \i, \i, q1
1390 .endr
1391 bx lr
1392 endfunc
1393
1394 .macro identity_4x16_shift2 c
1395 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
1396 vqrdmulh.s16 q2, \i, \c
1397 vshr.s16 q2, q2, #1
1398 vrhadd.s16 \i, \i, q2
1399 .endr
1400 .endm
1401
1402 .macro identity_4x16_shift1 c
1403 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
1404 vqrdmulh.s16 q2, \i, \c
1405 vrshr.s16 q2, q2, #1
1406 vqadd.s16 \i, \i, q2
1407 .endr
1408 .endm
1409
1410 .macro identity_8x8_shift1 c
1411 identity_4x16_shift1 \c
1412 .endm
1413
1414 .macro identity_8x8 c
1415 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
1416 vqrdmulh.s16 q2, \i, \c
1417 vqadd.s16 \i, \i, \i
1418 vqadd.s16 \i, \i, q2
1419 .endr
1420 .endm
1421
1422 .macro def_horz_16 scale=0, identity=0, shift=2, suffix
1423 function inv_txfm_horz\suffix\()_16x4_neon
1424 push {lr}
1425 vmov.i16 d7, #0
1426 .if \identity
1427 movw r12, #2*(5793-4096)*8
1428 vdup.16 d0, r12
1429 .endif
1430 .if \scale
1431 movw r12, #2896*8
1432 vdup.16 d1, r12
1433 .endif
1434 .irp i, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
1435 vld1.16 {\i}, [r7, :64]
1436 vst1.16 {d7}, [r7, :64], r8
1437 .endr
1438 .if \scale
1439 scale_input d1[0], q8, q9, q10, q11, q12, q13, q14, q15
1440 .endif
1441 .if \identity
1442 .if \shift == -2
1443 identity_4x16_shift2 d0[0]
1444 .else
1445 identity_4x16_shift1 d0[0]
1446 .endif
1447 .else
1448 blx r4
1449 .endif
1450 .if \shift > 0
1451 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
1452 vrshr.s16 \i, \i, #\shift
1453 .endr
1454 .endif
1455 transpose_4x4h q8, q9, d16, d17, d18, d19
1456 transpose_4x4h q10, q11, d20, d21, d22, d23
1457 transpose_4x4h q12, q13, d24, d25, d26, d27
1458 transpose_4x4h q14, q15, d28, d29, d30, d31
1459
1460 .irp i, d16, d20, d24, d28, d17, d21, d25, d29, d18, d22, d26, d30, d19, d23, d27, d31
1461 vst1.16 {\i}, [r6, :64]!
1462 .endr
1463
1464 pop {pc}
1465 endfunc
1466 .endm
1467
1468 def_horz_16 scale=0, identity=0, shift=2
1469 def_horz_16 scale=1, identity=0, shift=1, suffix=_scale
1470 def_horz_16 scale=0, identity=1, shift=-2, suffix=_identity
1471 def_horz_16 scale=1, identity=1, shift=-1, suffix=_scale_identity
1472
1473 function inv_txfm_add_vert_4x16_neon
1474 push {lr}
1475 .irp i, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
1476 vld1.16 {\i}, [r7, :64], r8
1477 .endr
1478 blx r5
1479 load_add_store_4x16 r6, r7
1480 pop {pc}
1481 endfunc
1482
1483 function inv_txfm_add_16x16_neon
1484 sub_sp_align 512
1485 ldrh r11, [r10], #2
1486 .irp i, 0, 4, 8, 12
1487 add r6, sp, #(\i*16*2)
1488 .if \i > 0
1489 mov r8, #(16 - \i)
1490 cmp r3, r11
1491 blt 1f
1492 .if \i < 12
1493 ldrh r11, [r10], #2
1494 .endif
1495 .endif
1496 add r7, r2, #(\i*2)
1497 mov r8, #16*2
1498 blx r9
1499 .endr
1500 b 3f
1501 1:
1502 vmov.i16 q2, #0
1503 vmov.i16 q3, #0
1504 2:
1505 subs r8, r8, #4
1506 .rept 4
1507 vst1.16 {q2, q3}, [r6, :128]!
1508 .endr
1509 bgt 2b
1510 3:
1511 .irp i, 0, 4, 8, 12
1512 add r6, r0, #(\i)
1513 add r7, sp, #(\i*2)
1514 mov r8, #32
1515 bl inv_txfm_add_vert_4x16_neon
1516 .endr
1517
1518 add_sp_align 512
1519 vpop {q4}
1520 pop {r4-r11,pc}
1521 endfunc
1522
1523 const eob_16x16
1524 .short 10, 36, 78, 256
1525 endconst
1526
1527 const eob_16x16_identity
1528 .short 4, 8, 12, 256
1529 endconst
1530
1531 .macro def_fn_16x16 txfm1, txfm2
1532 function inv_txfm_add_\txfm1\()_\txfm2\()_16x16_8bpc_neon, export=1
1533 .ifc \txfm1\()_\txfm2, dct_dct
1534 idct_dc 16, 16, 2
1535 .endif
1536 push {r4-r11,lr}
1537 vpush {q4}
1538 .ifc \txfm1, identity
1539 movrel_local r9, inv_txfm_horz_identity_16x4_neon
1540 .else
1541 movrel_local r9, inv_txfm_horz_16x4_neon
1542 movrel_local r4, inv_\txfm1\()_4h_x16_neon
1543 .endif
1544 movrel_local r5, inv_\txfm2\()_4h_x16_neon
1545 .ifc \txfm1, identity
1546 .ifc \txfm2, identity
1547 movrel_local r10, eob_16x16
1548 .else
1549 movrel_local r10, eob_16x16_identity
1550 .endif
1551 .else
1552 .ifc \txfm2, identity
1553 movrel_local r10, eob_16x16_identity
1554 .else
1555 movrel_local r10, eob_16x16
1556 .endif
1557 .endif
1558 b inv_txfm_add_16x16_neon
1559 endfunc
1560 .endm
1561
1562 def_fn_16x16 dct, dct
1563 def_fn_16x16 identity, identity
1564 def_fn_16x16 dct, adst
1565 def_fn_16x16 dct, flipadst
1566 def_fn_16x16 dct, identity
1567 def_fn_16x16 adst, dct
1568 def_fn_16x16 adst, adst
1569 def_fn_16x16 adst, flipadst
1570 def_fn_16x16 flipadst, dct
1571 def_fn_16x16 flipadst, adst
1572 def_fn_16x16 flipadst, flipadst
1573 def_fn_16x16 identity, dct
1574
1575 .macro def_fn_416_base variant
1576 function inv_txfm_\variant\()add_16x4_neon
1577
1578 .ifc \variant, identity_
1579 vmov.i16 d4, #0
1580 .irp i, d16, d18, d20, d22
1581 vld1.16 {\i}, [r2, :64]
1582 vst1.16 {d4}, [r2, :64]!
1583 .endr
1584 .irp i, d17, d19, d21, d23
1585 vld1.16 {\i}, [r2, :64]
1586 vst1.16 {d4}, [r2, :64]!
1587 .endr
1588 movw r12, #2*(5793-4096)*8
1589 vdup.16 d0, r12
1590 .irp i, d24, d26, d28, d30
1591 vld1.16 {\i}, [r2, :64]
1592 vst1.16 {d4}, [r2, :64]!
1593 .endr
1594 .irp i, d25, d27, d29, d31
1595 vld1.16 {\i}, [r2, :64]
1596 vst1.16 {d4}, [r2, :64]!
1597 .endr
1598
1599 identity_4x16_shift1 d0[0]
1600 .else
1601 vmov.i16 q2, #0
1602 vmov.i16 q3, #0
1603 vld1.16 {d16, d17, d18, d19}, [r2, :128]
1604 vst1.16 {q2, q3}, [r2, :128]!
1605 vld1.16 {d20, d21, d22, d23}, [r2, :128]
1606 vst1.16 {q2, q3}, [r2, :128]!
1607 vld1.16 {d24, d25, d26, d27}, [r2, :128]
1608 vst1.16 {q2, q3}, [r2, :128]!
1609 vld1.16 {d28, d29, d30, d31}, [r2, :128]
1610 vst1.16 {q2, q3}, [r2, :128]!
1611
1612 blx r4
1613
1614 vswp d17, d20
1615 vswp d19, d22
1616 vswp d18, d20
1617 vswp d19, d21
1618 .irp i, q8, q9, q10, q11
1619 vrshr.s16 \i, \i, #1
1620 .endr
1621 .endif
1622 transpose_4x8h q8, q9, q10, q11
1623 blx r5
1624 mov r6, r0
1625 load_add_store_8x4 r6, r7
1626
1627 .ifc \variant, identity_
1628 vmov q8, q12
1629 vmov q9, q13
1630 vmov q10, q14
1631 vmov q11, q15
1632 .else
1633 vswp d25, d28
1634 vswp d27, d30
1635 vswp d26, d28
1636 vswp d27, d29
1637 vrshr.s16 q8, q12, #1
1638 vrshr.s16 q9, q13, #1
1639 vrshr.s16 q10, q14, #1
1640 vrshr.s16 q11, q15, #1
1641 .endif
1642 transpose_4x8h q8, q9, q10, q11
1643 blx r5
1644 add r6, r0, #8
1645 load_add_store_8x4 r6, r7
1646
1647 vpop {q4-q7}
1648 pop {r4-r11,pc}
1649 endfunc
1650
1651 function inv_txfm_\variant\()add_4x16_neon
1652 vmov.i16 q2, #0
1653
1654 mov r11, #32
1655 cmp r3, r10
1656 blt 1f
1657
1658 add r6, r2, #16
1659 .ifc \variant, identity_
1660 .irp i, q12, q13, q14, q15
1661 vld1.16 {\i}, [r6, :128]
1662 vst1.16 {q2}, [r6, :128], r11
1663 .endr
1664 movw r12, #(5793-4096)*8
1665 vdup.16 d0, r12
1666 identity_8x4_shift1 q12, q13, q14, q15, d0[0]
1667 .else
1668 .irp i, q8, q9, q10, q11
1669 vld1.16 {\i}, [r6, :128]
1670 vst1.16 {q2}, [r6, :128], r11
1671 .endr
1672 blx r4
1673 vrshr.s16 q12, q8, #1
1674 vrshr.s16 q13, q9, #1
1675 vrshr.s16 q14, q10, #1
1676 vrshr.s16 q15, q11, #1
1677 .endif
1678 transpose_4x8h q12, q13, q14, q15
1679 vswp d27, d29
1680 vswp d26, d28
1681 vswp d27, d30
1682 vswp d25, d28
1683
1684 b 2f
1685 1:
1686 .irp i, q12, q13, q14, q15
1687 vmov.i16 \i, #0
1688 .endr
1689 2:
1690 vmov.i16 q2, #0
1691 .irp i, q8, q9, q10, q11
1692 vld1.16 {\i}, [r2, :128]
1693 vst1.16 {q2}, [r2, :128], r11
1694 .endr
1695 .ifc \variant, identity_
1696 movw r12, #(5793-4096)*8
1697 vdup.16 d0, r12
1698 identity_8x4_shift1 q8, q9, q10, q11, d0[0]
1699 .else
1700 blx r4
1701 .irp i, q8, q9, q10, q11
1702 vrshr.s16 \i, \i, #1
1703 .endr
1704 .endif
1705 transpose_4x8h q8, q9, q10, q11
1706 vswp d19, d21
1707 vswp d18, d20
1708 vswp d19, d22
1709 vswp d17, d20
1710
1711 blx r5
1712
1713 load_add_store_4x16 r0, r6
1714
1715 vpop {q4-q7}
1716 pop {r4-r11,pc}
1717 endfunc
1718 .endm
1719
1720 def_fn_416_base
1721 def_fn_416_base identity_
1722
1723 .macro def_fn_416 w, h, txfm1, txfm2, eob_half
1724 function inv_txfm_add_\txfm1\()_\txfm2\()_\w\()x\h\()_8bpc_neon, export=1
1725 .ifc \txfm1\()_\txfm2, dct_dct
1726 idct_dc \w, \h, 1
1727 .endif
1728 push {r4-r11,lr}
1729 vpush {q4-q7}
1730 .if \w == 4
1731 movrel_local r4, inv_\txfm1\()_8h_x\w\()_neon
1732 movrel_local r5, inv_\txfm2\()_4h_x\h\()_neon
1733 mov r10, #\eob_half
1734 .else
1735 movrel_local r4, inv_\txfm1\()_4h_x\w\()_neon
1736 movrel_local r5, inv_\txfm2\()_8h_x\h\()_neon
1737 .endif
1738 .ifc \txfm1, identity
1739 b inv_txfm_identity_add_\w\()x\h\()_neon
1740 .else
1741 b inv_txfm_add_\w\()x\h\()_neon
1742 .endif
1743 endfunc
1744 .endm
1745
1746 .macro def_fns_416 w, h
1747 def_fn_416 \w, \h, dct, dct, 29
1748 def_fn_416 \w, \h, identity, identity, 29
1749 def_fn_416 \w, \h, dct, adst, 29
1750 def_fn_416 \w, \h, dct, flipadst, 29
1751 def_fn_416 \w, \h, dct, identity, 8
1752 def_fn_416 \w, \h, adst, dct, 29
1753 def_fn_416 \w, \h, adst, adst, 29
1754 def_fn_416 \w, \h, adst, flipadst, 29
1755 def_fn_416 \w, \h, flipadst, dct, 29
1756 def_fn_416 \w, \h, flipadst, adst, 29
1757 def_fn_416 \w, \h, flipadst, flipadst, 29
1758 def_fn_416 \w, \h, identity, dct, 32
1759 def_fn_416 \w, \h, adst, identity, 8
1760 def_fn_416 \w, \h, flipadst, identity, 8
1761 def_fn_416 \w, \h, identity, adst, 32
1762 def_fn_416 \w, \h, identity, flipadst, 32
1763 .endm
1764
1765 def_fns_416 4, 16
1766 def_fns_416 16, 4
1767
1768 .macro def_fn_816_base variant
1769 function inv_txfm_\variant\()add_16x8_neon
1770 sub_sp_align 256
1771
1772 .irp i, 0, 4
1773 add r6, sp, #(\i*16*2)
1774 .if \i > 0
1775 cmp r3, r10
1776 blt 1f
1777 .endif
1778 add r7, r2, #(\i*2)
1779 mov r8, #8*2
1780 blx r9
1781 .endr
1782 b 2f
1783 1:
1784 vmov.i16 q2, #0
1785 vmov.i16 q3, #0
1786 .rept 4
1787 vst1.16 {q2, q3}, [r6, :128]!
1788 .endr
1789 2:
1790
1791 .irp i, 0, 8
1792 add r7, sp, #(\i*2)
1793 mov r8, #32
1794 .irp j, q8, q9, q10, q11, q12, q13, q14, q15
1795 vld1.16 {\j}, [r7, :128], r8
1796 .endr
1797 blx r5
1798
1799 add r6, r0, #(\i)
1800 load_add_store_8x8 r6, r7
1801 .endr
1802
1803 add_sp_align 256
1804 vpop {q4-q7}
1805 pop {r4-r11,pc}
1806 endfunc
1807
1808 function inv_txfm_\variant\()add_8x16_neon
1809 sub_sp_align 256
1810
1811 .irp i, 0, 8
1812 add r6, sp, #(\i*8*2)
1813 .if \i > 0
1814 cmp r3, r10
1815 blt 1f
1816 .endif
1817 add r7, r2, #(\i*2)
1818 mov r8, #16*2
1819
1820 vmov.i16 q2, #0
1821 movw r12, #2896*8
1822 vdup.16 d0, r12
1823
1824 .irp j, q8, q9, q10, q11, q12, q13, q14, q15
1825 vld1.16 {\j}, [r7, :128]
1826 vst1.16 {q2}, [r7, :128], r8
1827 .endr
1828 scale_input d0[0], q8, q9, q10, q11, q12, q13, q14, q15
1829 .ifc \variant, identity_
1830 // The identity shl #1 and downshift vrshr #1 cancel out
1831 .else
1832 blx r4
1833 .irp j, q8, q9, q10, q11, q12, q13, q14, q15
1834 vrshr.s16 \j, \j, #1
1835 .endr
1836 .endif
1837 transpose_8x8h q8, q9, q10, q11, q12, q13, q14, q15, d17, d19, d21, d23, d24, d26, d28, d30
1838 vst1.16 {q8, q9}, [r6, :128]!
1839 vst1.16 {q10, q11}, [r6, :128]!
1840 vst1.16 {q12, q13}, [r6, :128]!
1841 vst1.16 {q14, q15}, [r6, :128]!
1842 .endr
1843 b 2f
1844 1:
1845 vmov.i16 q2, #0
1846 vmov.i16 q3, #0
1847 .rept 4
1848 vst1.16 {q2, q3}, [r6, :128]!
1849 .endr
1850 2:
1851
1852 .irp i, 0, 4
1853 add r6, r0, #(\i)
1854 add r7, sp, #(\i*2)
1855 mov r8, #16
1856 bl inv_txfm_add_vert_4x16_neon
1857 .endr
1858
1859 add_sp_align 256
1860 vpop {q4-q7}
1861 pop {r4-r11,pc}
1862 endfunc
1863 .endm
1864
1865 def_fn_816_base
1866 def_fn_816_base identity_
1867
1868 .macro def_fn_816 w, h, txfm1, txfm2, eob_8x8, eob_4x4
1869 function inv_txfm_add_\txfm1\()_\txfm2\()_\w\()x\h\()_8bpc_neon, export=1
1870 .ifc \txfm1\()_\txfm2, dct_dct
1871 idct_dc \w, \h, 1
1872 .endif
1873 push {r4-r11,lr}
1874 vpush {q4-q7}
1875 .if \w == 8
1876 movrel_local r4, inv_\txfm1\()_8h_x8_neon
1877 movrel_local r5, inv_\txfm2\()_4h_x16_neon
1878 .else
1879 .ifc \txfm1, identity
1880 movrel_local r9, inv_txfm_horz_scale_identity_16x4_neon
1881 .else
1882 movrel_local r4, inv_\txfm1\()_4h_x16_neon
1883 movrel_local r9, inv_txfm_horz_scale_16x4_neon
1884 .endif
1885 movrel_local r5, inv_\txfm2\()_8h_x8_neon
1886 .endif
1887 .if \w == 8
1888 mov r10, #\eob_8x8
1889 .else
1890 mov r10, #\eob_4x4
1891 .endif
1892 .ifc \txfm1, identity
1893 b inv_txfm_identity_add_\w\()x\h\()_neon
1894 .else
1895 b inv_txfm_add_\w\()x\h\()_neon
1896 .endif
1897 endfunc
1898 .endm
1899
1900 .macro def_fns_816 w, h
1901 def_fn_816 \w, \h, dct, dct, 43, 10
1902 def_fn_816 \w, \h, identity, identity, 43, 10
1903 def_fn_816 \w, \h, dct, adst, 43, 10
1904 def_fn_816 \w, \h, dct, flipadst, 43, 10
1905 def_fn_816 \w, \h, dct, identity, 8, 4
1906 def_fn_816 \w, \h, adst, dct, 43, 10
1907 def_fn_816 \w, \h, adst, adst, 43, 10
1908 def_fn_816 \w, \h, adst, flipadst, 43, 10
1909 def_fn_816 \w, \h, flipadst, dct, 43, 10
1910 def_fn_816 \w, \h, flipadst, adst, 43, 10
1911 def_fn_816 \w, \h, flipadst, flipadst, 43, 10
1912 def_fn_816 \w, \h, identity, dct, 64, 4
1913 def_fn_816 \w, \h, adst, identity, 8, 4
1914 def_fn_816 \w, \h, flipadst, identity, 8, 4
1915 def_fn_816 \w, \h, identity, adst, 64, 4
1916 def_fn_816 \w, \h, identity, flipadst, 64, 4
1917 .endm
1918
1919 def_fns_816 8, 16
1920 def_fns_816 16, 8
1921
1922 function inv_dct32_odd_4h_x16_neon, export=1
1923 movrel_local r12, idct_coeffs, 2*16
1924 vld1.16 {q0, q1}, [r12, :128]
1925 sub r12, r12, #2*16
1926
1927 vmull_vmlsl q2, d16, d31, d0[0], d0[1] // -> t16a
1928 vmull_vmlal q3, d16, d31, d0[1], d0[0] // -> t31a
1929 vmull_vmlsl q4, d24, d23, d0[2], d0[3] // -> t17a
1930 vqrshrn.s32 d16, q2, #12 // t16a
1931 vqrshrn.s32 d31, q3, #12 // t31a
1932 vmull_vmlal q2, d24, d23, d0[3], d0[2] // -> t30a
1933 vmull_vmlsl q3, d20, d27, d1[0], d1[1] // -> t18a
1934 vqrshrn.s32 d24, q4, #12 // t17a
1935 vqrshrn.s32 d23, q2, #12 // t30a
1936 vmull_vmlal q4, d20, d27, d1[1], d1[0] // -> t29a
1937 vmull_vmlsl q2, d28, d19, d1[2], d1[3] // -> t19a
1938 vqrshrn.s32 d20, q3, #12 // t18a
1939 vqrshrn.s32 d27, q4, #12 // t29a
1940 vmull_vmlal q3, d28, d19, d1[3], d1[2] // -> t28a
1941 vmull_vmlsl q4, d18, d29, d2[0], d2[1] // -> t20a
1942 vqrshrn.s32 d28, q2, #12 // t19a
1943 vqrshrn.s32 d19, q3, #12 // t28a
1944 vmull_vmlal q2, d18, d29, d2[1], d2[0] // -> t27a
1945 vmull_vmlsl q3, d26, d21, d2[2], d2[3] // -> t21a
1946 vqrshrn.s32 d18, q4, #12 // t20a
1947 vqrshrn.s32 d29, q2, #12 // t27a
1948 vmull_vmlal q4, d26, d21, d2[3], d2[2] // -> t26a
1949 vmull_vmlsl q2, d22, d25, d3[0], d3[1] // -> t22a
1950 vqrshrn.s32 d26, q3, #12 // t21a
1951 vqrshrn.s32 d21, q4, #12 // t26a
1952 vmull_vmlal q3, d22, d25, d3[1], d3[0] // -> t25a
1953 vmull_vmlsl q4, d30, d17, d3[2], d3[3] // -> t23a
1954 vqrshrn.s32 d22, q2, #12 // t22a
1955 vqrshrn.s32 d25, q3, #12 // t25a
1956 vmull_vmlal q2, d30, d17, d3[3], d3[2] // -> t24a
1957 vqrshrn.s32 d30, q4, #12 // t23a
1958 vqrshrn.s32 d17, q2, #12 // t24a
1959
1960 vld1.16 {q0}, [r12, :128]
1961
1962 vqsub.s16 d2, d16, d24 // t17
1963 vqadd.s16 d16, d16, d24 // t16
1964 vqsub.s16 d3, d31, d23 // t30
1965 vqadd.s16 d31, d31, d23 // t31
1966 vqsub.s16 d24, d28, d20 // t18
1967 vqadd.s16 d28, d28, d20 // t19
1968 vqadd.s16 d23, d18, d26 // t20
1969 vqsub.s16 d18, d18, d26 // t21
1970 vqsub.s16 d20, d30, d22 // t22
1971 vqadd.s16 d30, d30, d22 // t23
1972 vqadd.s16 d26, d17, d25 // t24
1973 vqsub.s16 d17, d17, d25 // t25
1974 vqsub.s16 d22, d29, d21 // t26
1975 vqadd.s16 d29, d29, d21 // t27
1976 vqadd.s16 d25, d19, d27 // t28
1977 vqsub.s16 d19, d19, d27 // t29
1978
1979 vmull_vmlsl q2, d3, d2, d1[0], d1[1] // -> t17a
1980 vmull_vmlal q3, d3, d2, d1[1], d1[0] // -> t30a
1981 vmull_vmlal q4, d19, d24, d1[1], d1[0] // -> t18a
1982 vqrshrn.s32 d21, q2, #12 // t17a
1983 vqrshrn.s32 d27, q3, #12 // t30a
1984 vneg.s32 q4, q4 // -> t18a
1985 vmull_vmlsl q1, d19, d24, d1[0], d1[1] // -> t29a
1986 vmull_vmlsl q2, d22, d18, d1[2], d1[3] // -> t21a
1987 vqrshrn.s32 d19, q4, #12 // t18a
1988 vqrshrn.s32 d24, q1, #12 // t29a
1989 vmull_vmlal q3, d22, d18, d1[3], d1[2] // -> t26a
1990 vmull_vmlal q4, d17, d20, d1[3], d1[2] // -> t22a
1991 vqrshrn.s32 d22, q2, #12 // t21a
1992 vqrshrn.s32 d18, q3, #12 // t26a
1993 vneg.s32 q4, q4 // -> t22a
1994 vmull_vmlsl q1, d17, d20, d1[2], d1[3] // -> t25a
1995 vqrshrn.s32 d17, q4, #12 // t22a
1996 vqrshrn.s32 d20, q1, #12 // t25a
1997
1998 vqsub.s16 d2, d27, d24 // t29
1999 vqadd.s16 d27, d27, d24 // t30
2000 vqsub.s16 d3, d21, d19 // t18
2001 vqadd.s16 d21, d21, d19 // t17
2002 vqsub.s16 d24, d16, d28 // t19a
2003 vqadd.s16 d16, d16, d28 // t16a
2004 vqsub.s16 d19, d30, d23 // t20a
2005 vqadd.s16 d30, d30, d23 // t23a
2006 vqsub.s16 d28, d17, d22 // t21
2007 vqadd.s16 d17, d17, d22 // t22
2008 vqadd.s16 d23, d26, d29 // t24a
2009 vqsub.s16 d26, d26, d29 // t27a
2010 vqadd.s16 d22, d20, d18 // t25
2011 vqsub.s16 d20, d20, d18 // t26
2012 vqsub.s16 d29, d31, d25 // t28a
2013 vqadd.s16 d31, d31, d25 // t31a
2014
2015 vmull_vmlsl q2, d2, d3, d0[2], d0[3] // -> t18a
2016 vmull_vmlal q3, d2, d3, d0[3], d0[2] // -> t29a
2017 vmull_vmlsl q4, d29, d24, d0[2], d0[3] // -> t19
2018 vqrshrn.s32 d18, q2, #12 // t18a
2019 vqrshrn.s32 d25, q3, #12 // t29a
2020 vmull_vmlal q1, d29, d24, d0[3], d0[2] // -> t28
2021 vmull_vmlal q2, d26, d19, d0[3], d0[2] // -> t20
2022 vqrshrn.s32 d29, q4, #12 // t19
2023 vqrshrn.s32 d24, q1, #12 // t28
2024 vneg.s32 q2, q2 // -> t20
2025 vmull_vmlsl q3, d26, d19, d0[2], d0[3] // -> t27
2026 vmull_vmlal q4, d20, d28, d0[3], d0[2] // -> t21a
2027 vqrshrn.s32 d26, q2, #12 // t20
2028 vqrshrn.s32 d19, q3, #12 // t27
2029 vneg.s32 q4, q4 // -> t21a
2030 vmull_vmlsl q1, d20, d28, d0[2], d0[3] // -> t26a
2031 vqrshrn.s32 d20, q4, #12 // t21a
2032 vqrshrn.s32 d28, q1, #12 // t26a
2033
2034 vqsub.s16 d2, d16, d30 // t23
2035 vqadd.s16 d16, d16, d30 // t16 = out16
2036 vqsub.s16 d3, d31, d23 // t24
2037 vqadd.s16 d31, d31, d23 // t31 = out31
2038 vqsub.s16 d23, d21, d17 // t22a
2039 vqadd.s16 d17, d21, d17 // t17a = out17
2040 vqadd.s16 d30, d27, d22 // t30a = out30
2041 vqsub.s16 d21, d27, d22 // t25a
2042 vqsub.s16 d27, d18, d20 // t21
2043 vqadd.s16 d18, d18, d20 // t18 = out18
2044 vqadd.s16 d4, d29, d26 // t19a = out19
2045 vqsub.s16 d26, d29, d26 // t20a
2046 vqadd.s16 d29, d25, d28 // t29 = out29
2047 vqsub.s16 d25, d25, d28 // t26
2048 vqadd.s16 d28, d24, d19 // t28a = out28
2049 vqsub.s16 d24, d24, d19 // t27a
2050 vmov d19, d4 // out19
2051
2052 vmull_vmlsl q2, d24, d26, d0[0], d0[0] // -> t20
2053 vmull_vmlal q3, d24, d26, d0[0], d0[0] // -> t27
2054 vqrshrn.s32 d20, q2, #12 // t20
2055 vqrshrn.s32 d22, q3, #12 // t27
2056
2057 vmull_vmlal q2, d25, d27, d0[0], d0[0] // -> t26a
2058 vmull_vmlsl q3, d25, d27, d0[0], d0[0] // -> t21a
2059 vmov d27, d22 // t27
2060 vqrshrn.s32 d26, q2, #12 // t26a
2061
2062 vmull_vmlsl q12, d21, d23, d0[0], d0[0] // -> t22
2063 vmull_vmlal q2, d21, d23, d0[0], d0[0] // -> t25
2064 vqrshrn.s32 d21, q3, #12 // t21a
2065 vqrshrn.s32 d22, q12, #12 // t22
2066 vqrshrn.s32 d25, q2, #12 // t25
2067
2068 vmull_vmlsl q2, d3, d2, d0[0], d0[0] // -> t23a
2069 vmull_vmlal q3, d3, d2, d0[0], d0[0] // -> t24a
2070 vqrshrn.s32 d23, q2, #12 // t23a
2071 vqrshrn.s32 d24, q3, #12 // t24a
2072
2073 bx lr
2074 endfunc
2075
2076 .macro def_horz_32 scale=0, shift=2, suffix
2077 function inv_txfm_horz\suffix\()_dct_32x4_neon
2078 push {lr}
2079 vmov.i16 d7, #0
2080 lsl r8, r8, #1
2081 .if \scale
2082 movw r12, #2896*8
2083 vdup.16 d0, r12
2084 .endif
2085
2086 .irp i, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
2087 vld1.16 {\i}, [r7, :64]
2088 vst1.16 {d7}, [r7, :64], r8
2089 .endr
2090 sub r7, r7, r8, lsl #4
2091 add r7, r7, r8, lsr #1
2092 .if \scale
2093 scale_input d0[0], q8, q9, q10, q11, q12, q13, q14, q15
2094 .endif
2095 bl inv_dct_4h_x16_neon
2096 transpose_4x4h q8, q9, d16, d17, d18, d19
2097 transpose_4x4h q10, q11, d20, d21, d22, d23
2098 transpose_4x4h q12, q13, d24, d25, d26, d27
2099 transpose_4x4h q14, q15, d28, d29, d30, d31
2100
2101 .macro store1 r0, r1, r2, r3
2102 vst1.16 {\r0}, [r6, :64]!
2103 vst1.16 {\r1}, [r6, :64]!
2104 vst1.16 {\r2}, [r6, :64]!
2105 vst1.16 {\r3}, [r6, :64]!
2106 add r6, r6, #32
2107 .endm
2108 store1 d16, d20, d24, d28
2109 store1 d17, d21, d25, d29
2110 store1 d18, d22, d26, d30
2111 store1 d19, d23, d27, d31
2112 .purgem store1
2113 sub r6, r6, #64*4
2114
2115 vmov.i16 d7, #0
2116 .irp i, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
2117 vld1.16 {\i}, [r7, :64]
2118 vst1.16 {d7}, [r7, :64], r8
2119 .endr
2120 .if \scale
2121 // This relies on the fact that the idct also leaves the right coeff in d0[1]
2122 scale_input d0[1], q8, q9, q10, q11, q12, q13, q14, q15
2123 .endif
2124 bl inv_dct32_odd_4h_x16_neon
2125 transpose_4x4h q15, q14, d31, d30, d29, d28
2126 transpose_4x4h q13, q12, d27, d26, d25, d24
2127 transpose_4x4h q11, q10, d23, d22, d21, d20
2128 transpose_4x4h q9, q8, d19, d18, d17, d16
2129 .macro store2 r0, r1, r2, r3, shift
2130 vld1.16 {q0, q1}, [r6, :128]
2131 vqsub.s16 d7, d0, \r0
2132 vqadd.s16 d0, d0, \r0
2133 vqsub.s16 d6, d1, \r1
2134 vqadd.s16 d1, d1, \r1
2135 vqsub.s16 d5, d2, \r2
2136 vqadd.s16 d2, d2, \r2
2137 vqsub.s16 d4, d3, \r3
2138 vqadd.s16 d3, d3, \r3
2139 vrev64.16 q2, q2
2140 vrev64.16 q3, q3
2141 vrshr.s16 q0, q0, #\shift
2142 vrshr.s16 q1, q1, #\shift
2143 vrshr.s16 q2, q2, #\shift
2144 vrshr.s16 q3, q3, #\shift
2145 vst1.16 {q0, q1}, [r6, :128]!
2146 vst1.16 {q2, q3}, [r6, :128]!
2147 .endm
2148
2149 store2 d31, d27, d23, d19, \shift
2150 store2 d30, d26, d22, d18, \shift
2151 store2 d29, d25, d21, d17, \shift
2152 store2 d28, d24, d20, d16, \shift
2153 .purgem store2
2154 pop {pc}
2155 endfunc
2156 .endm
2157
2158 def_horz_32 scale=0, shift=2
2159 def_horz_32 scale=1, shift=1, suffix=_scale
2160
2161 function inv_txfm_add_vert_dct_4x32_neon
2162 push {r10-r11,lr}
2163 lsl r8, r8, #1
2164
2165 .irp i, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
2166 vld1.16 {\i}, [r7, :64], r8
2167 .endr
2168 sub r7, r7, r8, lsl #4
2169
2170 bl inv_dct_4h_x16_neon
2171
2172 .irp i, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
2173 vst1.16 {\i}, [r7, :64], r8
2174 .endr
2175 sub r7, r7, r8, lsl #4
2176 add r7, r7, r8, lsr #1
2177
2178 .irp i, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
2179 vld1.16 {\i}, [r7, :64], r8
2180 .endr
2181 sub r7, r7, r8, lsl #4
2182 sub r7, r7, r8, lsr #1
2183 bl inv_dct32_odd_4h_x16_neon
2184
2185 neg r9, r8
2186 mov r10, r6
2187 .macro combine r0, r1, r2, r3, op, stride
2188 vld1.16 {d4}, [r7, :64], \stride
2189 vld1.32 {d2[0]}, [r10, :32], r1
2190 vld1.16 {d5}, [r7, :64], \stride
2191 vld1.32 {d2[1]}, [r10, :32], r1
2192 \op\().s16 d4, d4, \r0
2193 vld1.16 {d6}, [r7, :64], \stride
2194 vld1.32 {d3[0]}, [r10, :32], r1
2195 \op\().s16 d5, d5, \r1
2196 vld1.32 {d3[1]}, [r10, :32], r1
2197 vrshr.s16 q2, q2, #4
2198 \op\().s16 d6, d6, \r2
2199 vld1.16 {d7}, [r7, :64], \stride
2200 vaddw.u8 q2, q2, d2
2201 \op\().s16 d7, d7, \r3
2202 vqmovun.s16 d2, q2
2203 vrshr.s16 q3, q3, #4
2204 vst1.32 {d2[0]}, [r6, :32], r1
2205 vaddw.u8 q3, q3, d3
2206 vst1.32 {d2[1]}, [r6, :32], r1
2207 vqmovun.s16 d3, q3
2208 vst1.32 {d3[0]}, [r6, :32], r1
2209 vst1.32 {d3[1]}, [r6, :32], r1
2210 .endm
2211 combine d31, d30, d29, d28, vqadd, r8
2212 combine d27, d26, d25, d24, vqadd, r8
2213 combine d23, d22, d21, d20, vqadd, r8
2214 combine d19, d18, d17, d16, vqadd, r8
2215 sub r7, r7, r8
2216 combine d16, d17, d18, d19, vqsub, r9
2217 combine d20, d21, d22, d23, vqsub, r9
2218 combine d24, d25, d26, d27, vqsub, r9
2219 combine d28, d29, d30, d31, vqsub, r9
2220 .purgem combine
2221
2222 pop {r10-r11,pc}
2223 endfunc
2224
2225 const eob_32x32
2226 .short 10, 36, 78, 136, 210, 300, 406, 1024
2227 endconst
2228
2229 const eob_16x32
2230 .short 10, 36, 78, 151, 215, 279, 343, 512
2231 endconst
2232
2233 const eob_16x32_shortside
2234 .short 10, 36, 78, 512
2235 endconst
2236
2237 const eob_8x32
2238 // Contrary to the others, this one is only ever used in increments of 8x8
2239 .short 43, 107, 171, 256
2240 endconst
2241
2242 function inv_txfm_add_identity_identity_32x32_8bpc_neon, export=1
2243 push {r4-r7,lr}
2244 vmov.i16 q0, #0
2245 movrel_local r5, eob_32x32, 2
2246
2247 mov r6, #2*32
2248 1:
2249 mov r12, #0
2250 movrel_local r4, eob_32x32, 2
2251 2:
2252 add r12, r12, #8
2253 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
2254 vld1.16 {\i}, [r2, :128]
2255 vst1.16 {q0}, [r2, :128], r6
2256 .endr
2257 transpose_8x8h q8, q9, q10, q11, q12, q13, q14, q15, d17, d19, d21, d23, d24, d26, d28, d30
2258
2259 load_add_store_8x8 r0, r7, shiftbits=2
2260 ldrh lr, [r4], #4
2261 sub r0, r0, r1, lsl #3
2262 cmp r3, lr
2263 add r0, r0, #8
2264 bge 2b
2265
2266 ldrh lr, [r5], #4
2267 cmp r3, lr
2268 blt 9f
2269
2270 sub r0, r0, r12
2271 add r0, r0, r1, lsl #3
2272 mls r2, r6, r12, r2
2273 add r2, r2, #2*8
2274 b 1b
2275 9:
2276 pop {r4-r7,pc}
2277 endfunc
2278
2279 .macro shift_8_regs op, shift
2280 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
2281 \op \i, \i, #\shift
2282 .endr
2283 .endm
2284
2285 .macro def_identity_1632 w, h, wshort, hshort
2286 function inv_txfm_add_identity_identity_\w\()x\h\()_8bpc_neon, export=1
2287 push {r4-r7,lr}
2288 movw r6, #2896*8
2289 movw r7, #2*(5793-4096)*8
2290 vdup.i16 d0, r6
2291 movrel_local r5, eob_16x32\hshort, 2
2292 vmov.16 d0[1], r7
2293
2294 mov r6, #2*\h
2295 1:
2296 mov r12, #0
2297 movrel_local r4, eob_16x32\wshort, 2
2298 2:
2299 vmov.i16 q1, #0
2300 add r12, r12, #8
2301 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
2302 vld1.16 {\i}, [r2, :128]
2303 vst1.16 {q1}, [r2, :128], r6
2304 .endr
2305 scale_input d0[0], q8, q9, q10, q11, q12, q13, q14, q15
2306
2307 .if \w == 16
2308 // 16x32
2309 identity_8x8_shift1 d0[1]
2310 .else
2311 // 32x16
2312 shift_8_regs vqshl.s16, 1
2313 identity_8x8 d0[1]
2314 .endif
2315
2316 transpose_8x8h q8, q9, q10, q11, q12, q13, q14, q15, d17, d19, d21, d23, d24, d26, d28, d30
2317
2318 .if \w == 16
2319 load_add_store_8x8 r0, r7, shiftbits=2
2320 .else
2321 load_add_store_8x8 r0, r7, shiftbits=4
2322 .endif
2323 ldrh lr, [r4], #4
2324 sub r0, r0, r1, lsl #3
2325 cmp r3, lr
2326 add r0, r0, #8
2327 bge 2b
2328
2329 ldrh lr, [r5], #4
2330 cmp r3, lr
2331 blt 9f
2332
2333 sub r0, r0, r12
2334 add r0, r0, r1, lsl #3
2335 mls r2, r6, r12, r2
2336 add r2, r2, #2*8
2337 b 1b
2338 9:
2339 pop {r4-r7,pc}
2340 endfunc
2341 .endm
2342
2343 def_identity_1632 16, 32, _shortside,
2344 def_identity_1632 32, 16, , _shortside
2345
2346 .macro def_identity_832 w, h
2347 function inv_txfm_add_identity_identity_\w\()x\h\()_8bpc_neon, export=1
2348 push {r4-r5,lr}
2349 vmov.i16 q0, #0
2350 movrel_local r4, eob_8x32
2351
2352 mov r12, #2*\h
2353 1:
2354 ldrh lr, [r4], #2
2355 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
2356 vld1.16 {\i}, [r2, :128]
2357 vst1.16 {q0}, [r2, :128], r12
2358 .endr
2359
2360 .if \w == 8
2361 // 8x32
2362 shift_8_regs vrshr.s16, 1
2363 .endif
2364
2365 transpose_8x8h q8, q9, q10, q11, q12, q13, q14, q15, d17, d19, d21, d23, d24, d26, d28, d30
2366
2367 cmp r3, lr
2368 .if \w == 8
2369 load_add_store_8x8 r0, r5, shiftbits=2
2370 .else
2371 load_add_store_8x8 r0, r5, shiftbits=3
2372 .endif
2373
2374 blt 9f
2375 .if \w == 8
2376 sub r2, r2, r12, lsl #3
2377 add r2, r2, #2*8
2378 .else
2379 sub r0, r0, r1, lsl #3
2380 add r0, r0, #8
2381 .endif
2382 b 1b
2383
2384 9:
2385 pop {r4-r5,pc}
2386 endfunc
2387 .endm
2388
2389 def_identity_832 8, 32
2390 def_identity_832 32, 8
2391
2392 function inv_txfm_add_dct_dct_32x32_8bpc_neon, export=1
2393 idct_dc 32, 32, 2
2394
2395 push {r4-r11,lr}
2396 vpush {q4}
2397 sub_sp_align 2048
2398 movrel_local r10, eob_32x32
2399 ldrh r11, [r10], #2
2400
2401 .irp i, 0, 4, 8, 12, 16, 20, 24, 28
2402 add r6, sp, #(\i*32*2)
2403 .if \i > 0
2404 mov r8, #(32 - \i)
2405 cmp r3, r11
2406 blt 1f
2407 .if \i < 28
2408 ldrh r11, [r10], #2
2409 .endif
2410 .endif
2411 add r7, r2, #(\i*2)
2412 mov r8, #32*2
2413 bl inv_txfm_horz_dct_32x4_neon
2414 .endr
2415 b 3f
2416
2417 1:
2418 vmov.i16 q2, #0
2419 vmov.i16 q3, #0
2420 2:
2421 subs r8, r8, #2
2422 .rept 4
2423 vst1.16 {q2, q3}, [r6, :128]!
2424 .endr
2425 bgt 2b
2426
2427 3:
2428 .irp i, 0, 4, 8, 12, 16, 20, 24, 28
2429 add r6, r0, #(\i)
2430 add r7, sp, #(\i*2)
2431 mov r8, #32*2
2432 bl inv_txfm_add_vert_dct_4x32_neon
2433 .endr
2434
2435 add_sp_align 2048
2436 vpop {q4}
2437 pop {r4-r11,pc}
2438 endfunc
2439
2440 function inv_txfm_add_dct_dct_16x32_8bpc_neon, export=1
2441 idct_dc 16, 32, 1
2442
2443 push {r4-r11,lr}
2444 vpush {q4}
2445 sub_sp_align 1024
2446 movrel_local r10, eob_16x32
2447 ldrh r11, [r10], #2
2448 movrel_local r4, inv_dct_4h_x16_neon
2449
2450 .irp i, 0, 4, 8, 12, 16, 20, 24, 28
2451 add r6, sp, #(\i*16*2)
2452 add r7, r2, #(\i*2)
2453 .if \i > 0
2454 mov r8, #(32 - \i)
2455 cmp r3, r11
2456 blt 1f
2457 .if \i < 28
2458 ldrh r11, [r10], #2
2459 .endif
2460 .endif
2461 mov r8, #2*32
2462 bl inv_txfm_horz_scale_16x4_neon
2463 .endr
2464 b 3f
2465
2466 1:
2467 vmov.i16 q2, #0
2468 vmov.i16 q3, #0
2469 2:
2470 subs r8, r8, #4
2471 .rept 4
2472 vst1.16 {q2, q3}, [r6, :128]!
2473 .endr
2474 bgt 2b
2475
2476 3:
2477 .irp i, 0, 4, 8, 12
2478 add r6, r0, #(\i)
2479 add r7, sp, #(\i*2)
2480 mov r8, #16*2
2481 bl inv_txfm_add_vert_dct_4x32_neon
2482 .endr
2483
2484 add_sp_align 1024
2485 vpop {q4}
2486 pop {r4-r11,pc}
2487 endfunc
2488
2489 function inv_txfm_add_dct_dct_32x16_8bpc_neon, export=1
2490 idct_dc 32, 16, 1
2491
2492 push {r4-r11,lr}
2493 vpush {q4}
2494 sub_sp_align 1024
2495 movrel_local r10, eob_16x32
2496 ldrh r11, [r10], #2
2497 movrel_local r5, inv_dct_4h_x16_neon
2498
2499 .irp i, 0, 4, 8, 12
2500 add r6, sp, #(\i*32*2)
2501 add r7, r2, #(\i*2)
2502 .if \i > 0
2503 mov r8, #(16 - \i)
2504 cmp r3, r11
2505 blt 1f
2506 .if \i < 12
2507 ldrh r11, [r10], #2
2508 .endif
2509 .endif
2510 mov r8, #2*16
2511 bl inv_txfm_horz_scale_dct_32x4_neon
2512 .endr
2513 b 3f
2514
2515 1:
2516 vmov.i16 q2, #0
2517 vmov.i16 q3, #0
2518 2:
2519 subs r8, r8, #2
2520 .rept 4
2521 vst1.16 {q2, q3}, [r6, :128]!
2522 .endr
2523 bgt 2b
2524
2525 3:
2526 .irp i, 0, 4, 8, 12, 16, 20, 24, 28
2527 add r6, r0, #(\i)
2528 add r7, sp, #(\i*2)
2529 mov r8, #32*2
2530 bl inv_txfm_add_vert_4x16_neon
2531 .endr
2532
2533 add_sp_align 1024
2534 vpop {q4}
2535 pop {r4-r11,pc}
2536 endfunc
2537
2538 function inv_txfm_add_dct_dct_8x32_8bpc_neon, export=1
2539 idct_dc 8, 32, 2
2540
2541 push {r4-r11,lr}
2542 vpush {q4-q7}
2543 sub_sp_align 512
2544
2545 movrel_local r10, eob_8x32
2546
2547 mov r8, #2*32
2548 mov r9, #32
2549 mov r6, sp
2550 1:
2551 vmov.i16 q0, #0
2552 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
2553 vld1.16 {\i}, [r2, :128]
2554 vst1.16 {q0}, [r2, :128], r8
2555 .endr
2556 ldrh r11, [r10], #2
2557 sub r2, r2, r8, lsl #3
2558 sub r9, r9, #8
2559 add r2, r2, #2*8
2560
2561 bl inv_dct_8h_x8_neon
2562
2563 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
2564 vrshr.s16 \i, \i, #2
2565 .endr
2566
2567 transpose_8x8h q8, q9, q10, q11, q12, q13, q14, q15, d17, d19, d21, d23, d24, d26, d28, d30
2568
2569 vst1.16 {q8, q9}, [r6, :128]!
2570 cmp r3, r11
2571 vst1.16 {q10, q11}, [r6, :128]!
2572 vst1.16 {q12, q13}, [r6, :128]!
2573 vst1.16 {q14, q15}, [r6, :128]!
2574
2575 bge 1b
2576 cmp r9, #0
2577 beq 3f
2578
2579 vmov.i16 q2, #0
2580 vmov.i16 q3, #0
2581 2:
2582 subs r9, r9, #8
2583 .rept 4
2584 vst1.16 {q2, q3}, [r6, :128]!
2585 .endr
2586 bgt 2b
2587
2588 3:
2589 .irp i, 0, 4
2590 add r6, r0, #(\i)
2591 add r7, sp, #(\i*2)
2592 mov r8, #8*2
2593 bl inv_txfm_add_vert_dct_4x32_neon
2594 .endr
2595
2596 add_sp_align 512
2597 vpop {q4-q7}
2598 pop {r4-r11,pc}
2599 endfunc
2600
2601 function inv_txfm_add_dct_dct_32x8_8bpc_neon, export=1
2602 idct_dc 32, 8, 2
2603
2604 push {r4-r11,lr}
2605 vpush {q4-q7}
2606 sub_sp_align 512
2607
2608 .irp i, 0, 4
2609 add r6, sp, #(\i*32*2)
2610 add r7, r2, #(\i*2)
2611 .if \i > 0
2612 cmp r3, #10
2613 blt 1f
2614 .endif
2615 mov r8, #8*2
2616 bl inv_txfm_horz_dct_32x4_neon
2617 .endr
2618 b 2f
2619
2620 1:
2621 vmov.i16 q2, #0
2622 vmov.i16 q3, #0
2623 .rept 8
2624 vst1.16 {q2, q3}, [r6, :128]!
2625 .endr
2626
2627 2:
2628 mov r8, #2*32
2629 mov r9, #0
2630 1:
2631 add r6, r0, r9
2632 add r7, sp, r9, lsl #1 // #(\i*2)
2633
2634 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
2635 vld1.16 {\i}, [r7, :128], r8
2636 .endr
2637 add r9, r9, #8
2638
2639 bl inv_dct_8h_x8_neon
2640
2641 cmp r9, #32
2642
2643 load_add_store_8x8 r6, r7
2644
2645 blt 1b
2646
2647 add_sp_align 512
2648 vpop {q4-q7}
2649 pop {r4-r11,pc}
2650 endfunc
2651
2652 function inv_dct64_step1_neon
2653 // in1/31/17/15 -> t32a/33/34a/35/60/61a/62/63a
2654 // in7/25/23/ 9 -> t56a/57/58a/59/36/37a/38/39a
2655 // in5/27/21/11 -> t40a/41/42a/43/52/53a/54/55a
2656 // in3/29/19/13 -> t48a/49/50a/51/44/45a/46/47a
2657
2658 vld1.16 {d0, d1, d2}, [r12, :64]!
2659
2660 vqrdmulh.s16 d23, d16, d0[1] // t63a
2661 vqrdmulh.s16 d16, d16, d0[0] // t32a
2662 vqrdmulh.s16 d22, d17, d0[2] // t62a
2663 vqrdmulh.s16 d17, d17, d0[3] // t33a
2664 vqrdmulh.s16 d21, d18, d1[1] // t61a
2665 vqrdmulh.s16 d18, d18, d1[0] // t34a
2666 vqrdmulh.s16 d20, d19, d1[2] // t60a
2667 vqrdmulh.s16 d19, d19, d1[3] // t35a
2668
2669 vqadd.s16 d24, d16, d17 // t32
2670 vqsub.s16 d25, d16, d17 // t33
2671 vqsub.s16 d26, d19, d18 // t34
2672 vqadd.s16 d27, d19, d18 // t35
2673 vqadd.s16 d28, d20, d21 // t60
2674 vqsub.s16 d29, d20, d21 // t61
2675 vqsub.s16 d30, d23, d22 // t62
2676 vqadd.s16 d31, d23, d22 // t63
2677
2678 vmull_vmlal q2, d29, d26, d2[0], d2[1] // -> t34a
2679 vmull_vmlsl q3, d29, d26, d2[1], d2[0] // -> t61a
2680 vneg.s32 q2, q2 // t34a
2681 vmull_vmlsl q4, d30, d25, d2[1], d2[0] // -> t33a
2682 vqrshrn.s32 d26, q2, #12 // t34a
2683 vmull_vmlal q2, d30, d25, d2[0], d2[1] // -> t62a
2684 vqrshrn.s32 d29, q3, #12 // t61a
2685 vqrshrn.s32 d25, q4, #12 // t33a
2686 vqrshrn.s32 d30, q2, #12 // t62a
2687
2688 vqadd.s16 d16, d24, d27 // t32a
2689 vqsub.s16 d19, d24, d27 // t35a
2690 vqadd.s16 d17, d25, d26 // t33
2691 vqsub.s16 d18, d25, d26 // t34
2692 vqsub.s16 d20, d31, d28 // t60a
2693 vqadd.s16 d23, d31, d28 // t63a
2694 vqsub.s16 d21, d30, d29 // t61
2695 vqadd.s16 d22, d30, d29 // t62
2696
2697 vmull_vmlal q2, d21, d18, d2[2], d2[3] // -> t61a
2698 vmull_vmlsl q3, d21, d18, d2[3], d2[2] // -> t34a
2699 vmull_vmlal q4, d20, d19, d2[2], d2[3] // -> t60
2700 vqrshrn.s32 d21, q2, #12 // t61a
2701 vqrshrn.s32 d18, q3, #12 // t34a
2702 vmull_vmlsl q2, d20, d19, d2[3], d2[2] // -> t35
2703 vqrshrn.s32 d20, q4, #12 // t60
2704 vqrshrn.s32 d19, q2, #12 // t35
2705
2706 vst1.16 {d16, d17, d18, d19}, [r6, :128]!
2707 vst1.16 {d20, d21, d22, d23}, [r6, :128]!
2708
2709 bx lr
2710 endfunc
2711
2712 function inv_dct64_step2_neon
2713 movrel_local r12, idct_coeffs
2714 vld1.16 {d0}, [r12, :64]
2715 1:
2716 // t32a/33/34a/35/60/61a/62/63a
2717 // t56a/57/58a/59/36/37a/38/39a
2718 // t40a/41/42a/43/52/53a/54/55a
2719 // t48a/49/50a/51/44/45a/46/47a
2720 vldr d16, [r6, #2*4*0] // t32a
2721 vldr d17, [r9, #2*4*8] // t39a
2722 vldr d18, [r9, #2*4*0] // t63a
2723 vldr d19, [r6, #2*4*8] // t56a
2724 vldr d20, [r6, #2*4*16] // t40a
2725 vldr d21, [r9, #2*4*24] // t47a
2726 vldr d22, [r9, #2*4*16] // t55a
2727 vldr d23, [r6, #2*4*24] // t48a
2728
2729 vqadd.s16 d24, d16, d17 // t32
2730 vqsub.s16 d25, d16, d17 // t39
2731 vqadd.s16 d26, d18, d19 // t63
2732 vqsub.s16 d27, d18, d19 // t56
2733 vqsub.s16 d28, d21, d20 // t40
2734 vqadd.s16 d29, d21, d20 // t47
2735 vqadd.s16 d30, d23, d22 // t48
2736 vqsub.s16 d31, d23, d22 // t55
2737
2738 vmull_vmlal q2, d27, d25, d0[3], d0[2] // -> t56a
2739 vmull_vmlsl q3, d27, d25, d0[2], d0[3] // -> t39a
2740 vmull_vmlal q4, d31, d28, d0[3], d0[2] // -> t40a
2741 vqrshrn.s32 d25, q2, #12 // t56a
2742 vqrshrn.s32 d27, q3, #12 // t39a
2743 vneg.s32 q4, q4 // t40a
2744 vmull_vmlsl q2, d31, d28, d0[2], d0[3] // -> t55a
2745 vqrshrn.s32 d31, q4, #12 // t40a
2746 vqrshrn.s32 d28, q2, #12 // t55a
2747
2748 vqadd.s16 d16, d24, d29 // t32a
2749 vqsub.s16 d19, d24, d29 // t47a
2750 vqadd.s16 d17, d27, d31 // t39
2751 vqsub.s16 d18, d27, d31 // t40
2752 vqsub.s16 d20, d26, d30 // t48a
2753 vqadd.s16 d23, d26, d30 // t63a
2754 vqsub.s16 d21, d25, d28 // t55
2755 vqadd.s16 d22, d25, d28 // t56
2756
2757 vmull_vmlsl q2, d21, d18, d0[0], d0[0] // -> t40a
2758 vmull_vmlal q3, d21, d18, d0[0], d0[0] // -> t55a
2759 vmull_vmlsl q4, d20, d19, d0[0], d0[0] // -> t47
2760 vqrshrn.s32 d18, q2, #12 // t40a
2761 vqrshrn.s32 d21, q3, #12 // t55a
2762 vmull_vmlal q2, d20, d19, d0[0], d0[0] // -> t48
2763 vqrshrn.s32 d19, q4, #12 // t47
2764 vqrshrn.s32 d20, q2, #12 // t48
2765
2766 vstr d16, [r6, #2*4*0] // t32a
2767 vstr d17, [r9, #2*4*0] // t39
2768 vstr d18, [r6, #2*4*8] // t40a
2769 vstr d19, [r9, #2*4*8] // t47
2770 vstr d20, [r6, #2*4*16] // t48
2771 vstr d21, [r9, #2*4*16] // t55a
2772 vstr d22, [r6, #2*4*24] // t56
2773 vstr d23, [r9, #2*4*24] // t63a
2774
2775 add r6, r6, #2*4
2776 sub r9, r9, #2*4
2777 cmp r6, r9
2778 blt 1b
2779 bx lr
2780 endfunc
2781
2782 .macro load8 src, strd, zero, clear
2783 .irp i, d16, d17, d18, d19, d20, d21, d22, d23
2784 .if \clear
2785 vld1.16 {\i}, [\src, :64]
2786 vst1.16 {\zero}, [\src, :64], \strd
2787 .else
2788 vld1.16 {\i}, [\src, :64], \strd
2789 .endif
2790 .endr
2791 .endm
2792
2793 .macro store16 dst
2794 vst1.16 {q8, q9}, [\dst, :128]!
2795 vst1.16 {q10, q11}, [\dst, :128]!
2796 vst1.16 {q12, q13}, [\dst, :128]!
2797 vst1.16 {q14, q15}, [\dst, :128]!
2798 .endm
2799
2800 .macro clear_upper8
2801 .irp i, q12, q13, q14, q15
2802 vmov.i16 \i, #0
2803 .endr
2804 .endm
2805
2806 .macro vmov_if reg, val, cond
2807 .if \cond
2808 vmov.i16 \reg, \val
2809 .endif
2810 .endm
2811
2812 .macro movdup_if reg, gpr, val, cond
2813 .if \cond
2814 movw \gpr, \val
2815 vdup.16 \reg, \gpr
2816 .endif
2817 .endm
2818
2819 .macro vst1_if regs, dst, dstalign, cond
2820 .if \cond
2821 vst1.16 \regs, \dst, \dstalign
2822 .endif
2823 .endm
2824
2825 .macro scale_if cond, c, r0, r1, r2, r3, r4, r5, r6, r7
2826 .if \cond
2827 scale_input \c, \r0, \r1, \r2, \r3, \r4, \r5, \r6, \r7
2828 .endif
2829 .endm
2830
2831 .macro def_dct64_func suffix, clear=0, scale=0
2832 function inv_txfm_dct\suffix\()_4h_x64_neon, export=1
2833 mov r6, sp
2834
2835 push {r10-r11,lr}
2836
2837 lsl r8, r8, #2
2838
2839 movdup_if d0, r12, #2896*8, \scale
2840 vmov_if d7, #0, \clear
2841 load8 r7, r8, d7, \clear
2842 clear_upper8
2843 sub r7, r7, r8, lsl #3
2844 add r7, r7, r8, lsr #1
2845 scale_if \scale, d0[0], q8, q9, q10, q11
2846
2847 bl inv_dct_4h_x16_neon
2848
2849 store16 r6
2850
2851 movdup_if d0, r12, #2896*8, \scale
2852 vmov_if d7, #0, \clear
2853 load8 r7, r8, d7, \clear
2854 clear_upper8
2855 sub r7, r7, r8, lsl #3
2856 lsr r8, r8, #1
2857 sub r7, r7, r8, lsr #1
2858 scale_if \scale, d0[0], q8, q9, q10, q11
2859
2860 bl inv_dct32_odd_4h_x16_neon
2861
2862 add r10, r6, #8*15
2863 sub r6, r6, #8*16
2864
2865 mov r9, #-8
2866
2867 .macro store_addsub r0, r1, r2, r3
2868 vld1.16 {d2}, [r6, :64]!
2869 vld1.16 {d3}, [r6, :64]!
2870 vqadd.s16 d6, d2, \r0
2871 vqsub.s16 \r0, d2, \r0
2872 vld1.16 {d4}, [r6, :64]!
2873 vqadd.s16 d7, d3, \r1
2874 vqsub.s16 \r1, d3, \r1
2875 vld1.16 {d5}, [r6, :64]!
2876 vqadd.s16 d2, d4, \r2
2877 sub r6, r6, #8*4
2878 vqsub.s16 \r2, d4, \r2
2879 vst1.16 {d6}, [r6, :64]!
2880 vst1.16 {\r0}, [r10, :64], r9
2881 vqadd.s16 d3, d5, \r3
2882 vqsub.s16 \r3, d5, \r3
2883 vst1.16 {d7}, [r6, :64]!
2884 vst1.16 {\r1}, [r10, :64], r9
2885 vst1.16 {d2}, [r6, :64]!
2886 vst1.16 {\r2}, [r10, :64], r9
2887 vst1.16 {d3}, [r6, :64]!
2888 vst1.16 {\r3}, [r10, :64], r9
2889 .endm
2890 store_addsub d31, d30, d29, d28
2891 store_addsub d27, d26, d25, d24
2892 store_addsub d23, d22, d21, d20
2893 store_addsub d19, d18, d17, d16
2894 .purgem store_addsub
2895
2896 add r6, r6, #2*4*16
2897
2898 movrel_local r12, idct64_coeffs
2899 movdup_if d0, lr, #2896*8, \scale
2900 vmov_if d7, #0, \clear
2901 add r9, r7, r8, lsl #4 // offset 16
2902 add r10, r7, r8, lsl #3 // offset 8
2903 sub r9, r9, r8 // offset 15
2904 sub r11, r10, r8 // offset 7
2905 vld1.16 {d16}, [r7, :64] // in1 (offset 0)
2906 vld1.16 {d17}, [r9, :64] // in31 (offset 15)
2907 vld1.16 {d18}, [r10, :64] // in17 (offset 8)
2908 vld1.16 {d19}, [r11, :64] // in15 (offset 7)
2909 vst1_if {d7}, [r7, :64], \clear
2910 vst1_if {d7}, [r9, :64], \clear
2911 vst1_if {d7}, [r10, :64], \clear
2912 vst1_if {d7}, [r11, :64], \clear
2913 scale_if \scale, d0[0], q8, q9
2914 bl inv_dct64_step1_neon
2915 movdup_if d0, lr, #2896*8, \scale
2916 vmov_if d7, #0, \clear
2917 add r7, r7, r8, lsl #2 // offset 4
2918 sub r9, r9, r8, lsl #2 // offset 11
2919 sub r10, r7, r8 // offset 3
2920 add r11, r9, r8 // offset 12
2921 vld1.16 {d16}, [r10, :64] // in7 (offset 3)
2922 vld1.16 {d17}, [r11, :64] // in25 (offset 12)
2923 vld1.16 {d18}, [r9, :64] // in23 (offset 11)
2924 vld1.16 {d19}, [r7, :64] // in9 (offset 4)
2925 vst1_if {d7}, [r7, :64], \clear
2926 vst1_if {d7}, [r9, :64], \clear
2927 vst1_if {d7}, [r10, :64], \clear
2928 vst1_if {d7}, [r11, :64], \clear
2929 scale_if \scale, d0[0], q8, q9
2930 bl inv_dct64_step1_neon
2931 movdup_if d0, lr, #2896*8, \scale
2932 vmov_if d7, #0, \clear
2933 sub r10, r10, r8, lsl #1 // offset 1
2934 sub r9, r9, r8, lsl #1 // offset 9
2935 add r10, r10, r8 // offset 2
2936 add r9, r9, r8 // offset 10
2937 add r7, r7, r8 // offset 5
2938 add r11, r11, r8 // offset 13
2939 vld1.16 d16, [r10, :64] // in5 (offset 2)
2940 vld1.16 d17, [r11, :64] // in27 (offset 13)
2941 vld1.16 d18, [r9, :64] // in21 (offset 10)
2942 vld1.16 d19, [r7, :64] // in11 (offset 5)
2943 vst1_if d7, [r10, :64], \clear
2944 vst1_if d7, [r11, :64], \clear
2945 vst1_if d7, [r9, :64], \clear
2946 vst1_if d7, [r7, :64], \clear
2947 scale_if \scale, d0[0], q8, q9
2948 bl inv_dct64_step1_neon
2949 movdup_if d0, lr, #2896*8, \scale
2950 vmov_if d7, #0, \clear
2951 sub r10, r10, r8 // offset 1
2952 sub r9, r9, r8 // offset 9
2953 add r11, r11, r8 // offset 14
2954 add r7, r7, r8 // offset 6
2955 vld1.16 d16, [r10, :64] // in3 (offset 1)
2956 vld1.16 d17, [r11, :64] // in29 (offset 14)
2957 vld1.16 d18, [r9, :64] // in19 (offset 9)
2958 vld1.16 d19, [r7, :64] // in13 (offset 6)
2959 vst1_if d7, [r10, :64], \clear
2960 vst1_if d7, [r11, :64], \clear
2961 vst1_if d7, [r9, :64], \clear
2962 vst1_if d7, [r7, :64], \clear
2963 scale_if \scale, d0[0], q8, q9
2964 bl inv_dct64_step1_neon
2965
2966 sub r6, r6, #2*4*32
2967 add r9, r6, #2*4*7
2968
2969 bl inv_dct64_step2_neon
2970
2971 pop {r10-r11,pc}
2972 endfunc
2973 .endm
2974
2975 def_dct64_func
2976 def_dct64_func _clear, clear=1
2977 def_dct64_func _clear_scale, clear=1, scale=1
2978
2979 function inv_txfm_horz_dct_64x4_neon
2980 vdup.16 q3, r9
2981
2982 mov r7, sp
2983 add r8, sp, #2*4*(64 - 4)
2984 add r9, r6, #2*56
2985
2986 push {r10-r11,lr}
2987
2988 mov r10, #2*64
2989 mov r11, #-2*4*4
2990
2991 1:
2992 vld1.16 {d16, d17, d18, d19}, [r7, :128]!
2993 vld1.16 {d28, d29, d30, d31}, [r8, :128], r11
2994 vld1.16 {d20, d21, d22, d23}, [r7, :128]!
2995 vld1.16 {d24, d25, d26, d27}, [r8, :128], r11
2996 transpose_4x4h q8, q9, d16, d17, d18, d19
2997 transpose_4x4h q15, q14, d31, d30, d29, d28
2998 transpose_4x4h q10, q11, d20, d21, d22, d23
2999 transpose_4x4h q13, q12, d27, d26, d25, d24
3000
3001 .macro store_addsub src0, src1, src2, src3
3002 vqsub.s16 d3, \src0, \src1
3003 vqsub.s16 d2, \src2, \src3
3004 vqadd.s16 d0, \src0, \src1
3005 vqadd.s16 d1, \src2, \src3
3006 vrshl.s16 q1, q1, q3
3007 vrshl.s16 q0, q0, q3
3008 vrev64.16 q1, q1
3009 vst1.16 {q0}, [r6, :128], r10
3010 vst1.16 {q1}, [r9, :128], r10
3011 .endm
3012 store_addsub d16, d31, d20, d27
3013 store_addsub d17, d30, d21, d26
3014 store_addsub d18, d29, d22, d25
3015 store_addsub d19, d28, d23, d24
3016 .purgem store_addsub
3017 sub r6, r6, r10, lsl #2
3018 sub r9, r9, r10, lsl #2
3019 add r6, r6, #16
3020 sub r9, r9, #16
3021
3022 cmp r7, r8
3023 blt 1b
3024 pop {r10-r11,pc}
3025 endfunc
3026
3027 function inv_txfm_add_vert_dct_4x64_neon
3028 lsl r8, r8, #1
3029
3030 mov r7, sp
3031 add r8, sp, #2*4*(64 - 4)
3032 add r9, r6, r1, lsl #6
3033 sub r9, r9, r1
3034
3035 push {r10-r11,lr}
3036
3037 neg r10, r1
3038 mov r11, #-2*4*4
3039
3040 1:
3041 vld1.16 {d16, d17, d18, d19}, [r7, :128]!
3042 vld1.16 {d28, d29, d30, d31}, [r8, :128], r11
3043 vld1.16 {d20, d21, d22, d23}, [r7, :128]!
3044 vld1.16 {d24, d25, d26, d27}, [r8, :128], r11
3045
3046 .macro add_dest_addsub src0, src1, src2, src3
3047 vld1.32 {d0[0]}, [r6, :32], r1
3048 vld1.32 {d1[0]}, [r9, :32], r10
3049 vqadd.s16 d4, \src0, \src1
3050 vld1.32 {d0[1]}, [r6, :32]
3051 vqadd.s16 d5, \src2, \src3
3052 vld1.32 {d1[1]}, [r9, :32]
3053 vqsub.s16 d6, \src0, \src1
3054 vqsub.s16 d7, \src2, \src3
3055 sub r6, r6, r1
3056 sub r9, r9, r10
3057 vrshr.s16 q2, q2, #4
3058 vrshr.s16 q3, q3, #4
3059 vaddw.u8 q2, q2, d0
3060 vaddw.u8 q3, q3, d1
3061 vqmovun.s16 d0, q2
3062 vqmovun.s16 d1, q3
3063 vst1.32 {d0[0]}, [r6, :32], r1
3064 vst1.32 {d1[0]}, [r9, :32], r10
3065 vst1.32 {d0[1]}, [r6, :32], r1
3066 vst1.32 {d1[1]}, [r9, :32], r10
3067 .endm
3068 add_dest_addsub d16, d31, d17, d30
3069 add_dest_addsub d18, d29, d19, d28
3070 add_dest_addsub d20, d27, d21, d26
3071 add_dest_addsub d22, d25, d23, d24
3072 .purgem add_dest_addsub
3073 cmp r7, r8
3074 blt 1b
3075
3076 pop {r10-r11,pc}
3077 endfunc
3078
3079 function inv_txfm_add_dct_dct_64x64_8bpc_neon, export=1
3080 idct_dc 64, 64, 2
3081
3082 push {r4-r11,lr}
3083 vpush {q4}
3084
3085 sub_sp_align 64*32*2+64*4*2
3086 add r5, sp, #64*4*2
3087
3088 movrel_local r10, eob_32x32
3089
3090 .irp i, 0, 4, 8, 12, 16, 20, 24, 28
3091 add r6, r5, #(\i*64*2)
3092 .if \i > 0
3093 mov r8, #(32 - \i)
3094 cmp r3, r11
3095 blt 1f
3096 .endif
3097 add r7, r2, #(\i*2)
3098 mov r8, #32*2
3099 bl inv_txfm_dct_clear_4h_x64_neon
3100 add r6, r5, #(\i*64*2)
3101 mov r9, #-2 // shift
3102 bl inv_txfm_horz_dct_64x4_neon
3103 .if \i < 28
3104 ldrh r11, [r10], #2
3105 .endif
3106 .endr
3107 b 3f
3108
3109 1:
3110 vmov.i16 q2, #0
3111 vmov.i16 q3, #0
3112 2:
3113 subs r8, r8, #2
3114 .rept 8
3115 vst1.16 {q2, q3}, [r6, :128]!
3116 .endr
3117 bgt 2b
3118
3119 3:
3120 .irp i, 0, 4, 8, 12, 16, 20, 24, 28, 32, 36, 40, 44, 48, 52, 56, 60
3121 add r7, r5, #(\i*2)
3122 mov r8, #64*2
3123 bl inv_txfm_dct_4h_x64_neon
3124 add r6, r0, #(\i)
3125 bl inv_txfm_add_vert_dct_4x64_neon
3126 .endr
3127
3128 add_sp_align 64*32*2+64*4*2
3129 vpop {q4}
3130 pop {r4-r11,pc}
3131 endfunc
3132
3133 function inv_txfm_add_dct_dct_64x32_8bpc_neon, export=1
3134 idct_dc 64, 32, 1
3135
3136 push {r4-r11,lr}
3137 vpush {q4}
3138
3139 sub_sp_align 64*32*2+64*4*2
3140 add r5, sp, #64*4*2
3141
3142 movrel_local r10, eob_32x32
3143
3144 .irp i, 0, 4, 8, 12, 16, 20, 24, 28
3145 add r6, r5, #(\i*64*2)
3146 .if \i > 0
3147 mov r8, #(32 - \i)
3148 cmp r3, r11
3149 blt 1f
3150 .endif
3151 add r7, r2, #(\i*2)
3152 mov r8, #32*2
3153 bl inv_txfm_dct_clear_scale_4h_x64_neon
3154 add r6, r5, #(\i*64*2)
3155 mov r9, #-1 // shift
3156 bl inv_txfm_horz_dct_64x4_neon
3157 .if \i < 28
3158 ldrh r11, [r10], #2
3159 .endif
3160 .endr
3161 b 3f
3162
3163 1:
3164 vmov.i16 q2, #0
3165 vmov.i16 q3, #0
3166 2:
3167 subs r8, r8, #2
3168 .rept 8
3169 vst1.16 {q2, q3}, [r6, :128]!
3170 .endr
3171 bgt 2b
3172
3173 3:
3174 .irp i, 0, 4, 8, 12, 16, 20, 24, 28, 32, 36, 40, 44, 48, 52, 56, 60
3175 add r6, r0, #(\i)
3176 add r7, r5, #(\i*2)
3177 mov r8, #64*2
3178 bl inv_txfm_add_vert_dct_4x32_neon
3179 .endr
3180
3181 add_sp_align 64*32*2+64*4*2
3182 vpop {q4}
3183 pop {r4-r11,pc}
3184 endfunc
3185
3186 function inv_txfm_add_dct_dct_32x64_8bpc_neon, export=1
3187 idct_dc 32, 64, 1
3188
3189 push {r4-r11,lr}
3190 vpush {q4}
3191
3192 sub_sp_align 32*32*2+64*4*2
3193 add r5, sp, #64*4*2
3194
3195 movrel_local r10, eob_32x32
3196 ldrh r11, [r10], #2
3197
3198 .irp i, 0, 4, 8, 12, 16, 20, 24, 28
3199 add r6, r5, #(\i*32*2)
3200 .if \i > 0
3201 mov r8, #(32 - \i)
3202 cmp r3, r11
3203 blt 1f
3204 .if \i < 28
3205 ldrh r11, [r10], #2
3206 .endif
3207 .endif
3208 add r7, r2, #(\i*2)
3209 mov r8, #32*2
3210 bl inv_txfm_horz_scale_dct_32x4_neon
3211 .endr
3212 b 3f
3213
3214 1:
3215 vmov.i16 q2, #0
3216 vmov.i16 q3, #0
3217 2:
3218 subs r8, r8, #2
3219 .rept 4
3220 vst1.16 {q2, q3}, [r6, :128]!
3221 .endr
3222 bgt 2b
3223
3224 3:
3225 .irp i, 0, 4, 8, 12, 16, 20, 24, 28
3226 add r7, r5, #(\i*2)
3227 mov r8, #32*2
3228 bl inv_txfm_dct_4h_x64_neon
3229 add r6, r0, #(\i)
3230 bl inv_txfm_add_vert_dct_4x64_neon
3231 .endr
3232
3233 add_sp_align 32*32*2+64*4*2
3234 vpop {q4}
3235 pop {r4-r11,pc}
3236 endfunc
3237
3238 function inv_txfm_add_dct_dct_64x16_8bpc_neon, export=1
3239 idct_dc 64, 16, 2
3240
3241 push {r4-r11,lr}
3242 vpush {q4}
3243
3244 sub_sp_align 64*16*2+64*4*2
3245 add r4, sp, #64*4*2
3246
3247 movrel_local r10, eob_16x32
3248
3249 .irp i, 0, 4, 8, 12
3250 add r6, r4, #(\i*64*2)
3251 .if \i > 0
3252 mov r8, #(16 - \i)
3253 cmp r3, r11
3254 blt 1f
3255 .endif
3256 add r7, r2, #(\i*2)
3257 mov r8, #16*2
3258 bl inv_txfm_dct_clear_4h_x64_neon
3259 add r6, r4, #(\i*64*2)
3260 mov r9, #-2 // shift
3261 bl inv_txfm_horz_dct_64x4_neon
3262 .if \i < 12
3263 ldrh r11, [r10], #2
3264 .endif
3265 .endr
3266 b 3f
3267
3268 1:
3269 vmov.i16 q2, #0
3270 vmov.i16 q3, #0
3271 2:
3272 subs r8, r8, #2
3273 .rept 8
3274 vst1.16 {q2, q3}, [r6, :128]!
3275 .endr
3276 bgt 2b
3277
3278 3:
3279 movrel_local r5, inv_dct_4h_x16_neon
3280 .irp i, 0, 4, 8, 12, 16, 20, 24, 28, 32, 36, 40, 44, 48, 52, 56, 60
3281 add r6, r0, #(\i)
3282 add r7, r4, #(\i*2)
3283 mov r8, #64*2
3284 bl inv_txfm_add_vert_4x16_neon
3285 .endr
3286
3287 add_sp_align 64*16*2+64*4*2
3288 vpop {q4}
3289 pop {r4-r11,pc}
3290 endfunc
3291
3292 function inv_txfm_add_dct_dct_16x64_8bpc_neon, export=1
3293 idct_dc 16, 64, 2
3294
3295 push {r4-r11,lr}
3296 vpush {q4}
3297
3298 sub_sp_align 16*32*2+64*4*2
3299 add r5, sp, #64*4*2
3300
3301 movrel_local r10, eob_16x32
3302 ldrh r11, [r10], #2
3303
3304 movrel_local r4, inv_dct_4h_x16_neon
3305 .irp i, 0, 4, 8, 12, 16, 20, 24, 28
3306 add r6, r5, #(\i*16*2)
3307 .if \i > 0
3308 mov r8, #(32 - \i)
3309 cmp r3, r11
3310 blt 1f
3311 .if \i < 28
3312 ldrh r11, [r10], #2
3313 .endif
3314 .endif
3315 add r7, r2, #(\i*2)
3316 mov r8, #32*2
3317 bl inv_txfm_horz_16x4_neon
3318 .endr
3319 b 3f
3320
3321 1:
3322 vmov.i16 q2, #0
3323 vmov.i16 q3, #0
3324 2:
3325 subs r8, r8, #4
3326 .rept 4
3327 vst1.16 {q2, q3}, [r6, :128]!
3328 .endr
3329 bgt 2b
3330
3331 3:
3332 .irp i, 0, 4, 8, 12
3333 add r7, r5, #(\i*2)
3334 mov r8, #16*2
3335 bl inv_txfm_dct_4h_x64_neon
3336 add r6, r0, #(\i)
3337 bl inv_txfm_add_vert_dct_4x64_neon
3338 .endr
3339
3340 add_sp_align 16*32*2+64*4*2
3341 vpop {q4}
3342 pop {r4-r11,pc}
3343 endfunc