Debian Codegraph @

.cargo/vendor/rav1e/src/arm/32/itx16.S

raw
1 /******************************************************************************
2 * Copyright © 2018, VideoLAN and dav1d authors
3 * Copyright © 2020, Martin Storsjo
4 * All rights reserved.
5 *
6 * Redistribution and use in source and binary forms, with or without
7 * modification, are permitted provided that the following conditions are met:
8 *
9 * 1. Redistributions of source code must retain the above copyright notice, this
10 * list of conditions and the following disclaimer.
11 *
12 * 2. Redistributions in binary form must reproduce the above copyright notice,
13 * this list of conditions and the following disclaimer in the documentation
14 * and/or other materials provided with the distribution.
15 *
16 * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND
17 * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
18 * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
19 * DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR
20 * ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
21 * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
22 * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
23 * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
24 * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
25 * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
26 *****************************************************************************/
27
28 #include "src/arm/asm.S"
29 #include "util.S"
30
31 // The exported functions in this file have got the following signature:
32 // void itxfm_add(pixel *dst, ptrdiff_t dst_stride, coef *coeff, int eob);
33
34 // Most of the functions use the following register layout:
35 // r0-r3 external parameters
36 // r4 function pointer to first transform
37 // r5 function pointer to second transform
38 // r6 output parameter for helper function
39 // r7 input parameter for helper function
40 // r8 input stride for helper function
41 // r9 scratch variable for helper functions
42 // r10-r11 pointer to list of eob thresholds, eob threshold value,
43 // scratch variables within helper functions (backed up)
44
45 // The SIMD registers most often use the following layout:
46 // d0-d3 multiplication coefficients
47 // d4-d7 scratch registers
48 // d8-d15 unused in some transforms, used for scratch registers in others
49 // d16-v31 inputs/outputs of transforms
50
51 // Potential further optimizations, that are left unimplemented for now:
52 // - Trying to keep multiplication coefficients in registers across multiple
53 // transform functions. (The register layout is designed to potentially
54 // allow this.)
55 // - Use a simplified version of the transforms themselves for cases where
56 // we know a significant number of inputs are zero. E.g. if the eob value
57 // indicates only a quarter of input values are set, for idct16 and up,
58 // a significant amount of calculation can be skipped, at the cost of more
59 // code duplication and special casing.
60
61 // A macro for cases where a thumb mov can express the constant in one
62 // instruction, while arm mode requires two separate movw+movt pairs.
63 .macro mov_const reg, val
64 #if CONFIG_THUMB
65 mov.w \reg, #\val
66 #else
67 movw \reg, #((\val) & 0xffff)
68 movt \reg, #(((\val) >> 16) & 0xffff)
69 #endif
70 .endm
71
72 const idct_coeffs, align=4
73 // idct4
74 .int 2896, 2896*8*(1<<16), 1567, 3784
75 // idct8
76 .int 799, 4017, 3406, 2276
77 // idct16
78 .int 401, 4076, 3166, 2598
79 .int 1931, 3612, 3920, 1189
80 // idct32
81 .int 201, 4091, 3035, 2751
82 .int 1751, 3703, 3857, 1380
83 .int 995, 3973, 3513, 2106
84 .int 2440, 3290, 4052, 601
85 endconst
86
87 const idct64_coeffs, align=4
88 .int 101*8*(1<<16), 4095*8*(1<<16), 2967*8*(1<<16), -2824*8*(1<<16)
89 .int 1660*8*(1<<16), 3745*8*(1<<16), 3822*8*(1<<16), -1474*8*(1<<16)
90 .int 4076, 401, 4017, 799
91
92 .int 4036*8*(1<<16), -700*8*(1<<16), 2359*8*(1<<16), 3349*8*(1<<16)
93 .int 3461*8*(1<<16), -2191*8*(1<<16), 897*8*(1<<16), 3996*8*(1<<16)
94 .int -3166, -2598, -799, -4017
95
96 .int 501*8*(1<<16), 4065*8*(1<<16), 3229*8*(1<<16), -2520*8*(1<<16)
97 .int 2019*8*(1<<16), 3564*8*(1<<16), 3948*8*(1<<16), -1092*8*(1<<16)
98 .int 3612, 1931, 2276, 3406
99
100 .int 4085*8*(1<<16), -301*8*(1<<16), 2675*8*(1<<16), 3102*8*(1<<16)
101 .int 3659*8*(1<<16), -1842*8*(1<<16), 1285*8*(1<<16), 3889*8*(1<<16)
102 .int -3920, -1189, -3406, -2276
103 endconst
104
105 const iadst4_coeffs, align=4
106 .int 1321, 3803, 2482, 3344
107 endconst
108
109 const iadst8_coeffs, align=4
110 .int 4076, 401, 3612, 1931
111 .int 2598, 3166, 1189, 3920
112 // idct_coeffs
113 .int 2896, 0, 1567, 3784
114 endconst
115
116 const iadst16_coeffs, align=4
117 .int 4091, 201, 3973, 995
118 .int 3703, 1751, 3290, 2440
119 .int 2751, 3035, 2106, 3513
120 .int 1380, 3857, 601, 4052
121 endconst
122
123 .macro vmul_vmla d0, s0, s1, c0, c1
124 vmul.i32 \d0, \s0, \c0
125 vmla.i32 \d0, \s1, \c1
126 .endm
127
128 .macro vmul_vmls d0, s0, s1, c0, c1
129 vmul.i32 \d0, \s0, \c0
130 vmls.i32 \d0, \s1, \c1
131 .endm
132
133 .macro scale_input c, r0, r1, r2 r3, r4, r5, r6, r7
134 vqrdmulh.s32 \r0, \r0, \c
135 vqrdmulh.s32 \r1, \r1, \c
136 .ifnb \r2
137 vqrdmulh.s32 \r2, \r2, \c
138 vqrdmulh.s32 \r3, \r3, \c
139 .endif
140 .ifnb \r4
141 vqrdmulh.s32 \r4, \r4, \c
142 vqrdmulh.s32 \r5, \r5, \c
143 vqrdmulh.s32 \r6, \r6, \c
144 vqrdmulh.s32 \r7, \r7, \c
145 .endif
146 .endm
147
148 .macro load_add_store load, shift, addsrc, adddst, max, min, store, dst, src, shiftbits=4
149 .ifnb \load
150 vld1.16 {\load}, [\src, :128], r1
151 .endif
152 .ifnb \shift
153 vrshr.s16 \shift, \shift, #\shiftbits
154 .endif
155 .ifnb \addsrc
156 vqadd.s16 \adddst, \adddst, \addsrc
157 .endif
158 .ifnb \max
159 vmax.s16 \max, \max, q6
160 .endif
161 .ifnb \min
162 vmin.s16 \min, \min, q7
163 .endif
164 .ifnb \store
165 vst1.16 {\store}, [\dst, :128], r1
166 .endif
167 .endm
168 .macro load_add_store_8x8 dst, src, shiftbits=4
169 mov \src, \dst
170 vmov.i16 q6, #0
171 vmvn.i16 q7, #0xfc00 // 0x3ff
172 load_add_store q0, q8, , , , , , \dst, \src, \shiftbits
173 load_add_store q1, q9, , , , , , \dst, \src, \shiftbits
174 load_add_store q2, q10, q0, q8, , , , \dst, \src, \shiftbits
175 load_add_store q3, q11, q1, q9, q8, , , \dst, \src, \shiftbits
176 load_add_store q4, q12, q2, q10, q9, q8, , \dst, \src, \shiftbits
177 load_add_store q5, q13, q3, q11, q10, q9, q8, \dst, \src, \shiftbits
178 load_add_store q0, q14, q4, q12, q11, q10, q9, \dst, \src, \shiftbits
179 load_add_store q1, q15, q5, q13, q12, q11, q10, \dst, \src, \shiftbits
180 load_add_store , , q0, q14, q13, q12, q11, \dst, \src, \shiftbits
181 load_add_store , , q1, q15, q14, q13, q12, \dst, \src, \shiftbits
182 load_add_store , , , , q15, q14, q13, \dst, \src, \shiftbits
183 load_add_store , , , , , q15, q14, \dst, \src, \shiftbits
184 load_add_store , , , , , , q15, \dst, \src, \shiftbits
185 .endm
186 .macro load_add_store_8x4 dst, src, shiftbits=4
187 mov \src, \dst
188 vmov.i16 q6, #0
189 vmvn.i16 q7, #0xfc00 // 0x3ff
190 load_add_store q0, q8, , , , , , \dst, \src, \shiftbits
191 load_add_store q1, q9, , , , , , \dst, \src, \shiftbits
192 load_add_store q2, q10, q0, q8, , , , \dst, \src, \shiftbits
193 load_add_store q3, q11, q1, q9, q8, , , \dst, \src, \shiftbits
194 load_add_store , , q2, q10, q9, q8, , \dst, \src, \shiftbits
195 load_add_store , , q3, q11, q10, q9, q8, \dst, \src, \shiftbits
196 load_add_store , , , , q11, q10, q9, \dst, \src, \shiftbits
197 load_add_store , , , , , q11, q10, \dst, \src, \shiftbits
198 load_add_store , , , , , , q11, \dst, \src, \shiftbits
199 .endm
200 .macro load_add_store4 load1, load2, shift, addsrc, adddst, max, min, store1, store2, dst, src, shiftbits=4
201 .ifnb \load1
202 vld1.16 {\load1}, [\src, :64], r1
203 .endif
204 .ifnb \shift
205 vrshr.s16 \shift, \shift, #\shiftbits
206 .endif
207 .ifnb \load2
208 vld1.16 {\load2}, [\src, :64], r1
209 .endif
210 .ifnb \addsrc
211 vqadd.s16 \adddst, \adddst, \addsrc
212 .endif
213 .ifnb \max
214 vmax.s16 \max, \max, q6
215 .endif
216 .ifnb \store1
217 vst1.16 {\store1}, [\dst, :64], r1
218 .endif
219 .ifnb \min
220 vmin.s16 \min, \min, q7
221 .endif
222 .ifnb \store2
223 vst1.16 {\store2}, [\dst, :64], r1
224 .endif
225 .endm
226 .macro load_add_store_4x16 dst, src
227 mov \src, \dst
228 vmov.i16 q6, #0
229 vmvn.i16 q7, #0xfc00 // 0x3ff
230 mov \src, \dst
231 load_add_store4 d0, d1, q8, , , , , , , \dst, \src
232 load_add_store4 d2, d3, q9, , , , , , , \dst, \src
233 load_add_store4 d4, d5, q10, q0, q8, , , , , \dst, \src
234 load_add_store4 d6, d7, q11, q1, q9, q8, , , , \dst, \src
235 load_add_store4 d8, d9, q12, q2, q10, q9, q8, , , \dst, \src
236 load_add_store4 d10, d11, q13, q3, q11, q10, q9, d16, d17, \dst, \src
237 load_add_store4 d0, d1, q14, q4, q12, q11, q10, d18, d19, \dst, \src
238 load_add_store4 d2, d3, q15, q5, q13, q12, q11, d20, d21, \dst, \src
239 load_add_store4 , , , q0, q14, q13, q12, d22, d23, \dst, \src
240 load_add_store4 , , , q1, q15, q14, q13, d24, d25, \dst, \src
241 load_add_store4 , , , , , q15, q14, d26, d27, \dst, \src
242 load_add_store4 , , , , , , q15, d28, d29, \dst, \src
243 load_add_store4 , , , , , , , d30, d31, \dst, \src
244 .endm
245 .macro load_add_store_4x8 dst, src, shiftbits=4
246 mov \src, \dst
247 vmov.i16 q6, #0
248 vmvn.i16 q7, #0xfc00 // 0x3ff
249 mov \src, \dst
250 load_add_store4 d0, d1, q8, , , , , , , \dst, \src, \shiftbits
251 load_add_store4 d2, d3, q9, , , , , , , \dst, \src, \shiftbits
252 load_add_store4 d4, d5, q10, q0, q8, , , , , \dst, \src, \shiftbits
253 load_add_store4 d6, d7, q11, q1, q9, q8, , , , \dst, \src, \shiftbits
254 load_add_store4 , , , q2, q10, q9, q8, , , \dst, \src, \shiftbits
255 load_add_store4 , , , q3, q11, q10, q9, d16, d17, \dst, \src, \shiftbits
256 load_add_store4 , , , , , q11, q10, d18, d19, \dst, \src, \shiftbits
257 load_add_store4 , , , , , , q11, d20, d21, \dst, \src, \shiftbits
258 load_add_store4 , , , , , , , d22, d23, \dst, \src, \shiftbits
259 .endm
260 .macro load_add_store_4x4 dst, src, shiftbits=4
261 mov \src, \dst
262 vmov.i16 q6, #0
263 vmvn.i16 q7, #0xfc00 // 0x3ff
264 mov \src, \dst
265 load_add_store4 d0, d1, q8, , , , , , , \dst, \src, \shiftbits
266 load_add_store4 d2, d3, q9, q0, q8, , , , , \dst, \src, \shiftbits
267 load_add_store4 , , , q1, q9, q8, , , , \dst, \src, \shiftbits
268 load_add_store4 , , , , , q9, q8, , , \dst, \src, \shiftbits
269 load_add_store4 , , , , , , q9, d16, d17, \dst, \src, \shiftbits
270 load_add_store4 , , , , , , , d18, d19, \dst, \src, \shiftbits
271 .endm
272
273 .macro idct_dc w, h, shift
274 cmp r3, #0
275 bne 1f
276 vmov.i16 q14, #0
277 mov_const r12, 2896*8*(1<<16)
278 vld1.32 {d24[], d25[]}, [r2, :32]
279 vdup.32 d0, r12
280 vqrdmulh.s32 q13, q12, d0[0]
281 vst1.32 {d28[0]}, [r2, :32]
282 .if (\w == 2*\h) || (2*\w == \h)
283 vqrdmulh.s32 q13, q13, d0[0]
284 .endif
285 .if \shift > 0
286 vqrshrn.s32 d24, q13, #\shift
287 vqrshrn.s32 d25, q13, #\shift
288 .else
289 vqmovn.s32 d24, q13
290 vqmovn.s32 d25, q13
291 .endif
292 vqrdmulh.s16 q12, q12, d0[1]
293 mov r3, #\h
294 vrshr.s16 q12, q12, #4
295 b idct_dc_w\w\()_neon
296 1:
297 .endm
298
299 function idct_dc_w4_neon
300 vmvn.i16 q15, #0xfc00 // 0x3ff
301 1:
302 vld1.16 {d0}, [r0, :64], r1
303 vld1.16 {d1}, [r0, :64], r1
304 vld1.16 {d2}, [r0, :64], r1
305 vld1.16 {d3}, [r0, :64], r1
306 subs r3, r3, #4
307 vqadd.s16 q0, q0, q12
308 sub r0, r0, r1, lsl #2
309 vqadd.s16 q1, q1, q12
310 vmax.s16 q0, q0, q14
311 vmax.s16 q1, q1, q14
312 vmin.s16 q0, q0, q15
313 vst1.16 {d0}, [r0, :64], r1
314 vmin.s16 q1, q1, q15
315 vst1.16 {d1}, [r0, :64], r1
316 vst1.16 {d2}, [r0, :64], r1
317 vst1.16 {d3}, [r0, :64], r1
318 bgt 1b
319 bx lr
320 endfunc
321
322 function idct_dc_w8_neon
323 vmvn.i16 q15, #0xfc00 // 0x3ff
324 1:
325 vld1.16 {q0}, [r0, :128], r1
326 subs r3, r3, #4
327 vld1.16 {q1}, [r0, :128], r1
328 vqadd.s16 q0, q0, q12
329 vld1.16 {q2}, [r0, :128], r1
330 vqadd.s16 q1, q1, q12
331 vld1.16 {q3}, [r0, :128], r1
332 vqadd.s16 q2, q2, q12
333 vqadd.s16 q3, q3, q12
334 sub r0, r0, r1, lsl #2
335 vmax.s16 q0, q0, q14
336 vmax.s16 q1, q1, q14
337 vmax.s16 q2, q2, q14
338 vmax.s16 q3, q3, q14
339 vmin.s16 q0, q0, q15
340 vmin.s16 q1, q1, q15
341 vst1.16 {q0}, [r0, :128], r1
342 vmin.s16 q2, q2, q15
343 vst1.16 {q1}, [r0, :128], r1
344 vmin.s16 q3, q3, q15
345 vst1.16 {q2}, [r0, :128], r1
346 vst1.16 {q3}, [r0, :128], r1
347 bgt 1b
348 bx lr
349 endfunc
350
351 function idct_dc_w16_neon
352 vmvn.i16 q15, #0xfc00 // 0x3ff
353 1:
354 vld1.16 {q0, q1}, [r0, :128], r1
355 subs r3, r3, #2
356 vld1.16 {q2, q3}, [r0, :128], r1
357 vqadd.s16 q0, q0, q12
358 vqadd.s16 q1, q1, q12
359 vqadd.s16 q2, q2, q12
360 vqadd.s16 q3, q3, q12
361 sub r0, r0, r1, lsl #1
362 vmax.s16 q0, q0, q14
363 vmax.s16 q1, q1, q14
364 vmax.s16 q2, q2, q14
365 vmax.s16 q3, q3, q14
366 vmin.s16 q0, q0, q15
367 vmin.s16 q1, q1, q15
368 vmin.s16 q2, q2, q15
369 vst1.16 {q0, q1}, [r0, :128], r1
370 vmin.s16 q3, q3, q15
371 vst1.16 {q2, q3}, [r0, :128], r1
372 bgt 1b
373 bx lr
374 endfunc
375
376 function idct_dc_w32_neon
377 sub r1, r1, #32
378 vmvn.i16 q15, #0xfc00 // 0x3ff
379 1:
380 vld1.16 {q0, q1}, [r0, :128]!
381 subs r3, r3, #1
382 vld1.16 {q2, q3}, [r0, :128]
383 vqadd.s16 q0, q0, q12
384 vqadd.s16 q1, q1, q12
385 vqadd.s16 q2, q2, q12
386 vqadd.s16 q3, q3, q12
387 sub r0, r0, #32
388 vmax.s16 q0, q0, q14
389 vmax.s16 q1, q1, q14
390 vmax.s16 q2, q2, q14
391 vmax.s16 q3, q3, q14
392 vmin.s16 q0, q0, q15
393 vmin.s16 q1, q1, q15
394 vmin.s16 q2, q2, q15
395 vst1.16 {q0, q1}, [r0, :128]!
396 vmin.s16 q3, q3, q15
397 vst1.16 {q2, q3}, [r0, :128], r1
398 bgt 1b
399 bx lr
400 endfunc
401
402 function idct_dc_w64_neon
403 sub r1, r1, #96
404 vmvn.i16 q15, #0xfc00 // 0x3ff
405 1:
406 vld1.16 {q0, q1}, [r0, :128]!
407 subs r3, r3, #1
408 vld1.16 {q2, q3}, [r0, :128]!
409 vqadd.s16 q0, q0, q12
410 vld1.16 {q8, q9}, [r0, :128]!
411 vqadd.s16 q1, q1, q12
412 vld1.16 {q10, q11}, [r0, :128]
413 vqadd.s16 q2, q2, q12
414 vqadd.s16 q3, q3, q12
415 vqadd.s16 q8, q8, q12
416 vqadd.s16 q9, q9, q12
417 vqadd.s16 q10, q10, q12
418 vqadd.s16 q11, q11, q12
419 sub r0, r0, #96
420 vmax.s16 q0, q0, q14
421 vmax.s16 q1, q1, q14
422 vmax.s16 q2, q2, q14
423 vmax.s16 q3, q3, q14
424 vmax.s16 q8, q8, q14
425 vmax.s16 q9, q9, q14
426 vmax.s16 q10, q10, q14
427 vmax.s16 q11, q11, q14
428 vmin.s16 q0, q0, q15
429 vmin.s16 q1, q1, q15
430 vmin.s16 q2, q2, q15
431 vmin.s16 q3, q3, q15
432 vmin.s16 q8, q8, q15
433 vst1.16 {q0, q1}, [r0, :128]!
434 vmin.s16 q9, q9, q15
435 vst1.16 {q2, q3}, [r0, :128]!
436 vmin.s16 q10, q10, q15
437 vst1.16 {q8, q9}, [r0, :128]!
438 vmin.s16 q11, q11, q15
439 vst1.16 {q10, q11}, [r0, :128], r1
440 bgt 1b
441 bx lr
442 endfunc
443
444 .macro iwht4
445 vadd.i32 q8, q8, q9
446 vsub.i32 q13, q10, q11
447 vsub.i32 q12, q8, q13
448 vshr.s32 q12, q12, #1
449 vsub.i32 q10, q12, q9
450 vsub.i32 q9, q12, q11
451 vadd.i32 q11, q13, q10
452 vsub.i32 q8, q8, q9
453 .endm
454
455 .macro idct_4s_x4 r0, r1, r2, r3
456 vmul_vmla q4, \r1, \r3, d1[1], d1[0]
457 vmul_vmla q2, \r0, \r2, d0[0], d0[0]
458 vmul_vmls q3, \r1, \r3, d1[0], d1[1]
459 vmul_vmls q5, \r0, \r2, d0[0], d0[0]
460 vrshr.s32 q4, q4, #12
461 vrshr.s32 q2, q2, #12
462 vrshr.s32 q3, q3, #12
463 vrshr.s32 q5, q5, #12
464 vqadd.s32 \r0, q2, q4
465 vqsub.s32 \r3, q2, q4
466 vqadd.s32 \r1, q5, q3
467 vqsub.s32 \r2, q5, q3
468 .endm
469
470 .macro idct_2s_x4 r0, r1, r2, r3
471 vmul_vmla d6, \r1, \r3, d1[1], d1[0]
472 vmul_vmla d4, \r0, \r2, d0[0], d0[0]
473 vmul_vmls d5, \r1, \r3, d1[0], d1[1]
474 vmul_vmls d7, \r0, \r2, d0[0], d0[0]
475 vrshr.s32 d6, d6, #12
476 vrshr.s32 d4, d4, #12
477 vrshr.s32 d5, d5, #12
478 vrshr.s32 d7, d7, #12
479 vqadd.s32 \r0, d4, d6
480 vqsub.s32 \r3, d4, d6
481 vqadd.s32 \r1, d7, d5
482 vqsub.s32 \r2, d7, d5
483 .endm
484
485 function inv_dct_4s_x4_neon
486 movrel_local r12, idct_coeffs
487 vld1.32 {d0, d1}, [r12, :128]
488 idct_4s_x4 q8, q9, q10, q11
489 bx lr
490 endfunc
491
492 .macro iadst_4x4 o0, o1, o2, o3
493 movrel_local r12, iadst4_coeffs
494 vld1.32 {d0, d1}, [r12, :128]
495
496 vsub.i32 q1, q8, q10
497 vmul.i32 q2, q8, d0[0]
498 vmla.i32 q2, q10, d0[1]
499 vmla.i32 q2, q11, d1[0]
500 vmul.i32 q4, q9, d1[1]
501 vadd.i32 q1, q1, q11
502 vmul.i32 q3, q8, d1[0]
503 vmls.i32 q3, q10, d0[0]
504 vmls.i32 q3, q11, d0[1]
505
506 vadd.i32 \o3, q2, q3
507 vmul.i32 \o2, q1, d1[1]
508 vadd.i32 \o0, q2, q4
509 vadd.i32 \o1, q3, q4
510 vsub.i32 \o3, \o3, q4
511
512 vrshr.s32 \o0, \o0, #12
513 vrshr.s32 \o2, \o2, #12
514 vrshr.s32 \o1, \o1, #12
515 vrshr.s32 \o3, \o3, #12
516 .endm
517
518 function inv_adst_4s_x4_neon
519 iadst_4x4 q8, q9, q10, q11
520 bx lr
521 endfunc
522
523 function inv_flipadst_4s_x4_neon
524 iadst_4x4 q11, q10, q9, q8
525 bx lr
526 endfunc
527
528 function inv_identity_4s_x4_neon
529 mov r12, #0
530 movt r12, #(5793-4096)*8
531 vdup.32 d0, r12
532 vqrdmulh.s32 q1, q8, d0[0]
533 vqrdmulh.s32 q2, q9, d0[0]
534 vqrdmulh.s32 q3, q10, d0[0]
535 vqrdmulh.s32 q4, q11, d0[0]
536 vqadd.s32 q8, q8, q1
537 vqadd.s32 q9, q9, q2
538 vqadd.s32 q10, q10, q3
539 vqadd.s32 q11, q11, q4
540 bx lr
541 endfunc
542
543 function inv_txfm_add_wht_wht_4x4_16bpc_neon, export=1
544 push {r4-r5,lr}
545 vpush {q4-q5}
546 vmov.i16 q14, #0
547 vmov.i16 q15, #0
548 vld1.32 {q8, q9}, [r2, :128]
549 vst1.32 {q14, q15}, [r2, :128]!
550 vshr.s16 q8, q8, #2
551 vld1.32 {q10, q11}, [r2, :128]
552 vshr.s16 q9, q9, #2
553 vshr.s16 q10, q10, #2
554 vshr.s16 q11, q11, #2
555
556 iwht4
557
558 vst1.32 {q14, q15}, [r2, :128]
559 transpose_4x4s q8, q9, q10, q11, d16, d17, d18, d19, d20, d21, d22, d23
560
561 iwht4
562
563 vld1.16 {d0}, [r0, :64], r1
564 vqmovn.s32 d16, q8
565 vld1.16 {d1}, [r0, :64], r1
566 vqmovn.s32 d17, q9
567 vld1.16 {d2}, [r0, :64], r1
568 vqmovn.s32 d18, q10
569 vld1.16 {d3}, [r0, :64], r1
570 vqmovn.s32 d19, q11
571
572 b L(itx_4x4_end)
573 endfunc
574
575 function inv_txfm_add_4x4_neon
576 vmov.i16 q14, #0
577 vmov.i16 q15, #0
578 vld1.32 {q8, q9}, [r2, :128]
579 vst1.16 {q14, q15}, [r2, :128]!
580 vld1.32 {q10, q11}, [r2, :128]
581 vst1.16 {q14, q15}, [r2, :128]
582
583 blx r4
584
585 vqmovn.s32 d16, q8
586 vqmovn.s32 d17, q9
587 vqmovn.s32 d18, q10
588 vqmovn.s32 d19, q11
589 transpose_4x4h q8, q9, d16, d17, d18, d19
590
591 blx r5
592
593 vld1.16 {d0}, [r0, :64], r1
594 vld1.16 {d1}, [r0, :64], r1
595 vrshr.s16 q8, q8, #4
596 vld1.16 {d2}, [r0, :64], r1
597 vrshr.s16 q9, q9, #4
598 vld1.16 {d3}, [r0, :64], r1
599
600 L(itx_4x4_end):
601 vmvn.i16 q15, #0xfc00 // 0x3ff
602 sub r0, r0, r1, lsl #2
603 vqadd.s16 q8, q8, q0
604 vqadd.s16 q9, q9, q1
605 vmax.s16 q8, q8, q14
606 vmax.s16 q9, q9, q14
607 vmin.s16 q8, q8, q15
608 vmin.s16 q9, q9, q15
609 vst1.16 {d16}, [r0, :64], r1
610 vst1.16 {d17}, [r0, :64], r1
611 vst1.16 {d18}, [r0, :64], r1
612 vst1.16 {d19}, [r0, :64], r1
613
614 vpop {q4-q5}
615 pop {r4-r5,pc}
616 endfunc
617
618 .macro def_fn_4x4 txfm1, txfm2
619 function inv_txfm_add_\txfm1\()_\txfm2\()_4x4_16bpc_neon, export=1
620 push {r4-r5,lr}
621 vpush {q4-q5}
622
623 .ifc \txfm1\()_\txfm2, dct_dct
624 cmp r3, #0
625 bne 1f
626 vmov.i16 q14, #0
627 mov_const r12, 2896*8*(1<<16)
628 vld1.32 {d16[], d17[]}, [r2, :32]
629 vdup.32 d4, r12
630 vst1.32 {d28[0]}, [r2, :32]
631 vqrdmulh.s32 q8, q8, d4[0]
632 vld1.16 {d0}, [r0, :64], r1
633 vqmovn.s32 d20, q8
634 vqmovn.s32 d21, q8
635 vld1.16 {d1}, [r0, :64], r1
636 vqrdmulh.s16 q10, q10, d4[1]
637 vld1.16 {d2}, [r0, :64], r1
638 vrshr.s16 q8, q10, #4
639 vld1.16 {d3}, [r0, :64], r1
640 vrshr.s16 q9, q10, #4
641 b L(itx_4x4_end)
642 1:
643 .endif
644 movrel_local r4, inv_\txfm1\()_4s_x4_neon
645 movrel r5, X(inv_\txfm2\()_4h_x4_neon)
646 b inv_txfm_add_4x4_neon
647 endfunc
648 .endm
649
650 def_fn_4x4 dct, dct
651 def_fn_4x4 identity, identity
652 def_fn_4x4 dct, adst
653 def_fn_4x4 dct, flipadst
654 def_fn_4x4 dct, identity
655 def_fn_4x4 adst, dct
656 def_fn_4x4 adst, adst
657 def_fn_4x4 adst, flipadst
658 def_fn_4x4 flipadst, dct
659 def_fn_4x4 flipadst, adst
660 def_fn_4x4 flipadst, flipadst
661 def_fn_4x4 identity, dct
662
663 def_fn_4x4 adst, identity
664 def_fn_4x4 flipadst, identity
665 def_fn_4x4 identity, adst
666 def_fn_4x4 identity, flipadst
667
668 .macro idct_4s_x8 r0, r1, r2, r3, r4, r5, r6, r7
669 idct_4s_x4 \r0, \r2, \r4, \r6
670
671 vmov.i32 q5, #0x1ffff // row_clip_max = ~(~bdmax << 7), 0x1ffff
672 vmvn.i32 q4, #0x1ffff // row_clip_min = (~bdmax << 7), 0xfffe0000
673 .irp r, \r0, \r2, \r4, \r6
674 vmin.s32 \r, \r, q5
675 .endr
676 .irp r, \r0, \r2, \r4, \r6
677 vmax.s32 \r, \r, q4
678 .endr
679
680 vmul_vmls q2, \r1, \r7, d2[0], d2[1] // -> t4a
681 vmul_vmla q3, \r1, \r7, d2[1], d2[0] // -> t7a
682 vmul_vmls q6, \r5, \r3, d3[0], d3[1] // -> t5a
683 vmul_vmla q7, \r5, \r3, d3[1], d3[0] // -> t6a
684 vrshr.s32 \r1, q2, #12 // t4a
685 vrshr.s32 \r7, q3, #12 // t7a
686 vrshr.s32 \r3, q6, #12 // t5a
687 vrshr.s32 \r5, q7, #12 // t6a
688
689 vqadd.s32 q2, \r1, \r3 // t4
690 vqsub.s32 \r1, \r1, \r3 // t5a
691 vqadd.s32 q3, \r7, \r5 // t7
692 vqsub.s32 \r3, \r7, \r5 // t6a
693
694 .irp r, q2, \r1, q3, \r3
695 vmin.s32 \r, \r, q5
696 .endr
697 .irp r, q2, \r1, q3, \r3
698 vmax.s32 \r, \r, q4
699 .endr
700
701 vmul_vmls q7, \r3, \r1, d0[0], d0[0] // -> t5
702 vmul_vmla q6, \r3, \r1, d0[0], d0[0] // -> t6
703 vrshr.s32 q7, q7, #12 // t5
704 vrshr.s32 q5, q6, #12 // t6
705
706 vqsub.s32 \r7, \r0, q3 // out7
707 vqadd.s32 \r0, \r0, q3 // out0
708 vqadd.s32 \r1, \r2, q5 // out1
709 vqsub.s32 q6, \r2, q5 // out6
710 vqadd.s32 \r2, \r4, q7 // out2
711 vqsub.s32 \r5, \r4, q7 // out5
712 vqadd.s32 \r3, \r6, q2 // out3
713 vqsub.s32 \r4, \r6, q2 // out4
714 vmov \r6, q6 // out6
715 .endm
716
717 .macro idct_2s_x8 r0, r1, r2, r3, r4, r5, r6, r7
718 idct_2s_x4 \r0, \r2, \r4, \r6
719
720 vmov.i32 d9, #0x1ffff // row_clip_max = ~(~bdmax << 7), 0x1ffff
721 vmvn.i32 d8, #0x1ffff // row_clip_min = (~bdmax << 7), 0xfffe0000
722 .irp r, \r0, \r2, \r4, \r6
723 vmin.s32 \r, \r, d9
724 .endr
725 .irp r, \r0, \r2, \r4, \r6
726 vmax.s32 \r, \r, d8
727 .endr
728
729 vmul_vmls d4, \r1, \r7, d2[0], d2[1] // -> t4a
730 vmul_vmla d5, \r1, \r7, d2[1], d2[0] // -> t7a
731 vmul_vmls d6, \r5, \r3, d3[0], d3[1] // -> t5a
732 vmul_vmla d7, \r5, \r3, d3[1], d3[0] // -> t6a
733 vrshr.s32 \r1, d4, #12 // t4a
734 vrshr.s32 \r7, d5, #12 // t7a
735 vrshr.s32 \r3, d6, #12 // t5a
736 vrshr.s32 \r5, d7, #12 // t6a
737
738 vqadd.s32 d4, \r1, \r3 // t4
739 vqsub.s32 \r1, \r1, \r3 // t5a
740 vqadd.s32 d5, \r7, \r5 // t7
741 vqsub.s32 \r3, \r7, \r5 // t6a
742
743 .irp r, d4, \r1, d5, \r3
744 vmin.s32 \r, \r, d9
745 .endr
746 .irp r, d4, \r1, d5, \r3
747 vmax.s32 \r, \r, d8
748 .endr
749
750 vmul_vmls d6, \r3, \r1, d0[0], d0[0] // -> t5
751 vmul_vmla d7, \r3, \r1, d0[0], d0[0] // -> t6
752 vrshr.s32 d6, d6, #12 // t5
753 vrshr.s32 d7, d7, #12 // t6
754
755 vqsub.s32 \r7, \r0, d5 // out7
756 vqadd.s32 \r0, \r0, d5 // out0
757 vqadd.s32 \r1, \r2, d7 // out1
758 vqsub.s32 d7, \r2, d7 // out6
759 vqadd.s32 \r2, \r4, d6 // out2
760 vqsub.s32 \r5, \r4, d6 // out5
761 vqadd.s32 \r3, \r6, d4 // out3
762 vqsub.s32 \r4, \r6, d4 // out4
763 vmov \r6, d7 // out6
764 .endm
765
766 function inv_dct_4s_x8_neon
767 movrel_local r12, idct_coeffs
768 vld1.32 {q0, q1}, [r12, :128]
769 idct_4s_x8 q8, q9, q10, q11, q12, q13, q14, q15
770 bx lr
771 endfunc
772
773 .macro iadst_4s_x8 r0, r1, r2, r3, r4, r5, r6, r7
774 movrel_local r12, iadst8_coeffs
775 vld1.32 {q0, q1}, [r12, :128]!
776
777 vmul_vmla q2, q15, q8, d0[0], d0[1]
778 vmul_vmls q3, q15, q8, d0[1], d0[0]
779 vmul_vmla q4, q13, q10, d1[0], d1[1]
780 vrshr.s32 q8, q2, #12 // t0a
781 vrshr.s32 q15, q3, #12 // t1a
782 vmul_vmls q5, q13, q10, d1[1], d1[0]
783 vmul_vmla q6, q11, q12, d2[0], d2[1]
784 vrshr.s32 q10, q4, #12 // t2a
785 vrshr.s32 q13, q5, #12 // t3a
786 vmul_vmls q7, q11, q12, d2[1], d2[0]
787 vmul_vmla q2, q9, q14, d3[0], d3[1]
788 vrshr.s32 q12, q6, #12 // t4a
789 vrshr.s32 q11, q7, #12 // t5a
790 vmul_vmls q3, q9, q14, d3[1], d3[0]
791 vrshr.s32 q14, q2, #12 // t6a
792 vrshr.s32 q9, q3, #12 // t7a
793
794 vld1.32 {q0}, [r12]
795
796 vqadd.s32 q2, q8, q12 // t0
797 vqsub.s32 q3, q8, q12 // t4
798 vmov.i32 q12, #0x1ffff // row_clip_max = ~(~bdmax << 7), 0x1ffff
799 vqadd.s32 q4, q15, q11 // t1
800 vqsub.s32 q5, q15, q11 // t5
801 vqadd.s32 q6, q10, q14 // t2
802 vqsub.s32 q7, q10, q14 // t6
803 vmvn.i32 q14, #0x1ffff // row_clip_min = (~bdmax << 7), 0xfffe0000
804 vqadd.s32 q10, q13, q9 // t3
805 vqsub.s32 q11, q13, q9 // t7
806
807 .irp r, q2, q3, q4, q5, q6, q7, q10, q11
808 vmin.s32 \r, \r, q12
809 .endr
810 .irp r, q2, q3, q4, q5, q6, q7, q10, q11
811 vmax.s32 \r, \r, q14
812 .endr
813
814 vmul_vmla q8, q3, q5, d1[1], d1[0]
815 vmul_vmls q13, q3, q5, d1[0], d1[1]
816 vmul_vmls q14, q11, q7, d1[1], d1[0]
817
818 vrshr.s32 q3, q8, #12 // t4a
819 vrshr.s32 q5, q13, #12 // t5a
820
821 vmul_vmla q8, q11, q7, d1[0], d1[1]
822
823 vrshr.s32 q7, q14, #12 // t6a
824 vrshr.s32 q11, q8, #12 // t7a
825
826 vqadd.s32 \r0, q2, q6 // out0
827 vqsub.s32 q2, q2, q6 // t2
828 vqadd.s32 \r7, q4, q10 // out7
829 vqsub.s32 q4, q4, q10 // t3
830
831 vmvn.i32 q10, #0x1ffff // row_clip_min = (~bdmax << 7), 0xfffe0000
832
833 vqadd.s32 \r1, q3, q7 // out1
834 vqsub.s32 q3, q3, q7 // t6
835 vqadd.s32 \r6, q5, q11 // out6
836 vqsub.s32 q5, q5, q11 // t7
837
838 // Not clipping the output registers, as they will be downshifted and
839 // narrowed afterwards anyway.
840 .irp r, q2, q4, q3, q5
841 vmin.s32 \r, \r, q12
842 .endr
843 .irp r, q2, q4, q3, q5
844 vmax.s32 \r, \r, q10
845 .endr
846
847 vqneg.s32 \r7, \r7 // out7
848 vqneg.s32 \r1, \r1 // out1
849
850 vmul_vmla q10, q2, q4, d0[0], d0[0] // -> out3 (q11 or q12)
851 vmul_vmls q6, q2, q4, d0[0], d0[0] // -> out4 (q12 or q11)
852 vmul_vmls q12, q3, q5, d0[0], d0[0] // -> out5 (q13 or q10)
853 vrshr.s32 q2, q10, #12 // out3
854 vmul_vmla q10, q3, q5, d0[0], d0[0] // -> out2 (q10 or q13)
855 vrshr.s32 q3, q12, #12 // out5
856 vrshr.s32 \r2, q10, #12 // out2 (q10 or q13)
857 vrshr.s32 \r4, q6, #12 // out4 (q12 or q11)
858
859 vqneg.s32 \r3, q2 // out3
860 vqneg.s32 \r5, q3 // out5
861 .endm
862
863 function inv_adst_4s_x8_neon
864 iadst_4s_x8 q8, q9, q10, q11, q12, q13, q14, q15
865 bx lr
866 endfunc
867
868 function inv_flipadst_4s_x8_neon
869 iadst_4s_x8 q15, q14, q13, q12, q11, q10, q9, q8
870 bx lr
871 endfunc
872
873 function inv_identity_4s_x8_neon
874 vqshl.s32 q8, q8, #1
875 vqshl.s32 q9, q9, #1
876 vqshl.s32 q10, q10, #1
877 vqshl.s32 q11, q11, #1
878 vqshl.s32 q12, q12, #1
879 vqshl.s32 q13, q13, #1
880 vqshl.s32 q14, q14, #1
881 vqshl.s32 q15, q15, #1
882 bx lr
883 endfunc
884
885 function inv_txfm_add_8x8_neon
886 vmov.i32 q0, #0
887 mov r7, #8*4
888 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
889 vld1.32 {\i}, [r2, :128]
890 vst1.32 {q0}, [r2, :128], r7
891 .endr
892
893 blx r4
894
895 vqrshrn.s32 d16, q8, #1
896 vqrshrn.s32 d17, q12, #1
897 vqrshrn.s32 d18, q9, #1
898 vqrshrn.s32 d19, q13, #1
899 vqrshrn.s32 d20, q10, #1
900 vqrshrn.s32 d21, q14, #1
901 vqrshrn.s32 d22, q11, #1
902 vqrshrn.s32 d23, q15, #1
903
904 cmp r3, r10
905 transpose_4x8h q8, q9, q10, q11
906
907 blt 1f
908
909 sub r2, r2, r7, lsl #3
910 vpush {q8-q11}
911
912 add r2, r2, #16
913 vmov.i32 q0, #0
914 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
915 vld1.32 {\i}, [r2, :128]
916 vst1.32 {q0}, [r2, :128], r7
917 .endr
918
919 blx r4
920
921 vqrshrn.s32 d31, q15, #1
922 vqrshrn.s32 d30, q11, #1
923 vqrshrn.s32 d29, q14, #1
924 vqrshrn.s32 d28, q10, #1
925 vqrshrn.s32 d27, q13, #1
926 vqrshrn.s32 d26, q9, #1
927 vqrshrn.s32 d25, q12, #1
928 vqrshrn.s32 d24, q8, #1
929 vpop {q8-q11}
930
931 transpose_4x8h q12, q13, q14, q15
932
933 b 2f
934
935 1:
936 vmov.i16 q12, #0
937 vmov.i16 q13, #0
938 vmov.i16 q14, #0
939 vmov.i16 q15, #0
940
941 2:
942 blx r5
943
944 load_add_store_8x8 r0, r7
945 vpop {q4-q7}
946 pop {r4-r5,r7,r10,pc}
947 endfunc
948
949 .macro def_fn_8x8 txfm1, txfm2, eob_half
950 function inv_txfm_add_\txfm1\()_\txfm2\()_8x8_16bpc_neon, export=1
951 .ifc \txfm1\()_\txfm2, dct_dct
952 idct_dc 8, 8, 1
953 .endif
954 push {r4-r5,r7,r10,lr}
955 vpush {q4-q7}
956 mov r10, #\eob_half
957 movrel_local r4, inv_\txfm1\()_4s_x8_neon
958 movrel r5, X(inv_\txfm2\()_8h_x8_neon)
959 b inv_txfm_add_8x8_neon
960 endfunc
961 .endm
962
963 def_fn_8x8 dct, dct, 10
964 def_fn_8x8 identity, identity, 10
965 def_fn_8x8 dct, adst, 10
966 def_fn_8x8 dct, flipadst, 10
967 def_fn_8x8 dct, identity, 4
968 def_fn_8x8 adst, dct, 10
969 def_fn_8x8 adst, adst, 10
970 def_fn_8x8 adst, flipadst, 10
971 def_fn_8x8 flipadst, dct, 10
972 def_fn_8x8 flipadst, adst, 10
973 def_fn_8x8 flipadst, flipadst, 10
974 def_fn_8x8 identity, dct, 4
975 def_fn_8x8 adst, identity, 4
976 def_fn_8x8 flipadst, identity, 4
977 def_fn_8x8 identity, adst, 4
978 def_fn_8x8 identity, flipadst, 4
979
980 function inv_txfm_add_8x4_neon
981 mov_const r12, 2896*8*(1<<16)
982 vmov.i32 q0, #0
983 vmov.i32 q1, #0
984 vld1.16 {q8, q9}, [r2, :128]
985 vst1.16 {q0, q1}, [r2, :128]!
986 vdup.32 d4, r12
987 vld1.16 {q10, q11}, [r2, :128]
988 vst1.16 {q0, q1}, [r2, :128]!
989 vld1.16 {q12, q13}, [r2, :128]
990 vst1.16 {q0, q1}, [r2, :128]!
991 vld1.16 {q14, q15}, [r2, :128]
992 vst1.16 {q0, q1}, [r2, :128]!
993
994 scale_input d4[0], q8, q9, q10, q11, q12, q13, q14, q15
995
996 blx r4
997
998 vqmovn.s32 d16, q8
999 vqmovn.s32 d17, q9
1000 vqmovn.s32 d18, q10
1001 vqmovn.s32 d19, q11
1002 vqmovn.s32 d20, q12
1003 vqmovn.s32 d21, q13
1004 vqmovn.s32 d22, q14
1005 vqmovn.s32 d23, q15
1006 transpose_4x4h q8, q9, d16, d17, d18, d19
1007 transpose_4x4h q10, q11, d20, d21, d22, d23
1008 vswp d17, d20
1009 vswp d19, d21
1010 vswp d18, d20
1011 vswp d21, d22
1012
1013 blx r5
1014
1015 load_add_store_8x4 r0, r7
1016 vpop {q4-q7}
1017 pop {r4-r5,r7,r10,pc}
1018 endfunc
1019
1020 function inv_txfm_add_4x8_neon
1021 mov_const r12, 2896*8*(1<<16)
1022 vmov.i32 q0, #0
1023 cmp r3, r10
1024 mov r7, #32
1025 blt 1f
1026
1027 add r2, r2, #16
1028 vdup.32 d2, r12
1029 .irp i, q8, q9, q10, q11
1030 vld1.32 {\i}, [r2, :128]
1031 vst1.32 {q0}, [r2, :128], r7
1032 .endr
1033
1034 scale_input d2[0], q8, q9, q10, q11
1035 sub r2, r2, r7, lsl #2
1036
1037 blx r4
1038
1039 sub r2, r2, #16
1040
1041 vqmovn.s32 d24, q8
1042 vqmovn.s32 d25, q9
1043 vqmovn.s32 d26, q10
1044 vqmovn.s32 d27, q11
1045 transpose_4x4h q12, q13, d24, d25, d26, d27
1046
1047 b 2f
1048
1049 1:
1050 vmov.i16 q12, #0
1051 vmov.i16 q13, #0
1052
1053 2:
1054 mov_const r12, 2896*8*(1<<16)
1055 vmov.i32 q0, #0
1056 vdup.32 d2, r12
1057 .irp i, q8, q9, q10, q11
1058 vld1.32 {\i}, [r2, :128]
1059 vst1.32 {q0}, [r2, :128], r7
1060 .endr
1061 scale_input d2[0], q8, q9, q10, q11
1062 blx r4
1063
1064 vqmovn.s32 d16, q8
1065 vqmovn.s32 d17, q9
1066 vqmovn.s32 d18, q10
1067 vqmovn.s32 d19, q11
1068 transpose_4x4h q8, q9, d16, d17, d18, d19
1069
1070 vmov q10, q12
1071 vmov q11, q13
1072
1073 blx r5
1074
1075 load_add_store_4x8 r0, r7
1076 vpop {q4-q7}
1077 pop {r4-r5,r7,r10,pc}
1078 endfunc
1079
1080 .macro def_fn_48 w, h, txfm1, txfm2, eob_half
1081 function inv_txfm_add_\txfm1\()_\txfm2\()_\w\()x\h\()_16bpc_neon, export=1
1082 .ifc \txfm1\()_\txfm2, dct_dct
1083 idct_dc \w, \h, 0
1084 .endif
1085 push {r4-r5,r7,r10,lr}
1086 vpush {q4-q7}
1087 movrel_local r4, inv_\txfm1\()_4s_x\w\()_neon
1088 .if \w == 4
1089 mov r10, #\eob_half
1090 .endif
1091 movrel r5, X(inv_\txfm2\()_\w\()h_x\h\()_neon)
1092 b inv_txfm_add_\w\()x\h\()_neon
1093 endfunc
1094 .endm
1095
1096 .macro def_fns_48 w, h
1097 def_fn_48 \w, \h, dct, dct, 13
1098 def_fn_48 \w, \h, identity, identity, 13
1099 def_fn_48 \w, \h, dct, adst, 13
1100 def_fn_48 \w, \h, dct, flipadst, 13
1101 def_fn_48 \w, \h, dct, identity, 4
1102 def_fn_48 \w, \h, adst, dct, 13
1103 def_fn_48 \w, \h, adst, adst, 13
1104 def_fn_48 \w, \h, adst, flipadst, 13
1105 def_fn_48 \w, \h, flipadst, dct, 13
1106 def_fn_48 \w, \h, flipadst, adst, 13
1107 def_fn_48 \w, \h, flipadst, flipadst, 13
1108 def_fn_48 \w, \h, identity, dct, 16
1109 def_fn_48 \w, \h, adst, identity, 4
1110 def_fn_48 \w, \h, flipadst, identity, 4
1111 def_fn_48 \w, \h, identity, adst, 16
1112 def_fn_48 \w, \h, identity, flipadst, 16
1113 .endm
1114
1115 def_fns_48 4, 8
1116 def_fns_48 8, 4
1117
1118 function inv_dct_2s_x16_neon
1119 movrel_local r12, idct_coeffs
1120 vld1.32 {q0, q1}, [r12, :128]!
1121
1122 idct_2s_x8 d16, d18, d20, d22, d24, d26, d28, d30
1123
1124 // idct_8 leaves the row_clip_max/min constants in d9 and d8
1125 .irp r, d16, d18, d20, d22, d24, d26, d28, d30
1126 vmin.s32 \r, \r, d9
1127 .endr
1128 .irp r, d16, d18, d20, d22, d24, d26, d28, d30
1129 vmax.s32 \r, \r, d8
1130 .endr
1131
1132 vld1.32 {q0, q1}, [r12, :128]
1133 sub r12, r12, #32
1134
1135 vmul_vmls d4, d17, d31, d0[0], d0[1] // -> t8a
1136 vmul_vmla d5, d17, d31, d0[1], d0[0] // -> t15a
1137 vmul_vmls d6, d25, d23, d1[0], d1[1] // -> t9a
1138 vrshr.s32 d17, d4, #12 // t8a
1139 vrshr.s32 d31, d5, #12 // t15a
1140 vmul_vmla d4, d25, d23, d1[1], d1[0] // -> t14a
1141 vmul_vmls d5, d21, d27, d2[0], d2[1] // -> t10a
1142 vrshr.s32 d23, d6, #12 // t9a
1143 vrshr.s32 d25, d4, #12 // t14a
1144 vmul_vmla d6, d21, d27, d2[1], d2[0] // -> t13a
1145 vmul_vmls d4, d29, d19, d3[0], d3[1] // -> t11a
1146 vrshr.s32 d21, d5, #12 // t10a
1147 vrshr.s32 d27, d6, #12 // t13a
1148 vmul_vmla d5, d29, d19, d3[1], d3[0] // -> t12a
1149 vrshr.s32 d19, d4, #12 // t11a
1150 vrshr.s32 d29, d5, #12 // t12a
1151
1152 vld1.32 {q0}, [r12, :128]
1153
1154 vqsub.s32 d4, d17, d23 // t9
1155 vqadd.s32 d17, d17, d23 // t8
1156 vqsub.s32 d5, d31, d25 // t14
1157 vqadd.s32 d31, d31, d25 // t15
1158 vqsub.s32 d23, d19, d21 // t10
1159 vqadd.s32 d19, d19, d21 // t11
1160 vqadd.s32 d25, d29, d27 // t12
1161 vqsub.s32 d29, d29, d27 // t13
1162
1163 .irp r, d4, d17, d5, d31, d23, d19, d25, d29
1164 vmin.s32 \r, \r, d9
1165 .endr
1166 .irp r, d4, d17, d5, d31, d23, d19, d25, d29
1167 vmax.s32 \r, \r, d8
1168 .endr
1169
1170 vmul_vmls d6, d5, d4, d1[0], d1[1] // -> t9a
1171 vmul_vmla d7, d5, d4, d1[1], d1[0] // -> t14a
1172 vrshr.s32 d21, d6, #12 // t9a
1173 vrshr.s32 d27, d7, #12 // t14a
1174
1175 vmul_vmls d6, d29, d23, d1[0], d1[1] // -> t13a
1176 vmul_vmla d7, d29, d23, d1[1], d1[0] // -> t10a
1177 vrshr.s32 d29, d6, #12 // t13a
1178 vneg.s32 d7, d7
1179 vrshr.s32 d23, d7, #12 // t10a
1180
1181 vqsub.s32 d4, d17, d19 // t11a
1182 vqadd.s32 d17, d17, d19 // t8a
1183 vqsub.s32 d5, d31, d25 // t12a
1184 vqadd.s32 d31, d31, d25 // t15a
1185 vqadd.s32 d19, d21, d23 // t9
1186 vqsub.s32 d21, d21, d23 // t10
1187 vqsub.s32 d25, d27, d29 // t13
1188 vqadd.s32 d27, d27, d29 // t14
1189
1190 .irp r, d4, d17, d5, d31, d19, d21, d25, d27
1191 vmin.s32 \r, \r, d9
1192 .endr
1193 .irp r, d4, d17, d5, d31, d19, d21, d25, d27
1194 vmax.s32 \r, \r, d8
1195 .endr
1196
1197 vmul_vmls d6, d5, d4, d0[0], d0[0] // -> t11
1198 vmul_vmla d7, d5, d4, d0[0], d0[0] // -> t12
1199 vmul_vmls d4, d25, d21, d0[0], d0[0] // -> t10a
1200
1201 vrshr.s32 d6, d6, #12 // t11
1202 vrshr.s32 d7, d7, #12 // t12
1203 vmul_vmla d5, d25, d21, d0[0], d0[0] // -> t13a
1204 vrshr.s32 d4, d4, #12 // t10a
1205 vrshr.s32 d5, d5, #12 // t13a
1206
1207 vqadd.s32 d8, d16, d31 // out0
1208 vqsub.s32 d31, d16, d31 // out15
1209 vmov d16, d8
1210 vqadd.s32 d23, d30, d17 // out7
1211 vqsub.s32 d9, d30, d17 // out8
1212 vqadd.s32 d17, d18, d27 // out1
1213 vqsub.s32 d30, d18, d27 // out14
1214 vqadd.s32 d18, d20, d5 // out2
1215 vqsub.s32 d29, d20, d5 // out13
1216 vqadd.s32 d5, d28, d19 // out6
1217 vqsub.s32 d25, d28, d19 // out9
1218 vqadd.s32 d19, d22, d7 // out3
1219 vqsub.s32 d28, d22, d7 // out12
1220 vqadd.s32 d20, d24, d6 // out4
1221 vqsub.s32 d27, d24, d6 // out11
1222 vqadd.s32 d21, d26, d4 // out5
1223 vqsub.s32 d26, d26, d4 // out10
1224 vmov d24, d9
1225 vmov d22, d5
1226
1227 bx lr
1228 endfunc
1229
1230 .macro iadst_16 o0, o1, o2, o3, o4, o5, o6, o7, o8, o9, o10, o11, o12, o13, o14, o15
1231 movrel_local r12, iadst16_coeffs
1232 vld1.32 {q0, q1}, [r12, :128]!
1233
1234 vmul_vmla d4, d31, d16, d0[0], d0[1] // -> t0
1235 vmul_vmls d6, d31, d16, d0[1], d0[0] // -> t1
1236 vmul_vmla d8, d29, d18, d1[0], d1[1] // -> t2
1237 vrshr.s32 d16, d4, #12 // t0
1238 vrshr.s32 d31, d6, #12 // t1
1239 vmul_vmls d4, d29, d18, d1[1], d1[0] // -> t3
1240 vmul_vmla d6, d27, d20, d2[0], d2[1] // -> t4
1241 vrshr.s32 d18, d8, #12 // t2
1242 vrshr.s32 d29, d4, #12 // t3
1243 vmul_vmls d8, d27, d20, d2[1], d2[0] // -> t5
1244 vmul_vmla d4, d25, d22, d3[0], d3[1] // -> t6
1245 vrshr.s32 d20, d6, #12 // t4
1246 vrshr.s32 d27, d8, #12 // t5
1247 vmul_vmls d6, d25, d22, d3[1], d3[0] // -> t7
1248 vld1.32 {q0, q1}, [r12, :128]
1249 movrel_local r12, idct_coeffs
1250 vmul_vmla d8, d23, d24, d0[0], d0[1] // -> t8
1251 vrshr.s32 d22, d4, #12 // t6
1252 vrshr.s32 d25, d6, #12 // t7
1253 vmul_vmls d4, d23, d24, d0[1], d0[0] // -> t9
1254 vmul_vmla d6, d21, d26, d1[0], d1[1] // -> t10
1255 vrshr.s32 d23, d8, #12 // t8
1256 vrshr.s32 d24, d4, #12 // t9
1257 vmul_vmls d8, d21, d26, d1[1], d1[0] // -> t11
1258 vmul_vmla d4, d19, d28, d2[0], d2[1] // -> t12
1259 vrshr.s32 d21, d6, #12 // t10
1260 vrshr.s32 d26, d8, #12 // t11
1261 vmul_vmls d6, d19, d28, d2[1], d2[0] // -> t13
1262 vmul_vmla d8, d17, d30, d3[0], d3[1] // -> t14
1263 vrshr.s32 d19, d4, #12 // t12
1264 vrshr.s32 d28, d6, #12 // t13
1265 vmul_vmls d4, d17, d30, d3[1], d3[0] // -> t15
1266 vrshr.s32 d17, d8, #12 // t14
1267 vrshr.s32 d30, d4, #12 // t15
1268
1269 vld1.32 {q0, q1}, [r12, :128]
1270
1271 vmov.i32 d11, #0x1ffff // row_clip_max = ~(~bdmax << 7), 0x1ffff
1272 vmvn.i32 d10, #0x1ffff // row_clip_min = (~bdmax << 7), 0xfffe0000
1273
1274 vqsub.s32 d5, d16, d23 // t8a
1275 vqadd.s32 d16, d16, d23 // t0a
1276 vqsub.s32 d7, d31, d24 // t9a
1277 vqadd.s32 d31, d31, d24 // t1a
1278 vqadd.s32 d23, d18, d21 // t2a
1279 vqsub.s32 d18, d18, d21 // t10a
1280 vqadd.s32 d24, d29, d26 // t3a
1281 vqsub.s32 d29, d29, d26 // t11a
1282 vqadd.s32 d21, d20, d19 // t4a
1283 vqsub.s32 d20, d20, d19 // t12a
1284 vqadd.s32 d26, d27, d28 // t5a
1285 vqsub.s32 d27, d27, d28 // t13a
1286 vqadd.s32 d19, d22, d17 // t6a
1287 vqsub.s32 d22, d22, d17 // t14a
1288 vqadd.s32 d28, d25, d30 // t7a
1289 vqsub.s32 d25, d25, d30 // t15a
1290
1291 .irp r, d5, d16, d7, d31, d23, d18, d24, d29, d21, d20, d26, d27, d19, d22, d28, d25
1292 vmin.s32 \r, \r, d11
1293 .endr
1294 .irp r, d5, d16, d7, d31, d23, d18, d24, d29, d21, d20, d26, d27, d19, d22, d28, d25
1295 vmax.s32 \r, \r, d10
1296 .endr
1297
1298 vmul_vmla d4, d5, d7, d2[1], d2[0] // -> t8
1299 vmul_vmls d6, d5, d7, d2[0], d2[1] // -> t9
1300 vmul_vmla d8, d18, d29, d3[1], d3[0] // -> t10
1301 vrshr.s32 d17, d4, #12 // t8
1302 vrshr.s32 d30, d6, #12 // t9
1303 vmul_vmls d4, d18, d29, d3[0], d3[1] // -> t11
1304 vmul_vmls d6, d27, d20, d2[1], d2[0] // -> t12
1305 vrshr.s32 d18, d8, #12 // t10
1306 vrshr.s32 d29, d4, #12 // t11
1307 vmul_vmla d8, d27, d20, d2[0], d2[1] // -> t13
1308 vmul_vmls d4, d25, d22, d3[1], d3[0] // -> t14
1309 vrshr.s32 d27, d6, #12 // t12
1310 vrshr.s32 d20, d8, #12 // t13
1311 vmul_vmla d6, d25, d22, d3[0], d3[1] // -> t15
1312 vrshr.s32 d25, d4, #12 // t14
1313 vrshr.s32 d22, d6, #12 // t15
1314
1315 vqsub.s32 d2, d16, d21 // t4
1316 vqadd.s32 d16, d16, d21 // t0
1317 vqsub.s32 d3, d31, d26 // t5
1318 vqadd.s32 d31, d31, d26 // t1
1319 vqadd.s32 d21, d23, d19 // t2
1320 vqsub.s32 d23, d23, d19 // t6
1321 vqadd.s32 d26, d24, d28 // t3
1322 vqsub.s32 d24, d24, d28 // t7
1323 vqadd.s32 d19, d17, d27 // t8a
1324 vqsub.s32 d17, d17, d27 // t12a
1325 vqadd.s32 d28, d30, d20 // t9a
1326 vqsub.s32 d30, d30, d20 // t13a
1327 vqadd.s32 d27, d18, d25 // t10a
1328 vqsub.s32 d18, d18, d25 // t14a
1329 vqadd.s32 d20, d29, d22 // t11a
1330 vqsub.s32 d29, d29, d22 // t15a
1331
1332 .irp r, d2, d16, d3, d31, d21, d23, d26, d24, d19, d17, d28, d30, d27, d18, d20, d29
1333 vmin.s32 \r, \r, d11
1334 .endr
1335 .irp r, d2, d16, d3, d31, d21, d23, d26, d24, d19, d17, d28, d30, d27, d18, d20, d29
1336 vmax.s32 \r, \r, d10
1337 .endr
1338
1339 vmul_vmla d4, d2, d3, d1[1], d1[0] // -> t4a
1340 vmul_vmls d6, d2, d3, d1[0], d1[1] // -> t5a
1341 vmul_vmls d8, d24, d23, d1[1], d1[0] // -> t6a
1342 vrshr.s32 d22, d4, #12 // t4a
1343 vrshr.s32 d25, d6, #12 // t5a
1344 vmul_vmla d4, d24, d23, d1[0], d1[1] // -> t7a
1345 vmul_vmla d6, d17, d30, d1[1], d1[0] // -> t12
1346 vrshr.s32 d24, d8, #12 // t6a
1347 vrshr.s32 d23, d4, #12 // t7a
1348 vmul_vmls d8, d17, d30, d1[0], d1[1] // -> t13
1349 vmul_vmls d4, d29, d18, d1[1], d1[0] // -> t14
1350 vrshr.s32 d17, d6, #12 // t12
1351 vmul_vmla d6, d29, d18, d1[0], d1[1] // -> t15
1352 vrshr.s32 d29, d8, #12 // t13
1353 vrshr.s32 d30, d4, #12 // t14
1354 vrshr.s32 d18, d6, #12 // t15
1355
1356 vqsub.s32 d2, d16, d21 // t2a
1357 .ifc \o0, d16
1358 vqadd.s32 \o0, d16, d21 // out0
1359 vqsub.s32 d21, d31, d26 // t3a
1360 vqadd.s32 \o15,d31, d26 // out15
1361 .else
1362 vqadd.s32 d4, d16, d21 // out0
1363 vqsub.s32 d21, d31, d26 // t3a
1364 vqadd.s32 \o15,d31, d26 // out15
1365 vmov \o0, d4
1366 .endif
1367
1368 vqsub.s32 d3, d29, d18 // t15a
1369 vqadd.s32 \o13,d29, d18 // out13
1370 vqadd.s32 \o2, d17, d30 // out2
1371 vqsub.s32 d26, d17, d30 // t14a
1372
1373 vqadd.s32 \o1, d19, d27 // out1
1374 vqsub.s32 d27, d19, d27 // t10
1375 vqadd.s32 \o14,d28, d20 // out14
1376 vqsub.s32 d20, d28, d20 // t11
1377
1378 vqadd.s32 \o3, d22, d24 // out3
1379 vqsub.s32 d22, d22, d24 // t6
1380 vqadd.s32 \o12,d25, d23 // out12
1381 vqsub.s32 d23, d25, d23 // t7
1382
1383 // Not clipping the output registers, as they will be downshifted and
1384 // narrowed afterwards anyway.
1385 .irp r, d2, d21, d3, d26, d27, d20, d22, d23
1386 vmin.s32 \r, \r, d11
1387 .endr
1388 .irp r, d2, d21, d3, d26, d27, d20, d22, d23
1389 vmax.s32 \r, \r, d10
1390 .endr
1391
1392 vqneg.s32 \o15, \o15 // out15
1393 vqneg.s32 \o13,\o13 // out13
1394 vqneg.s32 \o1, \o1 // out1
1395 vqneg.s32 \o3, \o3 // out3
1396
1397 vmul_vmls d24, d2, d21, d0[0], d0[0] // -> out8 (d24 or d23)
1398 vmul_vmla d4, d2, d21, d0[0], d0[0] // -> out7 (d23 or d24)
1399 vmul_vmla d6, d26, d3, d0[0], d0[0] // -> out5 (d21 or d26)
1400
1401 vrshr.s32 d24, d24, #12 // out8
1402 vrshr.s32 d4, d4, #12 // out7
1403 vrshr.s32 d5, d6, #12 // out5
1404 vmul_vmls d8, d26, d3, d0[0], d0[0] // -> out10 (d26 or d21)
1405 vmul_vmla d2, d22, d23, d0[0], d0[0] // -> out4 (d20 or d27)
1406 vrshr.s32 d26, d8, #12 // out10
1407
1408 vmul_vmls d8, d22, d23, d0[0], d0[0] // -> out11 (d27 or d20)
1409 vmul_vmla d22, d27, d20, d0[0], d0[0] // -> out6 (d22 or d25)
1410 vmul_vmls d6, d27, d20, d0[0], d0[0] // -> out9 (d25 or d22)
1411
1412 vrshr.s32 \o4, d2, #12 // out4
1413 vrshr.s32 d7, d6, #12 // out9
1414 vrshr.s32 d6, d8, #12 // out11
1415 vrshr.s32 \o6, d22, #12 // out6
1416
1417 .ifc \o8, d23
1418 vmov \o8, d24
1419 vmov \o10,d26
1420 .endif
1421
1422 vqneg.s32 \o7, d4 // out7
1423 vqneg.s32 \o5, d5 // out5
1424 vqneg.s32 \o11,d6 // out11
1425 vqneg.s32 \o9, d7 // out9
1426 .endm
1427
1428 function inv_adst_2s_x16_neon
1429 iadst_16 d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
1430 bx lr
1431 endfunc
1432
1433 function inv_flipadst_2s_x16_neon
1434 iadst_16 d31, d30, d29, d28, d27, d26, d25, d24, d23, d22, d21, d20, d19, d18, d17, d16
1435 bx lr
1436 endfunc
1437
1438 function inv_identity_2s_x16_neon
1439 mov r12, #0
1440 movt r12, #2*(5793-4096)*8
1441 vdup.32 d0, r12
1442 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
1443 vqrdmulh.s32 q1, \i, d0[0]
1444 vqadd.s32 \i, \i, \i
1445 vqadd.s32 \i, \i, q1
1446 .endr
1447 bx lr
1448 endfunc
1449
1450 .macro identity_8x4_shift1 c
1451 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
1452 vqrdmulh.s32 q2, \i, \c
1453 vrshr.s32 q2, q2, #1
1454 vqadd.s32 \i, \i, q2
1455 .endr
1456 .endm
1457
1458 .macro identity_8x4 c
1459 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
1460 vqrdmulh.s32 q2, \i, \c
1461 vqadd.s32 \i, \i, \i
1462 vqadd.s32 \i, \i, q2
1463 .endr
1464 .endm
1465
1466 .macro def_horz_16 scale=0, shift=2, suffix
1467 function inv_txfm_horz\suffix\()_16x2_neon
1468 push {lr}
1469 vmov.i32 d7, #0
1470 .if \scale
1471 mov_const r12, 2896*8*(1<<16)
1472 vdup.32 d1, r12
1473 .endif
1474 .irp i, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
1475 vld1.32 {\i}, [r7, :64]
1476 vst1.32 {d7}, [r7, :64], r8
1477 .endr
1478 .if \scale
1479 scale_input d1[0], q8, q9, q10, q11, q12, q13, q14, q15
1480 .endif
1481 blx r4
1482 vqrshrn.s32 d16, q8, #\shift
1483 vqrshrn.s32 d17, q9, #\shift
1484 vqrshrn.s32 d18, q10, #\shift
1485 vqrshrn.s32 d19, q11, #\shift
1486 vqrshrn.s32 d20, q12, #\shift
1487 vqrshrn.s32 d21, q13, #\shift
1488 vqrshrn.s32 d22, q14, #\shift
1489 vqrshrn.s32 d23, q15, #\shift
1490 vuzp.16 q8, q9
1491 vuzp.16 q10, q11
1492
1493 .irp i, q8, q10, q9, q11
1494 vst1.16 {\i}, [r6, :128]!
1495 .endr
1496
1497 pop {pc}
1498 endfunc
1499 .endm
1500
1501 def_horz_16 scale=0, shift=2
1502 def_horz_16 scale=1, shift=1, suffix=_scale
1503
1504 function inv_txfm_add_vert_4x16_neon
1505 push {lr}
1506 .irp i, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
1507 vld1.16 {\i}, [r7, :64], r8
1508 .endr
1509 blx r5
1510 load_add_store_4x16 r6, r7
1511 pop {pc}
1512 endfunc
1513
1514 function inv_txfm_add_16x16_neon
1515 sub_sp_align 512
1516 ldrh r11, [r10], #2
1517 .irp i, 0, 2, 4, 6, 8, 10, 12, 14
1518 add r6, sp, #(\i*16*2)
1519 .if \i > 0
1520 mov r8, #(16 - \i)
1521 cmp r3, r11
1522 blt 1f
1523 .if \i < 14
1524 ldrh r11, [r10], #2
1525 .endif
1526 .endif
1527 add r7, r2, #(\i*4)
1528 mov r8, #16*4
1529 bl inv_txfm_horz_16x2_neon
1530 .endr
1531 b 3f
1532 1:
1533 vmov.i16 q2, #0
1534 vmov.i16 q3, #0
1535 2:
1536 subs r8, r8, #2
1537 .rept 2
1538 vst1.16 {q2, q3}, [r6, :128]!
1539 .endr
1540 bgt 2b
1541 3:
1542 .irp i, 0, 4, 8, 12
1543 add r6, r0, #(\i*2)
1544 add r7, sp, #(\i*2)
1545 mov r8, #32
1546 bl inv_txfm_add_vert_4x16_neon
1547 .endr
1548
1549 add_sp_align 512
1550 vpop {q4-q7}
1551 pop {r4-r11,pc}
1552 endfunc
1553
1554 const eob_16x16
1555 .short 3, 10, 21, 36, 55, 78, 105, 256
1556 endconst
1557
1558 const eob_16x16_identity
1559 .short 2, 4, 6, 8, 10, 12, 14, 256
1560 endconst
1561
1562 .macro def_fn_16x16 txfm1, txfm2
1563 function inv_txfm_add_\txfm1\()_\txfm2\()_16x16_16bpc_neon, export=1
1564 .ifc \txfm1\()_\txfm2, dct_dct
1565 idct_dc 16, 16, 2
1566 .endif
1567 push {r4-r11,lr}
1568 vpush {q4-q7}
1569 movrel_local r4, inv_\txfm1\()_2s_x16_neon
1570 movrel r5, X(inv_\txfm2\()_4h_x16_neon)
1571 .ifc \txfm1, identity
1572 .ifc \txfm2, identity
1573 movrel_local r10, eob_16x16
1574 .else
1575 movrel_local r10, eob_16x16_identity
1576 .endif
1577 .else
1578 .ifc \txfm2, identity
1579 movrel_local r10, eob_16x16_identity
1580 .else
1581 movrel_local r10, eob_16x16
1582 .endif
1583 .endif
1584 b inv_txfm_add_16x16_neon
1585 endfunc
1586 .endm
1587
1588 def_fn_16x16 dct, dct
1589 def_fn_16x16 identity, identity
1590 def_fn_16x16 dct, adst
1591 def_fn_16x16 dct, flipadst
1592 def_fn_16x16 dct, identity
1593 def_fn_16x16 adst, dct
1594 def_fn_16x16 adst, adst
1595 def_fn_16x16 adst, flipadst
1596 def_fn_16x16 flipadst, dct
1597 def_fn_16x16 flipadst, adst
1598 def_fn_16x16 flipadst, flipadst
1599 def_fn_16x16 identity, dct
1600
1601 function inv_txfm_add_16x4_neon
1602 cmp r3, r10
1603 mov r11, #16
1604 blt 1f
1605
1606 add r6, r2, #8
1607 vmov.i32 d4, #0
1608 .irp i, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
1609 vld1.32 {\i}, [r6, :64]
1610 vst1.32 {d4}, [r6, :64], r11
1611 .endr
1612 blx r4
1613
1614 vqrshrn.s32 d16, q8, #1
1615 vqrshrn.s32 d17, q9, #1
1616 vqrshrn.s32 d18, q10, #1
1617 vqrshrn.s32 d19, q11, #1
1618 vqrshrn.s32 d20, q12, #1
1619 vqrshrn.s32 d21, q13, #1
1620 vqrshrn.s32 d22, q14, #1
1621 vqrshrn.s32 d23, q15, #1
1622 vuzp.16 q8, q9
1623 mov r6, sp
1624 vuzp.16 q10, q11
1625 vpush {q8-q11}
1626
1627 b 2f
1628
1629 1:
1630 vmov.i16 q8, #0
1631 vmov.i16 q9, #0
1632 mov r6, sp
1633 vpush {q8-q9}
1634 vpush {q8-q9}
1635
1636 2:
1637 vmov.i32 d4, #0
1638 .irp i, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
1639 vld1.32 {\i}, [r2, :64]
1640 vst1.32 {d4}, [r2, :64], r11
1641 .endr
1642
1643 blx r4
1644
1645 vqrshrn.s32 d16, q8, #1
1646 vqrshrn.s32 d17, q9, #1
1647 vqrshrn.s32 d18, q10, #1
1648 vqrshrn.s32 d19, q11, #1
1649 vqrshrn.s32 d20, q12, #1
1650 vqrshrn.s32 d21, q13, #1
1651 vqrshrn.s32 d22, q14, #1
1652 vqrshrn.s32 d23, q15, #1
1653 vuzp.16 q8, q9
1654 mov r6, sp
1655 vuzp.16 q10, q11
1656
1657 vmov q12, q10
1658 vmov q13, q11
1659
1660 vpop {q10-q11}
1661 blx r5
1662 mov r6, r0
1663 load_add_store_8x4 r6, r7
1664
1665 vpop {q10-q11}
1666 vmov q8, q12
1667 vmov q9, q13
1668 blx r5
1669 add r6, r0, #16
1670 load_add_store_8x4 r6, r7
1671
1672 vpop {q4-q7}
1673 pop {r4-r11,pc}
1674 endfunc
1675
1676 function inv_txfm_add_4x16_neon
1677 ldrh r9, [r10, #4]
1678
1679 mov r11, #64
1680 cmp r3, r9
1681 ldrh r9, [r10, #2]
1682 blt 1f
1683
1684 add r6, r2, #48
1685 vmov.i32 q2, #0
1686 .irp i, q8, q9, q10, q11
1687 vld1.32 {\i}, [r6, :128]
1688 vst1.32 {q2}, [r6, :128], r11
1689 .endr
1690 blx r4
1691 vqrshrn.s32 d28, q8, #1
1692 vqrshrn.s32 d29, q9, #1
1693 vqrshrn.s32 d30, q10, #1
1694 vqrshrn.s32 d31, q11, #1
1695 transpose_4x4h q14, q15, d28, d29, d30, d31
1696
1697 b 2f
1698 1:
1699 vmov.i16 q14, #0
1700 vmov.i16 q15, #0
1701 2:
1702 cmp r3, r9
1703 ldrh r9, [r10]
1704 blt 1f
1705
1706 add r6, r2, #32
1707 vmov.i32 q2, #0
1708 .irp i, q8, q9, q10, q11
1709 vld1.32 {\i}, [r6, :128]
1710 vst1.32 {q2}, [r6, :128], r11
1711 .endr
1712 blx r4
1713 vqrshrn.s32 d24, q8, #1
1714 vqrshrn.s32 d25, q9, #1
1715 vqrshrn.s32 d26, q10, #1
1716 vqrshrn.s32 d27, q11, #1
1717 transpose_4x4h q12, q13, d24, d25, d26, d27
1718
1719 b 2f
1720 1:
1721 vmov.i16 q12, #0
1722 vmov.i16 q13, #0
1723 2:
1724 cmp r3, r9
1725 blt 1f
1726
1727 add r6, r2, #16
1728 vmov.i32 q2, #0
1729 .irp i, q8, q9, q10, q11
1730 vld1.32 {\i}, [r6, :128]
1731 vst1.32 {q2}, [r6, :128], r11
1732 .endr
1733 blx r4
1734 vqrshrn.s32 d16, q8, #1
1735 vqrshrn.s32 d17, q9, #1
1736 vqrshrn.s32 d18, q10, #1
1737 vqrshrn.s32 d19, q11, #1
1738 transpose_4x4h q8, q9, d16, d17, d18, d19
1739
1740 b 2f
1741 1:
1742 vmov.i16 q8, #0
1743 vmov.i16 q9, #0
1744 2:
1745 vmov.i16 q2, #0
1746 vpush {q8-q9}
1747 .irp i, q8, q9, q10, q11
1748 vld1.16 {\i}, [r2, :128]
1749 vst1.16 {q2}, [r2, :128], r11
1750 .endr
1751 blx r4
1752 vqrshrn.s32 d16, q8, #1
1753 vqrshrn.s32 d17, q9, #1
1754 vqrshrn.s32 d18, q10, #1
1755 vqrshrn.s32 d19, q11, #1
1756 transpose_4x4h q8, q9, d16, d17, d18, d19
1757 vpop {q10-q11}
1758
1759 blx r5
1760
1761 load_add_store_4x16 r0, r6
1762
1763 vpop {q4-q7}
1764 pop {r4-r11,pc}
1765 endfunc
1766
1767 const eob_4x16
1768 .short 13, 29, 45, 64
1769 endconst
1770
1771 const eob_4x16_identity1
1772 .short 16, 32, 48, 64
1773 endconst
1774
1775 const eob_4x16_identity2
1776 .short 4, 8, 12, 64
1777 endconst
1778
1779 .macro def_fn_416 w, h, txfm1, txfm2, eob_16x4
1780 function inv_txfm_add_\txfm1\()_\txfm2\()_\w\()x\h\()_16bpc_neon, export=1
1781 .ifc \txfm1\()_\txfm2, dct_dct
1782 idct_dc \w, \h, 1
1783 .endif
1784 push {r4-r11,lr}
1785 vpush {q4-q7}
1786 .if \w == 4
1787 movrel_local r4, inv_\txfm1\()_4s_x\w\()_neon
1788 movrel r5, X(inv_\txfm2\()_4h_x\h\()_neon)
1789 .ifc \txfm1, identity
1790 .ifc \txfm2, identity
1791 movrel_local r10, eob_4x16
1792 .else
1793 movrel_local r10, eob_4x16_identity1
1794 .endif
1795 .else
1796 .ifc \txfm2, identity
1797 movrel_local r10, eob_4x16_identity2
1798 .else
1799 movrel_local r10, eob_4x16
1800 .endif
1801 .endif
1802 .else
1803 mov r10, #\eob_16x4
1804 movrel_local r4, inv_\txfm1\()_2s_x\w\()_neon
1805 movrel r5, X(inv_\txfm2\()_8h_x\h\()_neon)
1806 .endif
1807 b inv_txfm_add_\w\()x\h\()_neon
1808 endfunc
1809 .endm
1810
1811 .macro def_fns_416 w, h
1812 def_fn_416 \w, \h, dct, dct, 3
1813 def_fn_416 \w, \h, identity, identity, 3
1814 def_fn_416 \w, \h, dct, adst, 3
1815 def_fn_416 \w, \h, dct, flipadst, 3
1816 def_fn_416 \w, \h, dct, identity, 2
1817 def_fn_416 \w, \h, adst, dct, 3
1818 def_fn_416 \w, \h, adst, adst, 3
1819 def_fn_416 \w, \h, adst, flipadst, 3
1820 def_fn_416 \w, \h, flipadst, dct, 3
1821 def_fn_416 \w, \h, flipadst, adst, 3
1822 def_fn_416 \w, \h, flipadst, flipadst, 3
1823 def_fn_416 \w, \h, identity, dct, 2
1824 def_fn_416 \w, \h, adst, identity, 2
1825 def_fn_416 \w, \h, flipadst, identity, 2
1826 def_fn_416 \w, \h, identity, adst, 2
1827 def_fn_416 \w, \h, identity, flipadst, 2
1828 .endm
1829
1830 def_fns_416 4, 16
1831 def_fns_416 16, 4
1832
1833 function inv_txfm_add_16x8_neon
1834 sub_sp_align 256
1835 ldrh r11, [r10], #2
1836
1837 .irp i, 0, 2, 4, 6
1838 add r6, sp, #(\i*16*2)
1839 .if \i > 0
1840 mov r8, #(8 - \i)
1841 cmp r3, r11
1842 blt 1f
1843 .if \i < 6
1844 ldrh r11, [r10], #2
1845 .endif
1846 .endif
1847 add r7, r2, #(\i*4)
1848 mov r8, #8*4
1849 bl inv_txfm_horz_scale_16x2_neon
1850 .endr
1851 b 3f
1852 1:
1853 vmov.i16 q2, #0
1854 vmov.i16 q3, #0
1855 2:
1856 subs r8, r8, #2
1857 .rept 2
1858 vst1.16 {q2, q3}, [r6, :128]!
1859 .endr
1860 bgt 2b
1861 3:
1862
1863 .irp i, 0, 8
1864 add r7, sp, #(\i*2)
1865 mov r8, #32
1866 .irp j, q8, q9, q10, q11, q12, q13, q14, q15
1867 vld1.16 {\j}, [r7, :128], r8
1868 .endr
1869 blx r5
1870
1871 add r6, r0, #(\i*2)
1872 load_add_store_8x8 r6, r7
1873 .endr
1874
1875 add_sp_align 256
1876 vpop {q4-q7}
1877 pop {r4-r11,pc}
1878 endfunc
1879
1880 function inv_txfm_add_8x16_neon
1881 add r10, r10, #2
1882 sub_sp_align 256
1883 ldrh r11, [r10], #4
1884
1885 .irp i, 0, 4, 8, 12
1886 add r6, sp, #(\i*8*2)
1887 .if \i > 0
1888 mov r8, #(16 - \i)
1889 cmp r3, r11
1890 blt 1f
1891 .if \i < 12
1892 ldrh r11, [r10], #4
1893 .endif
1894 .endif
1895 add r7, r2, #(\i*4)
1896 mov r8, #16*4
1897
1898 mov_const r12, 2896*8*(1<<16)
1899 vmov.i32 q2, #0
1900 vdup.32 d0, r12
1901
1902 .irp j, q8, q9, q10, q11, q12, q13, q14, q15
1903 vld1.32 {\j}, [r7, :128]
1904 vst1.32 {q2}, [r7, :128], r8
1905 .endr
1906 scale_input d0[0], q8, q9, q10, q11, q12, q13, q14, q15
1907 blx r4
1908 vqrshrn.s32 d16, q8, #1
1909 vqrshrn.s32 d17, q9, #1
1910 vqrshrn.s32 d18, q10, #1
1911 vqrshrn.s32 d19, q11, #1
1912 vqrshrn.s32 d20, q12, #1
1913 vqrshrn.s32 d21, q13, #1
1914 vqrshrn.s32 d22, q14, #1
1915 vqrshrn.s32 d23, q15, #1
1916 transpose_4x4h q8, q9, d16, d17, d18, d19
1917 transpose_4x4h q10, q11, d20, d21, d22, d23
1918 .irp j, d16, d20, d17, d21, d18, d22, d19, d23
1919 vst1.16 {\j}, [r6, :64]!
1920 .endr
1921 .endr
1922 b 3f
1923 1:
1924 vmov.i16 q2, #0
1925 vmov.i16 q3, #0
1926 2:
1927 subs r8, r8, #4
1928 .rept 2
1929 vst1.16 {q2, q3}, [r6, :128]!
1930 .endr
1931 bgt 2b
1932 3:
1933
1934 .irp i, 0, 4
1935 add r6, r0, #(\i*2)
1936 add r7, sp, #(\i*2)
1937 mov r8, #16
1938 bl inv_txfm_add_vert_4x16_neon
1939 .endr
1940
1941 add_sp_align 256
1942 vpop {q4-q7}
1943 pop {r4-r11,pc}
1944 endfunc
1945
1946 const eob_8x16
1947 .short 3, 10, 21, 43, 59, 75, 91, 128
1948 endconst
1949
1950 const eob_8x16_identity1
1951 .short 2, 4, 6, 64, 80, 96, 112, 128
1952 endconst
1953
1954 const eob_8x16_identity2
1955 .short 2, 4, 6, 8, 10, 12, 14, 128
1956 endconst
1957
1958 .macro def_fn_816 w, h, txfm1, txfm2
1959 function inv_txfm_add_\txfm1\()_\txfm2\()_\w\()x\h\()_16bpc_neon, export=1
1960 .ifc \txfm1\()_\txfm2, dct_dct
1961 idct_dc \w, \h, 1
1962 .endif
1963 push {r4-r11,lr}
1964 vpush {q4-q7}
1965 .if \w == 8
1966 movrel_local r4, inv_\txfm1\()_4s_x8_neon
1967 movrel r5, X(inv_\txfm2\()_4h_x16_neon)
1968 .else
1969 movrel_local r4, inv_\txfm1\()_2s_x16_neon
1970 movrel r5, X(inv_\txfm2\()_8h_x8_neon)
1971 .endif
1972 .ifc \txfm1, identity
1973 .ifc \txfm2, identity
1974 movrel_local r10, eob_8x16
1975 .else
1976 movrel_local r10, eob_8x16_identity1
1977 .endif
1978 .else
1979 .ifc \txfm2, identity
1980 movrel_local r10, eob_8x16_identity2
1981 .else
1982 movrel_local r10, eob_8x16
1983 .endif
1984 .endif
1985 b inv_txfm_add_\w\()x\h\()_neon
1986 endfunc
1987 .endm
1988
1989 .macro def_fns_816 w, h
1990 def_fn_816 \w, \h, dct, dct
1991 def_fn_816 \w, \h, identity, identity
1992 def_fn_816 \w, \h, dct, adst
1993 def_fn_816 \w, \h, dct, flipadst
1994 def_fn_816 \w, \h, dct, identity
1995 def_fn_816 \w, \h, adst, dct
1996 def_fn_816 \w, \h, adst, adst
1997 def_fn_816 \w, \h, adst, flipadst
1998 def_fn_816 \w, \h, flipadst, dct
1999 def_fn_816 \w, \h, flipadst, adst
2000 def_fn_816 \w, \h, flipadst, flipadst
2001 def_fn_816 \w, \h, identity, dct
2002 def_fn_816 \w, \h, adst, identity
2003 def_fn_816 \w, \h, flipadst, identity
2004 def_fn_816 \w, \h, identity, adst
2005 def_fn_816 \w, \h, identity, flipadst
2006 .endm
2007
2008 def_fns_816 8, 16
2009 def_fns_816 16, 8
2010
2011 function inv_dct32_odd_2s_x16_neon
2012 movrel_local r12, idct_coeffs, 4*16
2013 vld1.32 {q0, q1}, [r12, :128]!
2014
2015 vmul_vmls d4, d16, d31, d0[0], d0[1] // -> t16a
2016 vmul_vmla d6, d16, d31, d0[1], d0[0] // -> t31a
2017 vmul_vmls d8, d24, d23, d1[0], d1[1] // -> t17a
2018 vrshr.s32 d16, d4, #12 // t16a
2019 vrshr.s32 d31, d6, #12 // t31a
2020 vmul_vmla d4, d24, d23, d1[1], d1[0] // -> t30a
2021 vmul_vmls d6, d20, d27, d2[0], d2[1] // -> t18a
2022 vrshr.s32 d24, d8, #12 // t17a
2023 vrshr.s32 d23, d4, #12 // t30a
2024 vmul_vmla d8, d20, d27, d2[1], d2[0] // -> t29a
2025 vmul_vmls d4, d28, d19, d3[0], d3[1] // -> t19a
2026 vrshr.s32 d20, d6, #12 // t18a
2027 vrshr.s32 d27, d8, #12 // t29a
2028 vmul_vmla d6, d28, d19, d3[1], d3[0] // -> t28a
2029 vld1.32 {q0, q1}, [r12, :128]
2030 sub r12, r12, #4*24
2031 vmul_vmls d8, d18, d29, d0[0], d0[1] // -> t20a
2032 vrshr.s32 d28, d4, #12 // t19a
2033 vrshr.s32 d19, d6, #12 // t28a
2034 vmul_vmla d4, d18, d29, d0[1], d0[0] // -> t27a
2035 vmul_vmls d6, d26, d21, d1[0], d1[1] // -> t21a
2036 vrshr.s32 d18, d8, #12 // t20a
2037 vrshr.s32 d29, d4, #12 // t27a
2038 vmul_vmla d8, d26, d21, d1[1], d1[0] // -> t26a
2039 vmul_vmls d4, d22, d25, d2[0], d2[1] // -> t22a
2040 vrshr.s32 d26, d6, #12 // t21a
2041 vrshr.s32 d21, d8, #12 // t26a
2042 vmul_vmla d6, d22, d25, d2[1], d2[0] // -> t25a
2043 vmul_vmls d8, d30, d17, d3[0], d3[1] // -> t23a
2044 vrshr.s32 d22, d4, #12 // t22a
2045 vrshr.s32 d25, d6, #12 // t25a
2046 vmul_vmla d4, d30, d17, d3[1], d3[0] // -> t24a
2047 vrshr.s32 d30, d8, #12 // t23a
2048 vrshr.s32 d17, d4, #12 // t24a
2049
2050 vld1.32 {q0, q1}, [r12, :128]
2051
2052 vmov.i32 d11, #0x1ffff // row_clip_max = ~(~bdmax << 7), 0x1ffff
2053 vmvn.i32 d10, #0x1ffff // row_clip_min = (~bdmax << 7), 0xfffe0000
2054
2055 vqsub.s32 d5, d16, d24 // t17
2056 vqadd.s32 d16, d16, d24 // t16
2057 vqsub.s32 d7, d31, d23 // t30
2058 vqadd.s32 d31, d31, d23 // t31
2059 vqsub.s32 d24, d28, d20 // t18
2060 vqadd.s32 d28, d28, d20 // t19
2061 vqadd.s32 d23, d18, d26 // t20
2062 vqsub.s32 d18, d18, d26 // t21
2063 vqsub.s32 d20, d30, d22 // t22
2064 vqadd.s32 d30, d30, d22 // t23
2065 vqadd.s32 d26, d17, d25 // t24
2066 vqsub.s32 d17, d17, d25 // t25
2067 vqsub.s32 d22, d29, d21 // t26
2068 vqadd.s32 d29, d29, d21 // t27
2069 vqadd.s32 d25, d19, d27 // t28
2070 vqsub.s32 d19, d19, d27 // t29
2071
2072 .irp r, d5, d16, d7, d31, d24, d28, d23, d18, d20, d30, d26, d17, d22, d29, d25, d19
2073 vmin.s32 \r, \r, d11
2074 .endr
2075 .irp r, d5, d16, d7, d31, d24, d28, d23, d18, d20, d30, d26, d17, d22, d29, d25, d19
2076 vmax.s32 \r, \r, d10
2077 .endr
2078
2079 vmul_vmls d4, d7, d5, d2[0], d2[1] // -> t17a
2080 vmul_vmla d6, d7, d5, d2[1], d2[0] // -> t30a
2081 vmul_vmla d8, d19, d24, d2[1], d2[0] // -> t18a
2082 vrshr.s32 d21, d4, #12 // t17a
2083 vrshr.s32 d27, d6, #12 // t30a
2084 vneg.s32 d8, d8 // -> t18a
2085 vmul_vmls d5, d19, d24, d2[0], d2[1] // -> t29a
2086 vmul_vmls d4, d22, d18, d3[0], d3[1] // -> t21a
2087 vrshr.s32 d19, d8, #12 // t18a
2088 vrshr.s32 d24, d5, #12 // t29a
2089 vmul_vmla d6, d22, d18, d3[1], d3[0] // -> t26a
2090 vmul_vmla d8, d17, d20, d3[1], d3[0] // -> t22a
2091 vrshr.s32 d22, d4, #12 // t21a
2092 vrshr.s32 d18, d6, #12 // t26a
2093 vneg.s32 d8, d8 // -> t22a
2094 vmul_vmls d5, d17, d20, d3[0], d3[1] // -> t25a
2095 vrshr.s32 d17, d8, #12 // t22a
2096 vrshr.s32 d20, d5, #12 // t25a
2097
2098 vqsub.s32 d2, d27, d24 // t29
2099 vqadd.s32 d27, d27, d24 // t30
2100 vqsub.s32 d3, d21, d19 // t18
2101 vqadd.s32 d21, d21, d19 // t17
2102 vqsub.s32 d24, d16, d28 // t19a
2103 vqadd.s32 d16, d16, d28 // t16a
2104 vqsub.s32 d19, d30, d23 // t20a
2105 vqadd.s32 d30, d30, d23 // t23a
2106 vqsub.s32 d28, d17, d22 // t21
2107 vqadd.s32 d17, d17, d22 // t22
2108 vqadd.s32 d23, d26, d29 // t24a
2109 vqsub.s32 d26, d26, d29 // t27a
2110 vqadd.s32 d22, d20, d18 // t25
2111 vqsub.s32 d20, d20, d18 // t26
2112 vqsub.s32 d29, d31, d25 // t28a
2113 vqadd.s32 d31, d31, d25 // t31a
2114
2115 .irp r, d2, d27, d3, d21, d24, d16, d19, d30, d28, d17, d23, d26, d22, d20, d29, d31
2116 vmin.s32 \r, \r, d11
2117 .endr
2118 .irp r, d2, d27, d3, d21, d24, d16, d19, d30, d28, d17, d23, d26, d22, d20, d29, d31
2119 vmax.s32 \r, \r, d10
2120 .endr
2121
2122 vmul_vmls d4, d2, d3, d1[0], d1[1] // -> t18a
2123 vmul_vmla d6, d2, d3, d1[1], d1[0] // -> t29a
2124 vmul_vmls d8, d29, d24, d1[0], d1[1] // -> t19
2125 vrshr.s32 d18, d4, #12 // t18a
2126 vrshr.s32 d25, d6, #12 // t29a
2127 vmul_vmla d5, d29, d24, d1[1], d1[0] // -> t28
2128 vmul_vmla d4, d26, d19, d1[1], d1[0] // -> t20
2129 vrshr.s32 d29, d8, #12 // t19
2130 vrshr.s32 d24, d5, #12 // t28
2131 vneg.s32 d4, d4 // -> t20
2132 vmul_vmls d6, d26, d19, d1[0], d1[1] // -> t27
2133 vmul_vmla d8, d20, d28, d1[1], d1[0] // -> t21a
2134 vrshr.s32 d26, d4, #12 // t20
2135 vrshr.s32 d19, d6, #12 // t27
2136 vneg.s32 d8, d8 // -> t21a
2137 vmul_vmls d5, d20, d28, d1[0], d1[1] // -> t26a
2138 vrshr.s32 d20, d8, #12 // t21a
2139 vrshr.s32 d28, d5, #12 // t26a
2140
2141 vqsub.s32 d2, d16, d30 // t23
2142 vqadd.s32 d16, d16, d30 // t16 = out16
2143 vqsub.s32 d3, d31, d23 // t24
2144 vqadd.s32 d31, d31, d23 // t31 = out31
2145 vqsub.s32 d23, d21, d17 // t22a
2146 vqadd.s32 d17, d21, d17 // t17a = out17
2147 vqadd.s32 d30, d27, d22 // t30a = out30
2148 vqsub.s32 d21, d27, d22 // t25a
2149 vqsub.s32 d27, d18, d20 // t21
2150 vqadd.s32 d18, d18, d20 // t18 = out18
2151 vqadd.s32 d4, d29, d26 // t19a = out19
2152 vqsub.s32 d26, d29, d26 // t20a
2153 vqadd.s32 d29, d25, d28 // t29 = out29
2154 vqsub.s32 d25, d25, d28 // t26
2155 vqadd.s32 d28, d24, d19 // t28a = out28
2156 vqsub.s32 d24, d24, d19 // t27a
2157 vmov d19, d4 // out19
2158
2159 .irp r, d2, d16, d3, d31, d23, d17, d30, d21, d27, d18, d19, d26, d29, d25, d28, d24
2160 vmin.s32 \r, \r, d11
2161 .endr
2162 .irp r, d2, d16, d3, d31, d23, d17, d30, d21, d27, d18, d19, d26, d29, d25, d28, d24
2163 vmax.s32 \r, \r, d10
2164 .endr
2165
2166 vmul_vmls d4, d24, d26, d0[0], d0[0] // -> t20
2167 vmul_vmla d6, d24, d26, d0[0], d0[0] // -> t27
2168 vrshr.s32 d20, d4, #12 // t20
2169 vrshr.s32 d22, d6, #12 // t27
2170
2171 vmul_vmla d4, d25, d27, d0[0], d0[0] // -> t26a
2172 vmul_vmls d6, d25, d27, d0[0], d0[0] // -> t21a
2173 vmov d27, d22 // t27
2174 vrshr.s32 d26, d4, #12 // t26a
2175
2176 vmul_vmls d24, d21, d23, d0[0], d0[0] // -> t22
2177 vmul_vmla d4, d21, d23, d0[0], d0[0] // -> t25
2178 vrshr.s32 d21, d6, #12 // t21a
2179 vrshr.s32 d22, d24, #12 // t22
2180 vrshr.s32 d25, d4, #12 // t25
2181
2182 vmul_vmls d4, d3, d2, d0[0], d0[0] // -> t23a
2183 vmul_vmla d6, d3, d2, d0[0], d0[0] // -> t24a
2184 vrshr.s32 d23, d4, #12 // t23a
2185 vrshr.s32 d24, d6, #12 // t24a
2186
2187 bx lr
2188 endfunc
2189
2190 .macro def_horz_32 scale=0, shift=2, suffix
2191 function inv_txfm_horz\suffix\()_dct_32x2_neon
2192 push {lr}
2193 vmov.i32 d7, #0
2194 lsl r8, r8, #1
2195 .if \scale
2196 mov_const r12, 2896*8*(1<<16)
2197 vdup.32 d0, r12
2198 .endif
2199
2200 .irp i, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
2201 vld1.32 {\i}, [r7, :64]
2202 vst1.32 {d7}, [r7, :64], r8
2203 .endr
2204 sub r7, r7, r8, lsl #4
2205 add r7, r7, r8, lsr #1
2206 .if \scale
2207 scale_input d0[0], q8, q9, q10, q11, q12, q13, q14, q15
2208 .endif
2209 bl inv_dct_2s_x16_neon
2210
2211 // idct_16 leaves the row_clip_max/min constants in d9 and d8,
2212 // but here we want to use full q registers for clipping.
2213 vmov.i32 q3, #0x1ffff // row_clip_max = ~(~bdmax << 7), 0x1ffff
2214 vmvn.i32 q2, #0x1ffff // row_clip_min = (~bdmax << 7), 0xfffe0000
2215 .irp r, q8, q9, q10, q11, q12, q13, q14, q15
2216 vmin.s32 \r, \r, q3
2217 .endr
2218 .irp r, q8, q9, q10, q11, q12, q13, q14, q15
2219 vmax.s32 \r, \r, q2
2220 .endr
2221
2222 vtrn.32 d16, d17
2223 vtrn.32 d18, d19
2224 vtrn.32 d20, d21
2225 vtrn.32 d22, d23
2226 vtrn.32 d24, d25
2227 vtrn.32 d26, d27
2228 vtrn.32 d28, d29
2229 vtrn.32 d30, d31
2230
2231 .macro store1 r0, r1, r2, r3
2232 vst1.16 {\r0}, [r6, :64]!
2233 vst1.16 {\r1}, [r6, :64]!
2234 vst1.16 {\r2}, [r6, :64]!
2235 vst1.16 {\r3}, [r6, :64]!
2236 .endm
2237 store1 d16, d18, d20, d22
2238 store1 d24, d26, d28, d30
2239 store1 d17, d19, d21, d23
2240 store1 d25, d27, d29, d31
2241 .purgem store1
2242 sub r6, r6, #64*2
2243
2244 vmov.i32 d7, #0
2245 .irp i, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
2246 vld1.32 {\i}, [r7, :64]
2247 vst1.32 {d7}, [r7, :64], r8
2248 .endr
2249 .if \scale
2250 // This relies on the fact that the idct also leaves the right coeff in d0[1]
2251 scale_input d0[1], q8, q9, q10, q11, q12, q13, q14, q15
2252 .endif
2253 bl inv_dct32_odd_2s_x16_neon
2254 vtrn.32 d31, d30
2255 vtrn.32 d29, d28
2256 vtrn.32 d27, d26
2257 vtrn.32 d25, d24
2258 vtrn.32 d23, d22
2259 vtrn.32 d21, d20
2260 vtrn.32 d19, d18
2261 vtrn.32 d17, d16
2262 .macro store2 r0, r1, r2, r3, r4, r5, r6, r7, shift
2263 vld1.32 {q0, q1}, [r6, :128]!
2264 vld1.32 {q2, q3}, [r6, :128]
2265 sub r6, r6, #32
2266 vqsub.s32 d15, d0, \r0
2267 vqadd.s32 d0, d0, \r0
2268 vqsub.s32 d14, d1, \r1
2269 vqadd.s32 d1, d1, \r1
2270 vqsub.s32 d13, d2, \r2
2271 vqadd.s32 d2, d2, \r2
2272 vqsub.s32 d12, d3, \r3
2273 vqadd.s32 d3, d3, \r3
2274 vqsub.s32 d11, d4, \r4
2275 vqadd.s32 d4, d4, \r4
2276 vqsub.s32 d10, d5, \r5
2277 vqadd.s32 d5, d5, \r5
2278 vqsub.s32 d9, d6, \r6
2279 vqadd.s32 d6, d6, \r6
2280 vqsub.s32 d8, d7, \r7
2281 vqadd.s32 d7, d7, \r7
2282 vqrshrn.s32 d0, q0, #\shift
2283 vqrshrn.s32 d1, q1, #\shift
2284 vqrshrn.s32 d2, q2, #\shift
2285 vqrshrn.s32 d3, q3, #\shift
2286 vqrshrn.s32 d4, q4, #\shift
2287 vqrshrn.s32 d5, q5, #\shift
2288 vqrshrn.s32 d6, q6, #\shift
2289 vqrshrn.s32 d7, q7, #\shift
2290 vrev32.16 q2, q2
2291 vrev32.16 q3, q3
2292 vst1.16 {q0, q1}, [r6, :128]!
2293 vst1.16 {q2, q3}, [r6, :128]!
2294 .endm
2295
2296 store2 d31, d29, d27, d25, d23, d21, d19, d17, \shift
2297 store2 d30, d28, d26, d24, d22, d20, d18, d16, \shift
2298 .purgem store2
2299 pop {pc}
2300 endfunc
2301 .endm
2302
2303 def_horz_32 scale=0, shift=2
2304 def_horz_32 scale=1, shift=1, suffix=_scale
2305
2306 function inv_txfm_add_vert_dct_4x32_neon
2307 push {r10-r11,lr}
2308 lsl r8, r8, #1
2309
2310 .irp i, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
2311 vld1.16 {\i}, [r7, :64], r8
2312 .endr
2313 sub r7, r7, r8, lsl #4
2314
2315 bl X(inv_dct_4h_x16_neon)
2316
2317 .irp i, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
2318 vst1.16 {\i}, [r7, :64], r8
2319 .endr
2320 sub r7, r7, r8, lsl #4
2321 add r7, r7, r8, lsr #1
2322
2323 .irp i, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27, d28, d29, d30, d31
2324 vld1.16 {\i}, [r7, :64], r8
2325 .endr
2326 sub r7, r7, r8, lsl #4
2327 sub r7, r7, r8, lsr #1
2328 bl X(inv_dct32_odd_4h_x16_neon)
2329
2330 neg r9, r8
2331 mov r10, r6
2332 vmov.i16 q6, #0
2333 vmvn.i16 q7, #0xfc00 // 0x3ff
2334 .macro combine r0, r1, r2, r3, op, stride
2335 vld1.16 {d4}, [r7, :64], \stride
2336 vld1.16 {d0}, [r10, :64], r1
2337 vld1.16 {d5}, [r7, :64], \stride
2338 vld1.16 {d1}, [r10, :64], r1
2339 \op\().s16 d4, d4, \r0
2340 vld1.16 {d6}, [r7, :64], \stride
2341 vld1.16 {d2}, [r10, :64], r1
2342 \op\().s16 d5, d5, \r1
2343 vld1.16 {d3}, [r10, :64], r1
2344 vrshr.s16 q2, q2, #4
2345 \op\().s16 d6, d6, \r2
2346 vld1.16 {d7}, [r7, :64], \stride
2347 vqadd.s16 q0, q0, q2
2348 \op\().s16 d7, d7, \r3
2349 vmax.s16 q0, q0, q6
2350 vrshr.s16 q3, q3, #4
2351 vmin.s16 q0, q0, q7
2352 vqadd.s16 q1, q1, q3
2353 vst1.16 {d0}, [r6, :64], r1
2354 vmax.s16 q1, q1, q6
2355 vst1.16 {d1}, [r6, :64], r1
2356 vmin.s16 q1, q1, q7
2357 vst1.16 {d2}, [r6, :64], r1
2358 vst1.16 {d3}, [r6, :64], r1
2359 .endm
2360 combine d31, d30, d29, d28, vqadd, r8
2361 combine d27, d26, d25, d24, vqadd, r8
2362 combine d23, d22, d21, d20, vqadd, r8
2363 combine d19, d18, d17, d16, vqadd, r8
2364 sub r7, r7, r8
2365 combine d16, d17, d18, d19, vqsub, r9
2366 combine d20, d21, d22, d23, vqsub, r9
2367 combine d24, d25, d26, d27, vqsub, r9
2368 combine d28, d29, d30, d31, vqsub, r9
2369 .purgem combine
2370
2371 pop {r10-r11,pc}
2372 endfunc
2373
2374 const eob_32x32
2375 .short 3, 10, 21, 36, 55, 78, 105, 136, 171, 210, 253, 300, 351, 406, 465, 1024
2376 endconst
2377
2378 const eob_16x32
2379 .short 3, 10, 21, 36, 55, 78, 105, 151, 183, 215, 247, 279, 311, 343, 375, 512
2380 endconst
2381
2382 const eob_16x32_shortside
2383 .short 3, 10, 21, 36, 55, 78, 105, 512
2384 endconst
2385
2386 const eob_8x32
2387 .short 3, 10, 21, 43, 59, 75, 91, 107, 123, 139, 155, 171, 187, 203, 219, 256
2388 endconst
2389
2390 function inv_txfm_add_identity_identity_32x32_16bpc_neon, export=1
2391 push {r4-r7,lr}
2392 vpush {q6-q7}
2393 movrel_local r5, eob_32x32, 2
2394
2395 mov r6, #4*32
2396 1:
2397 mov r12, #0
2398 movrel_local r4, eob_32x32, 6
2399 2:
2400 vmov.i32 q0, #0
2401 add r12, r12, #8
2402 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
2403 vld1.32 {\i}, [r2, :128]
2404 vst1.32 {q0}, [r2, :128], r6
2405 .endr
2406 vqmovn.s32 d16, q8
2407 vqmovn.s32 d17, q12
2408 vqmovn.s32 d18, q9
2409 vqmovn.s32 d19, q13
2410 vqmovn.s32 d20, q10
2411 vqmovn.s32 d21, q14
2412 vqmovn.s32 d22, q11
2413 vqmovn.s32 d23, q15
2414 transpose_4x8h q8, q9, q10, q11
2415
2416 load_add_store_8x4 r0, r7, shiftbits=2
2417 ldrh lr, [r4], #8
2418 sub r0, r0, r1, lsl #2
2419 cmp r3, lr
2420 add r0, r0, #2*8
2421 bge 2b
2422
2423 ldrh lr, [r5], #4
2424 cmp r3, lr
2425 blt 9f
2426
2427 sub r0, r0, r12, lsl #1
2428 add r0, r0, r1, lsl #2
2429 mls r2, r6, r12, r2
2430 add r2, r2, #4*4
2431 b 1b
2432 9:
2433 vpop {q6-q7}
2434 pop {r4-r7,pc}
2435 endfunc
2436
2437 .macro shift_8_regs op, shift
2438 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
2439 \op \i, \i, #\shift
2440 .endr
2441 .endm
2442
2443 .macro def_identity_1632 w, h, wshort, hshort
2444 function inv_txfm_add_identity_identity_\w\()x\h\()_16bpc_neon, export=1
2445 push {r4-r9,lr}
2446 vpush {q6-q7}
2447 mov r9, #0
2448 mov_const r8, 2896*8*(1<<16)
2449 movt r9, #2*(5793-4096)*8
2450 movrel_local r5, eob_16x32\hshort, 2
2451
2452 mov r6, #4*\h
2453 1:
2454 mov r12, #0
2455 movrel_local r4, eob_16x32\wshort, 6
2456 2:
2457 vdup.i32 d0, r8
2458 vmov.i32 q1, #0
2459 vmov.32 d0[1], r9
2460 add r12, r12, #8
2461 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
2462 vld1.32 {\i}, [r2, :128]
2463 vst1.32 {q1}, [r2, :128], r6
2464 .endr
2465 scale_input d0[0], q8, q9, q10, q11, q12, q13, q14, q15
2466
2467 .if \w == 16
2468 // 16x32
2469 identity_8x4_shift1 d0[1]
2470 .else
2471 // 32x16
2472 shift_8_regs vqshl.s32, 1
2473 identity_8x4 d0[1]
2474 .endif
2475 vqmovn.s32 d16, q8
2476 vqmovn.s32 d17, q12
2477 vqmovn.s32 d18, q9
2478 vqmovn.s32 d19, q13
2479 vqmovn.s32 d20, q10
2480 vqmovn.s32 d21, q14
2481 vqmovn.s32 d22, q11
2482 vqmovn.s32 d23, q15
2483 transpose_4x8h q8, q9, q10, q11
2484
2485 .if \w == 16
2486 load_add_store_8x4 r0, r7, shiftbits=2
2487 .else
2488 load_add_store_8x4 r0, r7, shiftbits=4
2489 .endif
2490 ldrh lr, [r4], #8
2491 sub r0, r0, r1, lsl #2
2492 cmp r3, lr
2493 add r0, r0, #2*8
2494 bge 2b
2495
2496 ldrh lr, [r5], #4
2497 cmp r3, lr
2498 blt 9f
2499
2500 sub r0, r0, r12, lsl #1
2501 add r0, r0, r1, lsl #2
2502 mls r2, r6, r12, r2
2503 add r2, r2, #4*4
2504 b 1b
2505 9:
2506 vpop {q6-q7}
2507 pop {r4-r9,pc}
2508 endfunc
2509 .endm
2510
2511 def_identity_1632 16, 32, _shortside,
2512 def_identity_1632 32, 16, , _shortside
2513
2514 .macro def_identity_832 w, h
2515 function inv_txfm_add_identity_identity_\w\()x\h\()_16bpc_neon, export=1
2516 push {r4-r5,lr}
2517 vpush {q6-q7}
2518 movrel_local r4, eob_8x32, 2
2519
2520 mov r12, #4*\h
2521 1:
2522 ldrh lr, [r4], #4
2523 .if \w == 8
2524 vmov.i32 q0, #0
2525 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
2526 vld1.32 {\i}, [r2, :128]
2527 vst1.32 {q0}, [r2, :128], r12
2528 .endr
2529
2530 vqrshrn.s32 d16, q8, #1
2531 vqrshrn.s32 d17, q12, #1
2532 vqrshrn.s32 d18, q9, #1
2533 vqrshrn.s32 d19, q13, #1
2534 vqrshrn.s32 d20, q10, #1
2535 vqrshrn.s32 d21, q14, #1
2536 vqrshrn.s32 d22, q11, #1
2537 vqrshrn.s32 d23, q15, #1
2538
2539 transpose_4x8h q8, q9, q10, q11
2540
2541 cmp r3, lr
2542 load_add_store_8x4 r0, r5, shiftbits=2
2543 blt 9f
2544 sub r2, r2, r12, lsl #3
2545 add r2, r2, #4*4
2546 .else
2547 vmov.i32 q0, #0
2548 vmov.i32 q1, #0
2549 vld1.32 {q8, q9}, [r2, :128]
2550 vst1.32 {q0, q1}, [r2, :128], r12
2551 vld1.32 {q10, q11}, [r2, :128]
2552 vst1.32 {q0, q1}, [r2, :128], r12
2553 vld1.32 {q12, q13}, [r2, :128]
2554 vst1.32 {q0, q1}, [r2, :128], r12
2555 vld1.32 {q14, q15}, [r2, :128]
2556 vst1.32 {q0, q1}, [r2, :128], r12
2557 vqmovn.s32 d16, q8
2558 vqmovn.s32 d17, q10
2559 vqmovn.s32 d20, q9
2560 vqmovn.s32 d21, q11
2561 vqmovn.s32 d18, q12
2562 vqmovn.s32 d19, q14
2563 vqmovn.s32 d22, q13
2564 vqmovn.s32 d23, q15
2565
2566 transpose_4x4h q8, q9, d16, d17, d18, d19
2567 transpose_4x4h q10, q11, d20, d21, d22, d23
2568
2569 cmp r3, lr
2570 load_add_store_4x8 r0, r5, shiftbits=3
2571 blt 9f
2572 sub r0, r0, r1, lsl #3
2573 add r0, r0, #2*4
2574 .endif
2575 b 1b
2576
2577 9:
2578 vpop {q6-q7}
2579 pop {r4-r5,pc}
2580 endfunc
2581 .endm
2582
2583 def_identity_832 8, 32
2584 def_identity_832 32, 8
2585
2586 function inv_txfm_add_dct_dct_32x32_16bpc_neon, export=1
2587 idct_dc 32, 32, 2
2588
2589 push {r4-r11,lr}
2590 vpush {q4-q7}
2591 sub_sp_align 2048
2592 movrel_local r10, eob_32x32
2593 ldrh r11, [r10], #2
2594
2595 .irp i, 0, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24, 26, 28, 30
2596 add r6, sp, #(\i*32*2)
2597 .if \i > 0
2598 mov r8, #(32 - \i)
2599 cmp r3, r11
2600 blt 1f
2601 .if \i < 30
2602 ldrh r11, [r10], #2
2603 .endif
2604 .endif
2605 add r7, r2, #(\i*4)
2606 mov r8, #32*4
2607 bl inv_txfm_horz_dct_32x2_neon
2608 .endr
2609 b 3f
2610
2611 1:
2612 vmov.i16 q2, #0
2613 vmov.i16 q3, #0
2614 2:
2615 subs r8, r8, #2
2616 .rept 4
2617 vst1.16 {q2, q3}, [r6, :128]!
2618 .endr
2619 bgt 2b
2620
2621 3:
2622 .irp i, 0, 4, 8, 12, 16, 20, 24, 28
2623 add r6, r0, #(\i*2)
2624 add r7, sp, #(\i*2)
2625 mov r8, #32*2
2626 bl inv_txfm_add_vert_dct_4x32_neon
2627 .endr
2628
2629 add_sp_align 2048
2630 vpop {q4-q7}
2631 pop {r4-r11,pc}
2632 endfunc
2633
2634 function inv_txfm_add_dct_dct_16x32_16bpc_neon, export=1
2635 idct_dc 16, 32, 1
2636
2637 push {r4-r11,lr}
2638 vpush {q4-q7}
2639 sub_sp_align 1024
2640 movrel_local r10, eob_16x32
2641 ldrh r11, [r10], #2
2642 movrel_local r4, inv_dct_2s_x16_neon
2643
2644 .irp i, 0, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24, 26, 28, 30
2645 add r6, sp, #(\i*16*2)
2646 add r7, r2, #(\i*4)
2647 .if \i > 0
2648 mov r8, #(32 - \i)
2649 cmp r3, r11
2650 blt 1f
2651 .if \i < 30
2652 ldrh r11, [r10], #2
2653 .endif
2654 .endif
2655 mov r8, #4*32
2656 bl inv_txfm_horz_scale_16x2_neon
2657 .endr
2658 b 3f
2659
2660 1:
2661 vmov.i16 q2, #0
2662 vmov.i16 q3, #0
2663 2:
2664 subs r8, r8, #2
2665 .rept 2
2666 vst1.16 {q2, q3}, [r6, :128]!
2667 .endr
2668 bgt 2b
2669
2670 3:
2671 .irp i, 0, 4, 8, 12
2672 add r6, r0, #(\i*2)
2673 add r7, sp, #(\i*2)
2674 mov r8, #16*2
2675 bl inv_txfm_add_vert_dct_4x32_neon
2676 .endr
2677
2678 add_sp_align 1024
2679 vpop {q4-q7}
2680 pop {r4-r11,pc}
2681 endfunc
2682
2683 function inv_txfm_add_dct_dct_32x16_16bpc_neon, export=1
2684 idct_dc 32, 16, 1
2685
2686 push {r4-r11,lr}
2687 vpush {q4-q7}
2688 sub_sp_align 1024
2689 movrel_local r10, eob_16x32
2690 ldrh r11, [r10], #2
2691 movrel r5, X(inv_dct_4h_x16_neon)
2692
2693 .irp i, 0, 2, 4, 6, 8, 10, 12, 14
2694 add r6, sp, #(\i*32*2)
2695 add r7, r2, #(\i*4)
2696 .if \i > 0
2697 mov r8, #(16 - \i)
2698 cmp r3, r11
2699 blt 1f
2700 .if \i < 14
2701 ldrh r11, [r10], #2
2702 .endif
2703 .endif
2704 mov r8, #4*16
2705 bl inv_txfm_horz_scale_dct_32x2_neon
2706 .endr
2707 b 3f
2708
2709 1:
2710 vmov.i16 q2, #0
2711 vmov.i16 q3, #0
2712 2:
2713 subs r8, r8, #2
2714 .rept 4
2715 vst1.16 {q2, q3}, [r6, :128]!
2716 .endr
2717 bgt 2b
2718
2719 3:
2720 .irp i, 0, 4, 8, 12, 16, 20, 24, 28
2721 add r6, r0, #(\i*2)
2722 add r7, sp, #(\i*2)
2723 mov r8, #32*2
2724 bl inv_txfm_add_vert_4x16_neon
2725 .endr
2726
2727 add_sp_align 1024
2728 vpop {q4-q7}
2729 pop {r4-r11,pc}
2730 endfunc
2731
2732 function inv_txfm_add_dct_dct_8x32_16bpc_neon, export=1
2733 idct_dc 8, 32, 2
2734
2735 push {r4-r11,lr}
2736 vpush {q4-q7}
2737 sub_sp_align 512
2738
2739 movrel_local r10, eob_8x32, 2
2740
2741 mov r8, #4*32
2742 mov r9, #32
2743 mov r6, sp
2744 1:
2745 vmov.i32 q0, #0
2746 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
2747 vld1.32 {\i}, [r2, :128]
2748 vst1.32 {q0}, [r2, :128], r8
2749 .endr
2750 ldrh r11, [r10], #4
2751 sub r2, r2, r8, lsl #3
2752 sub r9, r9, #4
2753 add r2, r2, #4*4
2754
2755 bl inv_dct_4s_x8_neon
2756
2757 vqrshrn.s32 d16, q8, #2
2758 vqrshrn.s32 d18, q9, #2
2759 vqrshrn.s32 d20, q10, #2
2760 vqrshrn.s32 d22, q11, #2
2761 vqrshrn.s32 d17, q12, #2
2762 vqrshrn.s32 d19, q13, #2
2763 vqrshrn.s32 d21, q14, #2
2764 vqrshrn.s32 d23, q15, #2
2765
2766 transpose_4x8h q8, q9, q10, q11
2767
2768 vst1.16 {q8, q9}, [r6, :128]!
2769 cmp r3, r11
2770 vst1.16 {q10, q11}, [r6, :128]!
2771
2772 bge 1b
2773 cmp r9, #0
2774 beq 3f
2775
2776 vmov.i16 q2, #0
2777 vmov.i16 q3, #0
2778 2:
2779 subs r9, r9, #4
2780 .rept 2
2781 vst1.16 {q2, q3}, [r6, :128]!
2782 .endr
2783 bgt 2b
2784
2785 3:
2786 .irp i, 0, 4
2787 add r6, r0, #(\i*2)
2788 add r7, sp, #(\i*2)
2789 mov r8, #8*2
2790 bl inv_txfm_add_vert_dct_4x32_neon
2791 .endr
2792
2793 add_sp_align 512
2794 vpop {q4-q7}
2795 pop {r4-r11,pc}
2796 endfunc
2797
2798 function inv_txfm_add_dct_dct_32x8_16bpc_neon, export=1
2799 idct_dc 32, 8, 2
2800
2801 push {r4-r11,lr}
2802 vpush {q4-q7}
2803 movrel_local r10, eob_8x32
2804 sub_sp_align 512
2805 ldrh r11, [r10], #2
2806
2807 .irp i, 0, 2, 4, 6
2808 add r6, sp, #(\i*32*2)
2809 add r7, r2, #(\i*4)
2810 .if \i > 0
2811 cmp r3, r11
2812 mov r8, #(8 - \i)
2813 blt 1f
2814 .if \i < 6
2815 ldrh r11, [r10], #2
2816 .endif
2817 .endif
2818 mov r8, #8*4
2819 bl inv_txfm_horz_dct_32x2_neon
2820 .endr
2821 b 3f
2822
2823 1:
2824 vmov.i16 q2, #0
2825 vmov.i16 q3, #0
2826 2:
2827 subs r8, r8, #2
2828 .rept 4
2829 vst1.16 {q2, q3}, [r6, :128]!
2830 .endr
2831 bgt 2b
2832
2833 3:
2834 mov r8, #2*32
2835 mov r9, #0
2836 1:
2837 add r6, r0, r9, lsl #1
2838 add r7, sp, r9, lsl #1 // #(\i*2)
2839
2840 .irp i, q8, q9, q10, q11, q12, q13, q14, q15
2841 vld1.16 {\i}, [r7, :128], r8
2842 .endr
2843 add r9, r9, #8
2844
2845 bl X(inv_dct_8h_x8_neon)
2846
2847 cmp r9, #32
2848
2849 load_add_store_8x8 r6, r7
2850
2851 blt 1b
2852
2853 add_sp_align 512
2854 vpop {q4-q7}
2855 pop {r4-r11,pc}
2856 endfunc
2857
2858 function inv_dct64_step1_neon
2859 // in1/31/17/15 -> t32a/33/34a/35/60/61a/62/63a
2860 // in7/25/23/ 9 -> t56a/57/58a/59/36/37a/38/39a
2861 // in5/27/21/11 -> t40a/41/42a/43/52/53a/54/55a
2862 // in3/29/19/13 -> t48a/49/50a/51/44/45a/46/47a
2863
2864 vld1.32 {q0, q1}, [r12, :128]!
2865
2866 vqrdmulh.s32 d23, d16, d0[1] // t63a
2867 vqrdmulh.s32 d16, d16, d0[0] // t32a
2868 vqrdmulh.s32 d22, d17, d1[0] // t62a
2869 vqrdmulh.s32 d17, d17, d1[1] // t33a
2870 vqrdmulh.s32 d21, d18, d2[1] // t61a
2871 vqrdmulh.s32 d18, d18, d2[0] // t34a
2872 vqrdmulh.s32 d20, d19, d3[0] // t60a
2873 vqrdmulh.s32 d19, d19, d3[1] // t35a
2874
2875 vld1.32 {q0}, [r12, :128]!
2876
2877 vqadd.s32 d24, d16, d17 // t32
2878 vqsub.s32 d25, d16, d17 // t33
2879 vqsub.s32 d26, d19, d18 // t34
2880 vqadd.s32 d27, d19, d18 // t35
2881 vqadd.s32 d28, d20, d21 // t60
2882 vqsub.s32 d29, d20, d21 // t61
2883 vqsub.s32 d30, d23, d22 // t62
2884 vqadd.s32 d31, d23, d22 // t63
2885
2886 .irp r, q12, q13, q14, q15
2887 vmin.s32 \r, \r, q5
2888 .endr
2889 .irp r, q12, q13, q14, q15
2890 vmax.s32 \r, \r, q4
2891 .endr
2892
2893 vmul_vmla d4, d29, d26, d0[0], d0[1] // -> t34a
2894 vmul_vmls d6, d29, d26, d0[1], d0[0] // -> t61a
2895 vneg.s32 d4, d4 // t34a
2896 vmul_vmls d7, d30, d25, d0[1], d0[0] // -> t33a
2897 vrshr.s32 d26, d4, #12 // t34a
2898 vmul_vmla d4, d30, d25, d0[0], d0[1] // -> t62a
2899 vrshr.s32 d29, d6, #12 // t61a
2900 vrshr.s32 d25, d7, #12 // t33a
2901 vrshr.s32 d30, d4, #12 // t62a
2902
2903 vqadd.s32 d16, d24, d27 // t32a
2904 vqsub.s32 d19, d24, d27 // t35a
2905 vqadd.s32 d17, d25, d26 // t33
2906 vqsub.s32 d18, d25, d26 // t34
2907 vqsub.s32 d20, d31, d28 // t60a
2908 vqadd.s32 d23, d31, d28 // t63a
2909 vqsub.s32 d21, d30, d29 // t61
2910 vqadd.s32 d22, d30, d29 // t62
2911
2912 .irp r, q8, q9, q10, q11
2913 vmin.s32 \r, \r, q5
2914 .endr
2915 .irp r, q8, q9, q10, q11
2916 vmax.s32 \r, \r, q4
2917 .endr
2918
2919 vmul_vmla d4, d21, d18, d1[0], d1[1] // -> t61a
2920 vmul_vmls d6, d21, d18, d1[1], d1[0] // -> t34a
2921 vmul_vmla d7, d20, d19, d1[0], d1[1] // -> t60
2922 vrshr.s32 d21, d4, #12 // t61a
2923 vrshr.s32 d18, d6, #12 // t34a
2924 vmul_vmls d4, d20, d19, d1[1], d1[0] // -> t35
2925 vrshr.s32 d20, d7, #12 // t60
2926 vrshr.s32 d19, d4, #12 // t35
2927
2928 vst1.32 {d16, d17, d18, d19}, [r6, :128]!
2929 vst1.32 {d20, d21, d22, d23}, [r6, :128]!
2930
2931 bx lr
2932 endfunc
2933
2934 function inv_dct64_step2_neon
2935 movrel_local r12, idct_coeffs
2936 vld1.32 {q0}, [r12, :128]
2937 1:
2938 // t32a/33/34a/35/60/61a/62/63a
2939 // t56a/57/58a/59/36/37a/38/39a
2940 // t40a/41/42a/43/52/53a/54/55a
2941 // t48a/49/50a/51/44/45a/46/47a
2942 vldr d16, [r6, #4*2*0] // t32a
2943 vldr d17, [r9, #4*2*8] // t39a
2944 vldr d18, [r9, #4*2*0] // t63a
2945 vldr d19, [r6, #4*2*8] // t56a
2946 vldr d20, [r6, #4*2*16] // t40a
2947 vldr d21, [r9, #4*2*24] // t47a
2948 vldr d22, [r9, #4*2*16] // t55a
2949 vldr d23, [r6, #4*2*24] // t48a
2950
2951 vqadd.s32 d24, d16, d17 // t32
2952 vqsub.s32 d25, d16, d17 // t39
2953 vqadd.s32 d26, d18, d19 // t63
2954 vqsub.s32 d27, d18, d19 // t56
2955 vqsub.s32 d28, d21, d20 // t40
2956 vqadd.s32 d29, d21, d20 // t47
2957 vqadd.s32 d30, d23, d22 // t48
2958 vqsub.s32 d31, d23, d22 // t55
2959
2960 .irp r, q12, q13, q14, q15
2961 vmin.s32 \r, \r, q5
2962 .endr
2963 .irp r, q12, q13, q14, q15
2964 vmax.s32 \r, \r, q4
2965 .endr
2966
2967 vmul_vmla d4, d27, d25, d1[1], d1[0] // -> t56a
2968 vmul_vmls d6, d27, d25, d1[0], d1[1] // -> t39a
2969 vmul_vmla d7, d31, d28, d1[1], d1[0] // -> t40a
2970 vrshr.s32 d25, d4, #12 // t56a
2971 vrshr.s32 d27, d6, #12 // t39a
2972 vneg.s32 d7, d7 // t40a
2973 vmul_vmls d4, d31, d28, d1[0], d1[1] // -> t55a
2974 vrshr.s32 d31, d7, #12 // t40a
2975 vrshr.s32 d28, d4, #12 // t55a
2976
2977 vqadd.s32 d16, d24, d29 // t32a
2978 vqsub.s32 d19, d24, d29 // t47a
2979 vqadd.s32 d17, d27, d31 // t39
2980 vqsub.s32 d18, d27, d31 // t40
2981 vqsub.s32 d20, d26, d30 // t48a
2982 vqadd.s32 d23, d26, d30 // t63a
2983 vqsub.s32 d21, d25, d28 // t55
2984 vqadd.s32 d22, d25, d28 // t56
2985
2986 .irp r, q8, q9, q10, q11
2987 vmin.s32 \r, \r, q5
2988 .endr
2989 .irp r, q8, q9, q10, q11
2990 vmax.s32 \r, \r, q4
2991 .endr
2992
2993 vmul_vmls d4, d21, d18, d0[0], d0[0] // -> t40a
2994 vmul_vmla d6, d21, d18, d0[0], d0[0] // -> t55a
2995 vmul_vmls d7, d20, d19, d0[0], d0[0] // -> t47
2996 vrshr.s32 d18, d4, #12 // t40a
2997 vrshr.s32 d21, d6, #12 // t55a
2998 vmul_vmla d4, d20, d19, d0[0], d0[0] // -> t48
2999 vrshr.s32 d19, d7, #12 // t47
3000 vrshr.s32 d20, d4, #12 // t48
3001
3002 vstr d16, [r6, #4*2*0] // t32a
3003 vstr d17, [r9, #4*2*0] // t39
3004 vstr d18, [r6, #4*2*8] // t40a
3005 vstr d19, [r9, #4*2*8] // t47
3006 vstr d20, [r6, #4*2*16] // t48
3007 vstr d21, [r9, #4*2*16] // t55a
3008 vstr d22, [r6, #4*2*24] // t56
3009 vstr d23, [r9, #4*2*24] // t63a
3010
3011 add r6, r6, #4*2
3012 sub r9, r9, #4*2
3013 cmp r6, r9
3014 blt 1b
3015 bx lr
3016 endfunc
3017
3018 .macro load8 src, strd, zero, clear
3019 .irp i, d16, d17, d18, d19, d20, d21, d22, d23
3020 .if \clear
3021 vld1.32 {\i}, [\src, :64]
3022 vst1.32 {\zero}, [\src, :64], \strd
3023 .else
3024 vld1.32 {\i}, [\src, :64], \strd
3025 .endif
3026 .endr
3027 .endm
3028
3029 .macro store16 dst
3030 vst1.32 {q8, q9}, [\dst, :128]!
3031 vst1.32 {q10, q11}, [\dst, :128]!
3032 vst1.32 {q12, q13}, [\dst, :128]!
3033 vst1.32 {q14, q15}, [\dst, :128]!
3034 .endm
3035
3036 .macro clear_upper8
3037 .irp i, q12, q13, q14, q15
3038 vmov.i32 \i, #0
3039 .endr
3040 .endm
3041
3042 .macro vmov_if reg, val, cond
3043 .if \cond
3044 vmov.i32 \reg, \val
3045 .endif
3046 .endm
3047
3048 .macro movdup_if reg, gpr, val, cond
3049 .if \cond
3050 mov_const \gpr, \val
3051 vdup.32 \reg, \gpr
3052 .endif
3053 .endm
3054
3055 .macro vst1_if regs, dst, dstalign, cond
3056 .if \cond
3057 vst1.32 \regs, \dst, \dstalign
3058 .endif
3059 .endm
3060
3061 .macro scale_if cond, c, r0, r1, r2, r3, r4, r5, r6, r7
3062 .if \cond
3063 scale_input \c, \r0, \r1, \r2, \r3, \r4, \r5, \r6, \r7
3064 .endif
3065 .endm
3066
3067 .macro def_dct64_func suffix, clear=0, scale=0
3068 function inv_txfm_dct\suffix\()_2s_x64_neon
3069 mov r6, sp
3070
3071 push {r10-r11,lr}
3072
3073 lsl r8, r8, #2
3074
3075 movdup_if d0, r12, 2896*8*(1<<16), \scale
3076 vmov_if d7, #0, \clear
3077 load8 r7, r8, d7, \clear
3078 clear_upper8
3079 sub r7, r7, r8, lsl #3
3080 add r7, r7, r8, lsr #1
3081 scale_if \scale, d0[0], q8, q9, q10, q11
3082
3083 bl inv_dct_2s_x16_neon
3084
3085 // idct_16 leaves the row_clip_max/min constants in d9 and d8,
3086 // but here we want to use full q registers for clipping.
3087 vmov.i32 q3, #0x1ffff // row_clip_max = ~(~bdmax << 7), 0x1ffff
3088 vmvn.i32 q2, #0x1ffff // row_clip_min = (~bdmax << 7), 0xfffe0000
3089 .irp r, q8, q9, q10, q11, q12, q13, q14, q15
3090 vmin.s32 \r, \r, q3
3091 .endr
3092 .irp r, q8, q9, q10, q11, q12, q13, q14, q15
3093 vmax.s32 \r, \r, q2
3094 .endr
3095
3096 store16 r6
3097
3098 movdup_if d0, r12, 2896*8*(1<<16), \scale
3099 vmov_if d7, #0, \clear
3100 load8 r7, r8, d7, \clear
3101 clear_upper8
3102 sub r7, r7, r8, lsl #3
3103 lsr r8, r8, #1
3104 sub r7, r7, r8, lsr #1
3105 scale_if \scale, d0[0], q8, q9, q10, q11
3106
3107 bl inv_dct32_odd_2s_x16_neon
3108
3109 add r10, r6, #8*15
3110 sub r6, r6, #8*16
3111
3112 mov r9, #-8
3113
3114 vmov.i32 d1, #0x1ffff // row_clip_max = ~(~bdmax << 7), 0x1ffff
3115 vmvn.i32 d0, #0x1ffff // row_clip_min = (~bdmax << 7), 0xfffe0000
3116 .macro store_addsub r0, r1, r2, r3
3117 vld1.32 {d2}, [r6, :64]!
3118 vld1.32 {d3}, [r6, :64]!
3119 vqadd.s32 d6, d2, \r0
3120 vqsub.s32 \r0, d2, \r0
3121 vld1.32 {d4}, [r6, :64]!
3122 vqadd.s32 d7, d3, \r1
3123 vqsub.s32 \r1, d3, \r1
3124 vmin.s32 d6, d6, d1
3125 vmin.s32 \r0, \r0, d1
3126 vld1.32 {d5}, [r6, :64]!
3127 vqadd.s32 d2, d4, \r2
3128 sub r6, r6, #8*4
3129 vmax.s32 d6, d6, d0
3130 vmax.s32 \r0, \r0, d0
3131 vqsub.s32 \r2, d4, \r2
3132 vmin.s32 d7, d7, d1
3133 vmin.s32 \r1, \r1, d1
3134 vst1.32 {d6}, [r6, :64]!
3135 vst1.32 {\r0}, [r10, :64], r9
3136 vmin.s32 d2, d2, d1
3137 vmin.s32 \r2, \r2, d1
3138 vmax.s32 d7, d7, d0
3139 vmax.s32 \r1, \r1, d0
3140 vqadd.s32 d3, d5, \r3
3141 vqsub.s32 \r3, d5, \r3
3142 vmax.s32 d2, d2, d0
3143 vmax.s32 \r2, \r2, d0
3144 vmin.s32 d3, d3, d1
3145 vmin.s32 \r3, \r3, d1
3146 vst1.32 {d7}, [r6, :64]!
3147 vst1.32 {\r1}, [r10, :64], r9
3148 vmax.s32 d3, d3, d0
3149 vmax.s32 \r3, \r3, d0
3150 vst1.32 {d2}, [r6, :64]!
3151 vst1.32 {\r2}, [r10, :64], r9
3152 vst1.32 {d3}, [r6, :64]!
3153 vst1.32 {\r3}, [r10, :64], r9
3154 .endm
3155 store_addsub d31, d30, d29, d28
3156 store_addsub d27, d26, d25, d24
3157 store_addsub d23, d22, d21, d20
3158 store_addsub d19, d18, d17, d16
3159 .purgem store_addsub
3160
3161 add r6, r6, #2*4*16
3162
3163 movrel_local r12, idct64_coeffs
3164 vmov.i32 q5, #0x1ffff // row_clip_max = ~(~bdmax << 7), 0x1ffff
3165 vmvn.i32 q4, #0x1ffff // row_clip_min = (~bdmax << 7), 0xfffe0000
3166 movdup_if d0, lr, 2896*8*(1<<16), \scale
3167 vmov_if d7, #0, \clear
3168 add r9, r7, r8, lsl #4 // offset 16
3169 add r10, r7, r8, lsl #3 // offset 8
3170 sub r9, r9, r8 // offset 15
3171 sub r11, r10, r8 // offset 7
3172 vld1.32 {d16}, [r7, :64] // in1 (offset 0)
3173 vld1.32 {d17}, [r9, :64] // in31 (offset 15)
3174 vld1.32 {d18}, [r10, :64] // in17 (offset 8)
3175 vld1.32 {d19}, [r11, :64] // in15 (offset 7)
3176 vst1_if {d7}, [r7, :64], \clear
3177 vst1_if {d7}, [r9, :64], \clear
3178 vst1_if {d7}, [r10, :64], \clear
3179 vst1_if {d7}, [r11, :64], \clear
3180 scale_if \scale, d0[0], q8, q9
3181 bl inv_dct64_step1_neon
3182 movdup_if d0, lr, 2896*8*(1<<16), \scale
3183 vmov_if d7, #0, \clear
3184 add r7, r7, r8, lsl #2 // offset 4
3185 sub r9, r9, r8, lsl #2 // offset 11
3186 sub r10, r7, r8 // offset 3
3187 add r11, r9, r8 // offset 12
3188 vld1.32 {d16}, [r10, :64] // in7 (offset 3)
3189 vld1.32 {d17}, [r11, :64] // in25 (offset 12)
3190 vld1.32 {d18}, [r9, :64] // in23 (offset 11)
3191 vld1.32 {d19}, [r7, :64] // in9 (offset 4)
3192 vst1_if {d7}, [r7, :64], \clear
3193 vst1_if {d7}, [r9, :64], \clear
3194 vst1_if {d7}, [r10, :64], \clear
3195 vst1_if {d7}, [r11, :64], \clear
3196 scale_if \scale, d0[0], q8, q9
3197 bl inv_dct64_step1_neon
3198 movdup_if d0, lr, 2896*8*(1<<16), \scale
3199 vmov_if d7, #0, \clear
3200 sub r10, r10, r8, lsl #1 // offset 1
3201 sub r9, r9, r8, lsl #1 // offset 9
3202 add r10, r10, r8 // offset 2
3203 add r9, r9, r8 // offset 10
3204 add r7, r7, r8 // offset 5
3205 add r11, r11, r8 // offset 13
3206 vld1.32 d16, [r10, :64] // in5 (offset 2)
3207 vld1.32 d17, [r11, :64] // in27 (offset 13)
3208 vld1.32 d18, [r9, :64] // in21 (offset 10)
3209 vld1.32 d19, [r7, :64] // in11 (offset 5)
3210 vst1_if d7, [r10, :64], \clear
3211 vst1_if d7, [r11, :64], \clear
3212 vst1_if d7, [r9, :64], \clear
3213 vst1_if d7, [r7, :64], \clear
3214 scale_if \scale, d0[0], q8, q9
3215 bl inv_dct64_step1_neon
3216 movdup_if d0, lr, 2896*8*(1<<16), \scale
3217 vmov_if d7, #0, \clear
3218 sub r10, r10, r8 // offset 1
3219 sub r9, r9, r8 // offset 9
3220 add r11, r11, r8 // offset 14
3221 add r7, r7, r8 // offset 6
3222 vld1.32 d16, [r10, :64] // in3 (offset 1)
3223 vld1.32 d17, [r11, :64] // in29 (offset 14)
3224 vld1.32 d18, [r9, :64] // in19 (offset 9)
3225 vld1.32 d19, [r7, :64] // in13 (offset 6)
3226 vst1_if d7, [r10, :64], \clear
3227 vst1_if d7, [r11, :64], \clear
3228 vst1_if d7, [r9, :64], \clear
3229 vst1_if d7, [r7, :64], \clear
3230 scale_if \scale, d0[0], q8, q9
3231 bl inv_dct64_step1_neon
3232
3233 sub r6, r6, #2*4*32
3234 add r9, r6, #2*4*7
3235
3236 bl inv_dct64_step2_neon
3237
3238 pop {r10-r11,pc}
3239 endfunc
3240 .endm
3241
3242 def_dct64_func _clear, clear=1
3243 def_dct64_func _clear_scale, clear=1, scale=1
3244
3245 function inv_txfm_horz_dct_64x2_neon
3246 vdup.32 q4, r9
3247
3248 mov r7, sp
3249 add r8, sp, #2*4*(64 - 4)
3250 add r9, r6, #2*56
3251
3252 push {r10-r11,lr}
3253
3254 mov r10, #2*64
3255 mov r11, #-2*4*4
3256
3257 1:
3258 vld1.32 {d16, d17, d18, d19}, [r7, :128]!
3259 vld1.32 {d28, d29, d30, d31}, [r8, :128], r11
3260 vld1.32 {d20, d21, d22, d23}, [r7, :128]!
3261 vld1.32 {d24, d25, d26, d27}, [r8, :128], r11
3262 vtrn.32 d16, d17
3263 vtrn.32 d18, d19
3264 vtrn.32 d20, d21
3265 vtrn.32 d22, d23
3266 vtrn.32 d31, d30
3267 vtrn.32 d29, d28
3268 vtrn.32 d27, d26
3269 vtrn.32 d25, d24
3270
3271 .macro store_addsub src0, src1, src2, src3, src4, src5, src6, src7
3272 vqsub.s32 d7, \src0, \src1
3273 vqsub.s32 d6, \src2, \src3
3274 vqsub.s32 d5, \src4, \src5
3275 vqsub.s32 d4, \src6, \src7
3276 vqadd.s32 d0, \src0, \src1
3277 vqadd.s32 d1, \src2, \src3
3278 vqadd.s32 d2, \src4, \src5
3279 vqadd.s32 d3, \src6, \src7
3280 vrshl.s32 q3, q3, q4
3281 vrshl.s32 q2, q2, q4
3282 vrshl.s32 q0, q0, q4
3283 vrshl.s32 q1, q1, q4
3284 vqmovn.s32 d7, q3
3285 vqmovn.s32 d6, q2
3286 vqmovn.s32 d0, q0
3287 vqmovn.s32 d1, q1
3288 vrev32.16 q3, q3
3289 vst1.16 {q0}, [r6, :128], r10
3290 vst1.16 {q3}, [r9, :128], r10
3291 .endm
3292 store_addsub d16, d31, d18, d29, d20, d27, d22, d25
3293 store_addsub d17, d30, d19, d28, d21, d26, d23, d24
3294 .purgem store_addsub
3295 sub r6, r6, r10, lsl #1
3296 sub r9, r9, r10, lsl #1
3297 add r6, r6, #16
3298 sub r9, r9, #16
3299
3300 cmp r7, r8
3301 blt 1b
3302 pop {r10-r11,pc}
3303 endfunc
3304
3305 function inv_txfm_add_vert_dct_4x64_neon
3306 lsl r8, r8, #1
3307
3308 mov r7, sp
3309 add r8, sp, #2*4*(64 - 4)
3310 add r9, r6, r1, lsl #6
3311 sub r9, r9, r1
3312
3313 push {r10-r11,lr}
3314
3315 neg r10, r1
3316 mov r11, #-2*4*4
3317
3318 1:
3319 vld1.16 {d16, d17, d18, d19}, [r7, :128]!
3320 vld1.16 {d28, d29, d30, d31}, [r8, :128], r11
3321 vld1.16 {d20, d21, d22, d23}, [r7, :128]!
3322 vld1.16 {d24, d25, d26, d27}, [r8, :128], r11
3323
3324 vmov.i16 q6, #0
3325 vmvn.i16 q7, #0xfc00 // 0x3ff
3326 .macro add_dest_addsub src0, src1, src2, src3
3327 vld1.16 {d0}, [r6, :64], r1
3328 vld1.16 {d1}, [r9, :64], r10
3329 vqadd.s16 d4, \src0, \src1
3330 vld1.16 {d2}, [r6, :64]
3331 vqsub.s16 d5, \src0, \src1
3332 vld1.16 {d3}, [r9, :64]
3333 vqadd.s16 d6, \src2, \src3
3334 vqsub.s16 d7, \src2, \src3
3335 sub r6, r6, r1
3336 sub r9, r9, r10
3337 vrshr.s16 q2, q2, #4
3338 vrshr.s16 q3, q3, #4
3339 vqadd.s16 q2, q2, q0
3340 vqadd.s16 q3, q3, q1
3341 vmax.s16 q2, q2, q6
3342 vmax.s16 q3, q3, q6
3343 vmin.s16 q2, q2, q7
3344 vmin.s16 q3, q3, q7
3345 vst1.16 {d4}, [r6, :64], r1
3346 vst1.16 {d5}, [r9, :64], r10
3347 vst1.16 {d6}, [r6, :64], r1
3348 vst1.16 {d7}, [r9, :64], r10
3349 .endm
3350 add_dest_addsub d16, d31, d17, d30
3351 add_dest_addsub d18, d29, d19, d28
3352 add_dest_addsub d20, d27, d21, d26
3353 add_dest_addsub d22, d25, d23, d24
3354 .purgem add_dest_addsub
3355 cmp r7, r8
3356 blt 1b
3357
3358 pop {r10-r11,pc}
3359 endfunc
3360
3361 function inv_txfm_add_dct_dct_64x64_16bpc_neon, export=1
3362 idct_dc 64, 64, 2
3363
3364 push {r4-r11,lr}
3365 vpush {q4-q7}
3366
3367 sub_sp_align 64*32*2+64*4*2
3368 add r5, sp, #64*4*2
3369
3370 movrel_local r10, eob_32x32
3371
3372 .irp i, 0, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24, 26, 28, 30
3373 add r6, r5, #(\i*64*2)
3374 .if \i > 0
3375 mov r8, #(32 - \i)
3376 cmp r3, r11
3377 blt 1f
3378 .endif
3379 add r7, r2, #(\i*4)
3380 mov r8, #32*4
3381 bl inv_txfm_dct_clear_2s_x64_neon
3382 add r6, r5, #(\i*64*2)
3383 mov r9, #-2 // shift
3384 bl inv_txfm_horz_dct_64x2_neon
3385 .if \i < 30
3386 ldrh r11, [r10], #2
3387 .endif
3388 .endr
3389 b 3f
3390
3391 1:
3392 vmov.i16 q2, #0
3393 vmov.i16 q3, #0
3394 2:
3395 subs r8, r8, #2
3396 .rept 8
3397 vst1.16 {q2, q3}, [r6, :128]!
3398 .endr
3399 bgt 2b
3400
3401 3:
3402 .irp i, 0, 4, 8, 12, 16, 20, 24, 28, 32, 36, 40, 44, 48, 52, 56, 60
3403 add r7, r5, #(\i*2)
3404 mov r8, #64*2
3405 bl X(inv_txfm_dct_4h_x64_neon)
3406 add r6, r0, #(\i*2)
3407 bl inv_txfm_add_vert_dct_4x64_neon
3408 .endr
3409
3410 add_sp_align 64*32*2+64*4*2
3411 vpop {q4-q7}
3412 pop {r4-r11,pc}
3413 endfunc
3414
3415 function inv_txfm_add_dct_dct_64x32_16bpc_neon, export=1
3416 idct_dc 64, 32, 1
3417
3418 push {r4-r11,lr}
3419 vpush {q4-q7}
3420
3421 sub_sp_align 64*32*2+64*4*2
3422 add r5, sp, #64*4*2
3423
3424 movrel_local r10, eob_32x32
3425
3426 .irp i, 0, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24, 26, 28, 30
3427 add r6, r5, #(\i*64*2)
3428 .if \i > 0
3429 mov r8, #(32 - \i)
3430 cmp r3, r11
3431 blt 1f
3432 .endif
3433 add r7, r2, #(\i*4)
3434 mov r8, #32*4
3435 bl inv_txfm_dct_clear_scale_2s_x64_neon
3436 add r6, r5, #(\i*64*2)
3437 mov r9, #-1 // shift
3438 bl inv_txfm_horz_dct_64x2_neon
3439 .if \i < 30
3440 ldrh r11, [r10], #2
3441 .endif
3442 .endr
3443 b 3f
3444
3445 1:
3446 vmov.i16 q2, #0
3447 vmov.i16 q3, #0
3448 2:
3449 subs r8, r8, #2
3450 .rept 8
3451 vst1.16 {q2, q3}, [r6, :128]!
3452 .endr
3453 bgt 2b
3454
3455 3:
3456 .irp i, 0, 4, 8, 12, 16, 20, 24, 28, 32, 36, 40, 44, 48, 52, 56, 60
3457 add r6, r0, #(\i*2)
3458 add r7, r5, #(\i*2)
3459 mov r8, #64*2
3460 bl inv_txfm_add_vert_dct_4x32_neon
3461 .endr
3462
3463 add_sp_align 64*32*2+64*4*2
3464 vpop {q4-q7}
3465 pop {r4-r11,pc}
3466 endfunc
3467
3468 function inv_txfm_add_dct_dct_32x64_16bpc_neon, export=1
3469 idct_dc 32, 64, 1
3470
3471 push {r4-r11,lr}
3472 vpush {q4-q7}
3473
3474 sub_sp_align 32*32*2+64*4*2
3475 add r5, sp, #64*4*2
3476
3477 movrel_local r10, eob_32x32
3478 ldrh r11, [r10], #2
3479
3480 .irp i, 0, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24, 26, 28, 30
3481 add r6, r5, #(\i*32*2)
3482 .if \i > 0
3483 mov r8, #(32 - \i)
3484 cmp r3, r11
3485 blt 1f
3486 .if \i < 30
3487 ldrh r11, [r10], #2
3488 .endif
3489 .endif
3490 add r7, r2, #(\i*4)
3491 mov r8, #32*4
3492 bl inv_txfm_horz_scale_dct_32x2_neon
3493 .endr
3494 b 3f
3495
3496 1:
3497 vmov.i16 q2, #0
3498 vmov.i16 q3, #0
3499 2:
3500 subs r8, r8, #2
3501 .rept 4
3502 vst1.16 {q2, q3}, [r6, :128]!
3503 .endr
3504 bgt 2b
3505
3506 3:
3507 .irp i, 0, 4, 8, 12, 16, 20, 24, 28
3508 add r7, r5, #(\i*2)
3509 mov r8, #32*2
3510 bl X(inv_txfm_dct_4h_x64_neon)
3511 add r6, r0, #(\i*2)
3512 bl inv_txfm_add_vert_dct_4x64_neon
3513 .endr
3514
3515 add_sp_align 32*32*2+64*4*2
3516 vpop {q4-q7}
3517 pop {r4-r11,pc}
3518 endfunc
3519
3520 function inv_txfm_add_dct_dct_64x16_16bpc_neon, export=1
3521 idct_dc 64, 16, 2
3522
3523 push {r4-r11,lr}
3524 vpush {q4-q7}
3525
3526 sub_sp_align 64*16*2+64*4*2
3527 add r4, sp, #64*4*2
3528
3529 movrel_local r10, eob_16x32
3530
3531 .irp i, 0, 2, 4, 6, 8, 10, 12, 14
3532 add r6, r4, #(\i*64*2)
3533 .if \i > 0
3534 mov r8, #(16 - \i)
3535 cmp r3, r11
3536 blt 1f
3537 .endif
3538 add r7, r2, #(\i*4)
3539 mov r8, #16*4
3540 bl inv_txfm_dct_clear_2s_x64_neon
3541 add r6, r4, #(\i*64*2)
3542 mov r9, #-2 // shift
3543 bl inv_txfm_horz_dct_64x2_neon
3544 .if \i < 8
3545 ldrh r11, [r10], #2
3546 .endif
3547 .endr
3548 b 3f
3549
3550 1:
3551 vmov.i16 q2, #0
3552 vmov.i16 q3, #0
3553 2:
3554 subs r8, r8, #2
3555 .rept 8
3556 vst1.16 {q2, q3}, [r6, :128]!
3557 .endr
3558 bgt 2b
3559
3560 3:
3561 movrel r5, X(inv_dct_4h_x16_neon)
3562 .irp i, 0, 4, 8, 12, 16, 20, 24, 28, 32, 36, 40, 44, 48, 52, 56, 60
3563 add r6, r0, #(\i*2)
3564 add r7, r4, #(\i*2)
3565 mov r8, #64*2
3566 bl inv_txfm_add_vert_4x16_neon
3567 .endr
3568
3569 add_sp_align 64*16*2+64*4*2
3570 vpop {q4-q7}
3571 pop {r4-r11,pc}
3572 endfunc
3573
3574 function inv_txfm_add_dct_dct_16x64_16bpc_neon, export=1
3575 idct_dc 16, 64, 2
3576
3577 push {r4-r11,lr}
3578 vpush {q4-q7}
3579
3580 sub_sp_align 16*32*2+64*4*2
3581 add r5, sp, #64*4*2
3582
3583 movrel_local r10, eob_16x32
3584 ldrh r11, [r10], #2
3585
3586 movrel_local r4, inv_dct_2s_x16_neon
3587 .irp i, 0, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24, 26, 28, 30
3588 add r6, r5, #(\i*16*2)
3589 .if \i > 0
3590 mov r8, #(32 - \i)
3591 cmp r3, r11
3592 blt 1f
3593 .if \i < 30
3594 ldrh r11, [r10], #2
3595 .endif
3596 .endif
3597 add r7, r2, #(\i*4)
3598 mov r8, #32*4
3599 bl inv_txfm_horz_16x2_neon
3600 .endr
3601 b 3f
3602
3603 1:
3604 vmov.i16 q2, #0
3605 vmov.i16 q3, #0
3606 2:
3607 subs r8, r8, #2
3608 .rept 2
3609 vst1.16 {q2, q3}, [r6, :128]!
3610 .endr
3611 bgt 2b
3612
3613 3:
3614 .irp i, 0, 4, 8, 12
3615 add r7, r5, #(\i*2)
3616 mov r8, #16*2
3617 bl X(inv_txfm_dct_4h_x64_neon)
3618 add r6, r0, #(\i*2)
3619 bl inv_txfm_add_vert_dct_4x64_neon
3620 .endr
3621
3622 add_sp_align 16*32*2+64*4*2
3623 vpop {q4-q7}
3624 pop {r4-r11,pc}
3625 endfunc