Debian Codegraph @

.cargo/vendor/rav1e/src/arm/32/ipred.S

raw
1 /*
2 * Copyright © 2018, VideoLAN and dav1d authors
3 * Copyright © 2020, Martin Storsjo
4 * Copyright © 2019, B Krishnan Iyer
5 * All rights reserved.
6 *
7 * Redistribution and use in source and binary forms, with or without
8 * modification, are permitted provided that the following conditions are met:
9 *
10 * 1. Redistributions of source code must retain the above copyright notice, this
11 * list of conditions and the following disclaimer.
12 *
13 * 2. Redistributions in binary form must reproduce the above copyright notice,
14 * this list of conditions and the following disclaimer in the documentation
15 * and/or other materials provided with the distribution.
16 *
17 * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND
18 * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
19 * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
20 * DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR
21 * ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
22 * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
23 * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
24 * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
25 * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
26 * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
27 */
28
29 #include "src/arm/asm.S"
30 #include "util.S"
31
32 // void ipred_dc_128_8bpc_neon(pixel *dst, const ptrdiff_t stride,
33 // const pixel *const topleft,
34 // const int width, const int height, const int a,
35 // const int max_width, const int max_height);
36 function ipred_dc_128_8bpc_neon, export=1
37 push {r4, lr}
38 ldr r4, [sp, #8]
39 clz r3, r3
40 adr r2, L(ipred_dc_128_tbl)
41 sub r3, r3, #25
42 ldr r3, [r2, r3, lsl #2]
43 vmov.i8 q0, #128
44 add r2, r2, r3
45 add r12, r0, r1
46 lsl r1, r1, #1
47 bx r2
48
49 .align 2
50 L(ipred_dc_128_tbl):
51 .word 640f - L(ipred_dc_128_tbl) + CONFIG_THUMB
52 .word 320f - L(ipred_dc_128_tbl) + CONFIG_THUMB
53 .word 16f - L(ipred_dc_128_tbl) + CONFIG_THUMB
54 .word 8f - L(ipred_dc_128_tbl) + CONFIG_THUMB
55 .word 4f - L(ipred_dc_128_tbl) + CONFIG_THUMB
56 4:
57 vst1.32 {d0[0]}, [r0, :32], r1
58 vst1.32 {d0[0]}, [r12, :32], r1
59 subs r4, r4, #4
60 vst1.32 {d0[0]}, [r0, :32], r1
61 vst1.32 {d0[0]}, [r12, :32], r1
62 bgt 4b
63 pop {r4, pc}
64 8:
65 vst1.8 {d0}, [r0, :64], r1
66 vst1.8 {d0}, [r12, :64], r1
67 subs r4, r4, #4
68 vst1.8 {d0}, [r0, :64], r1
69 vst1.8 {d0}, [r12, :64], r1
70 bgt 8b
71 pop {r4, pc}
72 16:
73 vst1.8 {d0, d1}, [r0, :128], r1
74 vst1.8 {d0, d1}, [r12, :128], r1
75 subs r4, r4, #4
76 vst1.8 {d0, d1}, [r0, :128], r1
77 vst1.8 {d0, d1}, [r12, :128], r1
78 bgt 16b
79 pop {r4, pc}
80 320:
81 vmov.i8 q1, #128
82 32:
83 vst1.8 {d0, d1, d2, d3}, [r0, :128], r1
84 vst1.8 {d0, d1, d2, d3}, [r12, :128], r1
85 subs r4, r4, #4
86 vst1.8 {d0, d1, d2, d3}, [r0, :128], r1
87 vst1.8 {d0, d1, d2, d3}, [r12, :128], r1
88 bgt 32b
89 pop {r4, pc}
90 640:
91 vmov.i8 q1, #128
92 sub r1, r1, #32
93 64:
94 vst1.8 {d0, d1, d2, d3}, [r0, :128]!
95 vst1.8 {d0, d1, d2, d3}, [r12, :128]!
96 vst1.8 {d0, d1, d2, d3}, [r0, :128], r1
97 vst1.8 {d0, d1, d2, d3}, [r12, :128], r1
98 subs r4, r4, #4
99 vst1.8 {d0, d1, d2, d3}, [r0, :128]!
100 vst1.8 {d0, d1, d2, d3}, [r12, :128]!
101 vst1.8 {d0, d1, d2, d3}, [r0, :128], r1
102 vst1.8 {d0, d1, d2, d3}, [r12, :128], r1
103 bgt 64b
104 pop {r4, pc}
105 endfunc
106
107 // void ipred_v_8bpc_neon(pixel *dst, const ptrdiff_t stride,
108 // const pixel *const topleft,
109 // const int width, const int height, const int a,
110 // const int max_width, const int max_height);
111 function ipred_v_8bpc_neon, export=1
112 push {r4, lr}
113 ldr lr, [sp, #8]
114 clz r3, r3
115 adr r4, L(ipred_v_tbl)
116 sub r3, r3, #25
117 ldr r3, [r4, r3, lsl #2]
118 add r2, r2, #1
119 add r4, r4, r3
120 add r12, r0, r1
121 lsl r1, r1, #1
122 bx r4
123
124 .align 2
125 L(ipred_v_tbl):
126 .word 640f - L(ipred_v_tbl) + CONFIG_THUMB
127 .word 320f - L(ipred_v_tbl) + CONFIG_THUMB
128 .word 160f - L(ipred_v_tbl) + CONFIG_THUMB
129 .word 80f - L(ipred_v_tbl) + CONFIG_THUMB
130 .word 40f - L(ipred_v_tbl) + CONFIG_THUMB
131 40:
132 vld1.32 {d0[]}, [r2]
133 4:
134 vst1.32 {d0[0]}, [r0, :32], r1
135 vst1.32 {d0[0]}, [r12, :32], r1
136 subs lr, lr, #4
137 vst1.32 {d0[0]}, [r0, :32], r1
138 vst1.32 {d0[0]}, [r12, :32], r1
139 bgt 4b
140 pop {r4, pc}
141 80:
142 vld1.8 {d0}, [r2]
143 8:
144 vst1.8 {d0}, [r0, :64], r1
145 vst1.8 {d0}, [r12, :64], r1
146 subs lr, lr, #4
147 vst1.8 {d0}, [r0, :64], r1
148 vst1.8 {d0}, [r12, :64], r1
149 bgt 8b
150 pop {r4, pc}
151 160:
152 vld1.8 {q0}, [r2]
153 16:
154 vst1.8 {d0, d1}, [r0, :128], r1
155 vst1.8 {d0, d1}, [r12, :128], r1
156 subs lr, lr, #4
157 vst1.8 {d0, d1}, [r0, :128], r1
158 vst1.8 {d0, d1}, [r12, :128], r1
159 bgt 16b
160 pop {r4, pc}
161 320:
162 vld1.8 {q0, q1}, [r2]
163 32:
164 vst1.8 {d0, d1, d2, d3}, [r0, :128], r1
165 vst1.8 {d0, d1, d2, d3}, [r12, :128], r1
166 subs lr, lr, #4
167 vst1.8 {d0, d1, d2, d3}, [r0, :128], r1
168 vst1.8 {d0, d1, d2, d3}, [r12, :128], r1
169 bgt 32b
170 pop {r4, pc}
171 640:
172 vld1.8 {q0, q1}, [r2]!
173 sub r1, r1, #32
174 vld1.8 {q2, q3}, [r2]
175 64:
176 vst1.8 {d0, d1, d2, d3}, [r0, :128]!
177 vst1.8 {d0, d1, d2, d3}, [r12, :128]!
178 vst1.8 {d4, d5, d6, d7}, [r0, :128], r1
179 vst1.8 {d4, d5, d6, d7}, [r12, :128], r1
180 subs lr, lr, #4
181 vst1.8 {d0, d1, d2, d3}, [r0, :128]!
182 vst1.8 {d0, d1, d2, d3}, [r12, :128]!
183 vst1.8 {d4, d5, d6, d7}, [r0, :128], r1
184 vst1.8 {d4, d5, d6, d7}, [r12, :128], r1
185 bgt 64b
186 pop {r4, pc}
187 endfunc
188
189 // void ipred_h_8bpc_neon(pixel *dst, const ptrdiff_t stride,
190 // const pixel *const topleft,
191 // const int width, const int height, const int a,
192 // const int max_width, const int max_height);
193 function ipred_h_8bpc_neon, export=1
194 push {r4-r5, lr}
195 ldr r4, [sp, #12]
196 clz r3, r3
197 adr r5, L(ipred_h_tbl)
198 sub r3, r3, #25
199 ldr r3, [r5, r3, lsl #2]
200 sub r2, r2, #4
201 mov lr, #-4
202 add r5, r5, r3
203 add r12, r0, r1
204 lsl r1, r1, #1
205 bx r5
206
207 .align 2
208 L(ipred_h_tbl):
209 .word 640f - L(ipred_h_tbl) + CONFIG_THUMB
210 .word 320f - L(ipred_h_tbl) + CONFIG_THUMB
211 .word 160f - L(ipred_h_tbl) + CONFIG_THUMB
212 .word 8f - L(ipred_h_tbl) + CONFIG_THUMB
213 .word 4f - L(ipred_h_tbl) + CONFIG_THUMB
214 4:
215 vld4.8 {d0[], d1[], d2[], d3[]}, [r2, :32], lr
216 vst1.32 {d3[0]}, [r0, :32], r1
217 vst1.32 {d2[0]}, [r12, :32], r1
218 subs r4, r4, #4
219 vst1.32 {d1[0]}, [r0, :32], r1
220 vst1.32 {d0[0]}, [r12, :32], r1
221 bgt 4b
222 pop {r4-r5, pc}
223 8:
224 vld4.8 {d0[], d1[], d2[], d3[]}, [r2, :32], lr
225 vst1.8 {d3}, [r0, :64], r1
226 vst1.8 {d2}, [r12, :64], r1
227 subs r4, r4, #4
228 vst1.8 {d1}, [r0, :64], r1
229 vst1.8 {d0}, [r12, :64], r1
230 bgt 8b
231 pop {r4-r5, pc}
232 160:
233 add r2, r2, #3
234 mov lr, #-1
235 16:
236 vld1.8 {d0[], d1[]}, [r2], lr
237 subs r4, r4, #4
238 vld1.8 {d2[], d3[]}, [r2], lr
239 vst1.8 {q0}, [r0, :128], r1
240 vld1.8 {d4[], d5[]}, [r2], lr
241 vst1.8 {q1}, [r12, :128], r1
242 vld1.8 {d6[], d7[]}, [r2], lr
243 vst1.8 {q2}, [r0, :128], r1
244 vst1.8 {q3}, [r12, :128], r1
245 bgt 16b
246 pop {r4-r5, pc}
247 320:
248 add r2, r2, #3
249 mov lr, #-1
250 sub r1, r1, #16
251 32:
252 vld1.8 {d0[], d1[]}, [r2], lr
253 subs r4, r4, #4
254 vld1.8 {d2[], d3[]}, [r2], lr
255 vst1.8 {q0}, [r0, :128]!
256 vld1.8 {d4[], d5[]}, [r2], lr
257 vst1.8 {q1}, [r12, :128]!
258 vld1.8 {d6[], d7[]}, [r2], lr
259 vst1.8 {q0}, [r0, :128], r1
260 vst1.8 {q1}, [r12, :128], r1
261 vst1.8 {q2}, [r0, :128]!
262 vst1.8 {q3}, [r12, :128]!
263 vst1.8 {q2}, [r0, :128], r1
264 vst1.8 {q3}, [r12, :128], r1
265 bgt 32b
266 pop {r4-r5, pc}
267 640:
268 add r2, r2, #3
269 mov lr, #-1
270 sub r1, r1, #48
271 64:
272 vld1.8 {d0[], d1[]}, [r2], lr
273 subs r4, r4, #4
274 vld1.8 {d2[], d3[]}, [r2], lr
275 vst1.8 {q0}, [r0, :128]!
276 vld1.8 {d4[], d5[]}, [r2], lr
277 vst1.8 {q1}, [r12, :128]!
278 vld1.8 {d6[], d7[]}, [r2], lr
279 vst1.8 {q0}, [r0, :128]!
280 vst1.8 {q1}, [r12, :128]!
281 vst1.8 {q0}, [r0, :128]!
282 vst1.8 {q1}, [r12, :128]!
283 vst1.8 {q0}, [r0, :128], r1
284 vst1.8 {q1}, [r12, :128], r1
285 vst1.8 {q2}, [r0, :128]!
286 vst1.8 {q3}, [r12, :128]!
287 vst1.8 {q2}, [r0, :128]!
288 vst1.8 {q3}, [r12, :128]!
289 vst1.8 {q2}, [r0, :128]!
290 vst1.8 {q3}, [r12, :128]!
291 vst1.8 {q2}, [r0, :128], r1
292 vst1.8 {q3}, [r12, :128], r1
293 bgt 64b
294 pop {r4-r5, pc}
295 endfunc
296
297 // void ipred_dc_top_8bpc_neon(pixel *dst, const ptrdiff_t stride,
298 // const pixel *const topleft,
299 // const int width, const int height, const int a,
300 // const int max_width, const int max_height);
301 function ipred_dc_top_8bpc_neon, export=1
302 push {r4-r5, lr}
303 ldr r4, [sp, #12]
304 clz r3, r3
305 adr r5, L(ipred_dc_top_tbl)
306 sub r3, r3, #25
307 ldr r3, [r5, r3, lsl #2]
308 add r2, r2, #1
309 add r5, r5, r3
310 add r12, r0, r1
311 lsl r1, r1, #1
312 bx r5
313
314 .align 2
315 L(ipred_dc_top_tbl):
316 .word 640f - L(ipred_dc_top_tbl) + CONFIG_THUMB
317 .word 320f - L(ipred_dc_top_tbl) + CONFIG_THUMB
318 .word 160f - L(ipred_dc_top_tbl) + CONFIG_THUMB
319 .word 80f - L(ipred_dc_top_tbl) + CONFIG_THUMB
320 .word 40f - L(ipred_dc_top_tbl) + CONFIG_THUMB
321 40:
322 vld1.32 {d0[]}, [r2]
323 vpaddl.u8 d0, d0
324 vpadd.u16 d0, d0
325 vrshrn.u16 d0, q0, #2
326 vdup.8 d0, d0[0]
327 4:
328 vst1.32 {d0[0]}, [r0, :32], r1
329 vst1.32 {d0[0]}, [r12, :32], r1
330 subs r4, r4, #4
331 vst1.32 {d0[0]}, [r0, :32], r1
332 vst1.32 {d0[0]}, [r12, :32], r1
333 bgt 4b
334 pop {r4-r5, pc}
335 80:
336 vld1.8 {d0}, [r2]
337 vpaddl.u8 d0, d0
338 vpadd.u16 d0, d0
339 vpadd.u16 d0, d0
340 vrshrn.u16 d0, q0, #3
341 vdup.8 d0, d0[0]
342 8:
343 vst1.8 {d0}, [r0, :64], r1
344 vst1.8 {d0}, [r12, :64], r1
345 subs r4, r4, #4
346 vst1.8 {d0}, [r0, :64], r1
347 vst1.8 {d0}, [r12, :64], r1
348 bgt 8b
349 pop {r4-r5, pc}
350 160:
351 vld1.8 {d0, d1}, [r2]
352 vaddl.u8 q0, d0, d1
353 vadd.u16 d0, d0, d1
354 vpadd.u16 d0, d0
355 vpadd.u16 d0, d0
356 vrshrn.u16 d0, q0, #4
357 vdup.8 q0, d0[0]
358 16:
359 vst1.8 {d0, d1}, [r0, :128], r1
360 vst1.8 {d0, d1}, [r12, :128], r1
361 subs r4, r4, #4
362 vst1.8 {d0, d1}, [r0, :128], r1
363 vst1.8 {d0, d1}, [r12, :128], r1
364 bgt 16b
365 pop {r4-r5, pc}
366 320:
367 vld1.8 {d0, d1, d2, d3}, [r2]
368 vaddl.u8 q0, d0, d1
369 vaddl.u8 q1, d2, d3
370 vadd.u16 q0, q0, q1
371 vadd.u16 d0, d0, d1
372 vpadd.u16 d0, d0
373 vpadd.u16 d0, d0
374 vrshrn.u16 d4, q0, #5
375 vdup.8 q0, d4[0]
376 vdup.8 q1, d4[0]
377 32:
378 vst1.8 {d0, d1, d2, d3}, [r0, :128], r1
379 vst1.8 {d0, d1, d2, d3}, [r12, :128], r1
380 subs r4, r4, #4
381 vst1.8 {d0, d1, d2, d3}, [r0, :128], r1
382 vst1.8 {d0, d1, d2, d3}, [r12, :128], r1
383 bgt 32b
384 pop {r4-r5, pc}
385 640:
386 vld1.8 {d0, d1, d2, d3}, [r2]!
387 vaddl.u8 q0, d0, d1
388 vld1.8 {d4, d5, d6, d7}, [r2]
389 vaddl.u8 q1, d2, d3
390 vaddl.u8 q2, d4, d5
391 vaddl.u8 q3, d6, d7
392 vadd.u16 q0, q0, q1
393 vadd.u16 q1, q2, q3
394 vadd.u16 q0, q0, q1
395 vadd.u16 d0, d0, d1
396 vpadd.u16 d0, d0
397 vpadd.u16 d0, d0
398 vrshrn.u16 d18, q0, #6
399 vdup.8 q0, d18[0]
400 vdup.8 q1, d18[0]
401 sub r1, r1, #32
402 64:
403 vst1.8 {d0, d1, d2, d3}, [r0, :128]!
404 vst1.8 {d0, d1, d2, d3}, [r12, :128]!
405 vst1.8 {d0, d1, d2, d3}, [r0, :128], r1
406 vst1.8 {d0, d1, d2, d3}, [r12, :128], r1
407 subs r4, r4, #4
408 vst1.8 {d0, d1, d2, d3}, [r0, :128]!
409 vst1.8 {d0, d1, d2, d3}, [r12, :128]!
410 vst1.8 {d0, d1, d2, d3}, [r0, :128], r1
411 vst1.8 {d0, d1, d2, d3}, [r12, :128], r1
412 bgt 64b
413 pop {r4-r5, pc}
414 endfunc
415
416 // void ipred_dc_left_8bpc_neon(pixel *dst, const ptrdiff_t stride,
417 // const pixel *const topleft,
418 // const int width, const int height, const int a,
419 // const int max_width, const int max_height);
420 function ipred_dc_left_8bpc_neon, export=1
421 push {r4-r5, lr}
422 ldr r4, [sp, #12]
423 sub r2, r2, r4
424 clz r3, r3
425 clz lr, r4
426 sub lr, lr, #25
427 adr r5, L(ipred_dc_left_tbl)
428 sub r3, r3, #20
429 ldr r3, [r5, r3, lsl #2]
430 ldr lr, [r5, lr, lsl #2]
431 add r3, r5, r3
432 add r5, r5, lr
433 add r12, r0, r1
434 lsl r1, r1, #1
435 bx r5
436
437 .align 2
438 L(ipred_dc_left_tbl):
439 .word L(ipred_dc_left_h64) - L(ipred_dc_left_tbl) + CONFIG_THUMB
440 .word L(ipred_dc_left_h32) - L(ipred_dc_left_tbl) + CONFIG_THUMB
441 .word L(ipred_dc_left_h16) - L(ipred_dc_left_tbl) + CONFIG_THUMB
442 .word L(ipred_dc_left_h8) - L(ipred_dc_left_tbl) + CONFIG_THUMB
443 .word L(ipred_dc_left_h4) - L(ipred_dc_left_tbl) + CONFIG_THUMB
444 .word L(ipred_dc_left_w64) - L(ipred_dc_left_tbl) + CONFIG_THUMB
445 .word L(ipred_dc_left_w32) - L(ipred_dc_left_tbl) + CONFIG_THUMB
446 .word L(ipred_dc_left_w16) - L(ipred_dc_left_tbl) + CONFIG_THUMB
447 .word L(ipred_dc_left_w8) - L(ipred_dc_left_tbl) + CONFIG_THUMB
448 .word L(ipred_dc_left_w4) - L(ipred_dc_left_tbl) + CONFIG_THUMB
449
450 L(ipred_dc_left_h4):
451 vld1.32 {d0[]}, [r2, :32]
452 vpaddl.u8 d0, d0
453 vpadd.u16 d0, d0
454 vrshrn.u16 d0, q0, #2
455 vdup.8 q0, d0[0]
456 bx r3
457 L(ipred_dc_left_w4):
458 vst1.32 {d0[0]}, [r0, :32], r1
459 vst1.32 {d0[0]}, [r12, :32], r1
460 subs r4, r4, #4
461 vst1.32 {d0[0]}, [r0, :32], r1
462 vst1.32 {d0[0]}, [r12, :32], r1
463 bgt L(ipred_dc_left_w4)
464 pop {r4-r5, pc}
465 L(ipred_dc_left_h8):
466 vld1.8 {d0}, [r2, :64]
467 vpaddl.u8 d0, d0
468 vpadd.u16 d0, d0
469 vpadd.u16 d0, d0
470 vrshrn.u16 d0, q0, #3
471 vdup.8 q0, d0[0]
472 bx r3
473 L(ipred_dc_left_w8):
474 vst1.8 {d0}, [r0, :64], r1
475 vst1.8 {d0}, [r12, :64], r1
476 subs r4, r4, #4
477 vst1.8 {d0}, [r0, :64], r1
478 vst1.8 {d0}, [r12, :64], r1
479 bgt L(ipred_dc_left_w8)
480 pop {r4-r5, pc}
481 L(ipred_dc_left_h16):
482 vld1.8 {d0, d1}, [r2, :128]
483 vaddl.u8 q0, d0, d1
484 vadd.u16 d0, d0, d1
485 vpadd.u16 d0, d0
486 vpadd.u16 d0, d0
487 vrshrn.u16 d0, q0, #4
488 vdup.8 q0, d0[0]
489 bx r3
490 L(ipred_dc_left_w16):
491 vst1.8 {d0, d1}, [r0, :128], r1
492 vst1.8 {d0, d1}, [r12, :128], r1
493 subs r4, r4, #4
494 vst1.8 {d0, d1}, [r0, :128], r1
495 vst1.8 {d0, d1}, [r12, :128], r1
496 bgt L(ipred_dc_left_w16)
497 pop {r4-r5, pc}
498 L(ipred_dc_left_h32):
499 vld1.8 {d0, d1, d2, d3}, [r2, :128]
500 vaddl.u8 q0, d0, d1
501 vaddl.u8 q1, d2, d3
502 vadd.u16 q0, q0, q1
503 vadd.u16 d0, d0, d1
504 vpadd.u16 d0, d0
505 vpadd.u16 d0, d0
506 vrshrn.u16 d0, q0, #5
507 vdup.8 q0, d0[0]
508 bx r3
509 L(ipred_dc_left_w32):
510 vmov.8 q1, q0
511 1:
512 vst1.8 {d0, d1, d2, d3}, [r0, :128], r1
513 vst1.8 {d0, d1, d2, d3}, [r12, :128], r1
514 subs r4, r4, #4
515 vst1.8 {d0, d1, d2, d3}, [r0, :128], r1
516 vst1.8 {d0, d1, d2, d3}, [r12, :128], r1
517 bgt 1b
518 pop {r4-r5, pc}
519 L(ipred_dc_left_h64):
520 vld1.8 {d0, d1, d2, d3}, [r2, :128]!
521 vld1.8 {d4, d5, d6, d7}, [r2, :128]
522 vaddl.u8 q0, d0, d1
523 vaddl.u8 q1, d2, d3
524 vaddl.u8 q2, d4, d5
525 vaddl.u8 q3, d6, d7
526 vadd.u16 q0, q0, q1
527 vadd.u16 q1, q2, q3
528 vadd.u16 q0, q0, q1
529 vadd.u16 d0, d0, d1
530 vpadd.u16 d0, d0
531 vpadd.u16 d0, d0
532 vrshrn.u16 d0, q0, #6
533 vdup.8 q0, d0[0]
534 bx r3
535 L(ipred_dc_left_w64):
536 vmov.8 q1, q0
537 sub r1, r1, #32
538 1:
539 vst1.8 {d0, d1, d2, d3}, [r0, :128]!
540 vst1.8 {d0, d1, d2, d3}, [r12, :128]!
541 vst1.8 {d0, d1, d2, d3}, [r0, :128], r1
542 vst1.8 {d0, d1, d2, d3}, [r12, :128], r1
543 subs r4, r4, #4
544 vst1.8 {d0, d1, d2, d3}, [r0, :128]!
545 vst1.8 {d0, d1, d2, d3}, [r12, :128]!
546 vst1.8 {d0, d1, d2, d3}, [r0, :128], r1
547 vst1.8 {d0, d1, d2, d3}, [r12, :128], r1
548 bgt 1b
549 pop {r4-r5, pc}
550 endfunc
551
552 // void ipred_dc_8bpc_neon(pixel *dst, const ptrdiff_t stride,
553 // const pixel *const topleft,
554 // const int width, const int height, const int a,
555 // const int max_width, const int max_height);
556 function ipred_dc_8bpc_neon, export=1
557 push {r4-r6, lr}
558 ldr r4, [sp, #16]
559 sub r2, r2, r4
560 add lr, r3, r4 // width + height
561 clz r3, r3
562 clz r12, r4
563 vdup.16 q15, lr // width + height
564 adr r5, L(ipred_dc_tbl)
565 rbit lr, lr // rbit(width + height)
566 sub r3, r3, #20 // 25 leading bits, minus table offset 5
567 sub r12, r12, #25
568 clz lr, lr // ctz(width + height)
569 ldr r3, [r5, r3, lsl #2]
570 ldr r12, [r5, r12, lsl #2]
571 neg lr, lr // -ctz(width + height)
572 add r3, r5, r3
573 add r5, r5, r12
574 vshr.u16 q15, q15, #1 // (width + height) >> 1
575 vdup.16 q14, lr // -ctz(width + height)
576 add r12, r0, r1
577 lsl r1, r1, #1
578 bx r5
579
580 .align 2
581 L(ipred_dc_tbl):
582 .word L(ipred_dc_h64) - L(ipred_dc_tbl) + CONFIG_THUMB
583 .word L(ipred_dc_h32) - L(ipred_dc_tbl) + CONFIG_THUMB
584 .word L(ipred_dc_h16) - L(ipred_dc_tbl) + CONFIG_THUMB
585 .word L(ipred_dc_h8) - L(ipred_dc_tbl) + CONFIG_THUMB
586 .word L(ipred_dc_h4) - L(ipred_dc_tbl) + CONFIG_THUMB
587 .word L(ipred_dc_w64) - L(ipred_dc_tbl) + CONFIG_THUMB
588 .word L(ipred_dc_w32) - L(ipred_dc_tbl) + CONFIG_THUMB
589 .word L(ipred_dc_w16) - L(ipred_dc_tbl) + CONFIG_THUMB
590 .word L(ipred_dc_w8) - L(ipred_dc_tbl) + CONFIG_THUMB
591 .word L(ipred_dc_w4) - L(ipred_dc_tbl) + CONFIG_THUMB
592
593 L(ipred_dc_h4):
594 vld1.32 {d0[]}, [r2, :32]!
595 vpaddl.u8 d0, d0
596 add r2, r2, #1
597 vpadd.u16 d0, d0
598 bx r3
599 L(ipred_dc_w4):
600 vld1.32 {d1[]}, [r2]
601 vadd.s16 d0, d0, d30
602 vpaddl.u8 d1, d1
603 vpadd.u16 d1, d1
604 cmp r4, #4
605 vadd.s16 d0, d0, d1
606 vshl.u16 d0, d0, d28
607 beq 1f
608 // h = 8/16
609 movw lr, #(0x3334/2)
610 movw r5, #(0x5556/2)
611 cmp r4, #16
612 it ne
613 movne lr, r5
614 vdup.16 d30, lr
615 vqdmulh.s16 d0, d0, d30
616 1:
617 vdup.8 d0, d0[0]
618 2:
619 vst1.32 {d0[0]}, [r0, :32], r1
620 vst1.32 {d0[0]}, [r12, :32], r1
621 subs r4, r4, #4
622 vst1.32 {d0[0]}, [r0, :32], r1
623 vst1.32 {d0[0]}, [r12, :32], r1
624 bgt 2b
625 pop {r4-r6, pc}
626
627 L(ipred_dc_h8):
628 vld1.8 {d0}, [r2, :64]!
629 vpaddl.u8 d0, d0
630 vpadd.u16 d0, d0
631 add r2, r2, #1
632 vpadd.u16 d0, d0
633 bx r3
634 L(ipred_dc_w8):
635 vld1.8 {d2}, [r2]
636 vadd.s16 d0, d0, d30
637 vpaddl.u8 d2, d2
638 vpadd.u16 d2, d2
639 vpadd.u16 d2, d2
640 cmp r4, #8
641 vadd.s16 d0, d0, d2
642 vshl.u16 d0, d0, d28
643 beq 1f
644 // h = 4/16/32
645 cmp r4, #32
646 movw lr, #(0x3334/2)
647 movw r5, #(0x5556/2)
648 it ne
649 movne lr, r5
650 vdup.16 d24, lr
651 vqdmulh.s16 d0, d0, d24
652 1:
653 vdup.8 d0, d0[0]
654 2:
655 vst1.8 {d0}, [r0, :64], r1
656 vst1.8 {d0}, [r12, :64], r1
657 subs r4, r4, #4
658 vst1.8 {d0}, [r0, :64], r1
659 vst1.8 {d0}, [r12, :64], r1
660 bgt 2b
661 pop {r4-r6, pc}
662
663 L(ipred_dc_h16):
664 vld1.8 {d0, d1}, [r2, :128]!
665 vaddl.u8 q0, d0, d1
666 vadd.u16 d0, d0, d1
667 vpadd.u16 d0, d0
668 add r2, r2, #1
669 vpadd.u16 d0, d0
670 bx r3
671 L(ipred_dc_w16):
672 vld1.8 {d2, d3}, [r2]
673 vadd.s16 d0, d0, d30
674 vaddl.u8 q1, d2, d3
675 vadd.u16 d2, d2, d3
676 vpadd.u16 d2, d2
677 vpadd.u16 d2, d2
678 cmp r4, #16
679 vadd.s16 d0, d0, d2
680 vshl.u16 d0, d0, d28
681 beq 1f
682 // h = 4/8/32/64
683 tst r4, #(32+16+8) // 16 added to make a consecutive bitmask
684 movw lr, #(0x3334/2)
685 movw r5, #(0x5556/2)
686 it ne
687 movne lr, r5
688 vdup.16 d24, lr
689 vqdmulh.s16 d0, d0, d24
690 1:
691 vdup.8 q0, d0[0]
692 2:
693 vst1.8 {d0, d1}, [r0, :128], r1
694 vst1.8 {d0, d1}, [r12, :128], r1
695 subs r4, r4, #4
696 vst1.8 {d0, d1}, [r0, :128], r1
697 vst1.8 {d0, d1}, [r12, :128], r1
698 bgt 2b
699 pop {r4-r6, pc}
700
701 L(ipred_dc_h32):
702 vld1.8 {d0, d1, d2, d3}, [r2, :128]!
703 vaddl.u8 q0, d0, d1
704 vaddl.u8 q1, d2, d3
705 vadd.u16 q0, q0, q1
706 vadd.u16 d0, d0, d1
707 vpadd.u16 d0, d0
708 add r2, r2, #1
709 vpadd.u16 d0, d0
710 bx r3
711 L(ipred_dc_w32):
712 vld1.8 {d2, d3, d4, d5}, [r2]
713 vadd.s16 d0, d0, d30
714 vaddl.u8 q1, d2, d3
715 vaddl.u8 q2, d4, d5
716 vadd.u16 q1, q1, q2
717 vadd.u16 d2, d2, d3
718 vpadd.u16 d2, d2
719 vpadd.u16 d2, d2
720 cmp r4, #32
721 vadd.s16 d0, d0, d2
722 vshl.u16 d4, d0, d28
723 beq 1f
724 // h = 8/16/64
725 cmp r4, #8
726 movw lr, #(0x3334/2)
727 movw r5, #(0x5556/2)
728 it ne
729 movne lr, r5
730 vdup.16 d24, lr
731 vqdmulh.s16 d4, d4, d24
732 1:
733 vdup.8 q0, d4[0]
734 vdup.8 q1, d4[0]
735 2:
736 vst1.8 {d0, d1, d2, d3}, [r0, :128], r1
737 vst1.8 {d0, d1, d2, d3}, [r12, :128], r1
738 subs r4, r4, #4
739 vst1.8 {d0, d1, d2, d3}, [r0, :128], r1
740 vst1.8 {d0, d1, d2, d3}, [r12, :128], r1
741 bgt 2b
742 pop {r4-r6, pc}
743
744 L(ipred_dc_h64):
745 vld1.8 {d0, d1, d2, d3}, [r2, :128]!
746 vaddl.u8 q0, d0, d1
747 vld1.8 {d4, d5, d6, d7}, [r2, :128]!
748 vaddl.u8 q1, d2, d3
749 vaddl.u8 q2, d4, d5
750 vaddl.u8 q3, d6, d7
751 vadd.u16 q0, q0, q1
752 vadd.u16 q1, q2, q3
753 vadd.u16 q0, q0, q1
754 vadd.u16 d0, d0, d1
755 vpadd.u16 d0, d0
756 add r2, r2, #1
757 vpadd.u16 d0, d0
758 bx r3
759 L(ipred_dc_w64):
760 vld1.8 {d2, d3, d4, d5}, [r2]!
761 vadd.s16 d0, d0, d30
762 vaddl.u8 q2, d4, d5
763 vaddl.u8 q1, d2, d3
764 vadd.u16 d4, d4, d5
765 vadd.u16 d2, d2, d3
766 vld1.8 {d16, d17, d18, d19}, [r2]
767 vpadd.u16 d4, d4
768 vpadd.u16 d2, d2
769 vpadd.u16 d4, d4
770 vpadd.u16 d2, d2
771 vaddl.u8 q8, d16, d17
772 vaddl.u8 q9, d18, d19
773 vadd.u16 d16, d16, d17
774 vadd.u16 d18, d18, d19
775 vpadd.u16 d16, d16
776 vpadd.u16 d18, d18
777 vpadd.u16 d16, d16
778 vpadd.u16 d18, d18
779 vadd.u16 d2, d2, d4
780 vadd.u16 d3, d16, d18
781 cmp r4, #64
782 vadd.s16 d0, d0, d2
783 vadd.s16 d0, d0, d3
784 vshl.u16 d18, d0, d28
785 beq 1f
786 // h = 16/32
787 movw lr, #(0x5556/2)
788 movt lr, #(0x3334/2)
789 and r5, r4, #31
790 lsr lr, lr, r5
791 vdup.16 d30, lr
792 vqdmulh.s16 d18, d18, d30
793 1:
794 sub r1, r1, #32
795 vdup.8 q0, d18[0]
796 vdup.8 q1, d18[0]
797 2:
798 vst1.8 {d0, d1, d2, d3}, [r0, :128]!
799 vst1.8 {d0, d1, d2, d3}, [r12, :128]!
800 vst1.8 {d0, d1, d2, d3}, [r0, :128], r1
801 vst1.8 {d0, d1, d2, d3}, [r12, :128], r1
802 subs r4, r4, #4
803 vst1.8 {d0, d1, d2, d3}, [r0, :128]!
804 vst1.8 {d0, d1, d2, d3}, [r12, :128]!
805 vst1.8 {d0, d1, d2, d3}, [r0, :128], r1
806 vst1.8 {d0, d1, d2, d3}, [r12, :128], r1
807 bgt 2b
808 pop {r4-r6, pc}
809 endfunc
810
811 // void ipred_paeth_8bpc_neon(pixel *dst, const ptrdiff_t stride,
812 // const pixel *const topleft,
813 // const int width, const int height, const int a,
814 // const int max_width, const int max_height);
815 function ipred_paeth_8bpc_neon, export=1
816 push {r4-r8, lr}
817 ldr r4, [sp, #24]
818 clz lr, r3
819 adr r5, L(ipred_paeth_tbl)
820 sub lr, lr, #25
821 ldr lr, [r5, lr, lsl #2]
822 vld1.8 {d4[], d5[]}, [r2]
823 add r8, r2, #1
824 sub r2, r2, #4
825 add r5, r5, lr
826 mov r7, #-4
827 add r6, r0, r1
828 lsl r1, r1, #1
829 bx r5
830
831 .align 2
832 L(ipred_paeth_tbl):
833 .word 640f - L(ipred_paeth_tbl) + CONFIG_THUMB
834 .word 320f - L(ipred_paeth_tbl) + CONFIG_THUMB
835 .word 160f - L(ipred_paeth_tbl) + CONFIG_THUMB
836 .word 80f - L(ipred_paeth_tbl) + CONFIG_THUMB
837 .word 40f - L(ipred_paeth_tbl) + CONFIG_THUMB
838
839 40:
840 vld1.32 {d6[], d7[]}, [r8]
841 vsubl.u8 q8, d6, d4 // top - topleft
842 4:
843 vld4.8 {d0[], d1[], d2[], d3[]}, [r2, :32], r7
844 vzip.32 d0, d1
845 vzip.32 d2, d3
846 vaddw.u8 q9, q8, d0
847 vaddw.u8 q10, q8, d2
848 vqmovun.s16 d18, q9 // base
849 vqmovun.s16 d19, q10
850 vmov d1, d2
851 vabd.u8 q10, q3, q9 // tdiff
852 vabd.u8 q11, q2, q9 // tldiff
853 vabd.u8 q9, q0, q9 // ldiff
854 vmin.u8 q12, q10, q11 // min(tdiff, tldiff)
855 vcge.u8 q10, q11, q10 // tldiff >= tdiff
856 vcge.u8 q9, q12, q9 // min(tdiff, tldiff) >= ldiff
857 vbsl q10, q3, q2 // tdiff <= tldiff ? top : topleft
858 vbit q10, q0, q9 // ldiff <= min ? left : ...
859 vst1.32 {d21[1]}, [r0, :32], r1
860 vst1.32 {d21[0]}, [r6, :32], r1
861 subs r4, r4, #4
862 vst1.32 {d20[1]}, [r0, :32], r1
863 vst1.32 {d20[0]}, [r6, :32], r1
864 bgt 4b
865 pop {r4-r8, pc}
866 80:
867 vld1.8 {d6}, [r8]
868 vsubl.u8 q8, d6, d4 // top - topleft
869 vmov d7, d6
870 8:
871 vld4.8 {d0[], d1[], d2[], d3[]}, [r2, :32], r7
872 vaddw.u8 q9, q8, d0
873 vaddw.u8 q10, q8, d1
874 vaddw.u8 q11, q8, d2
875 vaddw.u8 q12, q8, d3
876 vqmovun.s16 d18, q9 // base
877 vqmovun.s16 d19, q10
878 vqmovun.s16 d20, q11
879 vqmovun.s16 d21, q12
880 vabd.u8 q11, q3, q9 // tdiff
881 vabd.u8 q12, q3, q10
882 vabd.u8 q13, q2, q9 // tldiff
883 vabd.u8 q14, q2, q10
884 vabd.u8 q10, q1, q10 // ldiff
885 vabd.u8 q9, q0, q9
886 vmin.u8 q15, q12, q14 // min(tdiff, tldiff)
887 vcge.u8 q12, q14, q12 // tldiff >= tdiff
888 vmin.u8 q14, q11, q13 // min(tdiff, tldiff)
889 vcge.u8 q11, q13, q11 // tldiff >= tdiff
890 vcge.u8 q10, q15, q10 // min(tdiff, tldiff) >= ldiff
891 vcge.u8 q9, q14, q9
892 vbsl q12, q3, q2 // tdiff <= tldiff ? top : topleft
893 vbsl q11, q3, q2
894 vbit q12, q1, q10 // ldiff <= min ? left : ...
895 vbit q11, q0, q9
896 vst1.8 {d25}, [r0, :64], r1
897 vst1.8 {d24}, [r6, :64], r1
898 subs r4, r4, #4
899 vst1.8 {d23}, [r0, :64], r1
900 vst1.8 {d22}, [r6, :64], r1
901 bgt 8b
902 pop {r4-r8, pc}
903 160:
904 320:
905 640:
906 vld1.8 {d6}, [r8]!
907 mov r12, r3
908 // Set up pointers for four rows in parallel; r0, r6, r5, lr
909 add r5, r0, r1
910 add lr, r6, r1
911 lsl r1, r1, #1
912 sub r1, r1, r3
913 1:
914 vld4.8 {d0[], d1[], d2[], d3[]}, [r2, :32], r7
915 2:
916 vsubl.u8 q8, d6, d4 // top - topleft
917 vmov d7, d6
918 vaddw.u8 q9, q8, d0
919 vaddw.u8 q10, q8, d1
920 vaddw.u8 q11, q8, d2
921 vaddw.u8 q12, q8, d3
922 vqmovun.s16 d18, q9 // base
923 vqmovun.s16 d19, q10
924 vqmovun.s16 d20, q11
925 vqmovun.s16 d21, q12
926 vabd.u8 q11, q3, q9 // tdiff
927 vabd.u8 q12, q3, q10
928 vabd.u8 q13, q2, q9 // tldiff
929 vabd.u8 q14, q2, q10
930 vabd.u8 q10, q1, q10 // ldiff
931 vabd.u8 q9, q0, q9
932 vmin.u8 q15, q12, q14 // min(tdiff, tldiff)
933 vcge.u8 q12, q14, q12 // tldiff >= tdiff
934 vmin.u8 q14, q11, q13 // min(tdiff, tldiff)
935 vcge.u8 q11, q13, q11 // tldiff >= tdiff
936 vcge.u8 q10, q15, q10 // min(tdiff, tldiff) >= ldiff
937 vcge.u8 q9, q14, q9
938 vbsl q12, q3, q2 // tdiff <= tldiff ? top : topleft
939 vbsl q11, q3, q2
940 vbit q12, q1, q10 // ldiff <= min ? left : ...
941 vbit q11, q0, q9
942 subs r3, r3, #8
943 vst1.8 {d25}, [r0, :64]!
944 vst1.8 {d24}, [r6, :64]!
945 vst1.8 {d23}, [r5, :64]!
946 vst1.8 {d22}, [lr, :64]!
947 ble 8f
948 vld1.8 {d6}, [r8]!
949 b 2b
950 8:
951 subs r4, r4, #4
952 ble 9f
953 // End of horizontal loop, move pointers to next four rows
954 sub r8, r8, r12
955 add r0, r0, r1
956 add r6, r6, r1
957 vld1.8 {d6}, [r8]!
958 add r5, r5, r1
959 add lr, lr, r1
960 mov r3, r12
961 b 1b
962 9:
963 pop {r4-r8, pc}
964 endfunc
965
966 // void ipred_smooth_8bpc_neon(pixel *dst, const ptrdiff_t stride,
967 // const pixel *const topleft,
968 // const int width, const int height, const int a,
969 // const int max_width, const int max_height);
970 function ipred_smooth_8bpc_neon, export=1
971 push {r4-r10, lr}
972 ldr r4, [sp, #32]
973 movrel r10, X(sm_weights)
974 add r12, r10, r4
975 add r10, r10, r3
976 clz r9, r3
977 adr r5, L(ipred_smooth_tbl)
978 sub lr, r2, r4
979 sub r9, r9, #25
980 ldr r9, [r5, r9, lsl #2]
981 vld1.8 {d4[]}, [lr] // bottom
982 add r8, r2, #1
983 add r5, r5, r9
984 add r6, r0, r1
985 lsl r1, r1, #1
986 bx r5
987
988 .align 2
989 L(ipred_smooth_tbl):
990 .word 640f - L(ipred_smooth_tbl) + CONFIG_THUMB
991 .word 320f - L(ipred_smooth_tbl) + CONFIG_THUMB
992 .word 160f - L(ipred_smooth_tbl) + CONFIG_THUMB
993 .word 80f - L(ipred_smooth_tbl) + CONFIG_THUMB
994 .word 40f - L(ipred_smooth_tbl) + CONFIG_THUMB
995
996 40:
997 vld1.32 {d16[]}, [r8] // top
998 vld1.32 {d18[]}, [r10, :32] // weights_hor
999 sub r2, r2, #4
1000 mov r7, #-4
1001 vdup.8 q3, d16[3] // right
1002 vsubl.u8 q8, d16, d4 // top-bottom
1003 vmovl.u8 q9, d18 // weights_hor
1004 4:
1005 vld4.8 {d0[], d1[], d2[], d3[]}, [r2, :32], r7 // left
1006 vld4.8 {d20[], d21[], d22[], d23[]}, [r12, :32]! // weights_ver
1007 vshll.i8 q12, d6, #8 // right*256
1008 vshll.i8 q13, d6, #8
1009 vzip.32 d1, d0 // left, flipped
1010 vzip.32 d3, d2
1011 vzip.32 d20, d21 // weights_ver
1012 vzip.32 d22, d23
1013 vshll.i8 q14, d4, #8 // bottom*256
1014 vshll.i8 q15, d4, #8
1015 vsubl.u8 q0, d1, d6 // left-right
1016 vsubl.u8 q1, d3, d6
1017 vmovl.u8 q10, d20 // weights_ver
1018 vmovl.u8 q11, d22
1019 vmla.i16 q12, q1, q9 // right*256 + (left-right)*weights_hor
1020 vmla.i16 q13, q0, q9 // (left flipped)
1021 vmla.i16 q14, q8, q10 // bottom*256 + (top-bottom)*weights_ver
1022 vmla.i16 q15, q8, q11
1023 vhadd.u16 q12, q12, q14
1024 vhadd.u16 q13, q13, q15
1025 vrshrn.i16 d24, q12, #8
1026 vrshrn.i16 d25, q13, #8
1027 vst1.32 {d24[0]}, [r0, :32], r1
1028 vst1.32 {d24[1]}, [r6, :32], r1
1029 subs r4, r4, #4
1030 vst1.32 {d25[0]}, [r0, :32], r1
1031 vst1.32 {d25[1]}, [r6, :32], r1
1032 bgt 4b
1033 pop {r4-r10, pc}
1034 80:
1035 vld1.8 {d16}, [r8] // top
1036 vld1.8 {d18}, [r10, :64] // weights_hor
1037 sub r2, r2, #2
1038 mov r7, #-2
1039 vdup.8 q3, d16[7] // right
1040 vsubl.u8 q8, d16, d4 // top-bottom
1041 vmovl.u8 q9, d18 // weights_hor
1042 8:
1043 vld2.8 {d0[], d1[]}, [r2, :16], r7 // left
1044 vld2.8 {d20[], d22[]}, [r12, :16]! // weights_ver
1045 vshll.i8 q12, d6, #8 // right*256
1046 vshll.i8 q13, d6, #8
1047 vshll.i8 q14, d4, #8 // bottom*256
1048 vshll.i8 q15, d4, #8
1049 vsubl.u8 q1, d0, d6 // left-right (left flipped)
1050 vsubl.u8 q0, d1, d6
1051 vmovl.u8 q10, d20 // weights_ver
1052 vmovl.u8 q11, d22
1053 vmla.i16 q12, q0, q9 // right*256 + (left-right)*weights_hor
1054 vmla.i16 q13, q1, q9
1055 vmla.i16 q14, q8, q10 // bottom*256 + (top-bottom)*weights_ver
1056 vmla.i16 q15, q8, q11
1057 vhadd.u16 q12, q12, q14
1058 vhadd.u16 q13, q13, q15
1059 vrshrn.i16 d24, q12, #8
1060 vrshrn.i16 d25, q13, #8
1061 subs r4, r4, #2
1062 vst1.8 {d24}, [r0, :64], r1
1063 vst1.8 {d25}, [r6, :64], r1
1064 bgt 8b
1065 pop {r4-r10, pc}
1066 160:
1067 320:
1068 640:
1069 add lr, r2, r3
1070 sub r2, r2, #2
1071 mov r7, #-2
1072 vld1.8 {d6[], d7[]}, [lr] // right
1073 sub r1, r1, r3
1074 mov r9, r3
1075
1076 1:
1077 vld2.8 {d0[], d1[]}, [r2, :16], r7 // left
1078 vld2.8 {d20[], d22[]}, [r12, :16]! // weights_ver
1079 vsubl.u8 q1, d0, d6 // left-right (left flipped)
1080 vsubl.u8 q0, d1, d6
1081 vmovl.u8 q10, d20 // weights_ver
1082 vmovl.u8 q11, d22
1083 2:
1084 vld1.8 {d16}, [r8]! // top
1085 vld1.8 {d18}, [r10, :64]! // weights_hor
1086 vshll.i8 q12, d6, #8 // right*256
1087 vshll.i8 q13, d6, #8
1088 vmovl.u8 q9, d18 // weights_hor
1089 vshll.i8 q14, d4, #8 // bottom*256
1090 vshll.i8 q15, d4, #8
1091 vsubl.u8 q8, d16, d4 // top-bottom
1092 vmla.i16 q12, q0, q9 // right*256 + (left-right)*weights_hor
1093 vmla.i16 q13, q1, q9
1094 vmla.i16 q14, q8, q10 // bottom*256 + (top-bottom)*weights_ver
1095 vmla.i16 q15, q8, q11
1096 vhadd.u16 q12, q12, q14
1097 vhadd.u16 q13, q13, q15
1098 vrshrn.i16 d24, q12, #8
1099 vrshrn.i16 d25, q13, #8
1100 subs r3, r3, #8
1101 vst1.8 {d24}, [r0, :64]!
1102 vst1.8 {d25}, [r6, :64]!
1103 bgt 2b
1104 subs r4, r4, #2
1105 ble 9f
1106 sub r8, r8, r9
1107 sub r10, r10, r9
1108 add r0, r0, r1
1109 add r6, r6, r1
1110 mov r3, r9
1111 b 1b
1112 9:
1113 pop {r4-r10, pc}
1114 endfunc
1115
1116 // void ipred_smooth_v_8bpc_neon(pixel *dst, const ptrdiff_t stride,
1117 // const pixel *const topleft,
1118 // const int width, const int height, const int a,
1119 // const int max_width, const int max_height);
1120 function ipred_smooth_v_8bpc_neon, export=1
1121 push {r4-r7, lr}
1122 ldr r4, [sp, #20]
1123 movrel r7, X(sm_weights)
1124 add r7, r7, r4
1125 clz lr, r3
1126 adr r5, L(ipred_smooth_v_tbl)
1127 sub r12, r2, r4
1128 sub lr, lr, #25
1129 ldr lr, [r5, lr, lsl #2]
1130 vld1.8 {d4[]}, [r12] // bottom
1131 add r2, r2, #1
1132 add r5, r5, lr
1133 add r6, r0, r1
1134 lsl r1, r1, #1
1135 bx r5
1136
1137 .align 2
1138 L(ipred_smooth_v_tbl):
1139 .word 640f - L(ipred_smooth_v_tbl) + CONFIG_THUMB
1140 .word 320f - L(ipred_smooth_v_tbl) + CONFIG_THUMB
1141 .word 160f - L(ipred_smooth_v_tbl) + CONFIG_THUMB
1142 .word 80f - L(ipred_smooth_v_tbl) + CONFIG_THUMB
1143 .word 40f - L(ipred_smooth_v_tbl) + CONFIG_THUMB
1144
1145 40:
1146 vld1.32 {d6[]}, [r2] // top
1147 vsubl.u8 q3, d6, d4 // top-bottom
1148 4:
1149 vld4.8 {d16[], d17[], d18[], d19[]}, [r7, :32]! // weights_ver
1150 vshll.i8 q10, d4, #8 // bottom*256
1151 vshll.i8 q11, d4, #8
1152 vzip.32 d16, d17 // weights_ver
1153 vzip.32 d18, d19
1154 vmovl.u8 q8, d16 // weights_ver
1155 vmovl.u8 q9, d18
1156 subs r4, r4, #4
1157 vmla.i16 q10, q3, q8 // bottom*256 + (top-bottom)*weights_ver
1158 vmla.i16 q11, q3, q9
1159 vrshrn.i16 d20, q10, #8
1160 vrshrn.i16 d21, q11, #8
1161 vst1.32 {d20[0]}, [r0, :32], r1
1162 vst1.32 {d20[1]}, [r6, :32], r1
1163 vst1.32 {d21[0]}, [r0, :32], r1
1164 vst1.32 {d21[1]}, [r6, :32], r1
1165 bgt 4b
1166 pop {r4-r7, pc}
1167 80:
1168 vld1.8 {d6}, [r2] // top
1169 vsubl.u8 q3, d6, d4 // top-bottom
1170 8:
1171 vld4.8 {d16[], d18[], d20[], d22[]}, [r7, :32]! // weights_ver
1172 vshll.i8 q12, d4, #8 // bottom*256
1173 vshll.i8 q13, d4, #8
1174 vshll.i8 q14, d4, #8
1175 vshll.i8 q15, d4, #8
1176 vmovl.u8 q8, d16 // weights_ver
1177 vmovl.u8 q9, d18
1178 vmovl.u8 q10, d20
1179 vmovl.u8 q11, d22
1180 vmla.i16 q12, q3, q8 // bottom*256 + (top-bottom)*weights_ver
1181 vmla.i16 q13, q3, q9
1182 vmla.i16 q14, q3, q10
1183 vmla.i16 q15, q3, q11
1184 vrshrn.i16 d24, q12, #8
1185 vrshrn.i16 d25, q13, #8
1186 vrshrn.i16 d26, q14, #8
1187 vrshrn.i16 d27, q15, #8
1188 vst1.8 {d24}, [r0, :64], r1
1189 vst1.8 {d25}, [r6, :64], r1
1190 subs r4, r4, #4
1191 vst1.8 {d26}, [r0, :64], r1
1192 vst1.8 {d27}, [r6, :64], r1
1193 bgt 8b
1194 pop {r4-r7, pc}
1195 160:
1196 320:
1197 640:
1198 vpush {q4-q7}
1199 // Set up pointers for four rows in parallel; r0, r6, r5, lr
1200 add r5, r0, r1
1201 add lr, r6, r1
1202 lsl r1, r1, #1
1203 sub r1, r1, r3
1204 mov r12, r3
1205
1206 1:
1207 vld4.8 {d8[], d10[], d12[], d14[]}, [r7, :32]! // weights_ver
1208 vmovl.u8 q4, d8 // weights_ver
1209 vmovl.u8 q5, d10
1210 vmovl.u8 q6, d12
1211 vmovl.u8 q7, d14
1212 2:
1213 vld1.8 {q3}, [r2]! // top
1214 vshll.i8 q8, d4, #8 // bottom*256
1215 vshll.i8 q9, d4, #8
1216 vshll.i8 q10, d4, #8
1217 vshll.i8 q11, d4, #8
1218 vsubl.u8 q0, d6, d4 // top-bottom
1219 vsubl.u8 q1, d7, d4
1220 vshll.i8 q12, d4, #8
1221 vshll.i8 q13, d4, #8
1222 vshll.i8 q14, d4, #8
1223 vshll.i8 q15, d4, #8
1224 vmla.i16 q8, q0, q4 // bottom*256 + (top-bottom)*weights_ver
1225 vmla.i16 q9, q1, q4
1226 vmla.i16 q10, q0, q5
1227 vmla.i16 q11, q1, q5
1228 vmla.i16 q12, q0, q6 // bottom*256 + (top-bottom)*weights_ver
1229 vmla.i16 q13, q1, q6
1230 vmla.i16 q14, q0, q7
1231 vmla.i16 q15, q1, q7
1232 vrshrn.i16 d16, q8, #8
1233 vrshrn.i16 d17, q9, #8
1234 vrshrn.i16 d18, q10, #8
1235 vrshrn.i16 d19, q11, #8
1236 vrshrn.i16 d20, q12, #8
1237 vrshrn.i16 d21, q13, #8
1238 vrshrn.i16 d22, q14, #8
1239 vrshrn.i16 d23, q15, #8
1240 subs r3, r3, #16
1241 vst1.8 {q8}, [r0, :128]!
1242 vst1.8 {q9}, [r6, :128]!
1243 vst1.8 {q10}, [r5, :128]!
1244 vst1.8 {q11}, [lr, :128]!
1245 bgt 2b
1246 subs r4, r4, #4
1247 ble 9f
1248 sub r2, r2, r12
1249 add r0, r0, r1
1250 add r6, r6, r1
1251 add r5, r5, r1
1252 add lr, lr, r1
1253 mov r3, r12
1254 b 1b
1255 9:
1256 vpop {q4-q7}
1257 pop {r4-r7, pc}
1258 endfunc
1259
1260 // void ipred_smooth_h_8bpc_neon(pixel *dst, const ptrdiff_t stride,
1261 // const pixel *const topleft,
1262 // const int width, const int height, const int a,
1263 // const int max_width, const int max_height);
1264 function ipred_smooth_h_8bpc_neon, export=1
1265 push {r4-r8, lr}
1266 ldr r4, [sp, #24]
1267 movrel r8, X(sm_weights)
1268 add r8, r8, r3
1269 clz lr, r3
1270 adr r5, L(ipred_smooth_h_tbl)
1271 add r12, r2, r3
1272 sub lr, lr, #25
1273 ldr lr, [r5, lr, lsl #2]
1274 vld1.8 {d4[]}, [r12] // right
1275 add r5, r5, lr
1276 add r6, r0, r1
1277 lsl r1, r1, #1
1278 bx r5
1279
1280 .align 2
1281 L(ipred_smooth_h_tbl):
1282 .word 640f - L(ipred_smooth_h_tbl) + CONFIG_THUMB
1283 .word 320f - L(ipred_smooth_h_tbl) + CONFIG_THUMB
1284 .word 160f - L(ipred_smooth_h_tbl) + CONFIG_THUMB
1285 .word 80f - L(ipred_smooth_h_tbl) + CONFIG_THUMB
1286 .word 40f - L(ipred_smooth_h_tbl) + CONFIG_THUMB
1287
1288 40:
1289 vld1.32 {d6[]}, [r8, :32] // weights_hor
1290 sub r2, r2, #4
1291 mov r7, #-4
1292 vmovl.u8 q3, d6 // weights_hor
1293 4:
1294 vld4.8 {d0[], d1[], d2[], d3[]}, [r2, :32], r7 // left
1295 vshll.i8 q8, d4, #8 // right*256
1296 vshll.i8 q9, d4, #8
1297 vzip.32 d3, d2 // left, flipped
1298 vzip.32 d1, d0
1299 vsubl.u8 q1, d3, d4 // left-right
1300 vsubl.u8 q0, d1, d4
1301 subs r4, r4, #4
1302 vmla.i16 q8, q1, q3 // right*256 + (left-right)*weights_hor
1303 vmla.i16 q9, q0, q3
1304 vrshrn.i16 d16, q8, #8
1305 vrshrn.i16 d17, q9, #8
1306 vst1.32 {d16[0]}, [r0, :32], r1
1307 vst1.32 {d16[1]}, [r6, :32], r1
1308 vst1.32 {d17[0]}, [r0, :32], r1
1309 vst1.32 {d17[1]}, [r6, :32], r1
1310 bgt 4b
1311 pop {r4-r8, pc}
1312 80:
1313 vld1.8 {d6}, [r8, :64] // weights_hor
1314 sub r2, r2, #4
1315 mov r7, #-4
1316 vmovl.u8 q3, d6 // weights_hor
1317 8:
1318 vld4.8 {d16[], d18[], d20[], d22[]}, [r2, :32], r7 // left
1319 vshll.i8 q12, d4, #8 // right*256
1320 vshll.i8 q13, d4, #8
1321 vshll.i8 q14, d4, #8
1322 vshll.i8 q15, d4, #8
1323 vsubl.u8 q11, d22, d4 // left-right
1324 vsubl.u8 q10, d20, d4
1325 vsubl.u8 q9, d18, d4
1326 vsubl.u8 q8, d16, d4
1327 vmla.i16 q12, q11, q3 // right*256 + (left-right)*weights_hor
1328 vmla.i16 q13, q10, q3 // (left flipped)
1329 vmla.i16 q14, q9, q3
1330 vmla.i16 q15, q8, q3
1331 vrshrn.i16 d24, q12, #8
1332 vrshrn.i16 d25, q13, #8
1333 vrshrn.i16 d26, q14, #8
1334 vrshrn.i16 d27, q15, #8
1335 vst1.8 {d24}, [r0, :64], r1
1336 vst1.8 {d25}, [r6, :64], r1
1337 subs r4, r4, #4
1338 vst1.8 {d26}, [r0, :64], r1
1339 vst1.8 {d27}, [r6, :64], r1
1340 bgt 8b
1341 pop {r4-r8, pc}
1342 160:
1343 320:
1344 640:
1345 vpush {q4-q7}
1346 sub r2, r2, #4
1347 mov r7, #-4
1348 // Set up pointers for four rows in parallel; r0, r6, r5, lr
1349 add r5, r0, r1
1350 add lr, r6, r1
1351 lsl r1, r1, #1
1352 sub r1, r1, r3
1353 mov r12, r3
1354
1355 1:
1356 vld4.8 {d8[], d10[], d12[], d14[]}, [r2, :32], r7 // left
1357 vsubl.u8 q4, d8, d4 // left-right
1358 vsubl.u8 q5, d10, d4
1359 vsubl.u8 q6, d12, d4
1360 vsubl.u8 q7, d14, d4
1361 2:
1362 vld1.8 {q1}, [r8, :128]! // weights_hor
1363 vshll.i8 q8, d4, #8 // right*256
1364 vshll.i8 q9, d4, #8
1365 vshll.i8 q10, d4, #8
1366 vshll.i8 q11, d4, #8
1367 vmovl.u8 q0, d2 // weights_hor
1368 vmovl.u8 q1, d3
1369 vshll.i8 q12, d4, #8
1370 vshll.i8 q13, d4, #8
1371 vshll.i8 q14, d4, #8
1372 vshll.i8 q15, d4, #8
1373 vmla.i16 q8, q7, q0 // right*256 + (left-right)*weights_hor
1374 vmla.i16 q9, q7, q1 // (left flipped)
1375 vmla.i16 q10, q6, q0
1376 vmla.i16 q11, q6, q1
1377 vmla.i16 q12, q5, q0
1378 vmla.i16 q13, q5, q1
1379 vmla.i16 q14, q4, q0
1380 vmla.i16 q15, q4, q1
1381 vrshrn.i16 d16, q8, #8
1382 vrshrn.i16 d17, q9, #8
1383 vrshrn.i16 d18, q10, #8
1384 vrshrn.i16 d19, q11, #8
1385 vrshrn.i16 d20, q12, #8
1386 vrshrn.i16 d21, q13, #8
1387 vrshrn.i16 d22, q14, #8
1388 vrshrn.i16 d23, q15, #8
1389 subs r3, r3, #16
1390 vst1.8 {q8}, [r0, :128]!
1391 vst1.8 {q9}, [r6, :128]!
1392 vst1.8 {q10}, [r5, :128]!
1393 vst1.8 {q11}, [lr, :128]!
1394 bgt 2b
1395 subs r4, r4, #4
1396 ble 9f
1397 sub r8, r8, r12
1398 add r0, r0, r1
1399 add r6, r6, r1
1400 add r5, r5, r1
1401 add lr, lr, r1
1402 mov r3, r12
1403 b 1b
1404 9:
1405 vpop {q4-q7}
1406 pop {r4-r8, pc}
1407 endfunc
1408
1409 // void ipred_filter_8bpc_neon(pixel *dst, const ptrdiff_t stride,
1410 // const pixel *const topleft,
1411 // const int width, const int height, const int filt_idx,
1412 // const int max_width, const int max_height);
1413 function ipred_filter_8bpc_neon, export=1
1414 push {r4-r8, lr}
1415 movw r12, #511
1416 ldrd r4, r5, [sp, #24]
1417 and r5, r5, r12 // 511
1418 movrel r6, X(filter_intra_taps)
1419 lsl r5, r5, #6
1420 add r6, r6, r5
1421 vld1.8 {d20, d21, d22, d23}, [r6, :128]!
1422 clz lr, r3
1423 adr r5, L(ipred_filter_tbl)
1424 vld1.8 {d27, d28, d29}, [r6, :64]
1425 sub lr, lr, #26
1426 ldr lr, [r5, lr, lsl #2]
1427 vmovl.s8 q8, d20
1428 vmovl.s8 q9, d21
1429 add r5, r5, lr
1430 vmovl.s8 q10, d22
1431 vmovl.s8 q11, d23
1432 add r6, r0, r1
1433 lsl r1, r1, #1
1434 vmovl.s8 q12, d27
1435 vmovl.s8 q13, d28
1436 vmovl.s8 q14, d29
1437 add r8, r2, #1
1438 sub r2, r2, #2
1439 mov r7, #-2
1440 bx r5
1441
1442 .align 2
1443 L(ipred_filter_tbl):
1444 .word 320f - L(ipred_filter_tbl) + CONFIG_THUMB
1445 .word 160f - L(ipred_filter_tbl) + CONFIG_THUMB
1446 .word 80f - L(ipred_filter_tbl) + CONFIG_THUMB
1447 .word 40f - L(ipred_filter_tbl) + CONFIG_THUMB
1448
1449 40:
1450 vld1.32 {d0[]}, [r8] // top (0-3)
1451 vmovl.u8 q0, d0 // top (0-3)
1452 4:
1453 vld1.32 {d2[]}, [r2], r7 // left (0-1) + topleft (2)
1454 vmul.i16 q2, q9, d0[0] // p1(top[0]) * filter(1)
1455 vmla.i16 q2, q10, d0[1] // p2(top[1]) * filter(2)
1456 vmla.i16 q2, q11, d0[2] // p3(top[2]) * filter(3)
1457 vmovl.u8 q1, d2 // left (0-1) + topleft (2)
1458 vmla.i16 q2, q12, d0[3] // p4(top[3]) * filter(4)
1459 vmla.i16 q2, q8, d2[2] // p0(topleft) * filter(0)
1460 vmla.i16 q2, q13, d2[1] // p5(left[0]) * filter(5)
1461 vmla.i16 q2, q14, d2[0] // p6(left[1]) * filter(6)
1462 vqrshrun.s16 d4, q2, #4
1463 subs r4, r4, #2
1464 vst1.32 {d4[0]}, [r0, :32], r1
1465 vmovl.u8 q0, d4
1466 vst1.32 {d4[1]}, [r6, :32], r1
1467 vmov d0, d1 // move top from [4-7] to [0-3]
1468 bgt 4b
1469 pop {r4-r8, pc}
1470 80:
1471 vld1.8 {d0}, [r8] // top (0-7)
1472 vmovl.u8 q0, d0 // top (0-7)
1473 8:
1474 vld1.32 {d2[]}, [r2], r7 // left (0-1) + topleft (2)
1475 vmul.i16 q2, q9, d0[0] // p1(top[0]) * filter(1)
1476 vmla.i16 q2, q10, d0[1] // p2(top[1]) * filter(2)
1477 vmla.i16 q2, q11, d0[2] // p3(top[2]) * filter(3)
1478 vmovl.u8 q1, d2 // left (0-1) + topleft (2)
1479 vmla.i16 q2, q12, d0[3] // p4(top[3]) * filter(4)
1480 vmla.i16 q2, q8, d2[2] // p0(topleft) * filter(0)
1481 vmla.i16 q2, q13, d2[1] // p5(left[0]) * filter(5)
1482 vmla.i16 q2, q14, d2[0] // p6(left[1]) * filter(6)
1483 vmul.i16 q3, q9, d1[0] // p1(top[0]) * filter(1)
1484 vmla.i16 q3, q10, d1[1] // p2(top[1]) * filter(2)
1485 vmla.i16 q3, q11, d1[2] // p3(top[2]) * filter(3)
1486 vqrshrun.s16 d4, q2, #4
1487 vmovl.u8 q1, d4 // first block, in 16 bit
1488 vmla.i16 q3, q12, d1[3] // p4(top[3]) * filter(4)
1489 vmla.i16 q3, q8, d0[3] // p0(topleft) * filter(0)
1490 vmla.i16 q3, q13, d2[3] // p5(left[0]) * filter(5)
1491 vmla.i16 q3, q14, d3[3] // p6(left[1]) * filter(6)
1492 vqrshrun.s16 d5, q3, #4
1493 vzip.32 d4, d5
1494 subs r4, r4, #2
1495 vst1.8 {d4}, [r0, :64], r1
1496 vmovl.u8 q0, d5
1497 vst1.8 {d5}, [r6, :64], r1
1498 bgt 8b
1499 pop {r4-r8, pc}
1500 160:
1501 320:
1502 vpush {q4-q5}
1503 sub r1, r1, r3
1504 mov lr, r3
1505
1506 1:
1507 vld1.32 {d0[]}, [r2], r7 // left (0-1) + topleft (2)
1508 vmovl.u8 q0, d0 // left (0-1) + topleft (2)
1509 2:
1510 vld1.8 {q2}, [r8]! // top(0-15)
1511 vmul.i16 q3, q8, d0[2] // p0(topleft) * filter(0)
1512 vmla.i16 q3, q13, d0[1] // p5(left[0]) * filter(5)
1513 vmovl.u8 q1, d4 // top(0-7)
1514 vmovl.u8 q2, d5 // top(8-15)
1515 vmla.i16 q3, q14, d0[0] // p6(left[1]) * filter(6)
1516 vmla.i16 q3, q9, d2[0] // p1(top[0]) * filter(1)
1517 vmla.i16 q3, q10, d2[1] // p2(top[1]) * filter(2)
1518 vmla.i16 q3, q11, d2[2] // p3(top[2]) * filter(3)
1519 vmla.i16 q3, q12, d2[3] // p4(top[3]) * filter(4)
1520
1521 vmul.i16 q4, q9, d3[0] // p1(top[0]) * filter(1)
1522 vmla.i16 q4, q10, d3[1] // p2(top[1]) * filter(2)
1523 vmla.i16 q4, q11, d3[2] // p3(top[2]) * filter(3)
1524 vqrshrun.s16 d6, q3, #4
1525 vmovl.u8 q0, d6 // first block, in 16 bit
1526 vmla.i16 q4, q12, d3[3] // p4(top[3]) * filter(4)
1527 vmla.i16 q4, q8, d2[3] // p0(topleft) * filter(0)
1528 vmla.i16 q4, q13, d0[3] // p5(left[0]) * filter(5)
1529 vmla.i16 q4, q14, d1[3] // p6(left[1]) * filter(6)
1530
1531 vmul.i16 q5, q9, d4[0] // p1(top[0]) * filter(1)
1532 vmla.i16 q5, q10, d4[1] // p2(top[1]) * filter(2)
1533 vmla.i16 q5, q11, d4[2] // p3(top[2]) * filter(3)
1534 vqrshrun.s16 d7, q4, #4
1535 vmovl.u8 q0, d7 // second block, in 16 bit
1536 vmla.i16 q5, q12, d4[3] // p4(top[3]) * filter(4)
1537 vmla.i16 q5, q8, d3[3] // p0(topleft) * filter(0)
1538 vmla.i16 q5, q13, d0[3] // p5(left[0]) * filter(5)
1539 vmla.i16 q5, q14, d1[3] // p6(left[1]) * filter(6)
1540
1541 vmul.i16 q15, q9, d5[0] // p1(top[0]) * filter(1)
1542 vmla.i16 q15, q10, d5[1] // p2(top[1]) * filter(2)
1543 vmla.i16 q15, q11, d5[2] // p3(top[2]) * filter(3)
1544 vqrshrun.s16 d8, q5, #4
1545 vmovl.u8 q0, d8 // third block, in 16 bit
1546 vmov.u8 r12, d5[6]
1547 vmla.i16 q15, q12, d5[3] // p4(top[3]) * filter(4)
1548 vmla.i16 q15, q8, d4[3] // p0(topleft) * filter(0)
1549 vmla.i16 q15, q13, d0[3] // p5(left[0]) * filter(5)
1550 vmla.i16 q15, q14, d1[3] // p6(left[1]) * filter(6)
1551 vmov.8 d0[4], r12
1552
1553 subs r3, r3, #16
1554 vqrshrun.s16 d9, q15, #4
1555
1556 vst4.32 {d6[0], d7[0], d8[0], d9[0]}, [r0, :128]!
1557 vst4.32 {d6[1], d7[1], d8[1], d9[1]}, [r6, :128]!
1558 ble 8f
1559 vmov.u8 r12, d9[7]
1560 vmov.8 d0[0], r12
1561 vmov.u8 r12, d9[3]
1562 vmov.8 d0[2], r12
1563 b 2b
1564 8:
1565 subs r4, r4, #2
1566
1567 ble 9f
1568 sub r8, r6, lr
1569 add r0, r0, r1
1570 add r6, r6, r1
1571 mov r3, lr
1572 b 1b
1573 9:
1574 vpop {q4-q5}
1575 pop {r4-r8, pc}
1576 endfunc
1577
1578 // void pal_pred_8bpc_neon(pixel *dst, const ptrdiff_t stride,
1579 // const uint16_t *const pal, const uint8_t *idx,
1580 // const int w, const int h);
1581 function pal_pred_8bpc_neon, export=1
1582 push {r4-r5, lr}
1583 ldrd r4, r5, [sp, #12]
1584 vld1.16 {q0}, [r2, :128]
1585 clz lr, r4
1586 adr r12, L(pal_pred_tbl)
1587 sub lr, lr, #25
1588 ldr lr, [r12, lr, lsl #2]
1589 vmovn.i16 d0, q0
1590 add r12, r12, lr
1591 add r2, r0, r1
1592 bx r12
1593
1594 .align 2
1595 L(pal_pred_tbl):
1596 .word 640f - L(pal_pred_tbl) + CONFIG_THUMB
1597 .word 320f - L(pal_pred_tbl) + CONFIG_THUMB
1598 .word 160f - L(pal_pred_tbl) + CONFIG_THUMB
1599 .word 80f - L(pal_pred_tbl) + CONFIG_THUMB
1600 .word 40f - L(pal_pred_tbl) + CONFIG_THUMB
1601
1602 40:
1603 lsl r1, r1, #1
1604 4:
1605 vld1.8 {q1}, [r3, :128]!
1606 subs r5, r5, #4
1607 vtbl.8 d2, {d0}, d2
1608 vtbl.8 d3, {d0}, d3
1609 vst1.32 {d2[0]}, [r0, :32], r1
1610 vst1.32 {d2[1]}, [r2, :32], r1
1611 vst1.32 {d3[0]}, [r0, :32], r1
1612 vst1.32 {d3[1]}, [r2, :32], r1
1613 bgt 4b
1614 pop {r4-r5, pc}
1615 80:
1616 lsl r1, r1, #1
1617 8:
1618 vld1.8 {q1, q2}, [r3, :128]!
1619 subs r5, r5, #4
1620 vtbl.8 d2, {d0}, d2
1621 vtbl.8 d3, {d0}, d3
1622 vst1.8 {d2}, [r0, :64], r1
1623 vtbl.8 d4, {d0}, d4
1624 vst1.8 {d3}, [r2, :64], r1
1625 vtbl.8 d5, {d0}, d5
1626 vst1.8 {d4}, [r0, :64], r1
1627 vst1.8 {d5}, [r2, :64], r1
1628 bgt 8b
1629 pop {r4-r5, pc}
1630 160:
1631 lsl r1, r1, #1
1632 16:
1633 vld1.8 {q8, q9}, [r3, :128]!
1634 subs r5, r5, #4
1635 vld1.8 {q10, q11}, [r3, :128]!
1636 vtbl.8 d16, {d0}, d16
1637 vtbl.8 d17, {d0}, d17
1638 vtbl.8 d18, {d0}, d18
1639 vtbl.8 d19, {d0}, d19
1640 vtbl.8 d20, {d0}, d20
1641 vtbl.8 d21, {d0}, d21
1642 vst1.8 {q8}, [r0, :128], r1
1643 vtbl.8 d22, {d0}, d22
1644 vst1.8 {q9}, [r2, :128], r1
1645 vtbl.8 d23, {d0}, d23
1646 vst1.8 {q10}, [r0, :128], r1
1647 vst1.8 {q11}, [r2, :128], r1
1648 bgt 16b
1649 pop {r4-r5, pc}
1650 320:
1651 lsl r1, r1, #1
1652 32:
1653 vld1.8 {q8, q9}, [r3, :128]!
1654 subs r5, r5, #2
1655 vld1.8 {q10, q11}, [r3, :128]!
1656 vtbl.8 d16, {d0}, d16
1657 vtbl.8 d17, {d0}, d17
1658 vtbl.8 d18, {d0}, d18
1659 vtbl.8 d19, {d0}, d19
1660 vtbl.8 d20, {d0}, d20
1661 vtbl.8 d21, {d0}, d21
1662 vst1.8 {q8, q9}, [r0, :128], r1
1663 vtbl.8 d22, {d0}, d22
1664 vtbl.8 d23, {d0}, d23
1665 vst1.8 {q10, q11}, [r2, :128], r1
1666 bgt 32b
1667 pop {r4-r5, pc}
1668 640:
1669 sub r1, r1, #32
1670 64:
1671 vld1.8 {q8, q9}, [r3, :128]!
1672 subs r5, r5, #1
1673 vld1.8 {q10, q11}, [r3, :128]!
1674 vtbl.8 d16, {d0}, d16
1675 vtbl.8 d17, {d0}, d17
1676 vtbl.8 d18, {d0}, d18
1677 vtbl.8 d19, {d0}, d19
1678 vtbl.8 d20, {d0}, d20
1679 vtbl.8 d21, {d0}, d21
1680 vst1.8 {q8, q9}, [r0, :128]!
1681 vtbl.8 d22, {d0}, d22
1682 vtbl.8 d23, {d0}, d23
1683 vst1.8 {q10, q11}, [r0, :128], r1
1684 bgt 64b
1685 pop {r4-r5, pc}
1686 endfunc
1687
1688 // void ipred_cfl_128_8bpc_neon(pixel *dst, const ptrdiff_t stride,
1689 // const pixel *const topleft,
1690 // const int width, const int height,
1691 // const int16_t *ac, const int alpha);
1692 function ipred_cfl_128_8bpc_neon, export=1
1693 push {r4-r8, lr}
1694 ldrd r4, r5, [sp, #24]
1695 ldr r6, [sp, #32]
1696 clz lr, r3
1697 adr r12, L(ipred_cfl_128_tbl)
1698 sub lr, lr, #26
1699 ldr lr, [r12, lr, lsl #2]
1700 vmov.i16 q0, #128 // dc
1701 vdup.i16 q1, r6 // alpha
1702 add r12, r12, lr
1703 add r6, r0, r1
1704 lsl r1, r1, #1
1705 bx r12
1706
1707 .align 2
1708 L(ipred_cfl_128_tbl):
1709 L(ipred_cfl_splat_tbl):
1710 .word L(ipred_cfl_splat_w16) - L(ipred_cfl_128_tbl) + CONFIG_THUMB
1711 .word L(ipred_cfl_splat_w16) - L(ipred_cfl_128_tbl) + CONFIG_THUMB
1712 .word L(ipred_cfl_splat_w8) - L(ipred_cfl_128_tbl) + CONFIG_THUMB
1713 .word L(ipred_cfl_splat_w4) - L(ipred_cfl_128_tbl) + CONFIG_THUMB
1714
1715 L(ipred_cfl_splat_w4):
1716 vld1.16 {q2, q3}, [r5, :128]!
1717 vmul.i16 q2, q2, q1 // diff = ac * alpha
1718 vmul.i16 q3, q3, q1
1719 vshr.s16 q8, q2, #15 // sign = diff >> 15
1720 vshr.s16 q9, q3, #15
1721 vadd.i16 q2, q2, q8 // diff + sign
1722 vadd.i16 q3, q3, q9
1723 vrshr.s16 q2, q2, #6 // (diff + sign + 32) >> 6 = apply_sign()
1724 vrshr.s16 q3, q3, #6
1725 vadd.i16 q2, q2, q0 // dc + apply_sign()
1726 vadd.i16 q3, q3, q0
1727 vqmovun.s16 d4, q2 // iclip_pixel(dc + apply_sign())
1728 vqmovun.s16 d5, q3
1729 vst1.32 {d4[0]}, [r0, :32], r1
1730 vst1.32 {d4[1]}, [r6, :32], r1
1731 subs r4, r4, #4
1732 vst1.32 {d5[0]}, [r0, :32], r1
1733 vst1.32 {d5[1]}, [r6, :32], r1
1734 bgt L(ipred_cfl_splat_w4)
1735 pop {r4-r8, pc}
1736 L(ipred_cfl_splat_w8):
1737 vld1.16 {q8, q9}, [r5, :128]!
1738 vld1.16 {q10, q11}, [r5, :128]!
1739 vmul.i16 q8, q8, q1 // diff = ac * alpha
1740 vmul.i16 q9, q9, q1
1741 vmul.i16 q10, q10, q1
1742 vmul.i16 q11, q11, q1
1743 vshr.s16 q12, q8, #15 // sign = diff >> 15
1744 vshr.s16 q13, q9, #15
1745 vshr.s16 q14, q10, #15
1746 vshr.s16 q15, q11, #15
1747 vadd.i16 q8, q8, q12 // diff + sign
1748 vadd.i16 q9, q9, q13
1749 vadd.i16 q10, q10, q14
1750 vadd.i16 q11, q11, q15
1751 vrshr.s16 q8, q8, #6 // (diff + sign + 32) >> 6 = apply_sign()
1752 vrshr.s16 q9, q9, #6
1753 vrshr.s16 q10, q10, #6
1754 vrshr.s16 q11, q11, #6
1755 vadd.i16 q8, q8, q0 // dc + apply_sign()
1756 vadd.i16 q9, q9, q0
1757 vadd.i16 q10, q10, q0
1758 vadd.i16 q11, q11, q0
1759 vqmovun.s16 d16, q8 // iclip_pixel(dc + apply_sign())
1760 vqmovun.s16 d17, q9
1761 vqmovun.s16 d18, q10
1762 vqmovun.s16 d19, q11
1763 vst1.8 {d16}, [r0, :64], r1
1764 vst1.8 {d17}, [r6, :64], r1
1765 subs r4, r4, #4
1766 vst1.8 {d18}, [r0, :64], r1
1767 vst1.8 {d19}, [r6, :64], r1
1768 bgt L(ipred_cfl_splat_w8)
1769 pop {r4-r8, pc}
1770 L(ipred_cfl_splat_w16):
1771 add r12, r5, r3, lsl #1
1772 sub r1, r1, r3
1773 mov lr, r3
1774 1:
1775 vld1.16 {q8, q9}, [r5, :128]!
1776 vmul.i16 q8, q8, q1 // diff = ac * alpha
1777 vld1.16 {q10, q11}, [r12, :128]!
1778 vmul.i16 q9, q9, q1
1779 vmul.i16 q10, q10, q1
1780 vmul.i16 q11, q11, q1
1781 vshr.s16 q12, q8, #15 // sign = diff >> 15
1782 vshr.s16 q13, q9, #15
1783 vshr.s16 q14, q10, #15
1784 vshr.s16 q15, q11, #15
1785 vadd.i16 q8, q8, q12 // diff + sign
1786 vadd.i16 q9, q9, q13
1787 vadd.i16 q10, q10, q14
1788 vadd.i16 q11, q11, q15
1789 vrshr.s16 q8, q8, #6 // (diff + sign + 32) >> 6 = apply_sign()
1790 vrshr.s16 q9, q9, #6
1791 vrshr.s16 q10, q10, #6
1792 vrshr.s16 q11, q11, #6
1793 vadd.i16 q8, q8, q0 // dc + apply_sign()
1794 vadd.i16 q9, q9, q0
1795 vadd.i16 q10, q10, q0
1796 vadd.i16 q11, q11, q0
1797 vqmovun.s16 d16, q8 // iclip_pixel(dc + apply_sign())
1798 vqmovun.s16 d17, q9
1799 vqmovun.s16 d18, q10
1800 vqmovun.s16 d19, q11
1801 subs r3, r3, #16
1802 vst1.16 {q8}, [r0, :128]!
1803 vst1.16 {q9}, [r6, :128]!
1804 bgt 1b
1805 subs r4, r4, #2
1806 add r5, r5, lr, lsl #1
1807 add r12, r12, lr, lsl #1
1808 add r0, r0, r1
1809 add r6, r6, r1
1810 mov r3, lr
1811 bgt 1b
1812 pop {r4-r8, pc}
1813 endfunc
1814
1815 // void ipred_cfl_top_8bpc_neon(pixel *dst, const ptrdiff_t stride,
1816 // const pixel *const topleft,
1817 // const int width, const int height,
1818 // const int16_t *ac, const int alpha);
1819 function ipred_cfl_top_8bpc_neon, export=1
1820 push {r4-r8, lr}
1821 ldrd r4, r5, [sp, #24]
1822 ldr r6, [sp, #32]
1823 clz lr, r3
1824 adr r12, L(ipred_cfl_top_tbl)
1825 sub lr, lr, #26
1826 ldr lr, [r12, lr, lsl #2]
1827 vdup.16 q1, r6 // alpha
1828 add r2, r2, #1
1829 add r12, r12, lr
1830 add r6, r0, r1
1831 lsl r1, r1, #1
1832 bx r12
1833
1834 .align 2
1835 L(ipred_cfl_top_tbl):
1836 .word 32f - L(ipred_cfl_top_tbl) + CONFIG_THUMB
1837 .word 16f - L(ipred_cfl_top_tbl) + CONFIG_THUMB
1838 .word 8f - L(ipred_cfl_top_tbl) + CONFIG_THUMB
1839 .word 4f - L(ipred_cfl_top_tbl) + CONFIG_THUMB
1840
1841 4:
1842 vld1.32 {d0[]}, [r2]
1843 vpaddl.u8 d0, d0
1844 vpadd.u16 d0, d0
1845 vrshr.u16 d0, d0, #2
1846 vdup.16 q0, d0[0]
1847 b L(ipred_cfl_splat_w4)
1848 8:
1849 vld1.8 {d0}, [r2]
1850 vpaddl.u8 d0, d0
1851 vpadd.u16 d0, d0
1852 vpadd.u16 d0, d0
1853 vrshr.u16 d0, d0, #3
1854 vdup.16 q0, d0[0]
1855 b L(ipred_cfl_splat_w8)
1856 16:
1857 vld1.8 {q0}, [r2]
1858 vaddl.u8 q0, d0, d1
1859 vadd.u16 d0, d0, d1
1860 vpadd.u16 d0, d0
1861 vpadd.u16 d0, d0
1862 vrshr.u16 d0, d0, #4
1863 vdup.16 q0, d0[0]
1864 b L(ipred_cfl_splat_w16)
1865 32:
1866 vld1.8 {q2, q3}, [r2]
1867 vaddl.u8 q2, d4, d5
1868 vaddl.u8 q3, d6, d7
1869 vadd.u16 q0, q2, q3
1870 vadd.u16 d0, d0, d1
1871 vpadd.u16 d0, d0
1872 vpadd.u16 d0, d0
1873 vrshr.u16 d0, d0, #5
1874 vdup.16 q0, d0[0]
1875 b L(ipred_cfl_splat_w16)
1876 endfunc
1877
1878 // void ipred_cfl_left_8bpc_neon(pixel *dst, const ptrdiff_t stride,
1879 // const pixel *const topleft,
1880 // const int width, const int height,
1881 // const int16_t *ac, const int alpha);
1882 function ipred_cfl_left_8bpc_neon, export=1
1883 push {r4-r8, lr}
1884 ldrd r4, r5, [sp, #24]
1885 ldr r6, [sp, #32]
1886 sub r2, r2, r4
1887 clz lr, r3
1888 clz r8, r4
1889 adr r12, L(ipred_cfl_splat_tbl)
1890 adr r7, L(ipred_cfl_left_tbl)
1891 sub lr, lr, #26
1892 sub r8, r8, #26
1893 ldr lr, [r12, lr, lsl #2]
1894 ldr r8, [r7, r8, lsl #2]
1895 vdup.16 q1, r6 // alpha
1896 add r12, r12, lr
1897 add r7, r7, r8
1898 add r6, r0, r1
1899 lsl r1, r1, #1
1900 bx r7
1901
1902 .align 2
1903 L(ipred_cfl_left_tbl):
1904 .word L(ipred_cfl_left_h32) - L(ipred_cfl_left_tbl) + CONFIG_THUMB
1905 .word L(ipred_cfl_left_h16) - L(ipred_cfl_left_tbl) + CONFIG_THUMB
1906 .word L(ipred_cfl_left_h8) - L(ipred_cfl_left_tbl) + CONFIG_THUMB
1907 .word L(ipred_cfl_left_h4) - L(ipred_cfl_left_tbl) + CONFIG_THUMB
1908
1909 L(ipred_cfl_left_h4):
1910 vld1.32 {d0[]}, [r2, :32]
1911 vpaddl.u8 d0, d0
1912 vpadd.u16 d0, d0
1913 vrshr.u16 d0, d0, #2
1914 vdup.16 q0, d0[0]
1915 bx r12
1916
1917 L(ipred_cfl_left_h8):
1918 vld1.8 {d0}, [r2, :64]
1919 vpaddl.u8 d0, d0
1920 vpadd.u16 d0, d0
1921 vpadd.u16 d0, d0
1922 vrshr.u16 d0, d0, #3
1923 vdup.16 q0, d0[0]
1924 bx r12
1925
1926 L(ipred_cfl_left_h16):
1927 vld1.8 {q0}, [r2, :128]
1928 vaddl.u8 q0, d0, d1
1929 vadd.u16 d0, d0, d1
1930 vpadd.u16 d0, d0
1931 vpadd.u16 d0, d0
1932 vrshr.u16 d0, d0, #4
1933 vdup.16 q0, d0[0]
1934 bx r12
1935
1936 L(ipred_cfl_left_h32):
1937 vld1.8 {q2, q3}, [r2, :128]
1938 vaddl.u8 q2, d4, d5
1939 vaddl.u8 q3, d6, d7
1940 vadd.u16 q0, q2, q3
1941 vadd.u16 d0, d0, d1
1942 vpadd.u16 d0, d0
1943 vpadd.u16 d0, d0
1944 vrshr.u16 d0, d0, #5
1945 vdup.16 q0, d0[0]
1946 bx r12
1947 endfunc
1948
1949 // void ipred_cfl_8bpc_neon(pixel *dst, const ptrdiff_t stride,
1950 // const pixel *const topleft,
1951 // const int width, const int height,
1952 // const int16_t *ac, const int alpha);
1953 function ipred_cfl_8bpc_neon, export=1
1954 push {r4-r8, lr}
1955 ldrd r4, r5, [sp, #24]
1956 ldr r6, [sp, #32]
1957 sub r2, r2, r4
1958 add r8, r3, r4 // width + height
1959 vdup.16 q1, r6 // alpha
1960 clz lr, r3
1961 clz r6, r4
1962 vdup.16 d16, r8 // width + height
1963 adr r7, L(ipred_cfl_tbl)
1964 rbit r8, r8 // rbit(width + height)
1965 sub lr, lr, #22 // 26 leading bits, minus table offset 4
1966 sub r6, r6, #26
1967 clz r8, r8 // ctz(width + height)
1968 ldr lr, [r7, lr, lsl #2]
1969 ldr r6, [r7, r6, lsl #2]
1970 neg r8, r8 // -ctz(width + height)
1971 add r12, r7, lr
1972 add r7, r7, r6
1973 vshr.u16 d16, d16, #1 // (width + height) >> 1
1974 vdup.16 d17, r8 // -ctz(width + height)
1975 add r6, r0, r1
1976 lsl r1, r1, #1
1977 bx r7
1978
1979 .align 2
1980 L(ipred_cfl_tbl):
1981 .word L(ipred_cfl_h32) - L(ipred_cfl_tbl) + CONFIG_THUMB
1982 .word L(ipred_cfl_h16) - L(ipred_cfl_tbl) + CONFIG_THUMB
1983 .word L(ipred_cfl_h8) - L(ipred_cfl_tbl) + CONFIG_THUMB
1984 .word L(ipred_cfl_h4) - L(ipred_cfl_tbl) + CONFIG_THUMB
1985 .word L(ipred_cfl_w32) - L(ipred_cfl_tbl) + CONFIG_THUMB
1986 .word L(ipred_cfl_w16) - L(ipred_cfl_tbl) + CONFIG_THUMB
1987 .word L(ipred_cfl_w8) - L(ipred_cfl_tbl) + CONFIG_THUMB
1988 .word L(ipred_cfl_w4) - L(ipred_cfl_tbl) + CONFIG_THUMB
1989
1990 L(ipred_cfl_h4):
1991 vld1.32 {d0[]}, [r2, :32]!
1992 vpaddl.u8 d0, d0
1993 add r2, r2, #1
1994 vpadd.i16 d0, d0
1995 bx r12
1996 L(ipred_cfl_w4):
1997 vld1.32 {d1[]}, [r2]
1998 vadd.i16 d0, d0, d16
1999 vpaddl.u8 d1, d1
2000 vpadd.u16 d1, d1
2001 cmp r4, #4
2002 vadd.i16 d0, d0, d1
2003 vshl.u16 d0, d0, d17
2004 beq 1f
2005 // h = 8/16
2006 movw lr, #(0x3334/2)
2007 movw r8, #(0x5556/2)
2008 cmp r4, #16
2009 it ne
2010 movne lr, r8
2011 vdup.16 d18, lr
2012 vqdmulh.s16 d0, d0, d18
2013 1:
2014 vdup.16 q0, d0[0]
2015 b L(ipred_cfl_splat_w4)
2016
2017 L(ipred_cfl_h8):
2018 vld1.8 {d0}, [r2, :64]!
2019 vpaddl.u8 d0, d0
2020 vpadd.i16 d0, d0
2021 add r2, r2, #1
2022 vpadd.i16 d0, d0
2023 bx r12
2024 L(ipred_cfl_w8):
2025 vld1.8 {d1}, [r2]
2026 vadd.i16 d0, d0, d16
2027 vpaddl.u8 d1, d1
2028 vpadd.i16 d1, d1
2029 vpadd.i16 d1, d1
2030 cmp r4, #8
2031 vadd.i16 d0, d0, d1
2032 vshl.u16 d0, d0, d17
2033 beq 1f
2034 // h = 4/16/32
2035 cmp r4, #32
2036 movw lr, #(0x3334/2)
2037 movw r8, #(0x5556/2)
2038 it ne
2039 movne lr, r8
2040 vdup.16 d18, lr
2041 vqdmulh.s16 d0, d0, d18
2042 1:
2043 vdup.16 q0, d0[0]
2044 b L(ipred_cfl_splat_w8)
2045
2046 L(ipred_cfl_h16):
2047 vld1.8 {q0}, [r2, :128]!
2048 vaddl.u8 q0, d0, d1
2049 vadd.i16 d0, d0, d1
2050 vpadd.i16 d0, d0
2051 add r2, r2, #1
2052 vpadd.i16 d0, d0
2053 bx r12
2054 L(ipred_cfl_w16):
2055 vld1.8 {q2}, [r2]
2056 vadd.i16 d0, d0, d16
2057 vaddl.u8 q2, d4, d5
2058 vadd.i16 d4, d4, d5
2059 vpadd.i16 d4, d4
2060 vpadd.i16 d4, d4
2061 cmp r4, #16
2062 vadd.i16 d0, d0, d4
2063 vshl.u16 d0, d0, d17
2064 beq 1f
2065 // h = 4/8/32/64
2066 tst r4, #(32+16+8) // 16 added to make a consecutive bitmask
2067 movw lr, #(0x3334/2)
2068 movw r8, #(0x5556/2)
2069 it ne
2070 movne lr, r8
2071 vdup.16 d18, lr
2072 vqdmulh.s16 d0, d0, d18
2073 1:
2074 vdup.16 q0, d0[0]
2075 b L(ipred_cfl_splat_w16)
2076
2077 L(ipred_cfl_h32):
2078 vld1.8 {q2, q3}, [r2, :128]!
2079 vaddl.u8 q2, d4, d5
2080 vaddl.u8 q3, d6, d7
2081 vadd.i16 q0, q2, q3
2082 vadd.i16 d0, d0, d1
2083 vpadd.i16 d0, d0
2084 add r2, r2, #1
2085 vpadd.i16 d0, d0
2086 bx r12
2087 L(ipred_cfl_w32):
2088 vld1.8 {q2, q3}, [r2]
2089 vadd.i16 d0, d0, d16
2090 vaddl.u8 q2, d4, d5
2091 vaddl.u8 q3, d6, d7
2092 vadd.i16 q2, q2, q3
2093 vadd.i16 d4, d4, d5
2094 vpadd.i16 d4, d4
2095 vpadd.i16 d4, d4
2096 cmp r4, #32
2097 vadd.i16 d0, d0, d4
2098 vshl.u16 d0, d0, d17
2099 beq 1f
2100 // h = 8/16/64
2101 cmp r4, #8
2102 movw lr, #(0x3334/2)
2103 movw r8, #(0x5556/2)
2104 it ne
2105 movne lr, r8
2106 vdup.16 d18, lr
2107 vqdmulh.s16 d0, d0, d18
2108 1:
2109 vdup.16 q0, d0[0]
2110 b L(ipred_cfl_splat_w16)
2111 endfunc
2112
2113 // void cfl_ac_420_8bpc_neon(int16_t *const ac, const pixel *const ypx,
2114 // const ptrdiff_t stride, const int w_pad,
2115 // const int h_pad, const int cw, const int ch);
2116 function ipred_cfl_ac_420_8bpc_neon, export=1
2117 push {r4-r8,lr}
2118 ldrd r4, r5, [sp, #24]
2119 ldr r6, [sp, #32]
2120 clz r8, r5
2121 lsl r4, r4, #2
2122 adr r7, L(ipred_cfl_ac_420_tbl)
2123 sub r8, r8, #27
2124 ldr r8, [r7, r8, lsl #2]
2125 vmov.i16 q8, #0
2126 vmov.i16 q9, #0
2127 vmov.i16 q10, #0
2128 vmov.i16 q11, #0
2129 add r7, r7, r8
2130 sub r8, r6, r4 // height - h_pad
2131 rbit lr, r5 // rbit(width)
2132 rbit r12, r6 // rbit(height)
2133 clz lr, lr // ctz(width)
2134 clz r12, r12 // ctz(height)
2135 add lr, lr, r12 // log2sz
2136 add r12, r1, r2
2137 vdup.32 d31, lr
2138 lsl r2, r2, #1
2139 vneg.s32 d31, d31 // -log2sz
2140 bx r7
2141
2142 .align 2
2143 L(ipred_cfl_ac_420_tbl):
2144 .word L(ipred_cfl_ac_420_w16) - L(ipred_cfl_ac_420_tbl) + CONFIG_THUMB
2145 .word L(ipred_cfl_ac_420_w8) - L(ipred_cfl_ac_420_tbl) + CONFIG_THUMB
2146 .word L(ipred_cfl_ac_420_w4) - L(ipred_cfl_ac_420_tbl) + CONFIG_THUMB
2147
2148 L(ipred_cfl_ac_420_w4):
2149 1: // Copy and subsample input
2150 vld1.8 {d0}, [r1, :64], r2
2151 vld1.8 {d2}, [r12, :64], r2
2152 vld1.8 {d1}, [r1, :64], r2
2153 vld1.8 {d3}, [r12, :64], r2
2154 vpaddl.u8 q0, q0
2155 vpaddl.u8 q1, q1
2156 vadd.i16 q0, q0, q1
2157 vshl.i16 q0, q0, #1
2158 subs r8, r8, #2
2159 vst1.16 {q0}, [r0, :128]!
2160 vadd.i16 q8, q8, q0
2161 bgt 1b
2162 cmp r4, #0
2163 vmov d0, d1
2164 vmov d2, d1
2165 vmov d3, d1
2166 L(ipred_cfl_ac_420_w4_hpad):
2167 beq 3f // This assumes that all callers already did "cmp r4, #0"
2168 2: // Vertical padding (h_pad > 0)
2169 subs r4, r4, #4
2170 vst1.16 {q0, q1}, [r0, :128]!
2171 vadd.i16 q8, q8, q0
2172 vadd.i16 q8, q8, q1
2173 bgt 2b
2174 3:
2175 L(ipred_cfl_ac_420_w4_calc_subtract_dc):
2176 // Aggregate the sums
2177 vadd.i16 q0, q8, q9
2178 vadd.i16 q1, q10, q11
2179 vpaddl.u16 q0, q0
2180 vpaddl.u16 q1, q1
2181 vadd.i32 q0, q1
2182 vadd.i32 d0, d0, d1
2183 vpadd.i32 d0, d0, d0 // sum
2184 sub r0, r0, r6, lsl #3
2185 vrshl.u32 d16, d0, d31 // (sum + (1 << (log2sz - 1))) >>= log2sz
2186 vdup.16 q8, d16[0]
2187 L(ipred_cfl_ac_420_w4_subtract_dc):
2188 6: // Subtract dc from ac
2189 vld1.16 {q0, q1}, [r0, :128]
2190 subs r6, r6, #4
2191 vsub.i16 q0, q0, q8
2192 vsub.i16 q1, q1, q8
2193 vst1.16 {q0, q1}, [r0, :128]!
2194 bgt 6b
2195 pop {r4-r8, pc}
2196
2197 L(ipred_cfl_ac_420_w8):
2198 cmp r3, #0
2199 bne L(ipred_cfl_ac_420_w8_wpad)
2200 1: // Copy and subsample input, without padding
2201 vld1.8 {q0}, [r1, :128], r2
2202 vld1.8 {q1}, [r12, :128], r2
2203 vld1.8 {q2}, [r1, :128], r2
2204 vpaddl.u8 q0, q0
2205 vld1.8 {q3}, [r12, :128], r2
2206 vpaddl.u8 q1, q1
2207 vpaddl.u8 q2, q2
2208 vpaddl.u8 q3, q3
2209 vadd.i16 q0, q0, q1
2210 vadd.i16 q2, q2, q3
2211 vshl.i16 q0, q0, #1
2212 vshl.i16 q1, q2, #1
2213 subs r8, r8, #2
2214 vst1.16 {q0, q1}, [r0, :128]!
2215 vadd.i16 q8, q8, q0
2216 vadd.i16 q9, q9, q1
2217 bgt 1b
2218 cmp r4, #0
2219 vmov q0, q1
2220 b L(ipred_cfl_ac_420_w8_hpad)
2221
2222 L(ipred_cfl_ac_420_w8_wpad):
2223 1: // Copy and subsample input, padding 4
2224 vld1.16 {d0}, [r1, :64], r2
2225 vld1.16 {d2}, [r12, :64], r2
2226 vld1.16 {d1}, [r1, :64], r2
2227 vld1.16 {d3}, [r12, :64], r2
2228 vpaddl.u8 q0, q0
2229 vpaddl.u8 q1, q1
2230 vadd.i16 q0, q0, q1
2231 vshl.i16 q0, q0, #1
2232 vdup.16 d3, d1[3]
2233 vmov d2, d1
2234 vdup.16 d1, d0[3]
2235 subs r8, r8, #2
2236 vst1.16 {q0, q1}, [r0, :128]!
2237 vadd.i16 q8, q8, q0
2238 vadd.i16 q9, q9, q1
2239 bgt 1b
2240 cmp r4, #0
2241 vmov q0, q1
2242
2243 L(ipred_cfl_ac_420_w8_hpad):
2244 beq 3f // This assumes that all callers already did "cmp r4, #0"
2245 2: // Vertical padding (h_pad > 0)
2246 subs r4, r4, #4
2247 vst1.16 {q0, q1}, [r0, :128]!
2248 vadd.i16 q8, q8, q0
2249 vadd.i16 q9, q9, q1
2250 vst1.16 {q0, q1}, [r0, :128]!
2251 vadd.i16 q10, q10, q0
2252 vadd.i16 q11, q11, q1
2253 bgt 2b
2254 3:
2255
2256 // Double the height and reuse the w4 summing/subtracting
2257 lsl r6, r6, #1
2258 b L(ipred_cfl_ac_420_w4_calc_subtract_dc)
2259
2260 L(ipred_cfl_ac_420_w16):
2261 adr r7, L(ipred_cfl_ac_420_w16_tbl)
2262 ldr r3, [r7, r3, lsl #2]
2263 add r7, r7, r3
2264 bx r7
2265
2266 .align 2
2267 L(ipred_cfl_ac_420_w16_tbl):
2268 .word L(ipred_cfl_ac_420_w16_wpad0) - L(ipred_cfl_ac_420_w16_tbl) + CONFIG_THUMB
2269 .word L(ipred_cfl_ac_420_w16_wpad1) - L(ipred_cfl_ac_420_w16_tbl) + CONFIG_THUMB
2270 .word L(ipred_cfl_ac_420_w16_wpad2) - L(ipred_cfl_ac_420_w16_tbl) + CONFIG_THUMB
2271 .word L(ipred_cfl_ac_420_w16_wpad3) - L(ipred_cfl_ac_420_w16_tbl) + CONFIG_THUMB
2272
2273 L(ipred_cfl_ac_420_w16_wpad0):
2274 1: // Copy and subsample input, without padding
2275 vld1.8 {q0, q1}, [r1, :128], r2
2276 vld1.8 {q2, q3}, [r12, :128], r2
2277 vpaddl.u8 q0, q0
2278 vld1.8 {q12, q13}, [r1, :128], r2
2279 vpaddl.u8 q1, q1
2280 vpaddl.u8 q2, q2
2281 vpaddl.u8 q3, q3
2282 vadd.i16 q0, q0, q2
2283 vadd.i16 q1, q1, q3
2284 vld1.8 {q2, q3}, [r12, :128], r2
2285 vpaddl.u8 q12, q12
2286 vpaddl.u8 q13, q13
2287 vpaddl.u8 q2, q2
2288 vpaddl.u8 q3, q3
2289 vadd.i16 q12, q12, q2
2290 vadd.i16 q13, q13, q3
2291 vshl.i16 q0, q0, #1
2292 vshl.i16 q1, q1, #1
2293 vshl.i16 q2, q12, #1
2294 vshl.i16 q3, q13, #1
2295 subs r8, r8, #2
2296 vst1.16 {q0, q1}, [r0, :128]!
2297 vadd.i16 q8, q8, q0
2298 vadd.i16 q9, q9, q1
2299 vst1.16 {q2, q3}, [r0, :128]!
2300 vadd.i16 q10, q10, q2
2301 vadd.i16 q11, q11, q3
2302 bgt 1b
2303 cmp r4, #0
2304 vmov q0, q2
2305 vmov q1, q3
2306 b L(ipred_cfl_ac_420_w16_hpad)
2307
2308 L(ipred_cfl_ac_420_w16_wpad1):
2309 1: // Copy and subsample input, padding 4
2310 vldr d2, [r1, #16]
2311 vld1.8 {q0}, [r1, :128], r2
2312 vldr d6, [r12, #16]
2313 vld1.8 {q2}, [r12, :128], r2
2314 vpaddl.u8 d2, d2
2315 vldr d26, [r1, #16]
2316 vpaddl.u8 q0, q0
2317 vld1.8 {q12}, [r1, :128], r2
2318 vpaddl.u8 d6, d6
2319 vldr d30, [r12, #16]
2320 vpaddl.u8 q2, q2
2321 vld1.8 {q14}, [r12, :128], r2
2322 vpaddl.u8 d26, d26
2323 vpaddl.u8 q12, q12
2324 vpaddl.u8 d30, d30
2325 vpaddl.u8 q14, q14
2326 vadd.i16 d2, d2, d6
2327 vadd.i16 q0, q0, q2
2328 vadd.i16 d26, d26, d30
2329 vadd.i16 q12, q12, q14
2330 vshl.i16 d2, d2, #1
2331 vshl.i16 q0, q0, #1
2332 vshl.i16 d6, d26, #1
2333 vshl.i16 q2, q12, #1
2334 vdup.16 d3, d2[3]
2335 vdup.16 d7, d6[3]
2336 subs r8, r8, #2
2337 vst1.16 {q0, q1}, [r0, :128]!
2338 vadd.i16 q8, q8, q0
2339 vadd.i16 q9, q9, q1
2340 vst1.16 {q2, q3}, [r0, :128]!
2341 vadd.i16 q10, q10, q2
2342 vadd.i16 q11, q11, q3
2343 bgt 1b
2344 cmp r4, #0
2345 vmov q0, q2
2346 vmov q1, q3
2347 b L(ipred_cfl_ac_420_w16_hpad)
2348
2349 L(ipred_cfl_ac_420_w16_wpad2):
2350 1: // Copy and subsample input, padding 8
2351 vld1.8 {q0}, [r1, :128], r2
2352 vld1.8 {q1}, [r12, :128], r2
2353 vld1.8 {q2}, [r1, :128], r2
2354 vpaddl.u8 q0, q0
2355 vld1.8 {q3}, [r12, :128], r2
2356 vpaddl.u8 q1, q1
2357 vpaddl.u8 q2, q2
2358 vpaddl.u8 q3, q3
2359 vadd.i16 q0, q0, q1
2360 vadd.i16 q2, q2, q3
2361 vshl.i16 q0, q0, #1
2362 vshl.i16 q2, q2, #1
2363 vdup.16 q1, d1[3]
2364 vdup.16 q3, d5[3]
2365 subs r8, r8, #2
2366 vst1.16 {q0, q1}, [r0, :128]!
2367 vadd.i16 q8, q8, q0
2368 vadd.i16 q9, q9, q1
2369 vst1.16 {q2, q3}, [r0, :128]!
2370 vadd.i16 q10, q10, q2
2371 vadd.i16 q11, q11, q3
2372 bgt 1b
2373 cmp r4, #0
2374 vmov q0, q2
2375 vmov q1, q3
2376 b L(ipred_cfl_ac_420_w16_hpad)
2377
2378 L(ipred_cfl_ac_420_w16_wpad3):
2379 1: // Copy and subsample input, padding 12
2380 vld1.8 {d0}, [r1, :64], r2
2381 vld1.8 {d1}, [r12, :64], r2
2382 vld1.8 {d4}, [r1, :64], r2
2383 vpaddl.u8 q0, q0
2384 vld1.8 {d5}, [r12, :64], r2
2385 vpaddl.u8 q2, q2
2386 vadd.i16 d0, d0, d1
2387 vadd.i16 d4, d4, d5
2388 vshl.i16 d0, d0, #1
2389 vshl.i16 d4, d4, #1
2390 vdup.16 q1, d0[3]
2391 vdup.16 q3, d4[3]
2392 vdup.16 d1, d0[3]
2393 vdup.16 d5, d4[3]
2394 subs r8, r8, #2
2395 vst1.16 {q0, q1}, [r0, :128]!
2396 vadd.i16 q8, q8, q0
2397 vadd.i16 q9, q9, q1
2398 vst1.16 {q2, q3}, [r0, :128]!
2399 vadd.i16 q10, q10, q2
2400 vadd.i16 q11, q11, q3
2401 bgt 1b
2402 cmp r4, #0
2403 vmov q0, q2
2404 vmov q1, q3
2405 b L(ipred_cfl_ac_420_w16_hpad)
2406
2407 L(ipred_cfl_ac_420_w16_hpad):
2408 beq 3f // This assumes that all callers already did "cmp r4, #0"
2409 2: // Vertical padding (h_pad > 0)
2410 subs r4, r4, #2
2411 vst1.16 {q0, q1}, [r0, :128]!
2412 vadd.i16 q8, q8, q0
2413 vadd.i16 q9, q9, q1
2414 vst1.16 {q2, q3}, [r0, :128]!
2415 vadd.i16 q10, q10, q2
2416 vadd.i16 q11, q11, q3
2417 bgt 2b
2418 3:
2419
2420 // Quadruple the height and reuse the w4 summing/subtracting
2421 lsl r6, r6, #2
2422 b L(ipred_cfl_ac_420_w4_calc_subtract_dc)
2423 endfunc
2424
2425 // void cfl_ac_422_8bpc_neon(int16_t *const ac, const pixel *const ypx,
2426 // const ptrdiff_t stride, const int w_pad,
2427 // const int h_pad, const int cw, const int ch);
2428 function ipred_cfl_ac_422_8bpc_neon, export=1
2429 push {r4-r8,lr}
2430 ldrd r4, r5, [sp, #24]
2431 ldr r6, [sp, #32]
2432 clz r8, r5
2433 lsl r4, r4, #2
2434 adr r7, L(ipred_cfl_ac_422_tbl)
2435 sub r8, r8, #27
2436 ldr r8, [r7, r8, lsl #2]
2437 vmov.i16 q8, #0
2438 vmov.i16 q9, #0
2439 vmov.i16 q10, #0
2440 vmov.i16 q11, #0
2441 add r7, r7, r8
2442 sub r8, r6, r4 // height - h_pad
2443 rbit lr, r5 // rbit(width)
2444 rbit r12, r6 // rbit(height)
2445 clz lr, lr // ctz(width)
2446 clz r12, r12 // ctz(height)
2447 add lr, lr, r12 // log2sz
2448 add r12, r1, r2
2449 vdup.32 d31, lr
2450 lsl r2, r2, #1
2451 vneg.s32 d31, d31 // -log2sz
2452 bx r7
2453
2454 .align 2
2455 L(ipred_cfl_ac_422_tbl):
2456 .word L(ipred_cfl_ac_422_w16) - L(ipred_cfl_ac_422_tbl) + CONFIG_THUMB
2457 .word L(ipred_cfl_ac_422_w8) - L(ipred_cfl_ac_422_tbl) + CONFIG_THUMB
2458 .word L(ipred_cfl_ac_422_w4) - L(ipred_cfl_ac_422_tbl) + CONFIG_THUMB
2459
2460 L(ipred_cfl_ac_422_w4):
2461 1: // Copy and subsample input
2462 vld1.8 {d0}, [r1, :64], r2
2463 vld1.8 {d1}, [r12, :64], r2
2464 vld1.8 {d2}, [r1, :64], r2
2465 vld1.8 {d3}, [r12, :64], r2
2466 vpaddl.u8 q0, q0
2467 vpaddl.u8 q1, q1
2468 vshl.i16 q0, q0, #2
2469 vshl.i16 q1, q1, #2
2470 subs r8, r8, #4
2471 vst1.16 {q0, q1}, [r0, :128]!
2472 vadd.i16 q8, q8, q0
2473 vadd.i16 q9, q9, q1
2474 bgt 1b
2475 cmp r4, #0
2476 vmov d0, d3
2477 vmov d1, d3
2478 vmov d2, d3
2479 b L(ipred_cfl_ac_420_w4_hpad)
2480
2481 L(ipred_cfl_ac_422_w8):
2482 cmp r3, #0
2483 bne L(ipred_cfl_ac_422_w8_wpad)
2484 1: // Copy and subsample input, without padding
2485 vld1.8 {q0}, [r1, :128], r2
2486 vld1.8 {q1}, [r12, :128], r2
2487 vld1.8 {q2}, [r1, :128], r2
2488 vpaddl.u8 q0, q0
2489 vld1.8 {q3}, [r12, :128], r2
2490 vpaddl.u8 q1, q1
2491 vpaddl.u8 q2, q2
2492 vpaddl.u8 q3, q3
2493 vshl.i16 q0, q0, #2
2494 vshl.i16 q1, q1, #2
2495 vshl.i16 q2, q2, #2
2496 vshl.i16 q3, q3, #2
2497 subs r8, r8, #4
2498 vst1.16 {q0, q1}, [r0, :128]!
2499 vadd.i16 q8, q8, q0
2500 vadd.i16 q9, q9, q1
2501 vst1.16 {q2, q3}, [r0, :128]!
2502 vadd.i16 q10, q10, q2
2503 vadd.i16 q11, q11, q3
2504 bgt 1b
2505 cmp r4, #0
2506 vmov q0, q3
2507 vmov q1, q3
2508 b L(ipred_cfl_ac_420_w8_hpad)
2509
2510 L(ipred_cfl_ac_422_w8_wpad):
2511 1: // Copy and subsample input, padding 4
2512 vld1.8 {d0}, [r1, :64], r2
2513 vld1.8 {d1}, [r12, :64], r2
2514 vld1.8 {d2}, [r1, :64], r2
2515 vld1.8 {d3}, [r12, :64], r2
2516 vpaddl.u8 q0, q0
2517 vpaddl.u8 q1, q1
2518 vshl.i16 q0, q0, #2
2519 vshl.i16 q1, q1, #2
2520 vdup.16 d7, d3[3]
2521 vmov d6, d3
2522 vdup.16 d5, d2[3]
2523 vmov d4, d2
2524 vdup.16 d3, d1[3]
2525 vmov d2, d1
2526 vdup.16 d1, d0[3]
2527 subs r8, r8, #4
2528 vst1.16 {q0, q1}, [r0, :128]!
2529 vadd.i16 q8, q8, q0
2530 vadd.i16 q9, q9, q1
2531 vst1.16 {q2, q3}, [r0, :128]!
2532 vadd.i16 q10, q10, q2
2533 vadd.i16 q11, q11, q3
2534 bgt 1b
2535 cmp r4, #0
2536 vmov q0, q3
2537 vmov q1, q3
2538 b L(ipred_cfl_ac_420_w8_hpad)
2539
2540 L(ipred_cfl_ac_422_w16):
2541 adr r7, L(ipred_cfl_ac_422_w16_tbl)
2542 ldr r3, [r7, r3, lsl #2]
2543 add r7, r7, r3
2544 bx r7
2545
2546 .align 2
2547 L(ipred_cfl_ac_422_w16_tbl):
2548 .word L(ipred_cfl_ac_422_w16_wpad0) - L(ipred_cfl_ac_422_w16_tbl) + CONFIG_THUMB
2549 .word L(ipred_cfl_ac_422_w16_wpad1) - L(ipred_cfl_ac_422_w16_tbl) + CONFIG_THUMB
2550 .word L(ipred_cfl_ac_422_w16_wpad2) - L(ipred_cfl_ac_422_w16_tbl) + CONFIG_THUMB
2551 .word L(ipred_cfl_ac_422_w16_wpad3) - L(ipred_cfl_ac_422_w16_tbl) + CONFIG_THUMB
2552
2553 L(ipred_cfl_ac_422_w16_wpad0):
2554 1: // Copy and subsample input, without padding
2555 vld1.8 {q0, q1}, [r1, :128], r2
2556 vld1.8 {q2, q3}, [r12, :128], r2
2557 vpaddl.u8 q0, q0
2558 vpaddl.u8 q1, q1
2559 vpaddl.u8 q2, q2
2560 vpaddl.u8 q3, q3
2561 vshl.i16 q0, q0, #2
2562 vshl.i16 q1, q1, #2
2563 vshl.i16 q2, q2, #2
2564 vshl.i16 q3, q3, #2
2565 subs r8, r8, #2
2566 vst1.16 {q0, q1}, [r0, :128]!
2567 vadd.i16 q8, q8, q0
2568 vadd.i16 q9, q9, q1
2569 vst1.16 {q2, q3}, [r0, :128]!
2570 vadd.i16 q10, q10, q2
2571 vadd.i16 q11, q11, q3
2572 bgt 1b
2573 cmp r4, #0
2574 vmov q0, q2
2575 vmov q1, q3
2576 b L(ipred_cfl_ac_420_w16_hpad)
2577
2578 L(ipred_cfl_ac_422_w16_wpad1):
2579 1: // Copy and subsample input, padding 4
2580 vldr d2, [r1, #16]
2581 vld1.8 {q0}, [r1, :128], r2
2582 vldr d6, [r12, #16]
2583 vld1.8 {q2}, [r12, :128], r2
2584 vpaddl.u8 d2, d2
2585 vpaddl.u8 q0, q0
2586 vpaddl.u8 d6, d6
2587 vpaddl.u8 q2, q2
2588 vshl.i16 d2, d2, #2
2589 vshl.i16 q0, q0, #2
2590 vshl.i16 d6, d6, #2
2591 vshl.i16 q2, q2, #2
2592 vdup.16 d3, d2[3]
2593 vdup.16 d7, d6[3]
2594 subs r8, r8, #2
2595 vst1.16 {q0, q1}, [r0, :128]!
2596 vadd.i16 q8, q8, q0
2597 vadd.i16 q9, q9, q1
2598 vst1.16 {q2, q3}, [r0, :128]!
2599 vadd.i16 q10, q10, q2
2600 vadd.i16 q11, q11, q3
2601 bgt 1b
2602 cmp r4, #0
2603 vmov q0, q2
2604 vmov q1, q3
2605 b L(ipred_cfl_ac_420_w16_hpad)
2606
2607 L(ipred_cfl_ac_422_w16_wpad2):
2608 1: // Copy and subsample input, padding 8
2609 vld1.8 {q0}, [r1, :128], r2
2610 vld1.8 {q2}, [r12, :128], r2
2611 vpaddl.u8 q0, q0
2612 vpaddl.u8 q2, q2
2613 vshl.i16 q0, q0, #2
2614 vshl.i16 q2, q2, #2
2615 vdup.16 q1, d1[3]
2616 vdup.16 q3, d5[3]
2617 subs r8, r8, #2
2618 vst1.16 {q0, q1}, [r0, :128]!
2619 vadd.i16 q8, q8, q0
2620 vadd.i16 q9, q9, q1
2621 vst1.16 {q2, q3}, [r0, :128]!
2622 vadd.i16 q10, q10, q2
2623 vadd.i16 q11, q11, q3
2624 bgt 1b
2625 cmp r4, #0
2626 vmov q0, q2
2627 vmov q1, q3
2628 b L(ipred_cfl_ac_420_w16_hpad)
2629
2630 L(ipred_cfl_ac_422_w16_wpad3):
2631 1: // Copy and subsample input, padding 12
2632 vld1.8 {d0}, [r1, :64], r2
2633 vld1.8 {d1}, [r12, :64], r2
2634 vpaddl.u8 q0, q0
2635 vshl.i16 q0, q0, #2
2636 vdup.16 q3, d1[3]
2637 vdup.16 q1, d0[3]
2638 vdup.16 d5, d1[3]
2639 vmov d4, d1
2640 vdup.16 d1, d0[3]
2641 subs r8, r8, #2
2642 vst1.16 {q0, q1}, [r0, :128]!
2643 vadd.i16 q8, q8, q0
2644 vadd.i16 q9, q9, q1
2645 vst1.16 {q2, q3}, [r0, :128]!
2646 vadd.i16 q10, q10, q2
2647 vadd.i16 q11, q11, q3
2648 bgt 1b
2649 cmp r4, #0
2650 vmov q0, q2
2651 vmov q1, q3
2652 b L(ipred_cfl_ac_420_w16_hpad)
2653 endfunc
2654
2655 // void cfl_ac_444_8bpc_neon(int16_t *const ac, const pixel *const ypx,
2656 // const ptrdiff_t stride, const int w_pad,
2657 // const int h_pad, const int cw, const int ch);
2658 function ipred_cfl_ac_444_8bpc_neon, export=1
2659 push {r4-r8,lr}
2660 ldrd r4, r5, [sp, #24]
2661 ldr r6, [sp, #32]
2662 clz r8, r5
2663 lsl r4, r4, #2
2664 adr r7, L(ipred_cfl_ac_444_tbl)
2665 sub r8, r8, #26
2666 ldr r8, [r7, r8, lsl #2]
2667 vmov.i16 q8, #0
2668 vmov.i16 q9, #0
2669 vmov.i16 q10, #0
2670 vmov.i16 q11, #0
2671 add r7, r7, r8
2672 sub r8, r6, r4 // height - h_pad
2673 rbit lr, r5 // rbit(width)
2674 rbit r12, r6 // rbit(height)
2675 clz lr, lr // ctz(width)
2676 clz r12, r12 // ctz(height)
2677 add lr, lr, r12 // log2sz
2678 add r12, r1, r2
2679 vdup.32 d31, lr
2680 lsl r2, r2, #1
2681 vneg.s32 d31, d31 // -log2sz
2682 bx r7
2683
2684 .align 2
2685 L(ipred_cfl_ac_444_tbl):
2686 .word L(ipred_cfl_ac_444_w32) - L(ipred_cfl_ac_444_tbl) + CONFIG_THUMB
2687 .word L(ipred_cfl_ac_444_w16) - L(ipred_cfl_ac_444_tbl) + CONFIG_THUMB
2688 .word L(ipred_cfl_ac_444_w8) - L(ipred_cfl_ac_444_tbl) + CONFIG_THUMB
2689 .word L(ipred_cfl_ac_444_w4) - L(ipred_cfl_ac_444_tbl) + CONFIG_THUMB
2690
2691 L(ipred_cfl_ac_444_w4):
2692 1: // Copy and expand input
2693 vld1.32 {d0[]}, [r1, :32], r2
2694 vld1.32 {d0[1]}, [r12, :32], r2
2695 vld1.32 {d2[]}, [r1, :32], r2
2696 vld1.32 {d2[1]}, [r12, :32], r2
2697 vshll.u8 q0, d0, #3
2698 vshll.u8 q1, d2, #3
2699 subs r8, r8, #4
2700 vst1.16 {q0, q1}, [r0, :128]!
2701 vadd.i16 q8, q8, q0
2702 vadd.i16 q9, q9, q1
2703 bgt 1b
2704 cmp r4, #0
2705 vmov d0, d3
2706 vmov d1, d3
2707 vmov d2, d3
2708 b L(ipred_cfl_ac_420_w4_hpad)
2709
2710 L(ipred_cfl_ac_444_w8):
2711 1: // Copy and expand input
2712 vld1.16 {d0}, [r1, :64], r2
2713 vld1.16 {d2}, [r12, :64], r2
2714 vld1.16 {d4}, [r1, :64], r2
2715 vshll.u8 q0, d0, #3
2716 vld1.16 {d6}, [r12, :64], r2
2717 vshll.u8 q1, d2, #3
2718 vshll.u8 q2, d4, #3
2719 vshll.u8 q3, d6, #3
2720 subs r8, r8, #4
2721 vst1.16 {q0, q1}, [r0, :128]!
2722 vadd.i16 q8, q8, q0
2723 vadd.i16 q9, q9, q1
2724 vst1.16 {q2, q3}, [r0, :128]!
2725 vadd.i16 q10, q10, q2
2726 vadd.i16 q11, q11, q3
2727 bgt 1b
2728 cmp r4, #0
2729 vmov q0, q3
2730 vmov q1, q3
2731 b L(ipred_cfl_ac_420_w8_hpad)
2732
2733 L(ipred_cfl_ac_444_w16):
2734 cmp r3, #0
2735 bne L(ipred_cfl_ac_444_w16_wpad)
2736 1: // Copy and expand input, without padding
2737 vld1.8 {q1}, [r1, :128], r2
2738 vld1.8 {q3}, [r12, :128], r2
2739 vshll.u8 q0, d2, #3
2740 vshll.u8 q1, d3, #3
2741 vshll.u8 q2, d6, #3
2742 vshll.u8 q3, d7, #3
2743 subs r8, r8, #2
2744 vst1.16 {q0, q1}, [r0, :128]!
2745 vadd.i16 q8, q8, q0
2746 vadd.i16 q9, q9, q1
2747 vst1.16 {q2, q3}, [r0, :128]!
2748 vadd.i16 q10, q10, q2
2749 vadd.i16 q11, q11, q3
2750 bgt 1b
2751 cmp r4, #0
2752 vmov q0, q2
2753 vmov q1, q3
2754 b L(ipred_cfl_ac_420_w16_hpad)
2755
2756 L(ipred_cfl_ac_444_w16_wpad):
2757 1: // Copy and expand input, padding 8
2758 vld1.8 {d0}, [r1, :64], r2
2759 vld1.8 {d4}, [r12, :64], r2
2760 vshll.u8 q0, d0, #3
2761 vshll.u8 q2, d4, #3
2762 vdup.16 q1, d1[3]
2763 vdup.16 q3, d5[3]
2764 subs r8, r8, #2
2765 vst1.16 {q0, q1}, [r0, :128]!
2766 vadd.i16 q8, q8, q0
2767 vadd.i16 q9, q9, q1
2768 vst1.16 {q2, q3}, [r0, :128]!
2769 vadd.i16 q10, q10, q2
2770 vadd.i16 q11, q11, q3
2771 bgt 1b
2772 cmp r4, #0
2773 vmov q0, q2
2774 vmov q1, q3
2775 b L(ipred_cfl_ac_420_w16_hpad)
2776
2777 L(ipred_cfl_ac_444_w32):
2778 adr r7, L(ipred_cfl_ac_444_w32_tbl)
2779 ldr r3, [r7, r3, lsl #1] // (w3>>1) << 2
2780 add r7, r7, r3
2781 bx r7
2782
2783 .align 2
2784 L(ipred_cfl_ac_444_w32_tbl):
2785 .word L(ipred_cfl_ac_444_w32_wpad0) - L(ipred_cfl_ac_444_w32_tbl) + CONFIG_THUMB
2786 .word L(ipred_cfl_ac_444_w32_wpad2) - L(ipred_cfl_ac_444_w32_tbl) + CONFIG_THUMB
2787 .word L(ipred_cfl_ac_444_w32_wpad4) - L(ipred_cfl_ac_444_w32_tbl) + CONFIG_THUMB
2788 .word L(ipred_cfl_ac_444_w32_wpad6) - L(ipred_cfl_ac_444_w32_tbl) + CONFIG_THUMB
2789
2790 L(ipred_cfl_ac_444_w32_wpad0):
2791 1: // Copy and expand input, without padding
2792 vld1.8 {q2, q3}, [r1, :128], r2
2793 vld1.8 {q13, q14}, [r12, :128], r2
2794 vshll.u8 q0, d4, #3
2795 vshll.u8 q1, d5, #3
2796 vshll.u8 q2, d6, #3
2797 vshll.u8 q3, d7, #3
2798 vshll.u8 q12, d26, #3
2799 vshll.u8 q13, d27, #3
2800 subs r8, r8, #2
2801 vst1.16 {q0, q1}, [r0, :128]!
2802 vadd.i16 q8, q8, q0
2803 vadd.i16 q9, q9, q1
2804 vshll.u8 q0, d28, #3
2805 vshll.u8 q1, d29, #3
2806 vst1.16 {q2, q3}, [r0, :128]!
2807 vadd.i16 q10, q10, q2
2808 vadd.i16 q11, q11, q3
2809 vst1.16 {q12, q13}, [r0, :128]!
2810 vadd.i16 q8, q8, q12
2811 vadd.i16 q9, q9, q13
2812 vst1.16 {q0, q1}, [r0, :128]!
2813 vadd.i16 q10, q10, q0
2814 vadd.i16 q11, q11, q1
2815 bgt 1b
2816 cmp r4, #0
2817 b L(ipred_cfl_ac_444_w32_hpad)
2818
2819 L(ipred_cfl_ac_444_w32_wpad2):
2820 1: // Copy and expand input, padding 8
2821 vldr d4, [r1, #16]
2822 vld1.8 {q1}, [r1, :128], r2
2823 vldr d28, [r12, #16]
2824 vld1.8 {q13}, [r12, :128], r2
2825 vshll.u8 q2, d4, #3
2826 vshll.u8 q0, d2, #3
2827 vshll.u8 q1, d3, #3
2828 vshll.u8 q12, d26, #3
2829 vshll.u8 q13, d27, #3
2830 vdup.16 q3, d5[3]
2831 subs r8, r8, #2
2832 vst1.16 {q0, q1}, [r0, :128]!
2833 vadd.i16 q8, q8, q0
2834 vadd.i16 q9, q9, q1
2835 vshll.u8 q0, d28, #3
2836 vst1.16 {q2, q3}, [r0, :128]!
2837 vadd.i16 q10, q10, q2
2838 vadd.i16 q11, q11, q3
2839 vdup.16 q1, d1[3]
2840 vst1.16 {q12, q13}, [r0, :128]!
2841 vadd.i16 q8, q8, q12
2842 vadd.i16 q9, q9, q13
2843 vst1.16 {q0, q1}, [r0, :128]!
2844 vadd.i16 q10, q10, q0
2845 vadd.i16 q11, q11, q1
2846 bgt 1b
2847 cmp r4, #0
2848 b L(ipred_cfl_ac_444_w32_hpad)
2849
2850 L(ipred_cfl_ac_444_w32_wpad4):
2851 1: // Copy and expand input, padding 16
2852 vld1.8 {q1}, [r1, :128], r2
2853 vld1.8 {q13}, [r12, :128], r2
2854 vshll.u8 q0, d2, #3
2855 vshll.u8 q1, d3, #3
2856 vshll.u8 q12, d26, #3
2857 vshll.u8 q13, d27, #3
2858 vdup.16 q2, d3[3]
2859 vdup.16 q3, d3[3]
2860 subs r8, r8, #2
2861 vst1.16 {q0, q1}, [r0, :128]!
2862 vadd.i16 q8, q8, q0
2863 vadd.i16 q9, q9, q1
2864 vdup.16 q0, d27[3]
2865 vdup.16 q1, d27[3]
2866 vst1.16 {q2, q3}, [r0, :128]!
2867 vadd.i16 q10, q10, q2
2868 vadd.i16 q11, q11, q3
2869 vst1.16 {q12, q13}, [r0, :128]!
2870 vadd.i16 q8, q8, q12
2871 vadd.i16 q9, q9, q13
2872 vst1.16 {q0, q1}, [r0, :128]!
2873 vadd.i16 q10, q10, q0
2874 vadd.i16 q11, q11, q1
2875 bgt 1b
2876 cmp r4, #0
2877 b L(ipred_cfl_ac_444_w32_hpad)
2878
2879 L(ipred_cfl_ac_444_w32_wpad6):
2880 1: // Copy and expand input, padding 24
2881 vld1.8 {d0}, [r1, :64], r2
2882 vld1.8 {d24}, [r12, :64], r2
2883 vshll.u8 q0, d0, #3
2884 vshll.u8 q12, d24, #3
2885 subs r8, r8, #2
2886 vdup.16 q1, d1[3]
2887 vdup.16 q2, d1[3]
2888 vdup.16 q3, d1[3]
2889 vst1.16 {q0, q1}, [r0, :128]!
2890 vadd.i16 q8, q8, q0
2891 vadd.i16 q9, q9, q1
2892 vdup.16 q13, d25[3]
2893 vdup.16 q0, d25[3]
2894 vdup.16 q1, d25[3]
2895 vst1.16 {q2, q3}, [r0, :128]!
2896 vadd.i16 q10, q10, q2
2897 vadd.i16 q11, q11, q3
2898 vst1.16 {q12, q13}, [r0, :128]!
2899 vadd.i16 q8, q8, q12
2900 vadd.i16 q9, q9, q13
2901 vst1.16 {q0, q1}, [r0, :128]!
2902 vadd.i16 q10, q10, q0
2903 vadd.i16 q11, q11, q1
2904 bgt 1b
2905 cmp r4, #0
2906
2907 L(ipred_cfl_ac_444_w32_hpad):
2908 beq 3f // This assumes that all callers already did "cmp r4, #0"
2909 2: // Vertical padding (h_pad > 0)
2910 subs r4, r4, #1
2911 vst1.16 {q12, q13}, [r0, :128]!
2912 vadd.i16 q8, q8, q12
2913 vadd.i16 q9, q9, q13
2914 vst1.16 {q0, q1}, [r0, :128]!
2915 vadd.i16 q10, q10, q0
2916 vadd.i16 q11, q11, q1
2917 bgt 2b
2918 3:
2919
2920 // Multiply the height by eight and reuse the w4 subtracting
2921 lsl r6, r6, #3
2922 // Aggregate the sums, with wider intermediates earlier than in
2923 // ipred_cfl_ac_420_w8_calc_subtract_dc.
2924 vpaddl.u16 q0, q8
2925 vpaddl.u16 q1, q9
2926 vpaddl.u16 q2, q10
2927 vpaddl.u16 q3, q11
2928 vadd.i32 q0, q0, q1
2929 vadd.i32 q2, q2, q3
2930 vadd.i32 q0, q0, q2
2931 vadd.i32 d0, d0, d1
2932 vpadd.i32 d0, d0, d0 // sum
2933 sub r0, r0, r6, lsl #3
2934 vrshl.u32 d16, d0, d31 // (sum + (1 << (log2sz - 1))) >>= log2sz
2935 vdup.16 q8, d16[0]
2936 b L(ipred_cfl_ac_420_w4_subtract_dc)
2937 endfunc