Debian Codegraph @

.cargo/vendor/rav1e/src/arm/32/ipred16.S

raw
1 /*
2 * Copyright © 2018, VideoLAN and dav1d authors
3 * Copyright © 2019, B Krishnan Iyer
4 * Copyright © 2020, Martin Storsjo
5 * All rights reserved.
6 *
7 * Redistribution and use in source and binary forms, with or without
8 * modification, are permitted provided that the following conditions are met:
9 *
10 * 1. Redistributions of source code must retain the above copyright notice, this
11 * list of conditions and the following disclaimer.
12 *
13 * 2. Redistributions in binary form must reproduce the above copyright notice,
14 * this list of conditions and the following disclaimer in the documentation
15 * and/or other materials provided with the distribution.
16 *
17 * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND
18 * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
19 * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
20 * DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR
21 * ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
22 * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
23 * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
24 * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
25 * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
26 * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
27 */
28
29 #include "src/arm/asm.S"
30 #include "util.S"
31
32 // void ipred_dc_128_16bpc_neon(pixel *dst, const ptrdiff_t stride,
33 // const pixel *const topleft,
34 // const int width, const int height, const int a,
35 // const int max_width, const int max_height,
36 // const int bitdepth_max);
37 function ipred_dc_128_16bpc_neon, export=1
38 push {r4, lr}
39 ldr r4, [sp, #8]
40 ldr r12, [sp, #24]
41 clz r3, r3
42 adr r2, L(ipred_dc_128_tbl)
43 sub r3, r3, #25
44 vdup.16 q0, r12
45 ldr r3, [r2, r3, lsl #2]
46 add r12, r0, r1
47 vrshr.u16 q0, q0, #1
48 add r2, r2, r3
49 lsl r1, r1, #1
50 bx r2
51
52 .align 2
53 L(ipred_dc_128_tbl):
54 .word 640f - L(ipred_dc_128_tbl) + CONFIG_THUMB
55 .word 320f - L(ipred_dc_128_tbl) + CONFIG_THUMB
56 .word 160f - L(ipred_dc_128_tbl) + CONFIG_THUMB
57 .word 8f - L(ipred_dc_128_tbl) + CONFIG_THUMB
58 .word 4f - L(ipred_dc_128_tbl) + CONFIG_THUMB
59 4:
60 vst1.16 {d0}, [r0, :64], r1
61 vst1.16 {d0}, [r12, :64], r1
62 subs r4, r4, #4
63 vst1.16 {d0}, [r0, :64], r1
64 vst1.16 {d0}, [r12, :64], r1
65 bgt 4b
66 pop {r4, pc}
67 8:
68 vst1.16 {d0, d1}, [r0, :128], r1
69 vst1.16 {d0, d1}, [r12, :128], r1
70 subs r4, r4, #4
71 vst1.16 {d0, d1}, [r0, :128], r1
72 vst1.16 {d0, d1}, [r12, :128], r1
73 bgt 8b
74 pop {r4, pc}
75 160:
76 vmov q1, q0
77 16:
78 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
79 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
80 subs r4, r4, #4
81 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
82 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
83 bgt 16b
84 pop {r4, pc}
85 320:
86 vmov q1, q0
87 sub r1, r1, #32
88 32:
89 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
90 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
91 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
92 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
93 subs r4, r4, #4
94 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
95 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
96 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
97 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
98 bgt 32b
99 pop {r4, pc}
100 640:
101 vmov q1, q0
102 sub r1, r1, #96
103 64:
104 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
105 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
106 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
107 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
108 subs r4, r4, #2
109 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
110 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
111 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
112 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
113 bgt 64b
114 pop {r4, pc}
115 endfunc
116
117 // void ipred_v_16bpc_neon(pixel *dst, const ptrdiff_t stride,
118 // const pixel *const topleft,
119 // const int width, const int height, const int a,
120 // const int max_width, const int max_height);
121 function ipred_v_16bpc_neon, export=1
122 push {r4, lr}
123 ldr lr, [sp, #8]
124 clz r3, r3
125 adr r4, L(ipred_v_tbl)
126 sub r3, r3, #25
127 ldr r3, [r4, r3, lsl #2]
128 add r2, r2, #2
129 add r4, r4, r3
130 add r12, r0, r1
131 lsl r1, r1, #1
132 bx r4
133
134 .align 2
135 L(ipred_v_tbl):
136 .word 640f - L(ipred_v_tbl) + CONFIG_THUMB
137 .word 320f - L(ipred_v_tbl) + CONFIG_THUMB
138 .word 160f - L(ipred_v_tbl) + CONFIG_THUMB
139 .word 80f - L(ipred_v_tbl) + CONFIG_THUMB
140 .word 40f - L(ipred_v_tbl) + CONFIG_THUMB
141
142 40:
143 vld1.16 {d0}, [r2]
144 4:
145 vst1.16 {d0}, [r0, :64], r1
146 vst1.16 {d0}, [r12, :64], r1
147 subs lr, lr, #4
148 vst1.16 {d0}, [r0, :64], r1
149 vst1.16 {d0}, [r12, :64], r1
150 bgt 4b
151 pop {r4, pc}
152 80:
153 vld1.16 {q0}, [r2]
154 8:
155 vst1.16 {d0, d1}, [r0, :128], r1
156 vst1.16 {d0, d1}, [r12, :128], r1
157 subs lr, lr, #4
158 vst1.16 {d0, d1}, [r0, :128], r1
159 vst1.16 {d0, d1}, [r12, :128], r1
160 bgt 8b
161 pop {r4, pc}
162 160:
163 vld1.16 {q0, q1}, [r2]
164 16:
165 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
166 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
167 subs lr, lr, #4
168 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
169 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
170 bgt 16b
171 pop {r4, pc}
172 320:
173 vld1.16 {q0, q1}, [r2]!
174 sub r1, r1, #32
175 vld1.16 {q2, q3}, [r2]
176 32:
177 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
178 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
179 vst1.16 {d4, d5, d6, d7}, [r0, :128], r1
180 vst1.16 {d4, d5, d6, d7}, [r12, :128], r1
181 subs lr, lr, #4
182 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
183 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
184 vst1.16 {d4, d5, d6, d7}, [r0, :128], r1
185 vst1.16 {d4, d5, d6, d7}, [r12, :128], r1
186 bgt 32b
187 pop {r4, pc}
188 640:
189 vld1.16 {q0, q1}, [r2]!
190 sub r1, r1, #96
191 vld1.16 {q2, q3}, [r2]!
192 vld1.16 {q8, q9}, [r2]!
193 vld1.16 {q10, q11}, [r2]!
194 64:
195 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
196 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
197 vst1.16 {d4, d5, d6, d7}, [r0, :128]!
198 vst1.16 {d4, d5, d6, d7}, [r12, :128]!
199 subs lr, lr, #2
200 vst1.16 {d16, d17, d18, d19}, [r0, :128]!
201 vst1.16 {d16, d17, d18, d19}, [r12, :128]!
202 vst1.16 {d20, d21, d22, d23}, [r0, :128], r1
203 vst1.16 {d20, d21, d22, d23}, [r12, :128], r1
204 bgt 64b
205 pop {r4, pc}
206 endfunc
207
208 // void ipred_h_16bpc_neon(pixel *dst, const ptrdiff_t stride,
209 // const pixel *const topleft,
210 // const int width, const int height, const int a,
211 // const int max_width, const int max_height);
212 function ipred_h_16bpc_neon, export=1
213 push {r4-r5, lr}
214 ldr r4, [sp, #12]
215 clz r3, r3
216 adr r5, L(ipred_h_tbl)
217 sub r3, r3, #25
218 ldr r3, [r5, r3, lsl #2]
219 sub r2, r2, #2
220 mov lr, #-2
221 add r5, r5, r3
222 add r12, r0, r1
223 lsl r1, r1, #1
224 bx r5
225
226 .align 2
227 L(ipred_h_tbl):
228 .word 640f - L(ipred_h_tbl) + CONFIG_THUMB
229 .word 320f - L(ipred_h_tbl) + CONFIG_THUMB
230 .word 160f - L(ipred_h_tbl) + CONFIG_THUMB
231 .word 8f - L(ipred_h_tbl) + CONFIG_THUMB
232 .word 40f - L(ipred_h_tbl) + CONFIG_THUMB
233 40:
234 sub r2, r2, #6
235 mov lr, #-8
236 4:
237 vld4.16 {d0[], d1[], d2[], d3[]}, [r2], lr
238 vst1.16 {d3}, [r0, :64], r1
239 vst1.16 {d2}, [r12, :64], r1
240 subs r4, r4, #4
241 vst1.16 {d1}, [r0, :64], r1
242 vst1.16 {d0}, [r12, :64], r1
243 bgt 4b
244 pop {r4-r5, pc}
245 8:
246 vld1.16 {d0[], d1[]}, [r2], lr
247 subs r4, r4, #4
248 vld1.16 {d2[], d3[]}, [r2], lr
249 vst1.16 {q0}, [r0, :128], r1
250 vld1.16 {d4[], d5[]}, [r2], lr
251 vst1.16 {q1}, [r12, :128], r1
252 vld1.16 {d6[], d7[]}, [r2], lr
253 vst1.16 {q2}, [r0, :128], r1
254 vst1.16 {q3}, [r12, :128], r1
255 bgt 8b
256 pop {r4-r5, pc}
257 160:
258 sub r1, r1, #16
259 16:
260 vld1.16 {d0[], d1[]}, [r2], lr
261 subs r4, r4, #4
262 vld1.16 {d2[], d3[]}, [r2], lr
263 vst1.16 {q0}, [r0, :128]!
264 vld1.16 {d4[], d5[]}, [r2], lr
265 vst1.16 {q1}, [r12, :128]!
266 vld1.16 {d6[], d7[]}, [r2], lr
267 vst1.16 {q0}, [r0, :128], r1
268 vst1.16 {q1}, [r12, :128], r1
269 vst1.16 {q2}, [r0, :128]!
270 vst1.16 {q3}, [r12, :128]!
271 vst1.16 {q2}, [r0, :128], r1
272 vst1.16 {q3}, [r12, :128], r1
273 bgt 16b
274 pop {r4-r5, pc}
275 320:
276 sub r1, r1, #48
277 32:
278 vld1.16 {d0[], d1[]}, [r2], lr
279 subs r4, r4, #4
280 vld1.16 {d2[], d3[]}, [r2], lr
281 vst1.16 {q0}, [r0, :128]!
282 vld1.16 {d4[], d5[]}, [r2], lr
283 vst1.16 {q1}, [r12, :128]!
284 vld1.16 {d6[], d7[]}, [r2], lr
285 vst1.16 {q0}, [r0, :128]!
286 vst1.16 {q1}, [r12, :128]!
287 vst1.16 {q0}, [r0, :128]!
288 vst1.16 {q1}, [r12, :128]!
289 vst1.16 {q0}, [r0, :128], r1
290 vst1.16 {q1}, [r12, :128], r1
291 vst1.16 {q2}, [r0, :128]!
292 vst1.16 {q3}, [r12, :128]!
293 vst1.16 {q2}, [r0, :128]!
294 vst1.16 {q3}, [r12, :128]!
295 vst1.16 {q2}, [r0, :128]!
296 vst1.16 {q3}, [r12, :128]!
297 vst1.16 {q2}, [r0, :128], r1
298 vst1.16 {q3}, [r12, :128], r1
299 bgt 32b
300 pop {r4-r5, pc}
301 640:
302 sub r1, r1, #96
303 64:
304 vld1.16 {d0[], d1[]}, [r2], lr
305 subs r4, r4, #2
306 vld1.16 {d4[], d5[]}, [r2], lr
307 vmov q1, q0
308 vmov q3, q2
309 vst1.16 {q0, q1}, [r0, :128]!
310 vst1.16 {q2, q3}, [r12, :128]!
311 vst1.16 {q0, q1}, [r0, :128]!
312 vst1.16 {q2, q3}, [r12, :128]!
313 vst1.16 {q0, q1}, [r0, :128]!
314 vst1.16 {q2, q3}, [r12, :128]!
315 vst1.16 {q0, q1}, [r0, :128], r1
316 vst1.16 {q2, q3}, [r12, :128], r1
317 bgt 64b
318 pop {r4-r5, pc}
319 endfunc
320
321 // void ipred_dc_top_16bpc_neon(pixel *dst, const ptrdiff_t stride,
322 // const pixel *const topleft,
323 // const int width, const int height, const int a,
324 // const int max_width, const int max_height);
325 function ipred_dc_top_16bpc_neon, export=1
326 push {r4-r5, lr}
327 ldr r4, [sp, #12]
328 clz r3, r3
329 adr r5, L(ipred_dc_top_tbl)
330 sub r3, r3, #25
331 ldr r3, [r5, r3, lsl #2]
332 add r2, r2, #2
333 add r5, r5, r3
334 add r12, r0, r1
335 lsl r1, r1, #1
336 bx r5
337
338 .align 2
339 L(ipred_dc_top_tbl):
340 .word 640f - L(ipred_dc_top_tbl) + CONFIG_THUMB
341 .word 320f - L(ipred_dc_top_tbl) + CONFIG_THUMB
342 .word 160f - L(ipred_dc_top_tbl) + CONFIG_THUMB
343 .word 80f - L(ipred_dc_top_tbl) + CONFIG_THUMB
344 .word 40f - L(ipred_dc_top_tbl) + CONFIG_THUMB
345
346 40:
347 vld1.16 {d0}, [r2]
348 vpadd.i16 d0, d0, d0
349 vpadd.i16 d0, d0, d0
350 vrshr.u16 d0, d0, #2
351 vdup.16 d0, d0[0]
352 4:
353 vst1.16 {d0}, [r0, :64], r1
354 vst1.16 {d0}, [r12, :64], r1
355 subs r4, r4, #4
356 vst1.16 {d0}, [r0, :64], r1
357 vst1.16 {d0}, [r12, :64], r1
358 bgt 4b
359 pop {r4-r5, pc}
360 80:
361 vld1.16 {d0, d1}, [r2]
362 vadd.i16 d0, d0, d1
363 vpadd.i16 d0, d0, d0
364 vpadd.i16 d0, d0, d0
365 vrshr.u16 d0, d0, #3
366 vdup.16 q0, d0[0]
367 8:
368 vst1.16 {d0, d1}, [r0, :128], r1
369 vst1.16 {d0, d1}, [r12, :128], r1
370 subs r4, r4, #4
371 vst1.16 {d0, d1}, [r0, :128], r1
372 vst1.16 {d0, d1}, [r12, :128], r1
373 bgt 8b
374 pop {r4-r5, pc}
375 160:
376 vld1.16 {d0, d1, d2, d3}, [r2]
377 vadd.i16 q0, q0, q1
378 vadd.i16 d0, d0, d1
379 vpadd.i16 d0, d0, d0
380 vpadd.i16 d0, d0, d0
381 vrshr.u16 d4, d0, #4
382 vdup.16 q0, d4[0]
383 vdup.16 q1, d4[0]
384 16:
385 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
386 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
387 subs r4, r4, #4
388 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
389 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
390 bgt 16b
391 pop {r4-r5, pc}
392 320:
393 vld1.16 {d0, d1, d2, d3}, [r2]!
394 vld1.16 {d4, d5, d6, d7}, [r2]
395 vadd.i16 q0, q0, q1
396 vadd.i16 q2, q2, q3
397 vadd.i16 q0, q0, q2
398 vadd.i16 d0, d0, d1
399 vpadd.i16 d0, d0, d0
400 vpaddl.u16 d0, d0
401 vrshrn.i32 d18, q0, #5
402 vdup.16 q0, d18[0]
403 vdup.16 q1, d18[0]
404 sub r1, r1, #32
405 32:
406 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
407 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
408 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
409 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
410 subs r4, r4, #4
411 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
412 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
413 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
414 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
415 bgt 32b
416 pop {r4-r5, pc}
417 640:
418 vld1.16 {d0, d1, d2, d3}, [r2]!
419 vld1.16 {d4, d5, d6, d7}, [r2]!
420 vadd.i16 q0, q0, q1
421 vld1.16 {d16, d17, d18, d19}, [r2]!
422 vadd.i16 q2, q2, q3
423 vld1.16 {d20, d21, d22, d23}, [r2]
424 vadd.i16 q8, q8, q9
425 vadd.i16 q10, q10, q11
426 vadd.i16 q0, q0, q2
427 vadd.i16 q8, q8, q10
428 vadd.i16 q0, q0, q8
429 vadd.i16 d0, d0, d1
430 vpaddl.u16 d0, d0
431 vpadd.i32 d0, d0, d0
432 vrshrn.i32 d18, q0, #6
433 vdup.16 q0, d18[0]
434 vdup.16 q1, d18[0]
435 sub r1, r1, #96
436 64:
437 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
438 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
439 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
440 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
441 subs r4, r4, #2
442 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
443 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
444 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
445 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
446 bgt 64b
447 pop {r4-r5, pc}
448 endfunc
449
450 // void ipred_dc_left_16bpc_neon(pixel *dst, const ptrdiff_t stride,
451 // const pixel *const topleft,
452 // const int width, const int height, const int a,
453 // const int max_width, const int max_height);
454 function ipred_dc_left_16bpc_neon, export=1
455 push {r4-r5, lr}
456 ldr r4, [sp, #12]
457 sub r2, r2, r4, lsl #1
458 clz r3, r3
459 clz lr, r4
460 sub lr, lr, #25
461 adr r5, L(ipred_dc_left_tbl)
462 sub r3, r3, #20
463 ldr r3, [r5, r3, lsl #2]
464 ldr lr, [r5, lr, lsl #2]
465 add r3, r5, r3
466 add r5, r5, lr
467 add r12, r0, r1
468 lsl r1, r1, #1
469 bx r5
470
471 .align 2
472 L(ipred_dc_left_tbl):
473 .word L(ipred_dc_left_h64) - L(ipred_dc_left_tbl) + CONFIG_THUMB
474 .word L(ipred_dc_left_h32) - L(ipred_dc_left_tbl) + CONFIG_THUMB
475 .word L(ipred_dc_left_h16) - L(ipred_dc_left_tbl) + CONFIG_THUMB
476 .word L(ipred_dc_left_h8) - L(ipred_dc_left_tbl) + CONFIG_THUMB
477 .word L(ipred_dc_left_h4) - L(ipred_dc_left_tbl) + CONFIG_THUMB
478 .word L(ipred_dc_left_w64) - L(ipred_dc_left_tbl) + CONFIG_THUMB
479 .word L(ipred_dc_left_w32) - L(ipred_dc_left_tbl) + CONFIG_THUMB
480 .word L(ipred_dc_left_w16) - L(ipred_dc_left_tbl) + CONFIG_THUMB
481 .word L(ipred_dc_left_w8) - L(ipred_dc_left_tbl) + CONFIG_THUMB
482 .word L(ipred_dc_left_w4) - L(ipred_dc_left_tbl) + CONFIG_THUMB
483
484 L(ipred_dc_left_h4):
485 vld1.16 {d0}, [r2, :64]
486 vpadd.i16 d0, d0, d0
487 vpadd.i16 d0, d0, d0
488 vrshr.u16 d0, d0, #2
489 vdup.16 q0, d0[0]
490 bx r3
491 L(ipred_dc_left_w4):
492 vst1.16 {d0}, [r0, :64], r1
493 vst1.16 {d0}, [r12, :64], r1
494 subs r4, r4, #4
495 vst1.16 {d0}, [r0, :64], r1
496 vst1.16 {d0}, [r12, :64], r1
497 bgt L(ipred_dc_left_w4)
498 pop {r4-r5, pc}
499 L(ipred_dc_left_h8):
500 vld1.16 {d0, d1}, [r2, :128]
501 vadd.i16 d0, d0, d1
502 vpadd.i16 d0, d0, d0
503 vpadd.i16 d0, d0, d0
504 vrshr.u16 d0, d0, #3
505 vdup.16 q0, d0[0]
506 bx r3
507 L(ipred_dc_left_w8):
508 vst1.16 {d0, d1}, [r0, :128], r1
509 vst1.16 {d0, d1}, [r12, :128], r1
510 subs r4, r4, #4
511 vst1.16 {d0, d1}, [r0, :128], r1
512 vst1.16 {d0, d1}, [r12, :128], r1
513 bgt L(ipred_dc_left_w8)
514 pop {r4-r5, pc}
515 L(ipred_dc_left_h16):
516 vld1.16 {d0, d1, d2, d3}, [r2, :128]
517 vadd.i16 q0, q0, q1
518 vadd.i16 d0, d0, d1
519 vpadd.i16 d0, d0, d0
520 vpadd.i16 d0, d0, d0
521 vrshr.u16 d0, d0, #4
522 vdup.16 q0, d0[0]
523 bx r3
524 L(ipred_dc_left_w16):
525 vmov q1, q0
526 1:
527 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
528 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
529 subs r4, r4, #4
530 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
531 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
532 bgt 1b
533 pop {r4-r5, pc}
534 L(ipred_dc_left_h32):
535 vld1.16 {d0, d1, d2, d3}, [r2, :128]!
536 vld1.16 {d4, d5, d6, d7}, [r2, :128]
537 vadd.i16 q0, q0, q1
538 vadd.i16 q2, q2, q3
539 vadd.i16 q0, q0, q2
540 vadd.i16 d0, d0, d1
541 vpadd.i16 d0, d0, d0
542 vpaddl.u16 d0, d0
543 vrshrn.i32 d0, q0, #5
544 vdup.16 q0, d0[0]
545 bx r3
546 L(ipred_dc_left_w32):
547 sub r1, r1, #32
548 vmov q1, q0
549 1:
550 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
551 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
552 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
553 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
554 subs r4, r4, #4
555 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
556 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
557 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
558 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
559 bgt 1b
560 pop {r4-r5, pc}
561 L(ipred_dc_left_h64):
562 vld1.16 {d0, d1, d2, d3}, [r2, :128]!
563 vld1.16 {d4, d5, d6, d7}, [r2, :128]!
564 vadd.i16 q0, q0, q1
565 vld1.16 {d16, d17, d18, d19}, [r2, :128]!
566 vadd.i16 q2, q2, q3
567 vld1.16 {d20, d21, d22, d23}, [r2, :128]
568 vadd.i16 q8, q8, q9
569 vadd.i16 q10, q10, q11
570 vadd.i16 q0, q0, q2
571 vadd.i16 q8, q8, q10
572 vadd.i16 q0, q0, q8
573 vadd.i16 d0, d0, d1
574 vpaddl.u16 d0, d0
575 vpadd.i32 d0, d0, d0
576 vrshrn.i32 d0, q0, #6
577 vdup.16 q0, d0[0]
578 bx r3
579 L(ipred_dc_left_w64):
580 sub r1, r1, #96
581 vmov q1, q0
582 1:
583 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
584 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
585 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
586 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
587 subs r4, r4, #2
588 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
589 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
590 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
591 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
592 bgt 1b
593 pop {r4-r5, pc}
594 endfunc
595
596 // void ipred_dc_16bpc_neon(pixel *dst, const ptrdiff_t stride,
597 // const pixel *const topleft,
598 // const int width, const int height, const int a,
599 // const int max_width, const int max_height);
600 function ipred_dc_16bpc_neon, export=1
601 push {r4-r6, lr}
602 ldr r4, [sp, #16]
603 sub r2, r2, r4, lsl #1
604 add lr, r3, r4 // width + height
605 clz r3, r3
606 clz r12, r4
607 vdup.32 q15, lr // width + height
608 adr r5, L(ipred_dc_tbl)
609 rbit lr, lr // rbit(width + height)
610 sub r3, r3, #20 // 25 leading bits, minus table offset 5
611 sub r12, r12, #25
612 clz lr, lr // ctz(width + height)
613 ldr r3, [r5, r3, lsl #2]
614 ldr r12, [r5, r12, lsl #2]
615 neg lr, lr // -ctz(width + height)
616 add r3, r5, r3
617 add r5, r5, r12
618 vshr.u32 q15, q15, #1 // (width + height) >> 1
619 vdup.32 q14, lr // -ctz(width + height)
620 add r12, r0, r1
621 lsl r1, r1, #1
622 bx r5
623
624 .align 2
625 L(ipred_dc_tbl):
626 .word L(ipred_dc_h64) - L(ipred_dc_tbl) + CONFIG_THUMB
627 .word L(ipred_dc_h32) - L(ipred_dc_tbl) + CONFIG_THUMB
628 .word L(ipred_dc_h16) - L(ipred_dc_tbl) + CONFIG_THUMB
629 .word L(ipred_dc_h8) - L(ipred_dc_tbl) + CONFIG_THUMB
630 .word L(ipred_dc_h4) - L(ipred_dc_tbl) + CONFIG_THUMB
631 .word L(ipred_dc_w64) - L(ipred_dc_tbl) + CONFIG_THUMB
632 .word L(ipred_dc_w32) - L(ipred_dc_tbl) + CONFIG_THUMB
633 .word L(ipred_dc_w16) - L(ipred_dc_tbl) + CONFIG_THUMB
634 .word L(ipred_dc_w8) - L(ipred_dc_tbl) + CONFIG_THUMB
635 .word L(ipred_dc_w4) - L(ipred_dc_tbl) + CONFIG_THUMB
636
637 L(ipred_dc_h4):
638 vld1.16 {d0}, [r2, :64]!
639 vpadd.i16 d0, d0, d0
640 add r2, r2, #2
641 vpaddl.u16 d0, d0
642 bx r3
643 L(ipred_dc_w4):
644 vld1.16 {d2}, [r2]
645 vadd.i32 d0, d0, d30
646 vpadd.i16 d2, d2, d2
647 vpaddl.u16 d2, d2
648 cmp r4, #4
649 vadd.i32 d0, d0, d2
650 vshl.u32 d0, d0, d28
651 beq 1f
652 // h = 8/16
653 cmp r4, #16
654 movw lr, #0x6667
655 movw r5, #0xAAAB
656 it ne
657 movne lr, r5
658 vdup.32 d24, lr
659 vmul.i32 d0, d0, d24
660 vshr.u32 d0, d0, #17
661 1:
662 vdup.16 d0, d0[0]
663 2:
664 vst1.16 {d0}, [r0, :64], r1
665 vst1.16 {d0}, [r12, :64], r1
666 subs r4, r4, #4
667 vst1.16 {d0}, [r0, :64], r1
668 vst1.16 {d0}, [r12, :64], r1
669 bgt 2b
670 pop {r4-r6, pc}
671
672 L(ipred_dc_h8):
673 vld1.16 {d0, d1}, [r2, :128]!
674 vadd.i16 d0, d0, d1
675 vpadd.i16 d0, d0, d0
676 add r2, r2, #2
677 vpaddl.u16 d0, d0
678 bx r3
679 L(ipred_dc_w8):
680 vld1.16 {d2, d3}, [r2]
681 vadd.i32 d0, d0, d30
682 vadd.i16 d2, d2, d3
683 vpadd.i16 d2, d2, d2
684 vpaddl.u16 d2, d2
685 cmp r4, #8
686 vadd.i32 d0, d0, d2
687 vshl.u32 d0, d0, d28
688 beq 1f
689 // h = 4/16/32
690 cmp r4, #32
691 movw lr, #0x6667
692 movw r5, #0xAAAB
693 it ne
694 movne lr, r5
695 vdup.32 d24, lr
696 vmul.i32 d0, d0, d24
697 vshr.u32 d0, d0, #17
698 1:
699 vdup.16 q0, d0[0]
700 2:
701 vst1.16 {d0, d1}, [r0, :128], r1
702 vst1.16 {d0, d1}, [r12, :128], r1
703 subs r4, r4, #4
704 vst1.16 {d0, d1}, [r0, :128], r1
705 vst1.16 {d0, d1}, [r12, :128], r1
706 bgt 2b
707 pop {r4-r6, pc}
708
709 L(ipred_dc_h16):
710 vld1.16 {d0, d1, d2, d3}, [r2, :128]!
711 vadd.i16 q0, q0, q1
712 vadd.i16 d0, d0, d1
713 vpadd.i16 d0, d0, d0
714 add r2, r2, #2
715 vpaddl.u16 d0, d0
716 bx r3
717 L(ipred_dc_w16):
718 vld1.16 {d2, d3, d4, d5}, [r2]
719 vadd.i32 d0, d0, d30
720 vadd.i16 q1, q1, q2
721 vadd.i16 d2, d2, d3
722 vpadd.i16 d2, d2, d1
723 vpaddl.u16 d2, d2
724 cmp r4, #16
725 vadd.i32 d0, d0, d2
726 vshl.u32 d4, d0, d28
727 beq 1f
728 // h = 4/8/32/64
729 tst r4, #(32+16+8) // 16 added to make a consecutive bitmask
730 movw lr, #0x6667
731 movw r5, #0xAAAB
732 it ne
733 movne lr, r5
734 vdup.32 d24, lr
735 vmul.i32 d4, d4, d24
736 vshr.u32 d4, d4, #17
737 1:
738 vdup.16 q0, d4[0]
739 vdup.16 q1, d4[0]
740 2:
741 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
742 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
743 subs r4, r4, #4
744 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
745 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
746 bgt 2b
747 pop {r4-r6, pc}
748
749 L(ipred_dc_h32):
750 vld1.16 {d0, d1, d2, d3}, [r2, :128]!
751 vld1.16 {d4, d5, d6, d7}, [r2, :128]!
752 vadd.i16 q0, q0, q1
753 vadd.i16 q2, q2, q3
754 vadd.i16 q0, q0, q2
755 vadd.i16 d0, d0, d1
756 vpadd.i16 d0, d0, d0
757 add r2, r2, #2
758 vpaddl.u16 d0, d0
759 bx r3
760 L(ipred_dc_w32):
761 vld1.16 {d2, d3, d4, d5}, [r2]!
762 vadd.i32 d0, d0, d30
763 vld1.16 {d16, d17, d18, d19}, [r2]
764 vadd.i16 q1, q1, q2
765 vadd.i16 q8, q8, q9
766 vadd.i16 q1, q1, q8
767 vadd.i16 d2, d2, d3
768 vpadd.i16 d2, d2, d2
769 vpaddl.u16 d2, d2
770 cmp r4, #32
771 vadd.i32 d0, d0, d2
772 vshl.u32 d4, d0, d28
773 beq 1f
774 // h = 8/16/64
775 cmp r4, #8
776 movw lr, #0x6667
777 movw r5, #0xAAAB
778 it ne
779 movne lr, r5
780 vdup.32 d24, lr
781 vmul.i32 d4, d4, d24
782 vshr.u32 d4, d4, #17
783 1:
784 sub r1, r1, #32
785 vdup.16 q0, d4[0]
786 vdup.16 q1, d4[0]
787 2:
788 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
789 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
790 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
791 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
792 subs r4, r4, #4
793 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
794 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
795 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
796 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
797 bgt 2b
798 pop {r4-r6, pc}
799 L(ipred_dc_h64):
800 vld1.16 {d0, d1, d2, d3}, [r2, :128]!
801 vld1.16 {d4, d5, d6, d7}, [r2, :128]!
802 vadd.i16 q0, q0, q1
803 vld1.16 {d16, d17, d18, d19}, [r2, :128]!
804 vadd.i16 q2, q2, q3
805 vld1.16 {d20, d21, d22, d23}, [r2, :128]!
806 vadd.i16 q8, q8, q9
807 vadd.i16 q10, q10, q11
808 vadd.i16 q0, q0, q2
809 vadd.i16 q8, q8, q10
810 vadd.i16 q0, q0, q8
811 vadd.i16 d0, d0, d1
812 vpaddl.u16 d0, d0
813 add r2, r2, #2
814 vpadd.i32 d0, d0, d0
815 bx r3
816 L(ipred_dc_w64):
817 vld1.16 {d2, d3, d4, d5}, [r2]!
818 vadd.i32 d0, d0, d30
819 vld1.16 {d16, d17, d18, d19}, [r2]!
820 vadd.i16 q1, q1, q2
821 vld1.16 {d20, d21, d22, d23}, [r2]!
822 vadd.i16 q8, q8, q9
823 vld1.16 {d24, d25, d26, d27}, [r2]!
824 vadd.i16 q10, q10, q11
825 vadd.i16 q12, q12, q13
826 vadd.i16 q1, q1, q8
827 vadd.i16 q10, q10, q12
828 vadd.i16 q1, q1, q10
829 vadd.i16 d2, d2, d3
830 vpaddl.u16 d2, d2
831 vpadd.i32 d2, d2, d2
832 cmp r4, #64
833 vadd.i32 d0, d0, d2
834 vshl.u32 d4, d0, d28
835 beq 1f
836 // h = 16/32
837 cmp r4, #16
838 movw lr, #0x6667
839 movw r5, #0xAAAB
840 it ne
841 movne lr, r5
842 vdup.32 d24, lr
843 vmul.i32 d4, d4, d24
844 vshr.u32 d4, d4, #17
845 1:
846 sub r1, r1, #96
847 vdup.16 q0, d4[0]
848 vdup.16 q1, d4[0]
849 2:
850 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
851 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
852 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
853 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
854 subs r4, r4, #2
855 vst1.16 {d0, d1, d2, d3}, [r0, :128]!
856 vst1.16 {d0, d1, d2, d3}, [r12, :128]!
857 vst1.16 {d0, d1, d2, d3}, [r0, :128], r1
858 vst1.16 {d0, d1, d2, d3}, [r12, :128], r1
859 bgt 2b
860 pop {r4-r6, pc}
861 endfunc
862
863 // void ipred_paeth_16bpc_neon(pixel *dst, const ptrdiff_t stride,
864 // const pixel *const topleft,
865 // const int width, const int height, const int a,
866 // const int max_width, const int max_height);
867 function ipred_paeth_16bpc_neon, export=1
868 push {r4-r6, lr}
869 vpush {q4}
870 ldr r4, [sp, #32]
871 clz lr, r3
872 adr r12, L(ipred_paeth_tbl)
873 sub lr, lr, #25
874 ldr lr, [r12, lr, lsl #2]
875 vld1.16 {d4[], d5[]}, [r2]
876 add r6, r2, #2
877 sub r2, r2, #4
878 add r12, r12, lr
879 mov r5, #-4
880 add lr, r0, r1
881 lsl r1, r1, #1
882 bx r12
883
884 .align 2
885 L(ipred_paeth_tbl):
886 .word 640f - L(ipred_paeth_tbl) + CONFIG_THUMB
887 .word 320f - L(ipred_paeth_tbl) + CONFIG_THUMB
888 .word 160f - L(ipred_paeth_tbl) + CONFIG_THUMB
889 .word 80f - L(ipred_paeth_tbl) + CONFIG_THUMB
890 .word 40f - L(ipred_paeth_tbl) + CONFIG_THUMB
891
892 40:
893 sub r2, r2, #4
894 mov r5, #-8
895 vld1.16 {d6}, [r6]
896 vsub.i16 d16, d6, d4 // top - topleft
897 vmov d7, d6
898 vmov d17, d16
899 4:
900 vld4.16 {d0[], d1[], d2[], d3[]}, [r2, :64], r5
901 vadd.i16 q9, q8, q0 // base
902 vadd.i16 q10, q8, q1
903 vabd.s16 q11, q3, q9 // tdiff
904 vabd.s16 q12, q3, q10
905 vabd.s16 q13, q2, q9 // tldiff
906 vabd.s16 q14, q2, q10
907 vabd.s16 q9, q0, q9 // ldiff
908 vabd.s16 q10, q1, q10
909 vmin.u16 q15, q11, q13 // min(tdiff, tldiff)
910 vmin.u16 q4, q12, q14
911 vcge.u16 q11, q13, q11 // tldiff >= tdiff
912 vcge.u16 q12, q14, q12
913 vcge.u16 q9, q15, q9 // min(tdiff, tldiff) >= ldiff
914 vcge.u16 q10, q4, q10
915 vbsl q12, q3, q2 // tdiff <= tldiff ? top : topleft
916 vbsl q11, q3, q2
917 vbit q12, q1, q10 // ldiff <= min ? left : ...
918 vbit q11, q0, q9
919 vst1.16 {d25}, [r0, :64], r1
920 vst1.16 {d24}, [lr, :64], r1
921 subs r4, r4, #4
922 vst1.16 {d23}, [r0, :64], r1
923 vst1.16 {d22}, [lr, :64], r1
924 bgt 4b
925 vpop {q4}
926 pop {r4-r6, pc}
927 80:
928 160:
929 320:
930 640:
931 vld1.16 {q3}, [r6]!
932 mov r12, r3
933 sub r1, r1, r3, lsl #1
934 1:
935 vld2.16 {d0[], d2[]}, [r2, :32], r5
936 vmov d1, d0
937 vmov d3, d2
938 2:
939 vsub.i16 q8, q3, q2 // top - topleft
940 vadd.i16 q9, q8, q0 // base
941 vadd.i16 q10, q8, q1
942 vabd.s16 q11, q3, q9 // tdiff
943 vabd.s16 q12, q3, q10
944 vabd.s16 q13, q2, q9 // tldiff
945 vabd.s16 q14, q2, q10
946 vabd.s16 q9, q0, q9 // ldiff
947 vabd.s16 q10, q1, q10
948 vmin.u16 q15, q11, q13 // min(tdiff, tldiff)
949 vmin.u16 q4, q12, q14
950 vcge.u16 q11, q13, q11 // tldiff >= tdiff
951 vcge.u16 q12, q14, q12
952 vcge.u16 q9, q15, q9 // min(tdiff, tldiff) >= ldiff
953 vcge.u16 q10, q4, q10
954 vbsl q12, q3, q2 // tdiff <= tldiff ? top : topleft
955 vbsl q11, q3, q2
956 vbit q12, q1, q10 // ldiff <= min ? left : ...
957 vbit q11, q0, q9
958 subs r3, r3, #8
959 vst1.16 {q12}, [r0, :128]!
960 vst1.16 {q11}, [lr, :128]!
961 ble 8f
962 vld1.16 {q3}, [r6]!
963 b 2b
964 8:
965 subs r4, r4, #2
966 ble 9f
967 // End of horizontal loop, move pointers to next two rows
968 sub r6, r6, r12, lsl #1
969 add r0, r0, r1
970 add lr, lr, r1
971 vld1.16 {q3}, [r6]!
972 mov r3, r12
973 b 1b
974 9:
975 vpop {q4}
976 pop {r4-r6, pc}
977 endfunc
978
979 // void ipred_smooth_16bpc_neon(pixel *dst, const ptrdiff_t stride,
980 // const pixel *const topleft,
981 // const int width, const int height, const int a,
982 // const int max_width, const int max_height);
983 function ipred_smooth_16bpc_neon, export=1
984 push {r4-r10, lr}
985 ldr r4, [sp, #32]
986 movrel r10, X(sm_weights)
987 add r12, r10, r4
988 add r10, r10, r3
989 clz r9, r3
990 adr r5, L(ipred_smooth_tbl)
991 sub lr, r2, r4, lsl #1
992 sub r9, r9, #25
993 ldr r9, [r5, r9, lsl #2]
994 vld1.16 {d4[], d5[]}, [lr] // bottom
995 add r8, r2, #2
996 add r5, r5, r9
997 add r6, r0, r1
998 lsl r1, r1, #1
999 bx r5
1000
1001 .align 2
1002 L(ipred_smooth_tbl):
1003 .word 640f - L(ipred_smooth_tbl) + CONFIG_THUMB
1004 .word 320f - L(ipred_smooth_tbl) + CONFIG_THUMB
1005 .word 160f - L(ipred_smooth_tbl) + CONFIG_THUMB
1006 .word 80f - L(ipred_smooth_tbl) + CONFIG_THUMB
1007 .word 40f - L(ipred_smooth_tbl) + CONFIG_THUMB
1008
1009 40:
1010 vld1.16 {d16}, [r8] // top
1011 vld1.32 {d18[]}, [r10, :32] // weights_hor
1012 sub r2, r2, #8
1013 mov r7, #-8
1014 vdup.16 q3, d16[3] // right
1015 vsub.i16 q8, q8, q2 // top-bottom
1016 vmovl.u8 q9, d18 // weights_hor
1017 vadd.i16 d19, d4, d6 // bottom+right
1018 4:
1019 vld4.16 {d0[], d1[], d2[], d3[]}, [r2, :64], r7 // left
1020 vld4.8 {d20[], d21[], d22[], d23[]}, [r12, :32]! // weights_ver
1021 vshll.u16 q12, d19, #8 // (bottom+right)*256
1022 vshll.u16 q13, d19, #8
1023 vshll.u16 q14, d19, #8
1024 vshll.u16 q15, d19, #8
1025 vzip.32 d20, d21 // weights_ver
1026 vzip.32 d22, d23
1027 vsub.i16 q1, q1, q3 // left-right
1028 vsub.i16 q0, q0, q3
1029 vmovl.u8 q10, d20 // weights_ver
1030 vmovl.u8 q11, d22
1031 vmlal.s16 q12, d3, d18 // += (left-right)*weights_hor
1032 vmlal.s16 q13, d2, d18 // (left flipped)
1033 vmlal.s16 q14, d1, d18
1034 vmlal.s16 q15, d0, d18
1035 vmlal.s16 q12, d16, d20 // += (top-bottom)*weights_ver
1036 vmlal.s16 q13, d16, d21
1037 vmlal.s16 q14, d16, d22
1038 vmlal.s16 q15, d16, d23
1039 vrshrn.i32 d24, q12, #9
1040 vrshrn.i32 d25, q13, #9
1041 vrshrn.i32 d26, q14, #9
1042 vrshrn.i32 d27, q15, #9
1043 vst1.16 {d24}, [r0, :64], r1
1044 vst1.16 {d25}, [r6, :64], r1
1045 subs r4, r4, #4
1046 vst1.16 {d26}, [r0, :64], r1
1047 vst1.16 {d27}, [r6, :64], r1
1048 bgt 4b
1049 pop {r4-r10, pc}
1050 80:
1051 vld1.16 {q8}, [r8] // top
1052 vld1.8 {d18}, [r10, :64] // weights_hor
1053 sub r2, r2, #4
1054 mov r7, #-4
1055 vdup.16 q3, d17[3] // right
1056 vsub.i16 q8, q8, q2 // top-bottom
1057 vmovl.u8 q9, d18 // weights_hor
1058 vadd.i16 d3, d4, d6 // bottom+right
1059 8:
1060 vld2.16 {d0[], d1[]}, [r2, :32], r7 // left
1061 vld2.8 {d20[], d22[]}, [r12, :16]! // weights_ver
1062 vshll.u16 q12, d3, #8 // (bottom+right)*256
1063 vshll.u16 q13, d3, #8
1064 vshll.u16 q14, d3, #8
1065 vshll.u16 q15, d3, #8
1066 vsub.i16 q0, q0, q3 // left-right
1067 vmovl.u8 q10, d20 // weights_ver
1068 vmovl.u8 q11, d22
1069 vmlal.s16 q12, d1, d18 // += (left-right)*weights_hor
1070 vmlal.s16 q13, d1, d19 // (left flipped)
1071 vmlal.s16 q14, d0, d18
1072 vmlal.s16 q15, d0, d19
1073 vmlal.s16 q12, d16, d20 // += (top-bottom)*weights_ver
1074 vmlal.s16 q13, d17, d20
1075 vmlal.s16 q14, d16, d22
1076 vmlal.s16 q15, d17, d22
1077 vrshrn.i32 d24, q12, #9
1078 vrshrn.i32 d25, q13, #9
1079 vrshrn.i32 d26, q14, #9
1080 vrshrn.i32 d27, q15, #9
1081 subs r4, r4, #2
1082 vst1.16 {q12}, [r0, :128], r1
1083 vst1.16 {q13}, [r6, :128], r1
1084 bgt 8b
1085 pop {r4-r10, pc}
1086 160:
1087 320:
1088 640:
1089 add lr, r2, r3, lsl #1
1090 sub r2, r2, #4
1091 mov r7, #-4
1092 vld1.16 {d6[], d7[]}, [lr] // right
1093 sub r1, r1, r3, lsl #1
1094 mov r9, r3
1095 vadd.i16 d3, d4, d6 // bottom+right
1096
1097 1:
1098 vld2.16 {d0[], d1[]}, [r2, :32], r7 // left
1099 vld2.8 {d20[], d22[]}, [r12, :16]! // weights_ver
1100 vsub.i16 q0, q0, q3 // left-right
1101 vmovl.u8 q10, d20 // weights_ver
1102 vmovl.u8 q11, d22
1103 2:
1104 vld1.8 {d18}, [r10, :64]! // weights_hor
1105 vld1.16 {q8}, [r8]! // top
1106 vshll.u16 q12, d3, #8 // (bottom+right)*256
1107 vshll.u16 q13, d3, #8
1108 vmovl.u8 q9, d18 // weights_hor
1109 vshll.u16 q14, d3, #8
1110 vshll.u16 q15, d3, #8
1111 vsub.i16 q8, q8, q2 // top-bottom
1112 vmlal.s16 q12, d1, d18 // += (left-right)*weights_hor
1113 vmlal.s16 q13, d1, d19 // (left flipped)
1114 vmlal.s16 q14, d0, d18
1115 vmlal.s16 q15, d0, d19
1116 vmlal.s16 q12, d16, d20 // += (top-bottom)*weights_ver
1117 vmlal.s16 q13, d17, d20
1118 vmlal.s16 q14, d16, d22
1119 vmlal.s16 q15, d17, d22
1120 vrshrn.i32 d24, q12, #9
1121 vrshrn.i32 d25, q13, #9
1122 vrshrn.i32 d26, q14, #9
1123 vrshrn.i32 d27, q15, #9
1124 subs r3, r3, #8
1125 vst1.16 {q12}, [r0, :128]!
1126 vst1.16 {q13}, [r6, :128]!
1127 bgt 2b
1128 subs r4, r4, #2
1129 ble 9f
1130 sub r8, r8, r9, lsl #1
1131 sub r10, r10, r9
1132 add r0, r0, r1
1133 add r6, r6, r1
1134 mov r3, r9
1135 b 1b
1136 9:
1137 pop {r4-r10, pc}
1138 endfunc
1139
1140 // void ipred_smooth_v_16bpc_neon(pixel *dst, const ptrdiff_t stride,
1141 // const pixel *const topleft,
1142 // const int width, const int height, const int a,
1143 // const int max_width, const int max_height);
1144 function ipred_smooth_v_16bpc_neon, export=1
1145 push {r4-r7, lr}
1146 ldr r4, [sp, #20]
1147 movrel r7, X(sm_weights)
1148 add r7, r7, r4
1149 clz lr, r3
1150 adr r5, L(ipred_smooth_v_tbl)
1151 sub r12, r2, r4, lsl #1
1152 sub lr, lr, #25
1153 ldr lr, [r5, lr, lsl #2]
1154 vld1.16 {d4[], d5[]}, [r12] // bottom
1155 add r2, r2, #2
1156 add r5, r5, lr
1157 add r6, r0, r1
1158 lsl r1, r1, #1
1159 bx r5
1160
1161 .align 2
1162 L(ipred_smooth_v_tbl):
1163 .word 640f - L(ipred_smooth_v_tbl) + CONFIG_THUMB
1164 .word 320f - L(ipred_smooth_v_tbl) + CONFIG_THUMB
1165 .word 160f - L(ipred_smooth_v_tbl) + CONFIG_THUMB
1166 .word 80f - L(ipred_smooth_v_tbl) + CONFIG_THUMB
1167 .word 40f - L(ipred_smooth_v_tbl) + CONFIG_THUMB
1168
1169 40:
1170 vld1.16 {d6}, [r2] // top
1171 vsub.i16 d6, d6, d4 // top-bottom
1172 vmov d7, d6
1173 4:
1174 vld4.8 {d16[], d17[], d18[], d19[]}, [r7, :32]! // weights_ver
1175 vzip.32 d16, d17 // weights_ver
1176 vzip.32 d18, d19
1177 vshll.u8 q8, d16, #7 // weights_ver << 7
1178 vshll.u8 q9, d18, #7
1179 vqrdmulh.s16 q10, q3, q8 // ((top-bottom)*weights_ver + 128) >> 8
1180 vqrdmulh.s16 q11, q3, q9
1181 vadd.i16 q10, q10, q2
1182 vadd.i16 q11, q11, q2
1183 vst1.16 {d20}, [r0, :64], r1
1184 vst1.16 {d21}, [r6, :64], r1
1185 subs r4, r4, #4
1186 vst1.16 {d22}, [r0, :64], r1
1187 vst1.16 {d23}, [r6, :64], r1
1188 bgt 4b
1189 pop {r4-r7, pc}
1190 80:
1191 vld1.16 {q3}, [r2] // top
1192 vsub.i16 q3, q3, q2 // top-bottom
1193 8:
1194 vld4.8 {d16[], d18[], d20[], d22[]}, [r7, :32]! // weights_ver
1195 vshll.u8 q8, d16, #7 // weights_ver << 7
1196 vshll.u8 q9, d18, #7
1197 vshll.u8 q10, d20, #7
1198 vshll.u8 q11, d22, #7
1199 vqrdmulh.s16 q8, q3, q8 // ((top-bottom)*weights_ver + 128) >> 8
1200 vqrdmulh.s16 q9, q3, q9
1201 vqrdmulh.s16 q10, q3, q10
1202 vqrdmulh.s16 q11, q3, q11
1203 vadd.i16 q8, q8, q2
1204 vadd.i16 q9, q9, q2
1205 vadd.i16 q10, q10, q2
1206 vadd.i16 q11, q11, q2
1207 vst1.16 {q8}, [r0, :128], r1
1208 vst1.16 {q9}, [r6, :128], r1
1209 subs r4, r4, #4
1210 vst1.16 {q10}, [r0, :128], r1
1211 vst1.16 {q11}, [r6, :128], r1
1212 bgt 8b
1213 pop {r4-r7, pc}
1214 160:
1215 320:
1216 640:
1217 vpush {q4-q7}
1218 // Set up pointers for four rows in parallel; r0, r6, r5, lr
1219 add r5, r0, r1
1220 add lr, r6, r1
1221 lsl r1, r1, #1
1222 sub r1, r1, r3, lsl #1
1223 mov r12, r3
1224
1225 1:
1226 vld4.8 {d8[], d10[], d12[], d14[]}, [r7, :32]! // weights_ver
1227 vshll.u8 q4, d8, #7 // weights_ver << 7
1228 vshll.u8 q5, d10, #7
1229 vshll.u8 q6, d12, #7
1230 vshll.u8 q7, d14, #7
1231 2:
1232 vld1.16 {q0, q1}, [r2]! // top
1233 vsub.i16 q0, q0, q2 // top-bottom
1234 vsub.i16 q1, q1, q2
1235 vqrdmulh.s16 q8, q0, q4 // ((top-bottom)*weights_ver + 128) >> 8
1236 vqrdmulh.s16 q9, q1, q4
1237 vqrdmulh.s16 q10, q0, q5
1238 vqrdmulh.s16 q11, q1, q5
1239 vqrdmulh.s16 q12, q0, q6
1240 vqrdmulh.s16 q13, q1, q6
1241 vqrdmulh.s16 q14, q0, q7
1242 vqrdmulh.s16 q15, q1, q7
1243 vadd.i16 q8, q8, q2
1244 vadd.i16 q9, q9, q2
1245 vadd.i16 q10, q10, q2
1246 vadd.i16 q11, q11, q2
1247 vadd.i16 q12, q12, q2
1248 vadd.i16 q13, q13, q2
1249 vadd.i16 q14, q14, q2
1250 vadd.i16 q15, q15, q2
1251 subs r3, r3, #16
1252 vst1.16 {q8, q9}, [r0, :128]!
1253 vst1.16 {q10, q11}, [r6, :128]!
1254 vst1.16 {q12, q13}, [r5, :128]!
1255 vst1.16 {q14, q15}, [lr, :128]!
1256 bgt 2b
1257 subs r4, r4, #4
1258 ble 9f
1259 sub r2, r2, r12, lsl #1
1260 add r0, r0, r1
1261 add r6, r6, r1
1262 add r5, r5, r1
1263 add lr, lr, r1
1264 mov r3, r12
1265 b 1b
1266 9:
1267 vpop {q4-q7}
1268 pop {r4-r7, pc}
1269 endfunc
1270
1271 // void ipred_smooth_h_16bpc_neon(pixel *dst, const ptrdiff_t stride,
1272 // const pixel *const topleft,
1273 // const int width, const int height, const int a,
1274 // const int max_width, const int max_height);
1275 function ipred_smooth_h_16bpc_neon, export=1
1276 push {r4-r8, lr}
1277 ldr r4, [sp, #24]
1278 movrel r8, X(sm_weights)
1279 add r8, r8, r3
1280 clz lr, r3
1281 adr r5, L(ipred_smooth_h_tbl)
1282 add r12, r2, r3, lsl #1
1283 sub lr, lr, #25
1284 ldr lr, [r5, lr, lsl #2]
1285 vld1.16 {d4[], d5[]}, [r12] // right
1286 add r5, r5, lr
1287 add r6, r0, r1
1288 lsl r1, r1, #1
1289 bx r5
1290
1291 .align 2
1292 L(ipred_smooth_h_tbl):
1293 .word 640f - L(ipred_smooth_h_tbl) + CONFIG_THUMB
1294 .word 320f - L(ipred_smooth_h_tbl) + CONFIG_THUMB
1295 .word 160f - L(ipred_smooth_h_tbl) + CONFIG_THUMB
1296 .word 80f - L(ipred_smooth_h_tbl) + CONFIG_THUMB
1297 .word 40f - L(ipred_smooth_h_tbl) + CONFIG_THUMB
1298
1299 40:
1300 vld1.32 {d6[]}, [r8, :32] // weights_hor
1301 sub r2, r2, #8
1302 mov r7, #-8
1303 vshll.u8 q3, d6, #7 // weights_hor << 7
1304 4:
1305 vld4.16 {d0[], d1[], d2[], d3[]}, [r2, :64], r7 // left
1306 vsub.i16 q0, q0, q2 // left-right
1307 vsub.i16 q1, q1, q2
1308 subs r4, r4, #4
1309 vqrdmulh.s16 q8, q1, q3 // ((left-right)*weights_hor + 128) >> 8
1310 vqrdmulh.s16 q9, q0, q3 // (left flipped)
1311 vadd.i16 q8, q8, q2
1312 vadd.i16 q9, q9, q2
1313 vst1.16 {d17}, [r0, :64], r1
1314 vst1.16 {d16}, [r6, :64], r1
1315 vst1.16 {d19}, [r0, :64], r1
1316 vst1.16 {d18}, [r6, :64], r1
1317 bgt 4b
1318 pop {r4-r8, pc}
1319 80:
1320 vld1.8 {d6}, [r8, :64] // weights_hor
1321 sub r2, r2, #8
1322 mov r7, #-8
1323 vshll.u8 q3, d6, #7 // weights_hor << 7
1324 8:
1325 vld1.16 {d23}, [r2, :64], r7 // left
1326 subs r4, r4, #4
1327 vsub.i16 d23, d23, d4 // left-right
1328 vdup.16 q8, d23[3] // flip left
1329 vdup.16 q9, d23[2]
1330 vdup.16 q10, d23[1]
1331 vdup.16 q11, d23[0]
1332 vqrdmulh.s16 q8, q8, q3 // ((left-right)*weights_hor + 128) >> 8
1333 vqrdmulh.s16 q9, q9, q3
1334 vqrdmulh.s16 q10, q10, q3
1335 vqrdmulh.s16 q11, q11, q3
1336 vadd.i16 q8, q8, q2
1337 vadd.i16 q9, q9, q2
1338 vadd.i16 q10, q10, q2
1339 vadd.i16 q11, q11, q2
1340 vst1.16 {q8}, [r0, :128], r1
1341 vst1.16 {q9}, [r6, :128], r1
1342 vst1.16 {q10}, [r0, :128], r1
1343 vst1.16 {q11}, [r6, :128], r1
1344 bgt 8b
1345 pop {r4-r8, pc}
1346 160:
1347 320:
1348 640:
1349 vpush {q4-q7}
1350 sub r2, r2, #8
1351 mov r7, #-8
1352 // Set up pointers for four rows in parallel; r0, r6, r5, lr
1353 add r5, r0, r1
1354 add lr, r6, r1
1355 lsl r1, r1, #1
1356 sub r1, r1, r3, lsl #1
1357 mov r12, r3
1358
1359 1:
1360 vld1.16 {d15}, [r2, :64], r7 // left
1361 vsub.i16 d15, d15, d4 // left-right
1362 vdup.16 q4, d15[3] // flip left
1363 vdup.16 q5, d15[2]
1364 vdup.16 q6, d15[1]
1365 vdup.16 q7, d15[0]
1366 2:
1367 vld1.8 {q1}, [r8, :128]! // weights_hor
1368 subs r3, r3, #16
1369 vshll.u8 q0, d2, #7 // weights_hor << 7
1370 vshll.u8 q1, d3, #7
1371 vqrdmulh.s16 q8, q0, q4 // ((left-right)*weights_hor + 128) >> 8
1372 vqrdmulh.s16 q9, q1, q4
1373 vqrdmulh.s16 q10, q0, q5
1374 vqrdmulh.s16 q11, q1, q5
1375 vqrdmulh.s16 q12, q0, q6
1376 vqrdmulh.s16 q13, q1, q6
1377 vqrdmulh.s16 q14, q0, q7
1378 vqrdmulh.s16 q15, q1, q7
1379 vadd.i16 q8, q8, q2
1380 vadd.i16 q9, q9, q2
1381 vadd.i16 q10, q10, q2
1382 vadd.i16 q11, q11, q2
1383 vadd.i16 q12, q12, q2
1384 vadd.i16 q13, q13, q2
1385 vadd.i16 q14, q14, q2
1386 vadd.i16 q15, q15, q2
1387 vst1.16 {q8, q9}, [r0, :128]!
1388 vst1.16 {q10, q11}, [r6, :128]!
1389 vst1.16 {q12, q13}, [r5, :128]!
1390 vst1.16 {q14, q15}, [lr, :128]!
1391 bgt 2b
1392 subs r4, r4, #4
1393 ble 9f
1394 sub r8, r8, r12
1395 add r0, r0, r1
1396 add r6, r6, r1
1397 add r5, r5, r1
1398 add lr, lr, r1
1399 mov r3, r12
1400 b 1b
1401 9:
1402 vpop {q4-q7}
1403 pop {r4-r8, pc}
1404 endfunc
1405
1406 // void ipred_filter_16bpc_neon(pixel *dst, const ptrdiff_t stride,
1407 // const pixel *const topleft,
1408 // const int width, const int height, const int filt_idx,
1409 // const int max_width, const int max_height,
1410 // const int bitdepth_max);
1411 .macro filter_fn bpc
1412 function ipred_filter_\bpc\()bpc_neon, export=1
1413 movw r12, #511
1414 ldrd r4, r5, [sp, #88]
1415 and r5, r5, r12 // 511
1416 movrel r6, X(filter_intra_taps)
1417 lsl r5, r5, #6
1418 add r6, r6, r5
1419 vld1.8 {d20, d21, d22, d23}, [r6, :128]!
1420 clz lr, r3
1421 adr r5, L(ipred_filter\bpc\()_tbl)
1422 vld1.8 {d27, d28, d29}, [r6, :64]
1423 sub lr, lr, #26
1424 ldr lr, [r5, lr, lsl #2]
1425 vmovl.s8 q8, d20
1426 vmovl.s8 q9, d21
1427 add r5, r5, lr
1428 vmovl.s8 q10, d22
1429 vmovl.s8 q11, d23
1430 add r6, r0, r1
1431 lsl r1, r1, #1
1432 vmovl.s8 q12, d27
1433 vmovl.s8 q13, d28
1434 vmovl.s8 q14, d29
1435 mov r7, #-4
1436 vdup.16 q15, r8
1437 add r8, r2, #2
1438 sub r2, r2, #4
1439 .if \bpc == 10
1440 vmov.i16 q7, #0
1441 .endif
1442 bx r5
1443
1444 .align 2
1445 L(ipred_filter\bpc\()_tbl):
1446 .word 320f - L(ipred_filter\bpc\()_tbl) + CONFIG_THUMB
1447 .word 160f - L(ipred_filter\bpc\()_tbl) + CONFIG_THUMB
1448 .word 80f - L(ipred_filter\bpc\()_tbl) + CONFIG_THUMB
1449 .word 40f - L(ipred_filter\bpc\()_tbl) + CONFIG_THUMB
1450
1451 40:
1452 vld1.16 {d0}, [r8] // top (0-3)
1453 4:
1454 vld1.16 {d2}, [r2], r7 // left (0-1) + topleft (2)
1455 .if \bpc == 10
1456 vmul.i16 q2, q9, d0[0] // p1(top[0]) * filter(1)
1457 vmla.i16 q2, q10, d0[1] // p2(top[1]) * filter(2)
1458 vmla.i16 q2, q11, d0[2] // p3(top[2]) * filter(3)
1459 vmla.i16 q2, q12, d0[3] // p4(top[3]) * filter(4)
1460 vmla.i16 q2, q8, d2[2] // p0(topleft) * filter(0)
1461 vmla.i16 q2, q13, d2[1] // p5(left[0]) * filter(5)
1462 vmla.i16 q2, q14, d2[0] // p6(left[1]) * filter(6)
1463 vrshr.s16 q2, q2, #4
1464 vmax.s16 q2, q2, q7
1465 .else
1466 vmull.s16 q2, d18, d0[0] // p1(top[0]) * filter(1)
1467 vmlal.s16 q2, d20, d0[1] // p2(top[1]) * filter(2)
1468 vmlal.s16 q2, d22, d0[2] // p3(top[2]) * filter(3)
1469 vmlal.s16 q2, d24, d0[3] // p4(top[3]) * filter(4)
1470 vmlal.s16 q2, d16, d2[2] // p0(topleft) * filter(0)
1471 vmlal.s16 q2, d26, d2[1] // p5(left[0]) * filter(5)
1472 vmlal.s16 q2, d28, d2[0] // p6(left[1]) * filter(6)
1473 vmull.s16 q3, d19, d0[0] // p1(top[0]) * filter(1)
1474 vmlal.s16 q3, d21, d0[1] // p2(top[1]) * filter(2)
1475 vmlal.s16 q3, d23, d0[2] // p3(top[2]) * filter(3)
1476 vmlal.s16 q3, d25, d0[3] // p4(top[3]) * filter(4)
1477 vmlal.s16 q3, d17, d2[2] // p0(topleft) * filter(0)
1478 vmlal.s16 q3, d27, d2[1] // p5(left[0]) * filter(5)
1479 vmlal.s16 q3, d29, d2[0] // p6(left[1]) * filter(6)
1480 vqrshrun.s32 d4, q2, #4
1481 vqrshrun.s32 d5, q3, #4
1482 .endif
1483 vmin.s16 q2, q2, q15
1484 subs r4, r4, #2
1485 vst1.16 {d4}, [r0, :64], r1
1486 vst1.16 {d5}, [r6, :64], r1
1487 vmov d0, d5 // move top from [4-7] to [0-3]
1488 bgt 4b
1489 vpop {q4-q7}
1490 pop {r4-r8, pc}
1491 80:
1492 vld1.16 {q0}, [r8] // top (0-7)
1493 8:
1494 vld1.16 {d2}, [r2], r7 // left (0-1) + topleft (2)
1495 .if \bpc == 10
1496 vmul.i16 q2, q9, d0[0] // p1(top[0]) * filter(1)
1497 vmla.i16 q2, q10, d0[1] // p2(top[1]) * filter(2)
1498 vmla.i16 q2, q11, d0[2] // p3(top[2]) * filter(3)
1499 vmla.i16 q2, q12, d0[3] // p4(top[3]) * filter(4)
1500 vmla.i16 q2, q8, d2[2] // p0(topleft) * filter(0)
1501 vmla.i16 q2, q13, d2[1] // p5(left[0]) * filter(5)
1502 vmla.i16 q2, q14, d2[0] // p6(left[1]) * filter(6)
1503 vmul.i16 q3, q9, d1[0] // p1(top[0]) * filter(1)
1504 vmla.i16 q3, q10, d1[1] // p2(top[1]) * filter(2)
1505 vmla.i16 q3, q11, d1[2] // p3(top[2]) * filter(3)
1506 vrshr.s16 q2, q2, #4
1507 vmax.s16 q2, q2, q7
1508 vmin.s16 q2, q2, q15
1509 vmla.i16 q3, q12, d1[3] // p4(top[3]) * filter(4)
1510 vmla.i16 q3, q8, d0[3] // p0(topleft) * filter(0)
1511 vmla.i16 q3, q13, d4[3] // p5(left[0]) * filter(5)
1512 vmla.i16 q3, q14, d5[3] // p6(left[1]) * filter(6)
1513 vrshr.s16 q3, q3, #4
1514 vmax.s16 q3, q3, q7
1515 .else
1516 vmull.s16 q2, d18, d0[0] // p1(top[0]) * filter(1)
1517 vmlal.s16 q2, d20, d0[1] // p2(top[1]) * filter(2)
1518 vmlal.s16 q2, d22, d0[2] // p3(top[2]) * filter(3)
1519 vmlal.s16 q2, d24, d0[3] // p4(top[3]) * filter(4)
1520 vmlal.s16 q2, d16, d2[2] // p0(topleft) * filter(0)
1521 vmlal.s16 q2, d26, d2[1] // p5(left[0]) * filter(5)
1522 vmlal.s16 q2, d28, d2[0] // p6(left[1]) * filter(6)
1523 vmull.s16 q3, d19, d0[0] // p1(top[0]) * filter(1)
1524 vmlal.s16 q3, d21, d0[1] // p2(top[1]) * filter(2)
1525 vmlal.s16 q3, d23, d0[2] // p3(top[2]) * filter(3)
1526 vmlal.s16 q3, d25, d0[3] // p4(top[3]) * filter(4)
1527 vmlal.s16 q3, d17, d2[2] // p0(topleft) * filter(0)
1528 vmlal.s16 q3, d27, d2[1] // p5(left[0]) * filter(5)
1529 vmlal.s16 q3, d29, d2[0] // p6(left[1]) * filter(6)
1530 vqrshrun.s32 d4, q2, #4
1531 vmull.s16 q4, d18, d1[0] // p1(top[0]) * filter(1)
1532 vmlal.s16 q4, d20, d1[1] // p2(top[1]) * filter(2)
1533 vmlal.s16 q4, d22, d1[2] // p3(top[2]) * filter(3)
1534 vqrshrun.s32 d5, q3, #4
1535 vmin.s16 q2, q2, q15
1536 vmlal.s16 q4, d24, d1[3] // p4(top[3]) * filter(4)
1537 vmlal.s16 q4, d16, d0[3] // p0(topleft) * filter(0)
1538 vmlal.s16 q4, d26, d4[3] // p5(left[0]) * filter(5)
1539 vmlal.s16 q4, d28, d5[3] // p6(left[1]) * filter(6)
1540 vmull.s16 q5, d19, d1[0] // p1(top[0]) * filter(1)
1541 vmlal.s16 q5, d21, d1[1] // p2(top[1]) * filter(2)
1542 vmlal.s16 q5, d23, d1[2] // p3(top[2]) * filter(3)
1543 vmlal.s16 q5, d25, d1[3] // p4(top[3]) * filter(4)
1544 vmlal.s16 q5, d17, d0[3] // p0(topleft) * filter(0)
1545 vmlal.s16 q5, d27, d4[3] // p5(left[0]) * filter(5)
1546 vmlal.s16 q5, d29, d5[3] // p6(left[1]) * filter(6)
1547 vqrshrun.s32 d6, q4, #4
1548 vqrshrun.s32 d7, q5, #4
1549 .endif
1550 vmin.s16 q3, q3, q15
1551 vswp d5, d6
1552 subs r4, r4, #2
1553 vst1.16 {q2}, [r0, :128], r1
1554 vmov q0, q3
1555 vst1.16 {q3}, [r6, :128], r1
1556 bgt 8b
1557 vpop {q4-q7}
1558 pop {r4-r8, pc}
1559 160:
1560 320:
1561 sub r1, r1, r3, lsl #1
1562 mov lr, r3
1563
1564 1:
1565 vld1.16 {d0}, [r2], r7 // left (0-1) + topleft (2)
1566 2:
1567 vld1.16 {q1, q2}, [r8]! // top(0-15)
1568 .if \bpc == 10
1569 vmul.i16 q3, q8, d0[2] // p0(topleft) * filter(0)
1570 vmla.i16 q3, q13, d0[1] // p5(left[0]) * filter(5)
1571 vmla.i16 q3, q14, d0[0] // p6(left[1]) * filter(6)
1572 vmla.i16 q3, q9, d2[0] // p1(top[0]) * filter(1)
1573 vmla.i16 q3, q10, d2[1] // p2(top[1]) * filter(2)
1574 vmla.i16 q3, q11, d2[2] // p3(top[2]) * filter(3)
1575 vmla.i16 q3, q12, d2[3] // p4(top[3]) * filter(4)
1576
1577 vmul.i16 q4, q9, d3[0] // p1(top[0]) * filter(1)
1578 vmla.i16 q4, q10, d3[1] // p2(top[1]) * filter(2)
1579 vmla.i16 q4, q11, d3[2] // p3(top[2]) * filter(3)
1580 vrshr.s16 q3, q3, #4
1581 vmax.s16 q3, q3, q7
1582 vmin.s16 q3, q3, q15
1583 vmla.i16 q4, q12, d3[3] // p4(top[3]) * filter(4)
1584 vmla.i16 q4, q8, d2[3] // p0(topleft) * filter(0)
1585 vmla.i16 q4, q13, d6[3] // p5(left[0]) * filter(5)
1586 vmla.i16 q4, q14, d7[3] // p6(left[1]) * filter(6)
1587
1588 vmul.i16 q5, q9, d4[0] // p1(top[0]) * filter(1)
1589 vmla.i16 q5, q10, d4[1] // p2(top[1]) * filter(2)
1590 vmla.i16 q5, q11, d4[2] // p3(top[2]) * filter(3)
1591 vrshr.s16 q4, q4, #4
1592 vmax.s16 q4, q4, q7
1593 vmin.s16 q4, q4, q15
1594 vmov q0, q4
1595 vmla.i16 q5, q12, d4[3] // p4(top[3]) * filter(4)
1596 vmla.i16 q5, q8, d3[3] // p0(topleft) * filter(0)
1597 vmla.i16 q5, q13, d0[3] // p5(left[0]) * filter(5)
1598 vmla.i16 q5, q14, d1[3] // p6(left[1]) * filter(6)
1599
1600 vmul.i16 q6, q9, d5[0] // p1(top[0]) * filter(1)
1601 vmla.i16 q6, q10, d5[1] // p2(top[1]) * filter(2)
1602 vmla.i16 q6, q11, d5[2] // p3(top[2]) * filter(3)
1603 vrshr.s16 q5, q5, #4
1604 vmax.s16 q5, q5, q7
1605 vmin.s16 q5, q5, q15
1606 vmov q0, q5
1607 vmov.u16 r12, d5[3]
1608 vmla.i16 q6, q12, d5[3] // p4(top[3]) * filter(4)
1609 vmla.i16 q6, q8, d4[3] // p0(topleft) * filter(0)
1610 vmla.i16 q6, q13, d0[3] // p5(left[0]) * filter(5)
1611 vmla.i16 q6, q14, d1[3] // p6(left[1]) * filter(6)
1612 vmov.16 d0[2], r12
1613 subs r3, r3, #16
1614 vrshr.s16 q6, q6, #4
1615 .else
1616 vmull.s16 q3, d16, d0[2] // p0(topleft) * filter(0)
1617 vmlal.s16 q3, d26, d0[1] // p5(left[0]) * filter(5)
1618 vmlal.s16 q3, d28, d0[0] // p6(left[1]) * filter(6)
1619 vmlal.s16 q3, d18, d2[0] // p1(top[0]) * filter(1)
1620 vmlal.s16 q3, d20, d2[1] // p2(top[1]) * filter(2)
1621 vmlal.s16 q3, d22, d2[2] // p3(top[2]) * filter(3)
1622 vmlal.s16 q3, d24, d2[3] // p4(top[3]) * filter(4)
1623 vmull.s16 q4, d17, d0[2] // p0(topleft) * filter(0)
1624 vmlal.s16 q4, d27, d0[1] // p5(left[0]) * filter(5)
1625 vmlal.s16 q4, d29, d0[0] // p6(left[1]) * filter(6)
1626 vmlal.s16 q4, d19, d2[0] // p1(top[0]) * filter(1)
1627 vmlal.s16 q4, d21, d2[1] // p2(top[1]) * filter(2)
1628 vmlal.s16 q4, d23, d2[2] // p3(top[2]) * filter(3)
1629 vmlal.s16 q4, d25, d2[3] // p4(top[3]) * filter(4)
1630 vqrshrun.s32 d6, q3, #4
1631 vmull.s16 q5, d18, d3[0] // p1(top[0]) * filter(1)
1632 vmlal.s16 q5, d20, d3[1] // p2(top[1]) * filter(2)
1633 vqrshrun.s32 d7, q4, #4
1634 vmin.s16 q3, q3, q15
1635 vmlal.s16 q5, d22, d3[2] // p3(top[2]) * filter(3)
1636 vmlal.s16 q5, d24, d3[3] // p4(top[3]) * filter(4)
1637 vmlal.s16 q5, d16, d2[3] // p0(topleft) * filter(0)
1638 vmlal.s16 q5, d26, d6[3] // p5(left[0]) * filter(5)
1639 vmlal.s16 q5, d28, d7[3] // p6(left[1]) * filter(6)
1640 vmull.s16 q6, d19, d3[0] // p1(top[0]) * filter(1)
1641 vmlal.s16 q6, d21, d3[1] // p2(top[1]) * filter(2)
1642 vmlal.s16 q6, d23, d3[2] // p3(top[2]) * filter(3)
1643 vmlal.s16 q6, d25, d3[3] // p4(top[3]) * filter(4)
1644 vmlal.s16 q6, d17, d2[3] // p0(topleft) * filter(0)
1645 vmlal.s16 q6, d27, d6[3] // p5(left[0]) * filter(5)
1646 vmlal.s16 q6, d29, d7[3] // p6(left[1]) * filter(6)
1647 vqrshrun.s32 d8, q5, #4
1648 vmull.s16 q7, d18, d4[0] // p1(top[0]) * filter(1)
1649 vmlal.s16 q7, d20, d4[1] // p2(top[1]) * filter(2)
1650 vmlal.s16 q7, d22, d4[2] // p3(top[2]) * filter(3)
1651 vqrshrun.s32 d9, q6, #4
1652 vmin.s16 q0, q4, q15
1653 vmlal.s16 q7, d24, d4[3] // p4(top[3]) * filter(4)
1654 vmlal.s16 q7, d16, d3[3] // p0(topleft) * filter(0)
1655 vmlal.s16 q7, d26, d0[3] // p5(left[0]) * filter(5)
1656 vmlal.s16 q7, d28, d1[3] // p6(left[1]) * filter(6)
1657 vmin.s16 q4, q4, q15
1658 vmull.s16 q6, d19, d4[0] // p1(top[0]) * filter(1)
1659 vmlal.s16 q6, d21, d4[1] // p2(top[1]) * filter(2)
1660 vmlal.s16 q6, d23, d4[2] // p3(top[2]) * filter(3)
1661 vmlal.s16 q6, d25, d4[3] // p4(top[3]) * filter(4)
1662 vmlal.s16 q6, d17, d3[3] // p0(topleft) * filter(0)
1663 vmlal.s16 q6, d27, d0[3] // p5(left[0]) * filter(5)
1664 vmlal.s16 q6, d29, d1[3] // p6(left[1]) * filter(6)
1665 vqrshrun.s32 d10, q7, #4
1666 vmull.s16 q1, d18, d5[0] // p1(top[0]) * filter(1)
1667 vmlal.s16 q1, d20, d5[1] // p2(top[1]) * filter(2)
1668 vmlal.s16 q1, d22, d5[2] // p3(top[2]) * filter(3)
1669 vqrshrun.s32 d11, q6, #4
1670 vmin.s16 q0, q5, q15
1671 vmlal.s16 q1, d24, d5[3] // p4(top[3]) * filter(4)
1672 vmlal.s16 q1, d16, d4[3] // p0(topleft) * filter(0)
1673 vmlal.s16 q1, d26, d0[3] // p5(left[0]) * filter(5)
1674 vmlal.s16 q1, d28, d1[3] // p6(left[1]) * filter(6)
1675 vmin.s16 q5, q5, q15
1676 vmov.u16 r12, d5[3]
1677 vmull.s16 q7, d19, d5[0] // p1(top[0]) * filter(1)
1678 vmlal.s16 q7, d21, d5[1] // p2(top[1]) * filter(2)
1679 vmlal.s16 q7, d23, d5[2] // p3(top[2]) * filter(3)
1680 vmlal.s16 q7, d25, d5[3] // p4(top[3]) * filter(4)
1681 vmlal.s16 q7, d17, d4[3] // p0(topleft) * filter(0)
1682 vmlal.s16 q7, d27, d0[3] // p5(left[0]) * filter(5)
1683 vmlal.s16 q7, d29, d1[3] // p6(left[1]) * filter(6)
1684 vmov.16 d0[2], r12
1685 vqrshrun.s32 d12, q1, #4
1686 subs r3, r3, #16
1687 vqrshrun.s32 d13, q7, #4
1688 .endif
1689 vswp q4, q5
1690 .if \bpc == 10
1691 vmax.s16 q6, q6, q7
1692 .endif
1693 vswp d7, d10
1694 vmin.s16 q6, q6, q15
1695
1696 vswp d9, d12
1697
1698 vst1.16 {q3, q4}, [r0, :128]!
1699 vst1.16 {q5, q6}, [r6, :128]!
1700 ble 8f
1701 vmov.u16 r12, d13[3]
1702 vmov.16 d0[0], r12
1703 vmov.u16 r12, d9[3]
1704 vmov.16 d0[1], r12
1705 b 2b
1706 8:
1707 subs r4, r4, #2
1708
1709 ble 9f
1710 sub r8, r6, lr, lsl #1
1711 add r0, r0, r1
1712 add r6, r6, r1
1713 mov r3, lr
1714 b 1b
1715 9:
1716 vpop {q4-q7}
1717 pop {r4-r8, pc}
1718 endfunc
1719 .endm
1720
1721 filter_fn 10
1722 filter_fn 12
1723
1724 function ipred_filter_16bpc_neon, export=1
1725 push {r4-r8, lr}
1726 vpush {q4-q7}
1727 movw r12, 0x3ff
1728 ldr r8, [sp, #104]
1729 cmp r8, r12
1730 ble ipred_filter_10bpc_neon
1731 b ipred_filter_12bpc_neon
1732 endfunc
1733
1734 // void pal_pred_16bpc_neon(pixel *dst, const ptrdiff_t stride,
1735 // const uint16_t *const pal, const uint8_t *idx,
1736 // const int w, const int h);
1737 function pal_pred_16bpc_neon, export=1
1738 push {r4-r5, lr}
1739 ldr r4, [sp, #12]
1740 ldr r5, [sp, #16]
1741 vld1.16 {q14}, [r2, :128]
1742 clz lr, r4
1743 adr r12, L(pal_pred_tbl)
1744 sub lr, lr, #25
1745 ldr lr, [r12, lr, lsl #2]
1746 vmov.i16 q15, #0x100
1747 add r12, r12, lr
1748 add r2, r0, r1
1749 bx r12
1750
1751 .align 2
1752 L(pal_pred_tbl):
1753 .word 640f - L(pal_pred_tbl) + CONFIG_THUMB
1754 .word 320f - L(pal_pred_tbl) + CONFIG_THUMB
1755 .word 160f - L(pal_pred_tbl) + CONFIG_THUMB
1756 .word 80f - L(pal_pred_tbl) + CONFIG_THUMB
1757 .word 40f - L(pal_pred_tbl) + CONFIG_THUMB
1758
1759 40:
1760 lsl r1, r1, #1
1761 4:
1762 vld1.8 {q1}, [r3, :128]!
1763 subs r5, r5, #4
1764 // Restructure q1 from a, b, c, ... into 2*a, 2*a+1, 2*b, 2*b+1, 2*c, 2*c+1, ...
1765 vadd.i8 q0, q1, q1
1766 vadd.i8 q1, q1, q1
1767 vzip.8 q0, q1
1768 vadd.i16 q0, q0, q15
1769 vadd.i16 q1, q1, q15
1770 vtbl.8 d0, {q14}, d0
1771 vtbl.8 d1, {q14}, d1
1772 vst1.16 {d0}, [r0, :64], r1
1773 vtbl.8 d2, {q14}, d2
1774 vst1.16 {d1}, [r2, :64], r1
1775 vtbl.8 d3, {q14}, d3
1776 vst1.16 {d2}, [r0, :64], r1
1777 vst1.16 {d3}, [r2, :64], r1
1778 bgt 4b
1779 pop {r4-r5, pc}
1780 80:
1781 lsl r1, r1, #1
1782 8:
1783 vld1.8 {q1, q2}, [r3, :128]!
1784 subs r5, r5, #4
1785 // Prefer doing the adds twice, instead of chaining a vmov after
1786 // the add.
1787 vadd.i8 q0, q1, q1
1788 vadd.i8 q1, q1, q1
1789 vadd.i8 q3, q2, q2
1790 vadd.i8 q2, q2, q2
1791 vzip.8 q0, q1
1792 vzip.8 q2, q3
1793 vadd.i16 q0, q0, q15
1794 vadd.i16 q1, q1, q15
1795 vtbl.8 d0, {q14}, d0
1796 vadd.i16 q2, q2, q15
1797 vtbl.8 d1, {q14}, d1
1798 vadd.i16 q3, q3, q15
1799 vtbl.8 d2, {q14}, d2
1800 vtbl.8 d3, {q14}, d3
1801 vtbl.8 d4, {q14}, d4
1802 vtbl.8 d5, {q14}, d5
1803 vst1.16 {q0}, [r0, :128], r1
1804 vtbl.8 d6, {q14}, d6
1805 vst1.16 {q1}, [r2, :128], r1
1806 vtbl.8 d7, {q14}, d7
1807 vst1.16 {q2}, [r0, :128], r1
1808 vst1.16 {q3}, [r2, :128], r1
1809 bgt 8b
1810 pop {r4-r5, pc}
1811 160:
1812 lsl r1, r1, #1
1813 16:
1814 vld1.8 {q2, q3}, [r3, :128]!
1815 subs r5, r5, #4
1816 vld1.8 {q10, q11}, [r3, :128]!
1817 vadd.i8 q0, q2, q2
1818 vadd.i8 q1, q2, q2
1819 vadd.i8 q2, q3, q3
1820 vadd.i8 q3, q3, q3
1821 vadd.i8 q8, q10, q10
1822 vadd.i8 q9, q10, q10
1823 vadd.i8 q10, q11, q11
1824 vzip.8 q0, q1
1825 vadd.i8 q11, q11, q11
1826 vzip.8 q2, q3
1827 vzip.8 q8, q9
1828 vadd.i16 q0, q0, q15
1829 vzip.8 q10, q11
1830 vadd.i16 q1, q1, q15
1831 vadd.i16 q2, q2, q15
1832 vadd.i16 q3, q3, q15
1833 vadd.i16 q8, q8, q15
1834 vadd.i16 q9, q9, q15
1835 vadd.i16 q10, q10, q15
1836 vtbl.8 d0, {q14}, d0
1837 vadd.i16 q11, q11, q15
1838 vtbl.8 d1, {q14}, d1
1839 vtbl.8 d2, {q14}, d2
1840 vtbl.8 d3, {q14}, d3
1841 vtbl.8 d4, {q14}, d4
1842 vtbl.8 d5, {q14}, d5
1843 vtbl.8 d6, {q14}, d6
1844 vtbl.8 d7, {q14}, d7
1845 vtbl.8 d16, {q14}, d16
1846 vtbl.8 d17, {q14}, d17
1847 vtbl.8 d18, {q14}, d18
1848 vst1.16 {q0, q1}, [r0, :128], r1
1849 vtbl.8 d19, {q14}, d19
1850 vtbl.8 d20, {q14}, d20
1851 vst1.16 {q2, q3}, [r2, :128], r1
1852 vtbl.8 d21, {q14}, d21
1853 vtbl.8 d22, {q14}, d22
1854 vst1.16 {q8, q9}, [r0, :128], r1
1855 vtbl.8 d23, {q14}, d23
1856 vst1.16 {q10, q11}, [r2, :128], r1
1857 bgt 16b
1858 pop {r4-r5, pc}
1859 320:
1860 lsl r1, r1, #1
1861 sub r1, r1, #32
1862 32:
1863 vld1.8 {q2, q3}, [r3, :128]!
1864 subs r5, r5, #2
1865 vld1.8 {q10, q11}, [r3, :128]!
1866 vadd.i8 q0, q2, q2
1867 vadd.i8 q1, q2, q2
1868 vadd.i8 q2, q3, q3
1869 vadd.i8 q3, q3, q3
1870 vadd.i8 q8, q10, q10
1871 vadd.i8 q9, q10, q10
1872 vadd.i8 q10, q11, q11
1873 vzip.8 q0, q1
1874 vadd.i8 q11, q11, q11
1875 vzip.8 q2, q3
1876 vzip.8 q8, q9
1877 vadd.i16 q0, q0, q15
1878 vzip.8 q10, q11
1879 vadd.i16 q1, q1, q15
1880 vadd.i16 q2, q2, q15
1881 vadd.i16 q3, q3, q15
1882 vadd.i16 q8, q8, q15
1883 vadd.i16 q9, q9, q15
1884 vadd.i16 q10, q10, q15
1885 vtbl.8 d0, {q14}, d0
1886 vadd.i16 q11, q11, q15
1887 vtbl.8 d1, {q14}, d1
1888 vtbl.8 d2, {q14}, d2
1889 vtbl.8 d3, {q14}, d3
1890 vtbl.8 d4, {q14}, d4
1891 vtbl.8 d5, {q14}, d5
1892 vtbl.8 d6, {q14}, d6
1893 vtbl.8 d7, {q14}, d7
1894 vtbl.8 d16, {q14}, d16
1895 vtbl.8 d17, {q14}, d17
1896 vtbl.8 d18, {q14}, d18
1897 vst1.16 {q0, q1}, [r0, :128]!
1898 vtbl.8 d19, {q14}, d19
1899 vtbl.8 d20, {q14}, d20
1900 vst1.16 {q2, q3}, [r0, :128], r1
1901 vtbl.8 d21, {q14}, d21
1902 vtbl.8 d22, {q14}, d22
1903 vst1.16 {q8, q9}, [r2, :128]!
1904 vtbl.8 d23, {q14}, d23
1905 vst1.16 {q10, q11}, [r2, :128], r1
1906 bgt 32b
1907 pop {r4-r5, pc}
1908 640:
1909 sub r1, r1, #96
1910 64:
1911 vld1.8 {q2, q3}, [r3, :128]!
1912 subs r5, r5, #1
1913 vld1.8 {q10, q11}, [r3, :128]!
1914 vadd.i8 q0, q2, q2
1915 vadd.i8 q1, q2, q2
1916 vadd.i8 q2, q3, q3
1917 vadd.i8 q3, q3, q3
1918 vadd.i8 q8, q10, q10
1919 vadd.i8 q9, q10, q10
1920 vadd.i8 q10, q11, q11
1921 vzip.8 q0, q1
1922 vadd.i8 q11, q11, q11
1923 vzip.8 q2, q3
1924 vzip.8 q8, q9
1925 vadd.i16 q0, q0, q15
1926 vzip.8 q10, q11
1927 vadd.i16 q1, q1, q15
1928 vadd.i16 q2, q2, q15
1929 vadd.i16 q3, q3, q15
1930 vadd.i16 q8, q8, q15
1931 vadd.i16 q9, q9, q15
1932 vadd.i16 q10, q10, q15
1933 vtbl.8 d0, {q14}, d0
1934 vadd.i16 q11, q11, q15
1935 vtbl.8 d1, {q14}, d1
1936 vtbl.8 d2, {q14}, d2
1937 vtbl.8 d3, {q14}, d3
1938 vtbl.8 d4, {q14}, d4
1939 vtbl.8 d5, {q14}, d5
1940 vtbl.8 d6, {q14}, d6
1941 vtbl.8 d7, {q14}, d7
1942 vtbl.8 d16, {q14}, d16
1943 vtbl.8 d17, {q14}, d17
1944 vtbl.8 d18, {q14}, d18
1945 vst1.16 {q0, q1}, [r0, :128]!
1946 vtbl.8 d19, {q14}, d19
1947 vtbl.8 d20, {q14}, d20
1948 vst1.16 {q2, q3}, [r0, :128]!
1949 vtbl.8 d21, {q14}, d21
1950 vtbl.8 d22, {q14}, d22
1951 vst1.16 {q8, q9}, [r0, :128]!
1952 vtbl.8 d23, {q14}, d23
1953 vst1.16 {q10, q11}, [r0, :128], r1
1954 bgt 64b
1955 pop {r4-r5, pc}
1956 endfunc
1957
1958 // void ipred_cfl_128_16bpc_neon(pixel *dst, const ptrdiff_t stride,
1959 // const pixel *const topleft,
1960 // const int width, const int height,
1961 // const int16_t *ac, const int alpha,
1962 // const int bitdepth_max);
1963 function ipred_cfl_128_16bpc_neon, export=1
1964 push {r4-r8, lr}
1965 ldrd r4, r5, [sp, #24]
1966 ldrd r6, r7, [sp, #32]
1967 clz lr, r3
1968 vdup.16 q15, r7 // bitdepth_max
1969 adr r12, L(ipred_cfl_128_tbl)
1970 sub lr, lr, #26
1971 ldr lr, [r12, lr, lsl #2]
1972 vrshr.u16 q0, q15, #1
1973 vdup.16 q1, r6 // alpha
1974 add r12, r12, lr
1975 add r6, r0, r1
1976 lsl r1, r1, #1
1977 vmov.i16 q14, #0
1978 bx r12
1979
1980 .align 2
1981 L(ipred_cfl_128_tbl):
1982 L(ipred_cfl_splat_tbl):
1983 .word L(ipred_cfl_splat_w16) - L(ipred_cfl_128_tbl) + CONFIG_THUMB
1984 .word L(ipred_cfl_splat_w16) - L(ipred_cfl_128_tbl) + CONFIG_THUMB
1985 .word L(ipred_cfl_splat_w8) - L(ipred_cfl_128_tbl) + CONFIG_THUMB
1986 .word L(ipred_cfl_splat_w4) - L(ipred_cfl_128_tbl) + CONFIG_THUMB
1987
1988 L(ipred_cfl_splat_w4):
1989 vld1.16 {q8, q9}, [r5, :128]!
1990 vmull.s16 q2, d16, d2 // diff = ac * alpha
1991 vmull.s16 q3, d17, d3
1992 vmull.s16 q8, d18, d2
1993 vmull.s16 q9, d19, d3
1994 vshr.s32 q10, q2, #31 // sign = diff >> 15
1995 vshr.s32 q11, q3, #31
1996 vshr.s32 q12, q8, #31
1997 vshr.s32 q13, q9, #31
1998 vadd.i32 q2, q2, q10 // diff + sign
1999 vadd.i32 q3, q3, q11
2000 vadd.i32 q8, q8, q12
2001 vadd.i32 q9, q9, q13
2002 vrshrn.i32 d4, q2, #6 // (diff + sign + 32) >> 6 = apply_sign()
2003 vrshrn.i32 d5, q3, #6
2004 vrshrn.i32 d6, q8, #6
2005 vrshrn.i32 d7, q9, #6
2006 vadd.i16 q2, q2, q0 // dc + apply_sign()
2007 vadd.i16 q3, q3, q0
2008 vmax.s16 q2, q2, q14
2009 vmax.s16 q3, q3, q14
2010 vmin.s16 q2, q2, q15
2011 vmin.s16 q3, q3, q15
2012 vst1.16 {d4}, [r0, :64], r1
2013 vst1.16 {d5}, [r6, :64], r1
2014 subs r4, r4, #4
2015 vst1.16 {d6}, [r0, :64], r1
2016 vst1.16 {d7}, [r6, :64], r1
2017 bgt L(ipred_cfl_splat_w4)
2018 pop {r4-r8, pc}
2019 L(ipred_cfl_splat_w8):
2020 vld1.16 {q8, q9}, [r5, :128]!
2021 subs r4, r4, #2
2022 vmull.s16 q2, d16, d2 // diff = ac * alpha
2023 vmull.s16 q3, d17, d3
2024 vmull.s16 q8, d18, d2
2025 vmull.s16 q9, d19, d3
2026 vshr.s32 q10, q2, #31 // sign = diff >> 15
2027 vshr.s32 q11, q3, #31
2028 vshr.s32 q12, q8, #31
2029 vshr.s32 q13, q9, #31
2030 vadd.i32 q2, q2, q10 // diff + sign
2031 vadd.i32 q3, q3, q11
2032 vadd.i32 q8, q8, q12
2033 vadd.i32 q9, q9, q13
2034 vrshrn.i32 d4, q2, #6 // (diff + sign + 32) >> 6 = apply_sign()
2035 vrshrn.i32 d5, q3, #6
2036 vrshrn.i32 d6, q8, #6
2037 vrshrn.i32 d7, q9, #6
2038 vadd.i16 q2, q2, q0 // dc + apply_sign()
2039 vadd.i16 q3, q3, q0
2040 vmax.s16 q2, q2, q14
2041 vmax.s16 q3, q3, q14
2042 vmin.s16 q2, q2, q15
2043 vmin.s16 q3, q3, q15
2044 vst1.16 {q2}, [r0, :128], r1
2045 vst1.16 {q3}, [r6, :128], r1
2046 bgt L(ipred_cfl_splat_w8)
2047 pop {r4-r8, pc}
2048 L(ipred_cfl_splat_w16):
2049 vpush {q4-q7}
2050 add r12, r5, r3, lsl #1
2051 sub r1, r1, r3, lsl #1
2052 mov lr, r3
2053 1:
2054 vld1.16 {q6, q7}, [r5, :128]!
2055 vmull.s16 q2, d12, d2 // diff = ac * alpha
2056 vld1.16 {q8, q9}, [r12, :128]!
2057 vmull.s16 q3, d13, d3
2058 vmull.s16 q4, d14, d2
2059 vmull.s16 q5, d15, d3
2060 vmull.s16 q6, d16, d2
2061 vmull.s16 q7, d17, d3
2062 vmull.s16 q8, d18, d2
2063 vmull.s16 q9, d19, d3
2064 vshr.s32 q10, q2, #31 // sign = diff >> 15
2065 vshr.s32 q11, q3, #31
2066 vshr.s32 q12, q4, #31
2067 vshr.s32 q13, q5, #31
2068 vadd.i32 q2, q2, q10 // diff + sign
2069 vshr.s32 q10, q6, #31
2070 vadd.i32 q3, q3, q11
2071 vshr.s32 q11, q7, #31
2072 vadd.i32 q4, q4, q12
2073 vshr.s32 q12, q8, #31
2074 vadd.i32 q5, q5, q13
2075 vshr.s32 q13, q9, #31
2076 vadd.i32 q6, q6, q10
2077 vadd.i32 q7, q7, q11
2078 vadd.i32 q8, q8, q12
2079 vadd.i32 q9, q9, q13
2080 vrshrn.i32 d4, q2, #6 // (diff + sign + 32) >> 6 = apply_sign()
2081 vrshrn.i32 d5, q3, #6
2082 vrshrn.i32 d6, q4, #6
2083 vrshrn.i32 d7, q5, #6
2084 vadd.i16 q2, q2, q0 // dc + apply_sign()
2085 vrshrn.i32 d8, q6, #6
2086 vrshrn.i32 d9, q7, #6
2087 vadd.i16 q3, q3, q0
2088 vrshrn.i32 d10, q8, #6
2089 vrshrn.i32 d11, q9, #6
2090 vadd.i16 q4, q4, q0
2091 vadd.i16 q5, q5, q0
2092 vmax.s16 q2, q2, q14
2093 vmax.s16 q3, q3, q14
2094 vmax.s16 q4, q4, q14
2095 vmax.s16 q5, q5, q14
2096 vmin.s16 q2, q2, q15
2097 vmin.s16 q3, q3, q15
2098 vmin.s16 q4, q4, q15
2099 vmin.s16 q5, q5, q15
2100 subs r3, r3, #16
2101 vst1.16 {q2, q3}, [r0, :128]!
2102 vst1.16 {q4, q5}, [r6, :128]!
2103 bgt 1b
2104 subs r4, r4, #2
2105 add r5, r5, lr, lsl #1
2106 add r12, r12, lr, lsl #1
2107 add r0, r0, r1
2108 add r6, r6, r1
2109 mov r3, lr
2110 bgt 1b
2111 vpop {q4-q7}
2112 pop {r4-r8, pc}
2113 endfunc
2114
2115 // void ipred_cfl_top_16bpc_neon(pixel *dst, const ptrdiff_t stride,
2116 // const pixel *const topleft,
2117 // const int width, const int height,
2118 // const int16_t *ac, const int alpha,
2119 // const int bitdepth_max);
2120 function ipred_cfl_top_16bpc_neon, export=1
2121 push {r4-r8, lr}
2122 ldrd r4, r5, [sp, #24]
2123 ldrd r6, r7, [sp, #32]
2124 clz lr, r3
2125 vdup.16 q15, r7 // bitdepth_max
2126 adr r12, L(ipred_cfl_top_tbl)
2127 sub lr, lr, #26
2128 ldr lr, [r12, lr, lsl #2]
2129 vdup.16 q1, r6 // alpha
2130 add r2, r2, #2
2131 add r12, r12, lr
2132 add r6, r0, r1
2133 lsl r1, r1, #1
2134 vmov.i16 q14, #0
2135 bx r12
2136
2137 .align 2
2138 L(ipred_cfl_top_tbl):
2139 .word 32f - L(ipred_cfl_top_tbl) + CONFIG_THUMB
2140 .word 16f - L(ipred_cfl_top_tbl) + CONFIG_THUMB
2141 .word 8f - L(ipred_cfl_top_tbl) + CONFIG_THUMB
2142 .word 4f - L(ipred_cfl_top_tbl) + CONFIG_THUMB
2143
2144 4:
2145 vld1.16 {d0}, [r2]
2146 vpadd.i16 d0, d0, d0
2147 vpadd.i16 d0, d0, d0
2148 vrshr.u16 d0, d0, #2
2149 vdup.16 q0, d0[0]
2150 b L(ipred_cfl_splat_w4)
2151 8:
2152 vld1.16 {q0}, [r2]
2153 vadd.i16 d0, d0, d1
2154 vpadd.i16 d0, d0, d0
2155 vpadd.i16 d0, d0, d0
2156 vrshr.u16 d0, d0, #3
2157 vdup.16 q0, d0[0]
2158 b L(ipred_cfl_splat_w8)
2159 16:
2160 vld1.16 {q2, q3}, [r2]
2161 vadd.i16 q0, q2, q3
2162 vadd.i16 d0, d0, d1
2163 vpadd.i16 d0, d0, d0
2164 vpadd.i16 d0, d0, d0
2165 vrshr.u16 d0, d0, #4
2166 vdup.16 q0, d0[0]
2167 b L(ipred_cfl_splat_w16)
2168 32:
2169 vld1.16 {q8, q9}, [r2]!
2170 vld1.16 {q10, q11}, [r2]
2171 vadd.i16 q8, q8, q9
2172 vadd.i16 q10, q10, q11
2173 vadd.i16 q0, q8, q10
2174 vadd.i16 d0, d0, d1
2175 vpadd.i16 d0, d0, d0
2176 vpaddl.u16 d0, d0
2177 vrshrn.i32 d0, q0, #5
2178 vdup.16 q0, d0[0]
2179 b L(ipred_cfl_splat_w16)
2180 endfunc
2181
2182 // void ipred_cfl_left_16bpc_neon(pixel *dst, const ptrdiff_t stride,
2183 // const pixel *const topleft,
2184 // const int width, const int height,
2185 // const int16_t *ac, const int alpha,
2186 // const int bitdepth_max);
2187 function ipred_cfl_left_16bpc_neon, export=1
2188 push {r4-r8, lr}
2189 ldrd r4, r5, [sp, #24]
2190 ldrd r6, r7, [sp, #32]
2191 sub r2, r2, r4, lsl #1
2192 clz lr, r3
2193 clz r8, r4
2194 vdup.16 q15, r7 // bitdepth_max
2195 adr r12, L(ipred_cfl_splat_tbl)
2196 adr r7, L(ipred_cfl_left_tbl)
2197 sub lr, lr, #26
2198 sub r8, r8, #26
2199 ldr lr, [r12, lr, lsl #2]
2200 ldr r8, [r7, r8, lsl #2]
2201 vdup.16 q1, r6 // alpha
2202 add r12, r12, lr
2203 add r7, r7, r8
2204 add r6, r0, r1
2205 lsl r1, r1, #1
2206 vmov.i16 q14, #0
2207 bx r7
2208
2209 .align 2
2210 L(ipred_cfl_left_tbl):
2211 .word L(ipred_cfl_left_h32) - L(ipred_cfl_left_tbl) + CONFIG_THUMB
2212 .word L(ipred_cfl_left_h16) - L(ipred_cfl_left_tbl) + CONFIG_THUMB
2213 .word L(ipred_cfl_left_h8) - L(ipred_cfl_left_tbl) + CONFIG_THUMB
2214 .word L(ipred_cfl_left_h4) - L(ipred_cfl_left_tbl) + CONFIG_THUMB
2215
2216 L(ipred_cfl_left_h4):
2217 vld1.16 {d0}, [r2, :64]
2218 vpadd.i16 d0, d0, d0
2219 vpadd.i16 d0, d0, d0
2220 vrshr.u16 d0, d0, #2
2221 vdup.16 q0, d0[0]
2222 bx r12
2223
2224 L(ipred_cfl_left_h8):
2225 vld1.16 {q0}, [r2, :128]
2226 vadd.i16 d0, d0, d1
2227 vpadd.i16 d0, d0, d0
2228 vpadd.i16 d0, d0, d0
2229 vrshr.u16 d0, d0, #3
2230 vdup.16 q0, d0[0]
2231 bx r12
2232
2233 L(ipred_cfl_left_h16):
2234 vld1.16 {q2, q3}, [r2, :128]
2235 vadd.i16 q0, q2, q3
2236 vadd.i16 d0, d0, d1
2237 vpadd.i16 d0, d0, d0
2238 vpadd.i16 d0, d0, d0
2239 vrshr.u16 d0, d0, #4
2240 vdup.16 q0, d0[0]
2241 bx r12
2242
2243 L(ipred_cfl_left_h32):
2244 vld1.16 {q8, q9}, [r2, :128]!
2245 vld1.16 {q10, q11}, [r2, :128]
2246 vadd.i16 q8, q8, q9
2247 vadd.i16 q10, q10, q11
2248 vadd.i16 q0, q8, q10
2249 vadd.i16 d0, d0, d1
2250 vpadd.i16 d0, d0, d0
2251 vpaddl.u16 d0, d0
2252 vrshrn.i32 d0, q0, #5
2253 vdup.16 q0, d0[0]
2254 bx r12
2255 endfunc
2256
2257 // void ipred_cfl_16bpc_neon(pixel *dst, const ptrdiff_t stride,
2258 // const pixel *const topleft,
2259 // const int width, const int height,
2260 // const int16_t *ac, const int alpha,
2261 // const int bitdepth_max);
2262 function ipred_cfl_16bpc_neon, export=1
2263 push {r4-r8, lr}
2264 ldrd r4, r5, [sp, #24]
2265 ldrd r6, r7, [sp, #32]
2266 sub r2, r2, r4, lsl #1
2267 add r8, r3, r4 // width + height
2268 vdup.16 q1, r6 // alpha
2269 clz lr, r3
2270 clz r6, r4
2271 vdup.32 d16, r8 // width + height
2272 vdup.16 q15, r7 // bitdepth_max
2273 adr r7, L(ipred_cfl_tbl)
2274 rbit r8, r8 // rbit(width + height)
2275 sub lr, lr, #22 // 26 leading bits, minus table offset 4
2276 sub r6, r6, #26
2277 clz r8, r8 // ctz(width + height)
2278 ldr lr, [r7, lr, lsl #2]
2279 ldr r6, [r7, r6, lsl #2]
2280 neg r8, r8 // -ctz(width + height)
2281 add r12, r7, lr
2282 add r7, r7, r6
2283 vshr.u32 d16, d16, #1 // (width + height) >> 1
2284 vdup.32 d17, r8 // -ctz(width + height)
2285 add r6, r0, r1
2286 lsl r1, r1, #1
2287 vmov.i16 q14, #0
2288 bx r7
2289
2290 .align 2
2291 L(ipred_cfl_tbl):
2292 .word L(ipred_cfl_h32) - L(ipred_cfl_tbl) + CONFIG_THUMB
2293 .word L(ipred_cfl_h16) - L(ipred_cfl_tbl) + CONFIG_THUMB
2294 .word L(ipred_cfl_h8) - L(ipred_cfl_tbl) + CONFIG_THUMB
2295 .word L(ipred_cfl_h4) - L(ipred_cfl_tbl) + CONFIG_THUMB
2296 .word L(ipred_cfl_w32) - L(ipred_cfl_tbl) + CONFIG_THUMB
2297 .word L(ipred_cfl_w16) - L(ipred_cfl_tbl) + CONFIG_THUMB
2298 .word L(ipred_cfl_w8) - L(ipred_cfl_tbl) + CONFIG_THUMB
2299 .word L(ipred_cfl_w4) - L(ipred_cfl_tbl) + CONFIG_THUMB
2300
2301 L(ipred_cfl_h4):
2302 vld1.16 {d0}, [r2, :64]!
2303 vpadd.i16 d0, d0, d0
2304 add r2, r2, #2
2305 vpaddl.u16 d0, d0
2306 bx r12
2307 L(ipred_cfl_w4):
2308 vld1.16 {d1}, [r2]
2309 vadd.i32 d0, d0, d16
2310 vpadd.i16 d1, d1, d1
2311 vpaddl.u16 d1, d1
2312 cmp r4, #4
2313 vadd.i32 d0, d0, d1
2314 vshl.u32 d0, d0, d17
2315 beq 1f
2316 // h = 8/16
2317 cmp r4, #16
2318 movw lr, #0x6667
2319 movw r8, #0xAAAB
2320 it ne
2321 movne lr, r8
2322 vdup.32 d18, lr
2323 vmul.i32 d0, d0, d18
2324 vshr.u32 d0, d0, #17
2325 1:
2326 vdup.16 q0, d0[0]
2327 b L(ipred_cfl_splat_w4)
2328
2329 L(ipred_cfl_h8):
2330 vld1.16 {q0}, [r2, :128]!
2331 vadd.i16 d0, d0, d1
2332 vpadd.i16 d0, d0, d0
2333 add r2, r2, #2
2334 vpaddl.u16 d0, d0
2335 bx r12
2336 L(ipred_cfl_w8):
2337 vld1.16 {q2}, [r2]
2338 vadd.i32 d0, d0, d16
2339 vadd.i16 d1, d4, d5
2340 vpadd.i16 d1, d1, d1
2341 vpaddl.u16 d1, d1
2342 cmp r4, #8
2343 vadd.i32 d0, d0, d1
2344 vshl.u32 d0, d0, d17
2345 beq 1f
2346 // h = 4/16/32
2347 cmp r4, #32
2348 movw lr, #0x6667
2349 movw r8, #0xAAAB
2350 it ne
2351 movne lr, r8
2352 vdup.32 d18, lr
2353 vmul.i32 d0, d0, d18
2354 vshr.u32 d0, d0, #17
2355 1:
2356 vdup.16 q0, d0[0]
2357 b L(ipred_cfl_splat_w8)
2358
2359 L(ipred_cfl_h16):
2360 vld1.16 {q2, q3}, [r2, :128]!
2361 vadd.i16 q0, q2, q3
2362 vadd.i16 d0, d0, d1
2363 vpadd.i16 d0, d0, d0
2364 add r2, r2, #2
2365 vpaddl.u16 d0, d0
2366 bx r12
2367 L(ipred_cfl_w16):
2368 vld1.16 {q2, q3}, [r2]
2369 vadd.i32 d0, d0, d16
2370 vadd.i16 q2, q2, q3
2371 vadd.i16 d1, d4, d5
2372 vpadd.i16 d1, d1, d1
2373 vpaddl.u16 d1, d1
2374 cmp r4, #16
2375 vadd.i32 d0, d0, d1
2376 vshl.u32 d0, d0, d17
2377 beq 1f
2378 // h = 4/8/32/64
2379 tst r4, #(32+16+8) // 16 added to make a consecutive bitmask
2380 movw lr, #0x6667
2381 movw r8, #0xAAAB
2382 it ne
2383 movne lr, r8
2384 vdup.32 d18, lr
2385 vmul.i32 d0, d0, d18
2386 vshr.u32 d0, d0, #17
2387 1:
2388 vdup.16 q0, d0[0]
2389 b L(ipred_cfl_splat_w16)
2390
2391 L(ipred_cfl_h32):
2392 vld1.16 {q2, q3}, [r2, :128]!
2393 vld1.16 {q10, q11}, [r2, :128]!
2394 vadd.i16 q2, q2, q3
2395 vadd.i16 q10, q10, q11
2396 vadd.i16 q0, q2, q10
2397 vadd.i16 d0, d0, d1
2398 vpadd.i16 d0, d0, d0
2399 add r2, r2, #2
2400 vpaddl.u16 d0, d0
2401 bx r12
2402 L(ipred_cfl_w32):
2403 vld1.16 {q2, q3}, [r2]!
2404 vadd.i32 d0, d0, d16
2405 vld1.16 {q10, q11}, [r2]!
2406 vadd.i16 q2, q2, q3
2407 vadd.i16 q10, q10, q11
2408 vadd.i16 q2, q2, q10
2409 vadd.i16 d1, d4, d5
2410 vpadd.i16 d1, d1, d1
2411 vpaddl.u16 d1, d1
2412 cmp r4, #32
2413 vadd.i32 d0, d0, d1
2414 vshl.u32 d0, d0, d17
2415 beq 1f
2416 // h = 8/16/64
2417 cmp r4, #8
2418 movw lr, #0x6667
2419 movw r8, #0xAAAB
2420 it ne
2421 movne lr, r8
2422 vdup.32 d18, lr
2423 vmul.i32 d0, d0, d18
2424 vshr.u32 d0, d0, #17
2425 1:
2426 vdup.16 q0, d0[0]
2427 b L(ipred_cfl_splat_w16)
2428 endfunc
2429
2430 // void cfl_ac_420_16bpc_neon(int16_t *const ac, const pixel *const ypx,
2431 // const ptrdiff_t stride, const int w_pad,
2432 // const int h_pad, const int cw, const int ch);
2433 function ipred_cfl_ac_420_16bpc_neon, export=1
2434 push {r4-r8,lr}
2435 ldrd r4, r5, [sp, #24]
2436 ldr r6, [sp, #32]
2437 clz r8, r5
2438 lsl r4, r4, #2
2439 adr r7, L(ipred_cfl_ac_420_tbl)
2440 sub r8, r8, #27
2441 ldr r8, [r7, r8, lsl #2]
2442 vmov.i32 q8, #0
2443 vmov.i32 q9, #0
2444 vmov.i32 q10, #0
2445 vmov.i32 q11, #0
2446 add r7, r7, r8
2447 sub r8, r6, r4 // height - h_pad
2448 rbit lr, r5 // rbit(width)
2449 rbit r12, r6 // rbit(height)
2450 clz lr, lr // ctz(width)
2451 clz r12, r12 // ctz(height)
2452 add lr, lr, r12 // log2sz
2453 add r12, r1, r2
2454 vdup.32 d31, lr
2455 lsl r2, r2, #1
2456 vneg.s32 d31, d31 // -log2sz
2457 bx r7
2458
2459 .align 2
2460 L(ipred_cfl_ac_420_tbl):
2461 .word L(ipred_cfl_ac_420_w16) - L(ipred_cfl_ac_420_tbl) + CONFIG_THUMB
2462 .word L(ipred_cfl_ac_420_w8) - L(ipred_cfl_ac_420_tbl) + CONFIG_THUMB
2463 .word L(ipred_cfl_ac_420_w4) - L(ipred_cfl_ac_420_tbl) + CONFIG_THUMB
2464
2465 L(ipred_cfl_ac_420_w4):
2466 1: // Copy and subsample input
2467 vld1.16 {q0}, [r1, :128], r2
2468 vld1.16 {q1}, [r12, :128], r2
2469 vld1.16 {q2}, [r1, :128], r2
2470 vld1.16 {q3}, [r12, :128], r2
2471 vadd.i16 q0, q0, q1
2472 vadd.i16 q2, q2, q3
2473 vpadd.i16 d0, d0, d1
2474 vpadd.i16 d1, d4, d5
2475 vshl.i16 q0, q0, #1
2476 subs r8, r8, #2
2477 vst1.16 {q0}, [r0, :128]!
2478 vaddw.u16 q8, q8, d0
2479 vaddw.u16 q9, q9, d1
2480 bgt 1b
2481 cmp r4, #0
2482 vmov d0, d1
2483 vmov d2, d1
2484 vmov d3, d1
2485 L(ipred_cfl_ac_420_w4_hpad):
2486 beq 3f // This assumes that all callers already did "cmp r4, #0"
2487 2: // Vertical padding (h_pad > 0)
2488 subs r4, r4, #4
2489 vst1.16 {q0, q1}, [r0, :128]!
2490 vaddw.u16 q8, q8, d0
2491 vaddw.u16 q9, q9, d1
2492 vaddw.u16 q10, q10, d2
2493 vaddw.u16 q11, q11, d3
2494 bgt 2b
2495 3:
2496 L(ipred_cfl_ac_420_w4_calc_subtract_dc):
2497 // Aggregate the sums
2498 vadd.i32 q8, q8, q9
2499 vadd.i32 q10, q10, q11
2500 vadd.i32 q0, q8, q10
2501 vadd.i32 d0, d0, d1
2502 vpadd.i32 d0, d0, d0 // sum
2503 sub r0, r0, r6, lsl #3
2504 vrshl.u32 d16, d0, d31 // (sum + (1 << (log2sz - 1))) >>= log2sz
2505 vdup.16 q8, d16[0]
2506 6: // Subtract dc from ac
2507 vld1.16 {q0, q1}, [r0, :128]
2508 subs r6, r6, #4
2509 vsub.i16 q0, q0, q8
2510 vsub.i16 q1, q1, q8
2511 vst1.16 {q0, q1}, [r0, :128]!
2512 bgt 6b
2513 pop {r4-r8, pc}
2514
2515 L(ipred_cfl_ac_420_w8):
2516 cmp r3, #0
2517 bne L(ipred_cfl_ac_420_w8_wpad)
2518 1: // Copy and subsample input, without padding
2519 vld1.16 {q0, q1}, [r1, :128], r2
2520 vld1.16 {q2, q3}, [r12, :128], r2
2521 vld1.16 {q12, q13}, [r1, :128], r2
2522 vadd.i16 q0, q0, q2
2523 vadd.i16 q1, q1, q3
2524 vld1.16 {q2, q3}, [r12, :128], r2
2525 vpadd.i16 d0, d0, d1
2526 vpadd.i16 d1, d2, d3
2527 vadd.i16 q12, q12, q2
2528 vadd.i16 q13, q13, q3
2529 vpadd.i16 d2, d24, d25
2530 vpadd.i16 d3, d26, d27
2531 vshl.i16 q0, q0, #1
2532 vshl.i16 q1, q1, #1
2533 subs r8, r8, #2
2534 vst1.16 {q0, q1}, [r0, :128]!
2535 vaddw.u16 q8, q8, d0
2536 vaddw.u16 q9, q9, d1
2537 vaddw.u16 q10, q10, d2
2538 vaddw.u16 q11, q11, d3
2539 bgt 1b
2540 cmp r4, #0
2541 vmov q0, q1
2542 b L(ipred_cfl_ac_420_w8_hpad)
2543
2544 L(ipred_cfl_ac_420_w8_wpad):
2545 1: // Copy and subsample input, padding 4
2546 vld1.16 {q0}, [r1, :128], r2
2547 vld1.16 {q1}, [r12, :128], r2
2548 vld1.16 {q2}, [r1, :128], r2
2549 vld1.16 {q3}, [r12, :128], r2
2550 vadd.i16 q0, q0, q1
2551 vadd.i16 q2, q2, q3
2552 vpadd.i16 d0, d0, d1
2553 vpadd.i16 d1, d4, d5
2554 vshl.i16 q0, q0, #1
2555 vdup.16 d3, d1[3]
2556 vmov d2, d1
2557 vdup.16 d1, d0[3]
2558 subs r8, r8, #2
2559 vst1.16 {q0, q1}, [r0, :128]!
2560 vaddw.u16 q8, q8, d0
2561 vaddw.u16 q9, q9, d1
2562 vaddw.u16 q10, q10, d2
2563 vaddw.u16 q11, q11, d3
2564 bgt 1b
2565 cmp r4, #0
2566 vmov q0, q1
2567
2568 L(ipred_cfl_ac_420_w8_hpad):
2569 beq 3f // This assumes that all callers already did "cmp r4, #0"
2570 2: // Vertical padding (h_pad > 0)
2571 subs r4, r4, #4
2572 vst1.16 {q0, q1}, [r0, :128]!
2573 vaddw.u16 q8, q8, d0
2574 vaddw.u16 q9, q9, d1
2575 vaddw.u16 q10, q10, d2
2576 vaddw.u16 q11, q11, d3
2577 vst1.16 {q0, q1}, [r0, :128]!
2578 vaddw.u16 q8, q8, d0
2579 vaddw.u16 q9, q9, d1
2580 vaddw.u16 q10, q10, d2
2581 vaddw.u16 q11, q11, d3
2582 bgt 2b
2583 3:
2584
2585 // Double the height and reuse the w4 summing/subtracting
2586 lsl r6, r6, #1
2587 b L(ipred_cfl_ac_420_w4_calc_subtract_dc)
2588
2589 L(ipred_cfl_ac_420_w16):
2590 adr r7, L(ipred_cfl_ac_420_w16_tbl)
2591 ldr r3, [r7, r3, lsl #2]
2592 add r7, r7, r3
2593 bx r7
2594
2595 .align 2
2596 L(ipred_cfl_ac_420_w16_tbl):
2597 .word L(ipred_cfl_ac_420_w16_wpad0) - L(ipred_cfl_ac_420_w16_tbl) + CONFIG_THUMB
2598 .word L(ipred_cfl_ac_420_w16_wpad1) - L(ipred_cfl_ac_420_w16_tbl) + CONFIG_THUMB
2599 .word L(ipred_cfl_ac_420_w16_wpad2) - L(ipred_cfl_ac_420_w16_tbl) + CONFIG_THUMB
2600 .word L(ipred_cfl_ac_420_w16_wpad3) - L(ipred_cfl_ac_420_w16_tbl) + CONFIG_THUMB
2601
2602 L(ipred_cfl_ac_420_w16_wpad0):
2603 sub r2, r2, #32
2604 1: // Copy and subsample input, without padding
2605 vld1.16 {q0, q1}, [r1, :128]!
2606 vld1.16 {q12, q13}, [r12, :128]!
2607 vld1.16 {q2, q3}, [r1, :128], r2
2608 vadd.i16 q0, q0, q12
2609 vadd.i16 q1, q1, q13
2610 vld1.16 {q12, q13}, [r12, :128], r2
2611 vpadd.i16 d0, d0, d1
2612 vpadd.i16 d1, d2, d3
2613 vadd.i16 q2, q2, q12
2614 vadd.i16 q3, q3, q13
2615 vpadd.i16 d2, d4, d5
2616 vpadd.i16 d3, d6, d7
2617 vshl.i16 q0, q0, #1
2618 vshl.i16 q1, q1, #1
2619 subs r8, r8, #1
2620 vst1.16 {q0, q1}, [r0, :128]!
2621 vaddw.u16 q8, q8, d0
2622 vaddw.u16 q9, q9, d1
2623 vaddw.u16 q10, q10, d2
2624 vaddw.u16 q11, q11, d3
2625 bgt 1b
2626 cmp r4, #0
2627 b L(ipred_cfl_ac_420_w16_hpad)
2628
2629 L(ipred_cfl_ac_420_w16_wpad1):
2630 sub r2, r2, #32
2631 1: // Copy and subsample input, padding 4
2632 vld1.16 {q0, q1}, [r1, :128]!
2633 vld1.16 {q12, q13}, [r12, :128]!
2634 vld1.16 {q2}, [r1, :128], r2
2635 vadd.i16 q0, q0, q12
2636 vadd.i16 q1, q1, q13
2637 vld1.16 {q12}, [r12, :128], r2
2638 vpadd.i16 d0, d0, d1
2639 vadd.i16 q2, q2, q12
2640 vpadd.i16 d1, d2, d3
2641 vpadd.i16 d2, d4, d5
2642 vshl.i16 q0, q0, #1
2643 vshl.i16 d2, d2, #1
2644 subs r8, r8, #1
2645 vdup.16 d3, d2[3]
2646 vst1.16 {q0, q1}, [r0, :128]!
2647 vaddw.u16 q8, q8, d0
2648 vaddw.u16 q9, q9, d1
2649 vaddw.u16 q10, q10, d2
2650 vaddw.u16 q11, q11, d3
2651 bgt 1b
2652 cmp r4, #0
2653 b L(ipred_cfl_ac_420_w16_hpad)
2654
2655 L(ipred_cfl_ac_420_w16_wpad2):
2656 1: // Copy and subsample input, padding 8
2657 vld1.16 {q0, q1}, [r1, :128], r2
2658 vld1.16 {q12, q13}, [r12, :128], r2
2659 vadd.i16 q0, q0, q12
2660 vadd.i16 q1, q1, q13
2661 vpadd.i16 d0, d0, d1
2662 vpadd.i16 d1, d2, d3
2663 vshl.i16 q0, q0, #1
2664 subs r8, r8, #1
2665 vdup.16 q1, d1[3]
2666 vst1.16 {q0, q1}, [r0, :128]!
2667 vaddw.u16 q8, q8, d0
2668 vaddw.u16 q9, q9, d1
2669 vaddw.u16 q10, q10, d2
2670 vaddw.u16 q11, q11, d3
2671 bgt 1b
2672 cmp r4, #0
2673 b L(ipred_cfl_ac_420_w16_hpad)
2674
2675 L(ipred_cfl_ac_420_w16_wpad3):
2676 1: // Copy and subsample input, padding 12
2677 vld1.16 {q0}, [r1, :128], r2
2678 vld1.16 {q12}, [r12, :128], r2
2679 vadd.i16 q0, q0, q12
2680 vpadd.i16 d0, d0, d1
2681 vshl.i16 d0, d0, #1
2682 subs r8, r8, #1
2683 vdup.16 q1, d0[3]
2684 vdup.16 d1, d0[3]
2685 vst1.16 {q0, q1}, [r0, :128]!
2686 vaddw.u16 q8, q8, d0
2687 vaddw.u16 q9, q9, d1
2688 vaddw.u16 q10, q10, d2
2689 vaddw.u16 q11, q11, d3
2690 bgt 1b
2691 cmp r4, #0
2692 b L(ipred_cfl_ac_420_w16_hpad)
2693
2694 L(ipred_cfl_ac_420_w16_hpad):
2695 beq 3f // This assumes that all callers already did "cmp r4, #0"
2696 2: // Vertical padding (h_pad > 0)
2697 subs r4, r4, #2
2698 vst1.16 {q0, q1}, [r0, :128]!
2699 vaddw.u16 q8, q8, d0
2700 vaddw.u16 q9, q9, d1
2701 vaddw.u16 q10, q10, d2
2702 vaddw.u16 q11, q11, d3
2703 vst1.16 {q0, q1}, [r0, :128]!
2704 vaddw.u16 q8, q8, d0
2705 vaddw.u16 q9, q9, d1
2706 vaddw.u16 q10, q10, d2
2707 vaddw.u16 q11, q11, d3
2708 bgt 2b
2709 3:
2710
2711 // Quadruple the height and reuse the w4 summing/subtracting
2712 lsl r6, r6, #2
2713 b L(ipred_cfl_ac_420_w4_calc_subtract_dc)
2714 endfunc
2715
2716 // void cfl_ac_422_16bpc_neon(int16_t *const ac, const pixel *const ypx,
2717 // const ptrdiff_t stride, const int w_pad,
2718 // const int h_pad, const int cw, const int ch);
2719 function ipred_cfl_ac_422_16bpc_neon, export=1
2720 push {r4-r8,lr}
2721 ldrd r4, r5, [sp, #24]
2722 ldr r6, [sp, #32]
2723 clz r8, r5
2724 lsl r4, r4, #2
2725 adr r7, L(ipred_cfl_ac_422_tbl)
2726 sub r8, r8, #27
2727 ldr r8, [r7, r8, lsl #2]
2728 vmov.i16 q8, #0
2729 vmov.i16 q9, #0
2730 vmov.i16 q10, #0
2731 vmov.i16 q11, #0
2732 add r7, r7, r8
2733 sub r8, r6, r4 // height - h_pad
2734 rbit lr, r5 // rbit(width)
2735 rbit r12, r6 // rbit(height)
2736 clz lr, lr // ctz(width)
2737 clz r12, r12 // ctz(height)
2738 add lr, lr, r12 // log2sz
2739 add r12, r1, r2
2740 vdup.32 d31, lr
2741 lsl r2, r2, #1
2742 vneg.s32 d31, d31 // -log2sz
2743 bx r7
2744
2745 .align 2
2746 L(ipred_cfl_ac_422_tbl):
2747 .word L(ipred_cfl_ac_422_w16) - L(ipred_cfl_ac_422_tbl) + CONFIG_THUMB
2748 .word L(ipred_cfl_ac_422_w8) - L(ipred_cfl_ac_422_tbl) + CONFIG_THUMB
2749 .word L(ipred_cfl_ac_422_w4) - L(ipred_cfl_ac_422_tbl) + CONFIG_THUMB
2750
2751 L(ipred_cfl_ac_422_w4):
2752 1: // Copy and subsample input
2753 vld1.16 {q0}, [r1, :128], r2
2754 vld1.16 {q1}, [r12, :128], r2
2755 vld1.16 {q2}, [r1, :128], r2
2756 vld1.16 {q3}, [r12, :128], r2
2757 vpadd.i16 d0, d0, d1
2758 vpadd.i16 d1, d2, d3
2759 vpadd.i16 d2, d4, d5
2760 vpadd.i16 d3, d6, d7
2761 vshl.i16 q0, q0, #2
2762 vshl.i16 q1, q1, #2
2763 subs r8, r8, #4
2764 vst1.16 {q0, q1}, [r0, :128]!
2765 vaddw.u16 q8, q8, d0
2766 vaddw.u16 q9, q9, d1
2767 vaddw.u16 q10, q10, d2
2768 vaddw.u16 q11, q11, d3
2769 bgt 1b
2770 cmp r4, #0
2771 vmov d0, d3
2772 vmov d1, d3
2773 vmov d2, d3
2774 b L(ipred_cfl_ac_420_w4_hpad)
2775
2776 L(ipred_cfl_ac_422_w8):
2777 cmp r3, #0
2778 bne L(ipred_cfl_ac_422_w8_wpad)
2779 1: // Copy and subsample input, without padding
2780 vld1.16 {q0, q1}, [r1, :128], r2
2781 vld1.16 {q2, q3}, [r12, :128], r2
2782 vld1.16 {q12, q13}, [r1, :128], r2
2783 vpadd.i16 d0, d0, d1
2784 vpadd.i16 d1, d2, d3
2785 vpadd.i16 d2, d4, d5
2786 vpadd.i16 d3, d6, d7
2787 vld1.16 {q2, q3}, [r12, :128], r2
2788 vpadd.i16 d24, d24, d25
2789 vpadd.i16 d25, d26, d27
2790 vpadd.i16 d26, d4, d5
2791 vpadd.i16 d27, d6, d7
2792 vshl.i16 q0, q0, #2
2793 vshl.i16 q1, q1, #2
2794 vshl.i16 q2, q12, #2
2795 vshl.i16 q3, q13, #2
2796 subs r8, r8, #4
2797 vst1.16 {q0, q1}, [r0, :128]!
2798 vaddw.u16 q8, q8, d0
2799 vaddw.u16 q9, q9, d1
2800 vaddw.u16 q10, q10, d2
2801 vaddw.u16 q11, q11, d3
2802 vst1.16 {q2, q3}, [r0, :128]!
2803 vaddw.u16 q8, q8, d4
2804 vaddw.u16 q9, q9, d5
2805 vaddw.u16 q10, q10, d6
2806 vaddw.u16 q11, q11, d7
2807 bgt 1b
2808 cmp r4, #0
2809 vmov q0, q3
2810 vmov q1, q3
2811 b L(ipred_cfl_ac_420_w8_hpad)
2812
2813 L(ipred_cfl_ac_422_w8_wpad):
2814 1: // Copy and subsample input, padding 4
2815 vld1.16 {q0}, [r1, :128], r2
2816 vld1.16 {q2}, [r12, :128], r2
2817 vld1.16 {q12}, [r1, :128], r2
2818 vpadd.i16 d0, d0, d1
2819 vpadd.i16 d1, d4, d5
2820 vld1.16 {q2, q3}, [r12, :128], r2
2821 vpadd.i16 d24, d24, d25
2822 vpadd.i16 d25, d4, d5
2823 vshl.i16 q0, q0, #2
2824 vshl.i16 q12, q12, #2
2825 vdup.16 d7, d25[3]
2826 vmov d6, d25
2827 vdup.16 d5, d24[3]
2828 vmov d4, d24
2829 vdup.16 d3, d1[3]
2830 vmov d2, d1
2831 vdup.16 d1, d0[3]
2832 subs r8, r8, #4
2833 vst1.16 {q0, q1}, [r0, :128]!
2834 vaddw.u16 q8, q8, d0
2835 vaddw.u16 q9, q9, d1
2836 vaddw.u16 q10, q10, d2
2837 vaddw.u16 q11, q11, d3
2838 vst1.16 {q2, q3}, [r0, :128]!
2839 vaddw.u16 q8, q8, d4
2840 vaddw.u16 q9, q9, d5
2841 vaddw.u16 q10, q10, d6
2842 vaddw.u16 q11, q11, d7
2843 bgt 1b
2844 cmp r4, #0
2845 vmov q0, q3
2846 vmov q1, q3
2847 b L(ipred_cfl_ac_420_w8_hpad)
2848
2849 L(ipred_cfl_ac_422_w16):
2850 adr r7, L(ipred_cfl_ac_422_w16_tbl)
2851 ldr r3, [r7, r3, lsl #2]
2852 add r7, r7, r3
2853 bx r7
2854
2855 .align 2
2856 L(ipred_cfl_ac_422_w16_tbl):
2857 .word L(ipred_cfl_ac_422_w16_wpad0) - L(ipred_cfl_ac_422_w16_tbl) + CONFIG_THUMB
2858 .word L(ipred_cfl_ac_422_w16_wpad1) - L(ipred_cfl_ac_422_w16_tbl) + CONFIG_THUMB
2859 .word L(ipred_cfl_ac_422_w16_wpad2) - L(ipred_cfl_ac_422_w16_tbl) + CONFIG_THUMB
2860 .word L(ipred_cfl_ac_422_w16_wpad3) - L(ipred_cfl_ac_422_w16_tbl) + CONFIG_THUMB
2861
2862 L(ipred_cfl_ac_422_w16_wpad0):
2863 sub r2, r2, #32
2864 1: // Copy and subsample input, without padding
2865 vld1.16 {q0, q1}, [r1, :128]!
2866 vld1.16 {q2, q3}, [r12, :128]!
2867 vld1.16 {q12, q13}, [r1, :128], r2
2868 vpadd.i16 d0, d0, d1
2869 vpadd.i16 d1, d2, d3
2870 vpadd.i16 d2, d24, d25
2871 vpadd.i16 d3, d26, d27
2872 vld1.16 {q12, q13}, [r12, :128], r2
2873 vpadd.i16 d4, d4, d5
2874 vpadd.i16 d5, d6, d7
2875 vpadd.i16 d6, d24, d25
2876 vpadd.i16 d7, d26, d27
2877 vshl.i16 q0, q0, #2
2878 vshl.i16 q1, q1, #2
2879 vshl.i16 q2, q2, #2
2880 vshl.i16 q3, q3, #2
2881 subs r8, r8, #2
2882 vst1.16 {q0, q1}, [r0, :128]!
2883 vaddw.u16 q8, q8, d0
2884 vaddw.u16 q9, q9, d1
2885 vaddw.u16 q10, q10, d2
2886 vaddw.u16 q11, q11, d3
2887 vst1.16 {q2, q3}, [r0, :128]!
2888 vaddw.u16 q8, q8, d4
2889 vaddw.u16 q9, q9, d5
2890 vaddw.u16 q10, q10, d6
2891 vaddw.u16 q11, q11, d7
2892 bgt 1b
2893 cmp r4, #0
2894 vmov q0, q2
2895 vmov q1, q3
2896 b L(ipred_cfl_ac_420_w16_hpad)
2897
2898 L(ipred_cfl_ac_422_w16_wpad1):
2899 sub r2, r2, #32
2900 1: // Copy and subsample input, padding 4
2901 vld1.16 {q0, q1}, [r1, :128]!
2902 vld1.16 {q2, q3}, [r12, :128]!
2903 vld1.16 {q12}, [r1, :128], r2
2904 vpadd.i16 d0, d0, d1
2905 vpadd.i16 d1, d2, d3
2906 vpadd.i16 d2, d24, d25
2907 vld1.16 {q12}, [r12, :128], r2
2908 vpadd.i16 d4, d4, d5
2909 vpadd.i16 d5, d6, d7
2910 vpadd.i16 d6, d24, d25
2911 vshl.i16 q0, q0, #2
2912 vshl.i16 d2, d2, #2
2913 vshl.i16 q2, q2, #2
2914 vshl.i16 d6, d6, #2
2915 vdup.16 d3, d2[3]
2916 vdup.16 d7, d6[3]
2917 subs r8, r8, #2
2918 vst1.16 {q0, q1}, [r0, :128]!
2919 vaddw.u16 q8, q8, d0
2920 vaddw.u16 q9, q9, d1
2921 vaddw.u16 q10, q10, d2
2922 vaddw.u16 q11, q11, d3
2923 vst1.16 {q2, q3}, [r0, :128]!
2924 vaddw.u16 q8, q8, d4
2925 vaddw.u16 q9, q9, d5
2926 vaddw.u16 q10, q10, d6
2927 vaddw.u16 q11, q11, d7
2928 bgt 1b
2929 cmp r4, #0
2930 vmov q0, q2
2931 vmov q1, q3
2932 b L(ipred_cfl_ac_420_w16_hpad)
2933
2934 L(ipred_cfl_ac_422_w16_wpad2):
2935 1: // Copy and subsample input, padding 8
2936 vld1.16 {q0, q1}, [r1, :128], r2
2937 vld1.16 {q2, q3}, [r12, :128], r2
2938 vpadd.i16 d0, d0, d1
2939 vpadd.i16 d1, d2, d3
2940 vpadd.i16 d4, d4, d5
2941 vpadd.i16 d5, d6, d7
2942 vshl.i16 q0, q0, #2
2943 vshl.i16 q2, q2, #2
2944 vdup.16 q1, d1[3]
2945 vdup.16 q3, d5[3]
2946 subs r8, r8, #2
2947 vst1.16 {q0, q1}, [r0, :128]!
2948 vaddw.u16 q8, q8, d0
2949 vaddw.u16 q9, q9, d1
2950 vaddw.u16 q10, q10, d2
2951 vaddw.u16 q11, q11, d3
2952 vst1.16 {q2, q3}, [r0, :128]!
2953 vaddw.u16 q8, q8, d4
2954 vaddw.u16 q9, q9, d5
2955 vaddw.u16 q10, q10, d6
2956 vaddw.u16 q11, q11, d7
2957 bgt 1b
2958 cmp r4, #0
2959 vmov q0, q2
2960 vmov q1, q3
2961 b L(ipred_cfl_ac_420_w16_hpad)
2962
2963 L(ipred_cfl_ac_422_w16_wpad3):
2964 1: // Copy and subsample input, padding 12
2965 vld1.16 {q0}, [r1, :128], r2
2966 vld1.16 {q2}, [r12, :128], r2
2967 vpadd.i16 d0, d0, d1
2968 vpadd.i16 d1, d4, d5
2969 vshl.i16 q0, q0, #2
2970 vdup.16 q3, d1[3]
2971 vdup.16 q1, d0[3]
2972 vdup.16 d5, d1[3]
2973 vmov d4, d1
2974 vdup.16 d1, d0[3]
2975 subs r8, r8, #2
2976 vst1.16 {q0, q1}, [r0, :128]!
2977 vaddw.u16 q8, q8, d0
2978 vaddw.u16 q9, q9, d1
2979 vaddw.u16 q10, q10, d2
2980 vaddw.u16 q11, q11, d3
2981 vst1.16 {q2, q3}, [r0, :128]!
2982 vaddw.u16 q8, q8, d4
2983 vaddw.u16 q9, q9, d5
2984 vaddw.u16 q10, q10, d6
2985 vaddw.u16 q11, q11, d7
2986 bgt 1b
2987 cmp r4, #0
2988 vmov q0, q2
2989 vmov q1, q3
2990 b L(ipred_cfl_ac_420_w16_hpad)
2991 endfunc
2992
2993 // void cfl_ac_444_16bpc_neon(int16_t *const ac, const pixel *const ypx,
2994 // const ptrdiff_t stride, const int w_pad,
2995 // const int h_pad, const int cw, const int ch);
2996 function ipred_cfl_ac_444_16bpc_neon, export=1
2997 push {r4-r8,lr}
2998 ldrd r4, r5, [sp, #24]
2999 ldr r6, [sp, #32]
3000 clz r8, r5
3001 lsl r4, r4, #2
3002 adr r7, L(ipred_cfl_ac_444_tbl)
3003 sub r8, r8, #26
3004 ldr r8, [r7, r8, lsl #2]
3005 vmov.i16 q8, #0
3006 vmov.i16 q9, #0
3007 vmov.i16 q10, #0
3008 vmov.i16 q11, #0
3009 add r7, r7, r8
3010 sub r8, r6, r4 // height - h_pad
3011 rbit lr, r5 // rbit(width)
3012 rbit r12, r6 // rbit(height)
3013 clz lr, lr // ctz(width)
3014 clz r12, r12 // ctz(height)
3015 add lr, lr, r12 // log2sz
3016 add r12, r1, r2
3017 vdup.32 d31, lr
3018 lsl r2, r2, #1
3019 vneg.s32 d31, d31 // -log2sz
3020 bx r7
3021
3022 .align 2
3023 L(ipred_cfl_ac_444_tbl):
3024 .word L(ipred_cfl_ac_444_w32) - L(ipred_cfl_ac_444_tbl) + CONFIG_THUMB
3025 .word L(ipred_cfl_ac_444_w16) - L(ipred_cfl_ac_444_tbl) + CONFIG_THUMB
3026 .word L(ipred_cfl_ac_444_w8) - L(ipred_cfl_ac_444_tbl) + CONFIG_THUMB
3027 .word L(ipred_cfl_ac_444_w4) - L(ipred_cfl_ac_444_tbl) + CONFIG_THUMB
3028
3029 L(ipred_cfl_ac_444_w4):
3030 1: // Copy and expand input
3031 vld1.16 {d0}, [r1, :64], r2
3032 vld1.16 {d1}, [r12, :64], r2
3033 vld1.16 {d2}, [r1, :64], r2
3034 vld1.16 {d3}, [r12, :64], r2
3035 vshl.i16 q0, q0, #3
3036 vshl.i16 q1, q1, #3
3037 subs r8, r8, #4
3038 vst1.16 {q0, q1}, [r0, :128]!
3039 vaddw.u16 q8, q8, d0
3040 vaddw.u16 q9, q9, d1
3041 vaddw.u16 q10, q10, d2
3042 vaddw.u16 q11, q11, d3
3043 bgt 1b
3044 cmp r4, #0
3045 vmov d0, d3
3046 vmov d1, d3
3047 vmov d2, d3
3048 b L(ipred_cfl_ac_420_w4_hpad)
3049
3050 L(ipred_cfl_ac_444_w8):
3051 1: // Copy and expand input
3052 vld1.16 {q0}, [r1, :128], r2
3053 vld1.16 {q1}, [r12, :128], r2
3054 vld1.16 {q2}, [r1, :128], r2
3055 vld1.16 {q3}, [r12, :128], r2
3056 vshl.i16 q0, q0, #3
3057 vshl.i16 q1, q1, #3
3058 vshl.i16 q2, q2, #3
3059 vshl.i16 q3, q3, #3
3060 subs r8, r8, #4
3061 vst1.16 {q0, q1}, [r0, :128]!
3062 vaddw.u16 q8, q8, d0
3063 vaddw.u16 q9, q9, d1
3064 vaddw.u16 q10, q10, d2
3065 vaddw.u16 q11, q11, d3
3066 vst1.16 {q2, q3}, [r0, :128]!
3067 vaddw.u16 q8, q8, d4
3068 vaddw.u16 q9, q9, d5
3069 vaddw.u16 q10, q10, d6
3070 vaddw.u16 q11, q11, d7
3071 bgt 1b
3072 cmp r4, #0
3073 vmov q0, q3
3074 vmov q1, q3
3075 b L(ipred_cfl_ac_420_w8_hpad)
3076
3077 L(ipred_cfl_ac_444_w16):
3078 cmp r3, #0
3079 bne L(ipred_cfl_ac_444_w16_wpad)
3080 1: // Copy and expand input, without padding
3081 vld1.16 {q0, q1}, [r1, :128], r2
3082 vld1.16 {q2, q3}, [r12, :128], r2
3083 vshl.i16 q0, q0, #3
3084 vshl.i16 q1, q1, #3
3085 vshl.i16 q2, q2, #3
3086 vshl.i16 q3, q3, #3
3087 subs r8, r8, #2
3088 vst1.16 {q0, q1}, [r0, :128]!
3089 vaddw.u16 q8, q8, d0
3090 vaddw.u16 q9, q9, d1
3091 vaddw.u16 q10, q10, d2
3092 vaddw.u16 q11, q11, d3
3093 vst1.16 {q2, q3}, [r0, :128]!
3094 vaddw.u16 q8, q8, d4
3095 vaddw.u16 q9, q9, d5
3096 vaddw.u16 q10, q10, d6
3097 vaddw.u16 q11, q11, d7
3098 bgt 1b
3099 cmp r4, #0
3100 vmov q0, q2
3101 vmov q1, q3
3102 b L(ipred_cfl_ac_420_w16_hpad)
3103
3104 L(ipred_cfl_ac_444_w16_wpad):
3105 1: // Copy and expand input, padding 8
3106 vld1.16 {q0}, [r1, :128], r2
3107 vld1.16 {q2}, [r12, :128], r2
3108 vshl.i16 q0, q0, #3
3109 vshl.i16 q2, q2, #3
3110 vdup.16 q1, d1[3]
3111 vdup.16 q3, d5[3]
3112 subs r8, r8, #2
3113 vst1.16 {q0, q1}, [r0, :128]!
3114 vaddw.u16 q8, q8, d0
3115 vaddw.u16 q9, q9, d1
3116 vaddw.u16 q10, q10, d2
3117 vaddw.u16 q11, q11, d3
3118 vst1.16 {q2, q3}, [r0, :128]!
3119 vaddw.u16 q8, q8, d4
3120 vaddw.u16 q9, q9, d5
3121 vaddw.u16 q10, q10, d6
3122 vaddw.u16 q11, q11, d7
3123 bgt 1b
3124 cmp r4, #0
3125 vmov q0, q2
3126 vmov q1, q3
3127 b L(ipred_cfl_ac_420_w16_hpad)
3128
3129 L(ipred_cfl_ac_444_w32):
3130 adr r7, L(ipred_cfl_ac_444_w32_tbl)
3131 ldr r3, [r7, r3, lsl #1] // (w3>>1) << 2
3132 asr r2, r2, #1
3133 add r7, r7, r3
3134 bx r7
3135
3136 .align 2
3137 L(ipred_cfl_ac_444_w32_tbl):
3138 .word L(ipred_cfl_ac_444_w32_wpad0) - L(ipred_cfl_ac_444_w32_tbl) + CONFIG_THUMB
3139 .word L(ipred_cfl_ac_444_w32_wpad2) - L(ipred_cfl_ac_444_w32_tbl) + CONFIG_THUMB
3140 .word L(ipred_cfl_ac_444_w32_wpad4) - L(ipred_cfl_ac_444_w32_tbl) + CONFIG_THUMB
3141 .word L(ipred_cfl_ac_444_w32_wpad6) - L(ipred_cfl_ac_444_w32_tbl) + CONFIG_THUMB
3142
3143 L(ipred_cfl_ac_444_w32_wpad0):
3144 sub r2, r2, #32
3145 1: // Copy and expand input, without padding
3146 vld1.16 {q0, q1}, [r1, :128]!
3147 vld1.16 {q2, q3}, [r1, :128], r2
3148 vshl.i16 q0, q0, #3
3149 vshl.i16 q1, q1, #3
3150 vshl.i16 q2, q2, #3
3151 vshl.i16 q3, q3, #3
3152 subs r8, r8, #1
3153 vst1.16 {q0, q1}, [r0, :128]!
3154 vaddw.u16 q8, q8, d0
3155 vaddw.u16 q9, q9, d1
3156 vaddw.u16 q10, q10, d2
3157 vaddw.u16 q11, q11, d3
3158 vst1.16 {q2, q3}, [r0, :128]!
3159 vaddw.u16 q8, q8, d4
3160 vaddw.u16 q9, q9, d5
3161 vaddw.u16 q10, q10, d6
3162 vaddw.u16 q11, q11, d7
3163 bgt 1b
3164 cmp r4, #0
3165 b L(ipred_cfl_ac_444_w32_hpad)
3166
3167 L(ipred_cfl_ac_444_w32_wpad2):
3168 sub r2, r2, #32
3169 1: // Copy and expand input, padding 8
3170 vld1.16 {q0, q1}, [r1, :128]!
3171 vld1.16 {q2}, [r1, :128], r2
3172 vshl.i16 q0, q0, #3
3173 vshl.i16 q1, q1, #3
3174 vshl.i16 q2, q2, #3
3175 subs r8, r8, #1
3176 vst1.16 {q0, q1}, [r0, :128]!
3177 vdup.16 q3, d5[3]
3178 vaddw.u16 q8, q8, d0
3179 vaddw.u16 q9, q9, d1
3180 vaddw.u16 q10, q10, d2
3181 vaddw.u16 q11, q11, d3
3182 vst1.16 {q2, q3}, [r0, :128]!
3183 vaddw.u16 q8, q8, d4
3184 vaddw.u16 q9, q9, d5
3185 vaddw.u16 q10, q10, d6
3186 vaddw.u16 q11, q11, d7
3187 bgt 1b
3188 cmp r4, #0
3189 b L(ipred_cfl_ac_444_w32_hpad)
3190
3191 L(ipred_cfl_ac_444_w32_wpad4):
3192 1: // Copy and expand input, padding 16
3193 vld1.16 {q0, q1}, [r1, :128], r2
3194 vshl.i16 q0, q0, #3
3195 vshl.i16 q1, q1, #3
3196 subs r8, r8, #1
3197 vst1.16 {q0, q1}, [r0, :128]!
3198 vdup.16 q2, d3[3]
3199 vdup.16 q3, d3[3]
3200 vaddw.u16 q8, q8, d0
3201 vaddw.u16 q9, q9, d1
3202 vaddw.u16 q10, q10, d2
3203 vaddw.u16 q11, q11, d3
3204 vst1.16 {q2, q3}, [r0, :128]!
3205 vaddw.u16 q8, q8, d4
3206 vaddw.u16 q9, q9, d5
3207 vaddw.u16 q10, q10, d6
3208 vaddw.u16 q11, q11, d7
3209 bgt 1b
3210 cmp r4, #0
3211 b L(ipred_cfl_ac_444_w32_hpad)
3212
3213 L(ipred_cfl_ac_444_w32_wpad6):
3214 1: // Copy and expand input, padding 24
3215 vld1.16 {q0}, [r1, :128], r2
3216 vshl.i16 q0, q0, #3
3217 subs r8, r8, #1
3218 vdup.16 q1, d1[3]
3219 vst1.16 {q0, q1}, [r0, :128]!
3220 vdup.16 q2, d1[3]
3221 vdup.16 q3, d1[3]
3222 vaddw.u16 q8, q8, d0
3223 vaddw.u16 q9, q9, d1
3224 vaddw.u16 q10, q10, d2
3225 vaddw.u16 q11, q11, d3
3226 vst1.16 {q2, q3}, [r0, :128]!
3227 vaddw.u16 q8, q8, d4
3228 vaddw.u16 q9, q9, d5
3229 vaddw.u16 q10, q10, d6
3230 vaddw.u16 q11, q11, d7
3231 bgt 1b
3232 cmp r4, #0
3233
3234 L(ipred_cfl_ac_444_w32_hpad):
3235 beq 3f // This assumes that all callers already did "cmp r4, #0"
3236 2: // Vertical padding (h_pad > 0)
3237 subs r4, r4, #1
3238 vst1.16 {q0, q1}, [r0, :128]!
3239 vaddw.u16 q8, q8, d0
3240 vaddw.u16 q9, q9, d1
3241 vaddw.u16 q10, q10, d2
3242 vaddw.u16 q11, q11, d3
3243 vst1.16 {q2, q3}, [r0, :128]!
3244 vaddw.u16 q8, q8, d4
3245 vaddw.u16 q9, q9, d5
3246 vaddw.u16 q10, q10, d6
3247 vaddw.u16 q11, q11, d7
3248 bgt 2b
3249 3:
3250
3251 // Multiply the height by eight and reuse the w4 subtracting
3252 lsl r6, r6, #3
3253 b L(ipred_cfl_ac_420_w4_calc_subtract_dc)
3254 endfunc