Debian Codegraph @

src/qs8-qc8w-igemm/gen/qs8-qc8w-igemm-4x8-minmax-fp32-asm-aarch32-neonv8-mlal-lane-cortex-a53.S

raw
1 // Auto-generated file. Do not edit!
2 // Template: src/qs8-igemm/4x8-aarch32-neon-mlal-lane-cortex-a53.S.in
3 // Generator: tools/xngen
4 //
5 // Copyright 2021 Google LLC
6 //
7 // This source code is licensed under the BSD-style license found in the
8 // LICENSE file in the root directory of this source tree.
9
10
11 #include "xnnpack/assembly.h"
12
13 .syntax unified
14
15 // void xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neonv8_mlal_lane_cortex_a53
16 // size_t mr, (r0)
17 // size_t nc, r1 -> sp + 56
18 // size_t kc, (r2) -> r5 -> sp + 60
19 // size_t ks, (r3) -> sp + 64 -> r14
20 // const int8_t** restrict a, sp + 104 -> r2
21 // const void* restrict w, sp + 108 -> r9
22 // int8_t* restrict c, sp + 112 -> r11
23 // size_t cm_stride, sp + 116 -> (r6)
24 // size_t cn_stride, sp + 120 -> (r7)
25 // size_t a_offset, sp + 124 -> (r5)
26 // const int8_t* zero, sp + 128 -> (r7)
27 // xnn_qs8_qc8w_conv_minmax_params*params); sp + 132 -> (r5)
28
29 // d8-d15, r4-r11,r14(lr) need to be preserved if used. r13(sp),r15(pc) are reserved.
30
31 // Register usage
32 // A0 r3 d0-d1 q0
33 // A1 r12 d2-d3 q1
34 // A2 r10 d4-d5 q2
35 // A3 r0 d6-d7 q3
36 // B r9 d8-d9 q4 q5
37 // C0 r11 d16-d17 q8 d18-d19 q9
38 // C1 r4 d20-d21 q10 d22-d23 q11
39 // C2 r8 d24-d25 q12 d26-d27 q13
40 // C3 r6 d28-d29 q14 d30-d31 q15
41
42 // r1,r7 A53 gpr temporary loads
43 // unused d15
44
45 // params structure is 4 bytes
46 // struct {
47 // int16_t output_zero_point; d13[2]
48 // int8_t output_min; d13[6]
49 // int8_t output_max; d13[7]
50 // } xnn_qs8_minmax_params.neonv8;
51
52 BEGIN_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neonv8_mlal_lane_cortex_a53
53 # Push 104 bytes
54 # r1, r2 will be reloaded in outer loop. r3 is ks
55 PUSH {r1, r2, r3, r4, r5, r6, r7, r8, r9, r10, r11, lr} // +48
56 SUB sp, sp, 8 // +8
57 VPUSH {d8-d13} // +48 = 104
58
59 LDR r11, [sp, 112] // c
60 LDR r6, [sp, 116] // cm_stride
61 LDR r2, [sp, 104] // a
62 LDR r9, [sp, 108] // w
63 LDR r5, [sp, 132] // params
64 MOV r14, r3 // p = ks
65
66 # Clamp C pointers
67 CMP r0, 2 // if mr >= 2
68 ADD r4, r11, r6 // c1 = c0 + cm_stride
69 MOVLO r4, r11 // c1
70 // if mr > 2
71 ADD r8, r4, r6 // c2 = c1 + cm_stride
72 MOVLS r8, r4 // c2
73 CMP r0, 4 // if mr >=4
74 ADD r6, r8, r6 // c3 = c2 + cm_stride
75 MOVLO r6, r8 // c3
76
77 # Load params values
78 VLD1.32 {d13[]}, [r5] // QC8 neonv8 params
79
80
81 .p2align 3
82 0:
83 # Load initial bias from w into accumulators
84 VLDM r9!, {d16-d19} // Bias
85 VMOV q10, q8
86 VMOV q11, q9
87 STR r1, [sp, 56] // save nc
88 VMOV q12, q8
89 VMOV q13, q9
90 VMOV q14, q8
91 VMOV q15, q9
92
93 .p2align 3
94 1:
95 # Load next 4 A pointers
96 LDR r3, [r2, 0]
97 LDR r12, [r2, 4]
98 LDR r10, [r2, 8]
99 LDR r0, [r2, 12]
100
101 # Add a_offset
102 LDR r5, [sp, 124] // a_offset
103 LDR r7, [sp, 128] // zero
104 ADD r2, r2, 16
105 CMP r3, r7 // if a0 == zero
106 ADD r3, r3, r5 // a0 += a_offset
107 MOVEQ r3, r7 // a0 = zero, else += a0 + a_offset
108 CMP r12, r7 // if a1 == zero
109 ADD r12, r12, r5 // a1 += a_offset
110 MOVEQ r12, r7 // a1 = zero, else += a1 + a_offset
111 CMP r10, r7 // if a2 == zero
112 ADD r10, r10, r5 // a2 += a_offset
113 MOVEQ r10, r7 // a2 = zero, else += a2 + a_offset
114 CMP r0, r7 // if a3 == zero
115 ADD r0, r0, r5 // a3 += a_offset
116 LDR r5, [sp, 60] // kc
117 MOVEQ r0, r7 // a3 = zero, else += a3 + a_offset
118 SUBS r5, r5, 8 // kc - 8
119 BLO 5f // less than 8 channels?
120
121 // Prologue - load 4A's and B0
122 VLD1.8 {d0}, [r3]! // A0
123 VLD1.8 {d8}, [r9]! // B0
124 SUBS r5, r5, 8 // k = k - 8
125 VLD1.8 {d2}, [r12]! // A1
126 VLD1.8 {d4}, [r10]! // A2
127 VLD1.8 {d6}, [r0]! // A3
128 BLO 3f // less than 8 channels?
129
130 // Main loop - 8 bytes
131 // 64 bytes for weights.
132 // 5 VMOVL = 4 A and 1 B = 5 cycles
133 // 7 blocks with VLD B, VMOVL, 8 VMLA = 10 cycles
134 // 1 blocks with VLD B, VMLA = 9 cycles
135 // total = 84 cycles
136 .p2align 3
137 2:
138 // Extend - 5 cycles
139 VMOVL.S8 q0, d0
140 VMOVL.S8 q4, d8
141 VMOVL.S8 q1, d2
142 VMOVL.S8 q2, d4
143 VMOVL.S8 q3, d6
144
145 // BLOCK 0 - 10 cycles
146 VLD1.8 {d10}, [r9]! // B1
147 VMLAL.S16 q8, d8, d0[0]
148 VMLAL.S16 q9, d9, d0[0]
149 VMLAL.S16 q10, d8, d2[0]
150 VMLAL.S16 q11, d9, d2[0]
151 VMOVL.S8 q5, d10
152 VMLAL.S16 q12, d8, d4[0]
153 VMLAL.S16 q13, d9, d4[0]
154 VMLAL.S16 q14, d8, d6[0]
155 VMLAL.S16 q15, d9, d6[0]
156
157 // BLOCK 1 - 10 cycles
158 VLD1.8 {d8}, [r9]! // B2
159 VMLAL.S16 q8, d10, d0[1]
160 VMLAL.S16 q9, d11, d0[1]
161 VMLAL.S16 q10, d10, d2[1]
162 VMLAL.S16 q11, d11, d2[1]
163 VMOVL.S8 q4, d8
164 VMLAL.S16 q12, d10, d4[1]
165 VMLAL.S16 q13, d11, d4[1]
166 VMLAL.S16 q14, d10, d6[1]
167 VMLAL.S16 q15, d11, d6[1]
168
169 // BLOCK 2 - 10 cycles
170 VLD1.8 {d10}, [r9]! // B3
171 VMLAL.S16 q8, d8, d0[2]
172 VMLAL.S16 q9, d9, d0[2]
173 VMLAL.S16 q10, d8, d2[2]
174 VMLAL.S16 q11, d9, d2[2]
175 VMOVL.S8 q5, d10
176 VMLAL.S16 q12, d8, d4[2]
177 VMLAL.S16 q13, d9, d4[2]
178 VMLAL.S16 q14, d8, d6[2]
179 VMLAL.S16 q15, d9, d6[2]
180
181 // BLOCK 3 - 10 cycles
182 VLD1.8 {d8}, [r9]! // B4
183 VMLAL.S16 q8, d10, d0[3]
184 VMLAL.S16 q9, d11, d0[3]
185 VMLAL.S16 q10, d10, d2[3]
186 VMLAL.S16 q11, d11, d2[3]
187 VMOVL.S8 q4, d8
188 VMLAL.S16 q12, d10, d4[3]
189 LDR r1, [r3] // A0 low
190 VMLAL.S16 q13, d11, d4[3]
191 LDR r7, [r3, 4] // A0 high
192 VMLAL.S16 q14, d10, d6[3]
193 ADD r3, r3, 8
194 VMLAL.S16 q15, d11, d6[3]
195
196 // BLOCK 4 - 10 cycles
197 VLD1.8 {d10}, [r9]! // B5
198 VMOV d0, r1, r7 // A0 VMOV
199 VMLAL.S16 q8, d8, d1[0]
200 VMLAL.S16 q9, d9, d1[0]
201 VMLAL.S16 q10, d8, d3[0]
202 VMLAL.S16 q11, d9, d3[0]
203 VMOVL.S8 q5, d10
204 VMLAL.S16 q12, d8, d5[0]
205 LDR r1, [r12] // A1 low
206 VMLAL.S16 q13, d9, d5[0]
207 LDR r7, [r12, 4] // A1 high
208 VMLAL.S16 q14, d8, d7[0]
209 ADD r12, r12, 8
210 VMLAL.S16 q15, d9, d7[0]
211
212 // BLOCK 5 - 10 cycles
213 VLD1.8 {d8}, [r9]! // B6
214 VMOV d2, r1, r7 // A1 VMOV
215 VMLAL.S16 q8, d10, d1[1]
216 VMLAL.S16 q9, d11, d1[1]
217 VMLAL.S16 q10, d10, d3[1]
218 VMLAL.S16 q11, d11, d3[1]
219 VMOVL.S8 q4, d8
220 VMLAL.S16 q12, d10, d5[1]
221 LDR r1, [r10] // A2 low
222 VMLAL.S16 q13, d11, d5[1]
223 LDR r7, [r10, 4] // A2 high
224 VMLAL.S16 q14, d10, d7[1]
225 ADD r10, r10, 8
226 VMLAL.S16 q15, d11, d7[1]
227
228 // BLOCK 6 - 10 cycles
229 VLD1.8 {d10}, [r9]! // B7
230 VMOV d4, r1, r7 // A2 VMOV
231 VMLAL.S16 q8, d8, d1[2]
232 VMLAL.S16 q9, d9, d1[2]
233 VMLAL.S16 q10, d8, d3[2]
234 VMLAL.S16 q11, d9, d3[2]
235 VMOVL.S8 q5, d10
236 VMLAL.S16 q12, d8, d5[2]
237 LDR r1, [r0] // A3 low
238 VMLAL.S16 q13, d9, d5[2]
239 LDR r7, [r0, 4] // A3 high
240 VMLAL.S16 q14, d8, d7[2]
241 ADD r0, r0, 8
242 VMLAL.S16 q15, d9, d7[2]
243
244 // BLOCK 7 - 9 cycles
245 VLD1.8 {d8}, [r9]! // B0
246 VMOV d6, r1, r7 // A3 VMOV
247 VMLAL.S16 q8, d10, d1[3]
248 VMLAL.S16 q9, d11, d1[3]
249 VMLAL.S16 q10, d10, d3[3]
250 VMLAL.S16 q11, d11, d3[3]
251 VMLAL.S16 q12, d10, d5[3]
252 VMLAL.S16 q13, d11, d5[3]
253 SUBS r5, r5, 8
254 VMLAL.S16 q14, d10, d7[3]
255 VMLAL.S16 q15, d11, d7[3]
256 BHS 2b
257
258 // Epilogue
259
260 .p2align 3
261 3:
262 VMOVL.S8 q0, d0
263 VMOVL.S8 q4, d8
264 VMOVL.S8 q1, d2
265 VMOVL.S8 q2, d4
266 VMOVL.S8 q3, d6
267
268 VLD1.8 {d10}, [r9]! // B1
269 VMLAL.S16 q8, d8, d0[0]
270 VMLAL.S16 q9, d9, d0[0]
271 VMLAL.S16 q10, d8, d2[0]
272 VMLAL.S16 q11, d9, d2[0]
273 VMOVL.S8 q5, d10
274 VMLAL.S16 q12, d8, d4[0]
275 VMLAL.S16 q13, d9, d4[0]
276 VMLAL.S16 q14, d8, d6[0]
277 VMLAL.S16 q15, d9, d6[0]
278
279 VLD1.8 {d8}, [r9]! // B2
280 VMLAL.S16 q8, d10, d0[1]
281 VMLAL.S16 q9, d11, d0[1]
282 VMLAL.S16 q10, d10, d2[1]
283 VMLAL.S16 q11, d11, d2[1]
284 VMOVL.S8 q4, d8
285 VMLAL.S16 q12, d10, d4[1]
286 VMLAL.S16 q13, d11, d4[1]
287 VMLAL.S16 q14, d10, d6[1]
288 VMLAL.S16 q15, d11, d6[1]
289
290 VLD1.8 {d10}, [r9]! // B3
291 VMLAL.S16 q8, d8, d0[2]
292 VMLAL.S16 q9, d9, d0[2]
293 VMLAL.S16 q10, d8, d2[2]
294 VMLAL.S16 q11, d9, d2[2]
295 VMOVL.S8 q5, d10
296 VMLAL.S16 q12, d8, d4[2]
297 VMLAL.S16 q13, d9, d4[2]
298 VMLAL.S16 q14, d8, d6[2]
299 VMLAL.S16 q15, d9, d6[2]
300
301 VLD1.8 {d8}, [r9]! // B4
302 VMLAL.S16 q8, d10, d0[3]
303 VMLAL.S16 q9, d11, d0[3]
304 VMLAL.S16 q10, d10, d2[3]
305 VMLAL.S16 q11, d11, d2[3]
306 VMOVL.S8 q4, d8
307 VMLAL.S16 q12, d10, d4[3]
308 VMLAL.S16 q13, d11, d4[3]
309 VMLAL.S16 q14, d10, d6[3]
310 VMLAL.S16 q15, d11, d6[3]
311
312 VLD1.8 {d10}, [r9]! // B5
313 VMLAL.S16 q8, d8, d1[0]
314 VMLAL.S16 q9, d9, d1[0]
315 VMLAL.S16 q10, d8, d3[0]
316 VMLAL.S16 q11, d9, d3[0]
317 VMOVL.S8 q5, d10
318 VMLAL.S16 q12, d8, d5[0]
319 VMLAL.S16 q13, d9, d5[0]
320 VMLAL.S16 q14, d8, d7[0]
321 VMLAL.S16 q15, d9, d7[0]
322
323 VLD1.8 {d8}, [r9]! // B6
324 VMLAL.S16 q8, d10, d1[1]
325 VMLAL.S16 q9, d11, d1[1]
326 VMLAL.S16 q10, d10, d3[1]
327 VMLAL.S16 q11, d11, d3[1]
328 VMOVL.S8 q4, d8
329 VMLAL.S16 q12, d10, d5[1]
330 VMLAL.S16 q13, d11, d5[1]
331 VMLAL.S16 q14, d10, d7[1]
332 VMLAL.S16 q15, d11, d7[1]
333
334 VLD1.8 {d10}, [r9]! // B7
335 VMLAL.S16 q8, d8, d1[2]
336 VMLAL.S16 q9, d9, d1[2]
337 VMLAL.S16 q10, d8, d3[2]
338 VMLAL.S16 q11, d9, d3[2]
339 VMOVL.S8 q5, d10
340 VMLAL.S16 q12, d8, d5[2]
341 VMLAL.S16 q13, d9, d5[2]
342 VMLAL.S16 q14, d8, d7[2]
343 VMLAL.S16 q15, d9, d7[2]
344
345 VMLAL.S16 q8, d10, d1[3]
346 VMLAL.S16 q9, d11, d1[3]
347 VMLAL.S16 q10, d10, d3[3]
348 VMLAL.S16 q11, d11, d3[3]
349 VMLAL.S16 q12, d10, d5[3]
350 VMLAL.S16 q13, d11, d5[3]
351 ADDS r5, r5, 8
352 VMLAL.S16 q14, d10, d7[3]
353 VMLAL.S16 q15, d11, d7[3]
354
355 # Is there a remainder?- 1-7 bytes of A
356 BNE 6f
357
358 4:
359 # ks loop
360 SUBS r14, r14, 16 // ks -= MR * sizeof(void*)
361 BHI 1b
362
363 LDR r7, [sp, 120] // cn_stride
364 LDR r14, [sp, 64] // p = ks
365
366 # QC8 FP32 quantization
367 VLD1.8 {q0-q1}, [r9]!
368
369 VCVT.F32.S32 q8, q8
370 VCVT.F32.S32 q9, q9
371 VCVT.F32.S32 q10, q10
372 VCVT.F32.S32 q11, q11
373 VCVT.F32.S32 q12, q12
374 VCVT.F32.S32 q13, q13
375 VCVT.F32.S32 q14, q14
376 VCVT.F32.S32 q15, q15
377
378 VMUL.F32 q8, q8, q0 // multiplier
379 VMUL.F32 q9, q9, q1
380 VMUL.F32 q10, q10, q0
381 VMUL.F32 q11, q11, q1
382 VMUL.F32 q12, q12, q0
383 VMUL.F32 q13, q13, q1
384 VMUL.F32 q14, q14, q0
385 VMUL.F32 q15, q15, q1
386
387 VCVTN.S32.F32 q8, q8
388 VCVTN.S32.F32 q9, q9
389 VCVTN.S32.F32 q10, q10
390 VCVTN.S32.F32 q11, q11
391 VCVTN.S32.F32 q12, q12
392 VCVTN.S32.F32 q13, q13
393 VCVTN.S32.F32 q14, q14
394 VCVTN.S32.F32 q15, q15
395
396 VDUP.16 q0, d13[2] // output_zero_point
397
398 VQMOVN.S32 d16, q8
399 VQMOVN.S32 d17, q9
400 VQMOVN.S32 d18, q10
401 VQMOVN.S32 d19, q11
402 VQMOVN.S32 d20, q12
403 VQMOVN.S32 d21, q13
404 VQMOVN.S32 d22, q14
405 VQMOVN.S32 d23, q15
406
407 VQADD.S16 q8, q8, q0
408 VQADD.S16 q9, q9, q0
409 VQADD.S16 q10, q10, q0
410 VQADD.S16 q11, q11, q0
411
412 LDR r1, [sp, 56] // restore nc
413 VDUP.8 q12, d13[6] // output_min
414
415 VQMOVN.S16 d0, q8
416 VQMOVN.S16 d1, q9
417 VQMOVN.S16 d2, q10
418 VQMOVN.S16 d3, q11
419
420 VDUP.8 q13, d13[7] // output_max
421
422 VMAX.S8 q0, q0, q12
423 VMAX.S8 q1, q1, q12
424
425 SUBS r1, r1, 8 // nc -= 8
426
427 VMIN.S8 q0, q0, q13
428 VMIN.S8 q1, q1, q13
429
430 # Store full 4 x 8
431 BLO 7f
432 VST1.8 {d3}, [r6], r7
433 VST1.8 {d2}, [r8], r7
434 VST1.8 {d1}, [r4], r7
435 VST1.8 {d0}, [r11], r7
436 SUB r2, r2, r14 // a -= ks
437 BHI 0b
438
439 VPOP {d8-d13}
440 ADD sp, sp, 20 // skip pad of 8, r1, r2, r3
441 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
442
443 # Remainder- 1 to 7 bytes of A
444 .p2align 3
445 5:
446 AND r5, r5, 7 // kc remainder 1 to 7
447 6:
448 VLD1.8 {d0}, [r3]
449 VLD1.8 {d8}, [r9]!
450 VLD1.8 {d2}, [r12]
451 VLD1.8 {d4}, [r10]
452 VLD1.8 {d6}, [r0]
453
454 VMOVL.S8 q0, d0
455 VMOVL.S8 q4, d8
456 VMOVL.S8 q1, d2
457 VMOVL.S8 q2, d4
458 VMOVL.S8 q3, d6
459 VMLAL.S16 q8, d8, d0[0]
460 VMLAL.S16 q9, d9, d0[0]
461 VMLAL.S16 q10, d8, d2[0]
462 VMLAL.S16 q11, d9, d2[0]
463 VMLAL.S16 q12, d8, d4[0]
464 VMLAL.S16 q13, d9, d4[0]
465 VMLAL.S16 q14, d8, d6[0]
466 VMLAL.S16 q15, d9, d6[0]
467 CMP r5, 2
468 BLO 4b
469
470 VLD1.8 {d8}, [r9]!
471 VMOVL.S8 q4, d8
472 VMLAL.S16 q8, d8, d0[1]
473 VMLAL.S16 q9, d9, d0[1]
474 VMLAL.S16 q10, d8, d2[1]
475 VMLAL.S16 q11, d9, d2[1]
476 VMLAL.S16 q12, d8, d4[1]
477 VMLAL.S16 q13, d9, d4[1]
478 VMLAL.S16 q14, d8, d6[1]
479 VMLAL.S16 q15, d9, d6[1]
480 BEQ 4b
481
482 VLD1.8 {d8}, [r9]!
483 VMOVL.S8 q4, d8
484 VMLAL.S16 q8, d8, d0[2]
485 VMLAL.S16 q9, d9, d0[2]
486 VMLAL.S16 q10, d8, d2[2]
487 VMLAL.S16 q11, d9, d2[2]
488 VMLAL.S16 q12, d8, d4[2]
489 VMLAL.S16 q13, d9, d4[2]
490 VMLAL.S16 q14, d8, d6[2]
491 VMLAL.S16 q15, d9, d6[2]
492 CMP r5, 4
493 BLO 4b
494
495 VLD1.8 {d8}, [r9]!
496 VMOVL.S8 q4, d8
497 VMLAL.S16 q8, d8, d0[3]
498 VMLAL.S16 q9, d9, d0[3]
499 VMLAL.S16 q10, d8, d2[3]
500 VMLAL.S16 q11, d9, d2[3]
501 VMLAL.S16 q12, d8, d4[3]
502 VMLAL.S16 q13, d9, d4[3]
503 VMLAL.S16 q14, d8, d6[3]
504 VMLAL.S16 q15, d9, d6[3]
505 BEQ 4b
506
507 VLD1.8 {d8}, [r9]!
508 VMOVL.S8 q4, d8
509 VMLAL.S16 q8, d8, d1[0]
510 VMLAL.S16 q9, d9, d1[0]
511 VMLAL.S16 q10, d8, d3[0]
512 VMLAL.S16 q11, d9, d3[0]
513 VMLAL.S16 q12, d8, d5[0]
514 VMLAL.S16 q13, d9, d5[0]
515 VMLAL.S16 q14, d8, d7[0]
516 VMLAL.S16 q15, d9, d7[0]
517 CMP r5, 6
518 BLO 4b
519
520 VLD1.8 {d8}, [r9]!
521 VMOVL.S8 q4, d8
522 VMLAL.S16 q8, d8, d1[1]
523 VMLAL.S16 q9, d9, d1[1]
524 VMLAL.S16 q10, d8, d3[1]
525 VMLAL.S16 q11, d9, d3[1]
526 VMLAL.S16 q12, d8, d5[1]
527 VMLAL.S16 q13, d9, d5[1]
528 VMLAL.S16 q14, d8, d7[1]
529 VMLAL.S16 q15, d9, d7[1]
530 BEQ 4b
531
532 VLD1.8 {d8}, [r9]!
533 VMOVL.S8 q4, d8
534 VMLAL.S16 q8, d8, d1[2]
535 VMLAL.S16 q9, d9, d1[2]
536 VMLAL.S16 q10, d8, d3[2]
537 VMLAL.S16 q11, d9, d3[2]
538 VMLAL.S16 q12, d8, d5[2]
539 VMLAL.S16 q13, d9, d5[2]
540 VMLAL.S16 q14, d8, d7[2]
541 VMLAL.S16 q15, d9, d7[2]
542 B 4b
543
544 # Store odd width
545 .p2align 3
546 7:
547 TST r1, 4
548 BEQ 8f
549 VST1.32 {d3[0]}, [r6]!
550 VST1.32 {d2[0]}, [r8]!
551 VST1.32 {d1[0]}, [r4]!
552 VST1.32 {d0[0]}, [r11]!
553 VEXT.8 q1, q1, q1, 4
554 VEXT.8 q0, q0, q0, 4
555 8:
556 TST r1, 2
557 BEQ 9f
558 VST1.16 {d3[0]}, [r6]!
559 VST1.16 {d2[0]}, [r8]!
560 VST1.16 {d1[0]}, [r4]!
561 VST1.16 {d0[0]}, [r11]!
562 VEXT.8 q1, q1, q1, 2
563 VEXT.8 q0, q0, q0, 2
564
565 9:
566 TST r1, 1
567 BEQ 10f
568 VST1.8 {d3[0]}, [r6]
569 VST1.8 {d2[0]}, [r8]
570 VST1.8 {d1[0]}, [r4]
571 VST1.8 {d0[0]}, [r11]
572
573 10:
574 VPOP {d8-d13}
575 ADD sp, sp, 20 // skip pad of 8, r1, r2, r3
576 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
577
578 END_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neonv8_mlal_lane_cortex_a53
579
580 #ifdef __ELF__
581 .section ".note.GNU-stack","",%progbits
582 #endif