Debian Codegraph @

src/qs8-qc8w-igemm/gen/qs8-qc8w-igemm-4x8-minmax-fp32-asm-aarch32-neon-mlal-lane-cortex-a53.S

raw
1 // Auto-generated file. Do not edit!
2 // Template: src/qs8-igemm/4x8-aarch32-neon-mlal-lane-cortex-a53.S.in
3 // Generator: tools/xngen
4 //
5 // Copyright 2021 Google LLC
6 //
7 // This source code is licensed under the BSD-style license found in the
8 // LICENSE file in the root directory of this source tree.
9
10
11 #include "xnnpack/assembly.h"
12
13 .syntax unified
14
15 // void xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neon_mlal_lane_cortex_a53
16 // size_t mr, (r0)
17 // size_t nc, r1 -> sp + 56
18 // size_t kc, (r2) -> r5 -> sp + 60
19 // size_t ks, (r3) -> sp + 64 -> r14
20 // const int8_t** restrict a, sp + 104 -> r2
21 // const void* restrict w, sp + 108 -> r9
22 // int8_t* restrict c, sp + 112 -> r11
23 // size_t cm_stride, sp + 116 -> (r6)
24 // size_t cn_stride, sp + 120 -> (r7)
25 // size_t a_offset, sp + 124 -> (r5)
26 // const int8_t* zero, sp + 128 -> (r7)
27 // xnn_qs8_qc8w_conv_minmax_params*params); sp + 132 -> (r5)
28
29 // d8-d15, r4-r11,r14(lr) need to be preserved if used. r13(sp),r15(pc) are reserved.
30
31 // Register usage
32 // A0 r3 d0-d1 q0
33 // A1 r12 d2-d3 q1
34 // A2 r10 d4-d5 q2
35 // A3 r0 d6-d7 q3
36 // B r9 d8-d9 q4 q5
37 // C0 r11 d16-d17 q8 d18-d19 q9
38 // C1 r4 d20-d21 q10 d22-d23 q11
39 // C2 r8 d24-d25 q12 d26-d27 q13
40 // C3 r6 d28-d29 q14 d30-d31 q15
41
42 // r1,r7 A53 gpr temporary loads
43 // unused d15
44
45 // params structure is 10 bytes
46 // struct {
47 // float magic_bias; d12[0]
48 // int32_t magic_bias_less_output_zero_point; d12[1]
49 // int8_t output_min; d13[6]
50 // int8_t output_max; d13[7]
51 // } xnn_qs8_minmax_params.neon;
52
53 BEGIN_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neon_mlal_lane_cortex_a53
54 # Push 104 bytes
55 # r1, r2 will be reloaded in outer loop. r3 is ks
56 PUSH {r1, r2, r3, r4, r5, r6, r7, r8, r9, r10, r11, lr} // +48
57 SUB sp, sp, 8 // +8
58 VPUSH {d8-d13} // +48 = 104
59
60 LDR r11, [sp, 112] // c
61 LDR r6, [sp, 116] // cm_stride
62 LDR r2, [sp, 104] // a
63 LDR r9, [sp, 108] // w
64 LDR r5, [sp, 132] // params
65 MOV r14, r3 // p = ks
66
67 # Clamp C pointers
68 CMP r0, 2 // if mr >= 2
69 ADD r4, r11, r6 // c1 = c0 + cm_stride
70 MOVLO r4, r11 // c1
71 // if mr > 2
72 ADD r8, r4, r6 // c2 = c1 + cm_stride
73 MOVLS r8, r4 // c2
74 CMP r0, 4 // if mr >=4
75 ADD r6, r8, r6 // c3 = c2 + cm_stride
76 MOVLO r6, r8 // c3
77
78 # Load params values
79 VLDM r5!, {d12} // QC8 neon params
80 VLD1.16 {d13[]}, [r5]
81
82
83 .p2align 3
84 0:
85 # Load initial bias from w into accumulators
86 VLDM r9!, {d16-d19} // Bias
87 VMOV q10, q8
88 VMOV q11, q9
89 STR r1, [sp, 56] // save nc
90 VMOV q12, q8
91 VMOV q13, q9
92 VMOV q14, q8
93 VMOV q15, q9
94
95 .p2align 3
96 1:
97 # Load next 4 A pointers
98 LDR r3, [r2, 0]
99 LDR r12, [r2, 4]
100 LDR r10, [r2, 8]
101 LDR r0, [r2, 12]
102
103 # Add a_offset
104 LDR r5, [sp, 124] // a_offset
105 LDR r7, [sp, 128] // zero
106 ADD r2, r2, 16
107 CMP r3, r7 // if a0 == zero
108 ADD r3, r3, r5 // a0 += a_offset
109 MOVEQ r3, r7 // a0 = zero, else += a0 + a_offset
110 CMP r12, r7 // if a1 == zero
111 ADD r12, r12, r5 // a1 += a_offset
112 MOVEQ r12, r7 // a1 = zero, else += a1 + a_offset
113 CMP r10, r7 // if a2 == zero
114 ADD r10, r10, r5 // a2 += a_offset
115 MOVEQ r10, r7 // a2 = zero, else += a2 + a_offset
116 CMP r0, r7 // if a3 == zero
117 ADD r0, r0, r5 // a3 += a_offset
118 LDR r5, [sp, 60] // kc
119 MOVEQ r0, r7 // a3 = zero, else += a3 + a_offset
120 SUBS r5, r5, 8 // kc - 8
121 BLO 5f // less than 8 channels?
122
123 // Prologue - load 4A's and B0
124 VLD1.8 {d0}, [r3]! // A0
125 VLD1.8 {d8}, [r9]! // B0
126 SUBS r5, r5, 8 // k = k - 8
127 VLD1.8 {d2}, [r12]! // A1
128 VLD1.8 {d4}, [r10]! // A2
129 VLD1.8 {d6}, [r0]! // A3
130 BLO 3f // less than 8 channels?
131
132 // Main loop - 8 bytes
133 // 64 bytes for weights.
134 // 5 VMOVL = 4 A and 1 B = 5 cycles
135 // 7 blocks with VLD B, VMOVL, 8 VMLA = 10 cycles
136 // 1 blocks with VLD B, VMLA = 9 cycles
137 // total = 84 cycles
138 .p2align 3
139 2:
140 // Extend - 5 cycles
141 VMOVL.S8 q0, d0
142 VMOVL.S8 q4, d8
143 VMOVL.S8 q1, d2
144 VMOVL.S8 q2, d4
145 VMOVL.S8 q3, d6
146
147 // BLOCK 0 - 10 cycles
148 VLD1.8 {d10}, [r9]! // B1
149 VMLAL.S16 q8, d8, d0[0]
150 VMLAL.S16 q9, d9, d0[0]
151 VMLAL.S16 q10, d8, d2[0]
152 VMLAL.S16 q11, d9, d2[0]
153 VMOVL.S8 q5, d10
154 VMLAL.S16 q12, d8, d4[0]
155 VMLAL.S16 q13, d9, d4[0]
156 VMLAL.S16 q14, d8, d6[0]
157 VMLAL.S16 q15, d9, d6[0]
158
159 // BLOCK 1 - 10 cycles
160 VLD1.8 {d8}, [r9]! // B2
161 VMLAL.S16 q8, d10, d0[1]
162 VMLAL.S16 q9, d11, d0[1]
163 VMLAL.S16 q10, d10, d2[1]
164 VMLAL.S16 q11, d11, d2[1]
165 VMOVL.S8 q4, d8
166 VMLAL.S16 q12, d10, d4[1]
167 VMLAL.S16 q13, d11, d4[1]
168 VMLAL.S16 q14, d10, d6[1]
169 VMLAL.S16 q15, d11, d6[1]
170
171 // BLOCK 2 - 10 cycles
172 VLD1.8 {d10}, [r9]! // B3
173 VMLAL.S16 q8, d8, d0[2]
174 VMLAL.S16 q9, d9, d0[2]
175 VMLAL.S16 q10, d8, d2[2]
176 VMLAL.S16 q11, d9, d2[2]
177 VMOVL.S8 q5, d10
178 VMLAL.S16 q12, d8, d4[2]
179 VMLAL.S16 q13, d9, d4[2]
180 VMLAL.S16 q14, d8, d6[2]
181 VMLAL.S16 q15, d9, d6[2]
182
183 // BLOCK 3 - 10 cycles
184 VLD1.8 {d8}, [r9]! // B4
185 VMLAL.S16 q8, d10, d0[3]
186 VMLAL.S16 q9, d11, d0[3]
187 VMLAL.S16 q10, d10, d2[3]
188 VMLAL.S16 q11, d11, d2[3]
189 VMOVL.S8 q4, d8
190 VMLAL.S16 q12, d10, d4[3]
191 LDR r1, [r3] // A0 low
192 VMLAL.S16 q13, d11, d4[3]
193 LDR r7, [r3, 4] // A0 high
194 VMLAL.S16 q14, d10, d6[3]
195 ADD r3, r3, 8
196 VMLAL.S16 q15, d11, d6[3]
197
198 // BLOCK 4 - 10 cycles
199 VLD1.8 {d10}, [r9]! // B5
200 VMOV d0, r1, r7 // A0 VMOV
201 VMLAL.S16 q8, d8, d1[0]
202 VMLAL.S16 q9, d9, d1[0]
203 VMLAL.S16 q10, d8, d3[0]
204 VMLAL.S16 q11, d9, d3[0]
205 VMOVL.S8 q5, d10
206 VMLAL.S16 q12, d8, d5[0]
207 LDR r1, [r12] // A1 low
208 VMLAL.S16 q13, d9, d5[0]
209 LDR r7, [r12, 4] // A1 high
210 VMLAL.S16 q14, d8, d7[0]
211 ADD r12, r12, 8
212 VMLAL.S16 q15, d9, d7[0]
213
214 // BLOCK 5 - 10 cycles
215 VLD1.8 {d8}, [r9]! // B6
216 VMOV d2, r1, r7 // A1 VMOV
217 VMLAL.S16 q8, d10, d1[1]
218 VMLAL.S16 q9, d11, d1[1]
219 VMLAL.S16 q10, d10, d3[1]
220 VMLAL.S16 q11, d11, d3[1]
221 VMOVL.S8 q4, d8
222 VMLAL.S16 q12, d10, d5[1]
223 LDR r1, [r10] // A2 low
224 VMLAL.S16 q13, d11, d5[1]
225 LDR r7, [r10, 4] // A2 high
226 VMLAL.S16 q14, d10, d7[1]
227 ADD r10, r10, 8
228 VMLAL.S16 q15, d11, d7[1]
229
230 // BLOCK 6 - 10 cycles
231 VLD1.8 {d10}, [r9]! // B7
232 VMOV d4, r1, r7 // A2 VMOV
233 VMLAL.S16 q8, d8, d1[2]
234 VMLAL.S16 q9, d9, d1[2]
235 VMLAL.S16 q10, d8, d3[2]
236 VMLAL.S16 q11, d9, d3[2]
237 VMOVL.S8 q5, d10
238 VMLAL.S16 q12, d8, d5[2]
239 LDR r1, [r0] // A3 low
240 VMLAL.S16 q13, d9, d5[2]
241 LDR r7, [r0, 4] // A3 high
242 VMLAL.S16 q14, d8, d7[2]
243 ADD r0, r0, 8
244 VMLAL.S16 q15, d9, d7[2]
245
246 // BLOCK 7 - 9 cycles
247 VLD1.8 {d8}, [r9]! // B0
248 VMOV d6, r1, r7 // A3 VMOV
249 VMLAL.S16 q8, d10, d1[3]
250 VMLAL.S16 q9, d11, d1[3]
251 VMLAL.S16 q10, d10, d3[3]
252 VMLAL.S16 q11, d11, d3[3]
253 VMLAL.S16 q12, d10, d5[3]
254 VMLAL.S16 q13, d11, d5[3]
255 SUBS r5, r5, 8
256 VMLAL.S16 q14, d10, d7[3]
257 VMLAL.S16 q15, d11, d7[3]
258 BHS 2b
259
260 // Epilogue
261
262 .p2align 3
263 3:
264 VMOVL.S8 q0, d0
265 VMOVL.S8 q4, d8
266 VMOVL.S8 q1, d2
267 VMOVL.S8 q2, d4
268 VMOVL.S8 q3, d6
269
270 VLD1.8 {d10}, [r9]! // B1
271 VMLAL.S16 q8, d8, d0[0]
272 VMLAL.S16 q9, d9, d0[0]
273 VMLAL.S16 q10, d8, d2[0]
274 VMLAL.S16 q11, d9, d2[0]
275 VMOVL.S8 q5, d10
276 VMLAL.S16 q12, d8, d4[0]
277 VMLAL.S16 q13, d9, d4[0]
278 VMLAL.S16 q14, d8, d6[0]
279 VMLAL.S16 q15, d9, d6[0]
280
281 VLD1.8 {d8}, [r9]! // B2
282 VMLAL.S16 q8, d10, d0[1]
283 VMLAL.S16 q9, d11, d0[1]
284 VMLAL.S16 q10, d10, d2[1]
285 VMLAL.S16 q11, d11, d2[1]
286 VMOVL.S8 q4, d8
287 VMLAL.S16 q12, d10, d4[1]
288 VMLAL.S16 q13, d11, d4[1]
289 VMLAL.S16 q14, d10, d6[1]
290 VMLAL.S16 q15, d11, d6[1]
291
292 VLD1.8 {d10}, [r9]! // B3
293 VMLAL.S16 q8, d8, d0[2]
294 VMLAL.S16 q9, d9, d0[2]
295 VMLAL.S16 q10, d8, d2[2]
296 VMLAL.S16 q11, d9, d2[2]
297 VMOVL.S8 q5, d10
298 VMLAL.S16 q12, d8, d4[2]
299 VMLAL.S16 q13, d9, d4[2]
300 VMLAL.S16 q14, d8, d6[2]
301 VMLAL.S16 q15, d9, d6[2]
302
303 VLD1.8 {d8}, [r9]! // B4
304 VMLAL.S16 q8, d10, d0[3]
305 VMLAL.S16 q9, d11, d0[3]
306 VMLAL.S16 q10, d10, d2[3]
307 VMLAL.S16 q11, d11, d2[3]
308 VMOVL.S8 q4, d8
309 VMLAL.S16 q12, d10, d4[3]
310 VMLAL.S16 q13, d11, d4[3]
311 VMLAL.S16 q14, d10, d6[3]
312 VMLAL.S16 q15, d11, d6[3]
313
314 VLD1.8 {d10}, [r9]! // B5
315 VMLAL.S16 q8, d8, d1[0]
316 VMLAL.S16 q9, d9, d1[0]
317 VMLAL.S16 q10, d8, d3[0]
318 VMLAL.S16 q11, d9, d3[0]
319 VMOVL.S8 q5, d10
320 VMLAL.S16 q12, d8, d5[0]
321 VMLAL.S16 q13, d9, d5[0]
322 VMLAL.S16 q14, d8, d7[0]
323 VMLAL.S16 q15, d9, d7[0]
324
325 VLD1.8 {d8}, [r9]! // B6
326 VMLAL.S16 q8, d10, d1[1]
327 VMLAL.S16 q9, d11, d1[1]
328 VMLAL.S16 q10, d10, d3[1]
329 VMLAL.S16 q11, d11, d3[1]
330 VMOVL.S8 q4, d8
331 VMLAL.S16 q12, d10, d5[1]
332 VMLAL.S16 q13, d11, d5[1]
333 VMLAL.S16 q14, d10, d7[1]
334 VMLAL.S16 q15, d11, d7[1]
335
336 VLD1.8 {d10}, [r9]! // B7
337 VMLAL.S16 q8, d8, d1[2]
338 VMLAL.S16 q9, d9, d1[2]
339 VMLAL.S16 q10, d8, d3[2]
340 VMLAL.S16 q11, d9, d3[2]
341 VMOVL.S8 q5, d10
342 VMLAL.S16 q12, d8, d5[2]
343 VMLAL.S16 q13, d9, d5[2]
344 VMLAL.S16 q14, d8, d7[2]
345 VMLAL.S16 q15, d9, d7[2]
346
347 VMLAL.S16 q8, d10, d1[3]
348 VMLAL.S16 q9, d11, d1[3]
349 VMLAL.S16 q10, d10, d3[3]
350 VMLAL.S16 q11, d11, d3[3]
351 VMLAL.S16 q12, d10, d5[3]
352 VMLAL.S16 q13, d11, d5[3]
353 ADDS r5, r5, 8
354 VMLAL.S16 q14, d10, d7[3]
355 VMLAL.S16 q15, d11, d7[3]
356
357 # Is there a remainder?- 1-7 bytes of A
358 BNE 6f
359
360 4:
361 # ks loop
362 SUBS r14, r14, 16 // ks -= MR * sizeof(void*)
363 BHI 1b
364
365 LDR r7, [sp, 120] // cn_stride
366 LDR r14, [sp, 64] // p = ks
367
368 # QC8 FP32 quantization
369 VLD1.8 {q0-q1}, [r9]!
370
371 VDUP.32 q2, d12[0] // magic_bias
372 VDUP.32 q3, d12[1] // magic_bias_less_output_zero_point
373
374 VCVT.F32.S32 q8, q8
375 VCVT.F32.S32 q9, q9
376 VCVT.F32.S32 q10, q10
377 VCVT.F32.S32 q11, q11
378 VCVT.F32.S32 q12, q12
379 VCVT.F32.S32 q13, q13
380 VCVT.F32.S32 q14, q14
381 VCVT.F32.S32 q15, q15
382
383 VMUL.F32 q8, q8, q0 // multiplier
384 VMUL.F32 q9, q9, q1
385 VMUL.F32 q10, q10, q0
386 VMUL.F32 q11, q11, q1
387 VMUL.F32 q12, q12, q0
388 VMUL.F32 q13, q13, q1
389 VMUL.F32 q14, q14, q0
390 VMUL.F32 q15, q15, q1
391
392 VADD.F32 q8, q8, q2 // magic_bias
393 VADD.F32 q9, q9, q2
394 VADD.F32 q10, q10, q2
395 VADD.F32 q11, q11, q2
396 VADD.F32 q12, q12, q2
397 VADD.F32 q13, q13, q2
398 VADD.F32 q14, q14, q2
399 VADD.F32 q15, q15, q2
400
401 VQSUB.S32 q8, q8, q3 // magic_bias_less_output_zero_point
402 VQSUB.S32 q9, q9, q3
403 VQSUB.S32 q10, q10, q3
404 VQSUB.S32 q11, q11, q3
405 VQSUB.S32 q12, q12, q3
406 VQSUB.S32 q13, q13, q3
407 VQSUB.S32 q14, q14, q3
408 VQSUB.S32 q15, q15, q3
409
410
411 VQMOVN.S32 d16, q8
412 VQMOVN.S32 d17, q9
413 VQMOVN.S32 d18, q10
414 VQMOVN.S32 d19, q11
415 VQMOVN.S32 d20, q12
416 VQMOVN.S32 d21, q13
417 VQMOVN.S32 d22, q14
418 VQMOVN.S32 d23, q15
419
420
421 LDR r1, [sp, 56] // restore nc
422 VDUP.8 q12, d13[6] // output_min
423
424 VQMOVN.S16 d0, q8
425 VQMOVN.S16 d1, q9
426 VQMOVN.S16 d2, q10
427 VQMOVN.S16 d3, q11
428
429 VDUP.8 q13, d13[7] // output_max
430
431 VMAX.S8 q0, q0, q12
432 VMAX.S8 q1, q1, q12
433
434 SUBS r1, r1, 8 // nc -= 8
435
436 VMIN.S8 q0, q0, q13
437 VMIN.S8 q1, q1, q13
438
439 # Store full 4 x 8
440 BLO 7f
441 VST1.8 {d3}, [r6], r7
442 VST1.8 {d2}, [r8], r7
443 VST1.8 {d1}, [r4], r7
444 VST1.8 {d0}, [r11], r7
445 SUB r2, r2, r14 // a -= ks
446 BHI 0b
447
448 VPOP {d8-d13}
449 ADD sp, sp, 20 // skip pad of 8, r1, r2, r3
450 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
451
452 # Remainder- 1 to 7 bytes of A
453 .p2align 3
454 5:
455 AND r5, r5, 7 // kc remainder 1 to 7
456 6:
457 VLD1.8 {d0}, [r3]
458 VLD1.8 {d8}, [r9]!
459 VLD1.8 {d2}, [r12]
460 VLD1.8 {d4}, [r10]
461 VLD1.8 {d6}, [r0]
462
463 VMOVL.S8 q0, d0
464 VMOVL.S8 q4, d8
465 VMOVL.S8 q1, d2
466 VMOVL.S8 q2, d4
467 VMOVL.S8 q3, d6
468 VMLAL.S16 q8, d8, d0[0]
469 VMLAL.S16 q9, d9, d0[0]
470 VMLAL.S16 q10, d8, d2[0]
471 VMLAL.S16 q11, d9, d2[0]
472 VMLAL.S16 q12, d8, d4[0]
473 VMLAL.S16 q13, d9, d4[0]
474 VMLAL.S16 q14, d8, d6[0]
475 VMLAL.S16 q15, d9, d6[0]
476 CMP r5, 2
477 BLO 4b
478
479 VLD1.8 {d8}, [r9]!
480 VMOVL.S8 q4, d8
481 VMLAL.S16 q8, d8, d0[1]
482 VMLAL.S16 q9, d9, d0[1]
483 VMLAL.S16 q10, d8, d2[1]
484 VMLAL.S16 q11, d9, d2[1]
485 VMLAL.S16 q12, d8, d4[1]
486 VMLAL.S16 q13, d9, d4[1]
487 VMLAL.S16 q14, d8, d6[1]
488 VMLAL.S16 q15, d9, d6[1]
489 BEQ 4b
490
491 VLD1.8 {d8}, [r9]!
492 VMOVL.S8 q4, d8
493 VMLAL.S16 q8, d8, d0[2]
494 VMLAL.S16 q9, d9, d0[2]
495 VMLAL.S16 q10, d8, d2[2]
496 VMLAL.S16 q11, d9, d2[2]
497 VMLAL.S16 q12, d8, d4[2]
498 VMLAL.S16 q13, d9, d4[2]
499 VMLAL.S16 q14, d8, d6[2]
500 VMLAL.S16 q15, d9, d6[2]
501 CMP r5, 4
502 BLO 4b
503
504 VLD1.8 {d8}, [r9]!
505 VMOVL.S8 q4, d8
506 VMLAL.S16 q8, d8, d0[3]
507 VMLAL.S16 q9, d9, d0[3]
508 VMLAL.S16 q10, d8, d2[3]
509 VMLAL.S16 q11, d9, d2[3]
510 VMLAL.S16 q12, d8, d4[3]
511 VMLAL.S16 q13, d9, d4[3]
512 VMLAL.S16 q14, d8, d6[3]
513 VMLAL.S16 q15, d9, d6[3]
514 BEQ 4b
515
516 VLD1.8 {d8}, [r9]!
517 VMOVL.S8 q4, d8
518 VMLAL.S16 q8, d8, d1[0]
519 VMLAL.S16 q9, d9, d1[0]
520 VMLAL.S16 q10, d8, d3[0]
521 VMLAL.S16 q11, d9, d3[0]
522 VMLAL.S16 q12, d8, d5[0]
523 VMLAL.S16 q13, d9, d5[0]
524 VMLAL.S16 q14, d8, d7[0]
525 VMLAL.S16 q15, d9, d7[0]
526 CMP r5, 6
527 BLO 4b
528
529 VLD1.8 {d8}, [r9]!
530 VMOVL.S8 q4, d8
531 VMLAL.S16 q8, d8, d1[1]
532 VMLAL.S16 q9, d9, d1[1]
533 VMLAL.S16 q10, d8, d3[1]
534 VMLAL.S16 q11, d9, d3[1]
535 VMLAL.S16 q12, d8, d5[1]
536 VMLAL.S16 q13, d9, d5[1]
537 VMLAL.S16 q14, d8, d7[1]
538 VMLAL.S16 q15, d9, d7[1]
539 BEQ 4b
540
541 VLD1.8 {d8}, [r9]!
542 VMOVL.S8 q4, d8
543 VMLAL.S16 q8, d8, d1[2]
544 VMLAL.S16 q9, d9, d1[2]
545 VMLAL.S16 q10, d8, d3[2]
546 VMLAL.S16 q11, d9, d3[2]
547 VMLAL.S16 q12, d8, d5[2]
548 VMLAL.S16 q13, d9, d5[2]
549 VMLAL.S16 q14, d8, d7[2]
550 VMLAL.S16 q15, d9, d7[2]
551 B 4b
552
553 # Store odd width
554 .p2align 3
555 7:
556 TST r1, 4
557 BEQ 8f
558 VST1.32 {d3[0]}, [r6]!
559 VST1.32 {d2[0]}, [r8]!
560 VST1.32 {d1[0]}, [r4]!
561 VST1.32 {d0[0]}, [r11]!
562 VEXT.8 q1, q1, q1, 4
563 VEXT.8 q0, q0, q0, 4
564 8:
565 TST r1, 2
566 BEQ 9f
567 VST1.16 {d3[0]}, [r6]!
568 VST1.16 {d2[0]}, [r8]!
569 VST1.16 {d1[0]}, [r4]!
570 VST1.16 {d0[0]}, [r11]!
571 VEXT.8 q1, q1, q1, 2
572 VEXT.8 q0, q0, q0, 2
573
574 9:
575 TST r1, 1
576 BEQ 10f
577 VST1.8 {d3[0]}, [r6]
578 VST1.8 {d2[0]}, [r8]
579 VST1.8 {d1[0]}, [r4]
580 VST1.8 {d0[0]}, [r11]
581
582 10:
583 VPOP {d8-d13}
584 ADD sp, sp, 20 // skip pad of 8, r1, r2, r3
585 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
586
587 END_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neon_mlal_lane_cortex_a53
588
589 #ifdef __ELF__
590 .section ".note.GNU-stack","",%progbits
591 #endif