Debian Codegraph @

src/qs8-qc8w-igemm/gen/qs8-qc8w-igemm-4x8-minmax-fp32-asm-aarch32-neon-mlal-lane-cortex-a7-prfm.S

raw
1 // Auto-generated file. Do not edit!
2 // Template: src/qs8-igemm/4x8-aarch32-neon-mlal-lane-cortex-a7.S.in
3 // Generator: tools/xngen
4 //
5 // Copyright 2021 Google LLC
6 //
7 // This source code is licensed under the BSD-style license found in the
8 // LICENSE file in the root directory of this source tree.
9
10
11 #include "xnnpack/assembly.h"
12
13 .syntax unified
14
15 // void xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neon_mlal_lane_cortex_a7_prfm(
16 // size_t mr, (r0)
17 // size_t nc, r1 -> sp + 56
18 // size_t kc, (r2) -> r5 -> sp + 60
19 // size_t ks, (r3) -> sp + 64 -> r14
20 // const int8_t** restrict a, sp + 104 -> r2
21 // const void* restrict w, sp + 108 -> r9
22 // int8_t* restrict c, sp + 112 -> r11
23 // size_t cm_stride, sp + 116 -> (r6)
24 // size_t cn_stride, sp + 120 -> (r7)
25 // size_t a_offset, sp + 124 -> (r5)
26 // const int8_t* zero, sp + 128 -> (r7)
27 // xnn_qs8_qc8w_conv_minmax_params*params); sp + 132 -> (r5)
28
29 // d8-d15, r4-r11,r14(lr) need to be preserved if used. r13(sp),r15(pc) are reserved.
30
31 // Register usage
32 // A0 r3 d0-d1 q0
33 // A1 r12 d2-d3 q1
34 // A2 r10 d4-d5 q2
35 // A3 r0 d6-d7 q3
36 // B r9 d8-d9 q4 q5
37 // C0 r11 d16-d17 q8 d18-d19 q9
38 // C1 r4 d20-d21 q10 d22-d23 q11
39 // C2 r8 d24-d25 q12 d26-d27 q13
40 // C3 r6 d28-d29 q14 d30-d31 q15
41 // unused d15
42
43 // params structure is 10 bytes
44 // struct {
45 // float magic_bias; d12[0]
46 // int32_t magic_bias_less_output_zero_point; d12[1]
47 // int8_t output_min; d13[6]
48 // int8_t output_max; d13[7]
49 // } xnn_qs8_minmax_params.neon;
50
51 BEGIN_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neon_mlal_lane_cortex_a7_prfm
52 # Push 104 bytes
53 # r1, r2 will be reloaded in outer loop. r3 is ks
54 PUSH {r1, r2, r3, r4, r5, r6, r7, r8, r9, r10, r11, lr} // +48
55 SUB sp, sp, 8 // +8
56 VPUSH {d8-d13} // +48 = 104
57
58 LDR r11, [sp, 112] // c
59 LDR r6, [sp, 116] // cm_stride
60 LDR r2, [sp, 104] // a
61 LDR r9, [sp, 108] // w
62 LDR r5, [sp, 132] // params
63 MOV r14, r3 // p = ks
64
65 # Clamp C pointers
66 CMP r0, 2 // if mr >= 2
67 ADD r4, r11, r6 // c1 = c0 + cm_stride
68 MOVLO r4, r11 // c1
69 // if mr > 2
70 ADD r8, r4, r6 // c2 = c1 + cm_stride
71 MOVLS r8, r4 // c2
72 CMP r0, 4 // if mr >=4
73 ADD r6, r8, r6 // c3 = c2 + cm_stride
74 MOVLO r6, r8 // c3
75
76 # Load params values
77 VLDM r5!, {d12} // QC8 neon params
78 VLD1.16 {d13[]}, [r5]
79
80 PLD [r9, 64] // Prefetch B
81 PLD [r9, 128]
82 PLD [r9, 192]
83 PLD [r9, 256]
84 PLD [r9, 320]
85 PLD [r9, 384]
86
87 .p2align 3
88 0:
89 # Load initial bias from w into accumulators
90 VLDM r9!, {d16-d19} // Bias
91 VMOV q10, q8
92 VMOV q11, q9
93 STR r1, [sp, 56] // save nc
94 VMOV q12, q8
95 VMOV q13, q9
96 VMOV q14, q8
97 VMOV q15, q9
98
99 .p2align 3
100 1:
101 # Load next 4 A pointers
102 LDR r3, [r2, 0]
103 LDR r12, [r2, 4]
104 LDR r10, [r2, 8]
105 LDR r0, [r2, 12]
106
107 # Add a_offset
108 LDR r5, [sp, 124] // a_offset
109 LDR r7, [sp, 128] // zero
110 ADD r2, r2, 16
111 CMP r3, r7 // if a0 == zero
112 ADD r3, r3, r5 // a0 += a_offset
113 MOVEQ r3, r7 // a0 = zero, else += a0 + a_offset
114 CMP r12, r7 // if a1 == zero
115 ADD r12, r12, r5 // a1 += a_offset
116 MOVEQ r12, r7 // a1 = zero, else += a1 + a_offset
117 CMP r10, r7 // if a2 == zero
118 ADD r10, r10, r5 // a2 += a_offset
119 MOVEQ r10, r7 // a2 = zero, else += a2 + a_offset
120 CMP r0, r7 // if a3 == zero
121 ADD r0, r0, r5 // a3 += a_offset
122 LDR r5, [sp, 60] // kc
123 MOVEQ r0, r7 // a3 = zero, else += a3 + a_offset
124 SUBS r5, r5, 8 // kc - 8
125 BLO 5f // less than 8 channels?
126
127 // Prologue - load 4A's and B0
128 VLD1.8 {d0}, [r3]! // A0
129 VLD1.8 {d8}, [r9]! // B0
130 SUBS r5, r5, 8 // k = k - 8
131 VLD1.8 {d2}, [r12]! // A1
132 VLD1.8 {d4}, [r10]! // A2
133 VLD1.8 {d6}, [r0]! // A3
134
135 BLO 3f // less than 8 channels?
136
137 // Main loop - 8 bytes
138 // 64 bytes for weights.
139 // 5 VMOVL = 4 A and 1 B = 5 cycles
140 // 7 blocks with VLD B, VMOVL, 8 VMLA = 10 cycles
141 // 1 blocks with VLD B, VMLA = 9 cycles
142 // total = 84 cycles
143 .p2align 3
144 2:
145 // Extend - 5 cycles
146 VMOVL.S8 q0, d0
147 VMOVL.S8 q4, d8
148 PLD [r9, 448]
149 VMOVL.S8 q1, d2
150 VMOVL.S8 q2, d4
151 VMOVL.S8 q3, d6
152
153 // BLOCK 0 - 10 cycles
154 VLD1.8 {d10}, [r9]! // B1
155 VMLAL.S16 q8, d8, d0[0]
156 VMLAL.S16 q9, d9, d0[0]
157 VMLAL.S16 q10, d8, d2[0]
158 VMLAL.S16 q11, d9, d2[0]
159 VMOVL.S8 q5, d10
160 VMLAL.S16 q12, d8, d4[0]
161 VMLAL.S16 q13, d9, d4[0]
162 VMLAL.S16 q14, d8, d6[0]
163 VMLAL.S16 q15, d9, d6[0]
164
165 // BLOCK 1 - 10 cycles
166 VLD1.8 {d8}, [r9]! // B2
167 VMLAL.S16 q8, d10, d0[1]
168 VMLAL.S16 q9, d11, d0[1]
169 VMLAL.S16 q10, d10, d2[1]
170 VMLAL.S16 q11, d11, d2[1]
171 VMOVL.S8 q4, d8
172 VMLAL.S16 q12, d10, d4[1]
173 VMLAL.S16 q13, d11, d4[1]
174 VMLAL.S16 q14, d10, d6[1]
175 VMLAL.S16 q15, d11, d6[1]
176
177 // BLOCK 2 - 10 cycles
178 VLD1.8 {d10}, [r9]! // B3
179 VMLAL.S16 q8, d8, d0[2]
180 VMLAL.S16 q9, d9, d0[2]
181 VMLAL.S16 q10, d8, d2[2]
182 VMLAL.S16 q11, d9, d2[2]
183 VMOVL.S8 q5, d10
184 VMLAL.S16 q12, d8, d4[2]
185 VMLAL.S16 q13, d9, d4[2]
186 VMLAL.S16 q14, d8, d6[2]
187 VMLAL.S16 q15, d9, d6[2]
188
189 // BLOCK 3 - 10 cycles
190 VLD1.8 {d8}, [r9]! // B4
191 VMLAL.S16 q8, d10, d0[3]
192 VMLAL.S16 q9, d11, d0[3]
193 VMLAL.S16 q10, d10, d2[3]
194 VMLAL.S16 q11, d11, d2[3]
195 VLD1.8 {d0}, [r3]! // A0
196 VMOVL.S8 q4, d8
197 VMLAL.S16 q12, d10, d4[3]
198 VMLAL.S16 q13, d11, d4[3]
199 VMLAL.S16 q14, d10, d6[3]
200 VMLAL.S16 q15, d11, d6[3]
201
202 // BLOCK 4 - 10 cycles
203 VLD1.8 {d10}, [r9]! // B5
204 VMLAL.S16 q8, d8, d1[0]
205 VMLAL.S16 q9, d9, d1[0]
206 VMLAL.S16 q10, d8, d3[0]
207 VMLAL.S16 q11, d9, d3[0]
208 VLD1.8 {d2}, [r12]! // A1
209 VMOVL.S8 q5, d10
210 VMLAL.S16 q12, d8, d5[0]
211 VMLAL.S16 q13, d9, d5[0]
212 VMLAL.S16 q14, d8, d7[0]
213 VMLAL.S16 q15, d9, d7[0]
214
215 // BLOCK 5 - 10 cycles
216 VLD1.8 {d8}, [r9]! // B6
217 VMLAL.S16 q8, d10, d1[1]
218 VMLAL.S16 q9, d11, d1[1]
219 VMLAL.S16 q10, d10, d3[1]
220 VMLAL.S16 q11, d11, d3[1]
221 VLD1.8 {d4}, [r10]! // A2
222 VMOVL.S8 q4, d8
223 VMLAL.S16 q12, d10, d5[1]
224 VMLAL.S16 q13, d11, d5[1]
225 VMLAL.S16 q14, d10, d7[1]
226 VMLAL.S16 q15, d11, d7[1]
227
228 // BLOCK 6 - 10 cycles
229 VLD1.8 {d10}, [r9]! // B7
230 VMLAL.S16 q8, d8, d1[2]
231 VMLAL.S16 q9, d9, d1[2]
232 VMLAL.S16 q10, d8, d3[2]
233 VMLAL.S16 q11, d9, d3[2]
234 VLD1.8 {d6}, [r0]! // A3
235 VMOVL.S8 q5, d10
236 VMLAL.S16 q12, d8, d5[2]
237 VMLAL.S16 q13, d9, d5[2]
238 VMLAL.S16 q14, d8, d7[2]
239 VMLAL.S16 q15, d9, d7[2]
240
241 // BLOCK 7 - 9 cycles
242 VLD1.8 {d8}, [r9]! // B0
243 VMLAL.S16 q8, d10, d1[3]
244 VMLAL.S16 q9, d11, d1[3]
245 VMLAL.S16 q10, d10, d3[3]
246 VMLAL.S16 q11, d11, d3[3]
247 VMLAL.S16 q12, d10, d5[3]
248 VMLAL.S16 q13, d11, d5[3]
249 SUBS r5, r5, 8
250 VMLAL.S16 q14, d10, d7[3]
251 VMLAL.S16 q15, d11, d7[3]
252 BHS 2b
253
254 // Epilogue
255
256 .p2align 3
257 3:
258 VMOVL.S8 q0, d0
259 VMOVL.S8 q4, d8
260 VMOVL.S8 q1, d2
261 VMOVL.S8 q2, d4
262 VMOVL.S8 q3, d6
263
264 VLD1.8 {d10}, [r9]! // B1
265 VMLAL.S16 q8, d8, d0[0]
266 VMLAL.S16 q9, d9, d0[0]
267 VMLAL.S16 q10, d8, d2[0]
268 VMLAL.S16 q11, d9, d2[0]
269 VMOVL.S8 q5, d10
270 VMLAL.S16 q12, d8, d4[0]
271 VMLAL.S16 q13, d9, d4[0]
272 VMLAL.S16 q14, d8, d6[0]
273 VMLAL.S16 q15, d9, d6[0]
274
275 VLD1.8 {d8}, [r9]! // B2
276 VMLAL.S16 q8, d10, d0[1]
277 VMLAL.S16 q9, d11, d0[1]
278 VMLAL.S16 q10, d10, d2[1]
279 VMLAL.S16 q11, d11, d2[1]
280 VMOVL.S8 q4, d8
281 VMLAL.S16 q12, d10, d4[1]
282 VMLAL.S16 q13, d11, d4[1]
283 VMLAL.S16 q14, d10, d6[1]
284 VMLAL.S16 q15, d11, d6[1]
285
286 VLD1.8 {d10}, [r9]! // B3
287 VMLAL.S16 q8, d8, d0[2]
288 VMLAL.S16 q9, d9, d0[2]
289 VMLAL.S16 q10, d8, d2[2]
290 VMLAL.S16 q11, d9, d2[2]
291 VMOVL.S8 q5, d10
292 VMLAL.S16 q12, d8, d4[2]
293 VMLAL.S16 q13, d9, d4[2]
294 VMLAL.S16 q14, d8, d6[2]
295 VMLAL.S16 q15, d9, d6[2]
296
297 VLD1.8 {d8}, [r9]! // B4
298 VMLAL.S16 q8, d10, d0[3]
299 VMLAL.S16 q9, d11, d0[3]
300 VMLAL.S16 q10, d10, d2[3]
301 VMLAL.S16 q11, d11, d2[3]
302 VMOVL.S8 q4, d8
303 VMLAL.S16 q12, d10, d4[3]
304 VMLAL.S16 q13, d11, d4[3]
305 VMLAL.S16 q14, d10, d6[3]
306 VMLAL.S16 q15, d11, d6[3]
307
308 VLD1.8 {d10}, [r9]! // B5
309 VMLAL.S16 q8, d8, d1[0]
310 VMLAL.S16 q9, d9, d1[0]
311 VMLAL.S16 q10, d8, d3[0]
312 VMLAL.S16 q11, d9, d3[0]
313 VMOVL.S8 q5, d10
314 VMLAL.S16 q12, d8, d5[0]
315 VMLAL.S16 q13, d9, d5[0]
316 VMLAL.S16 q14, d8, d7[0]
317 VMLAL.S16 q15, d9, d7[0]
318
319 VLD1.8 {d8}, [r9]! // B6
320 VMLAL.S16 q8, d10, d1[1]
321 VMLAL.S16 q9, d11, d1[1]
322 VMLAL.S16 q10, d10, d3[1]
323 VMLAL.S16 q11, d11, d3[1]
324 VMOVL.S8 q4, d8
325 VMLAL.S16 q12, d10, d5[1]
326 VMLAL.S16 q13, d11, d5[1]
327 VMLAL.S16 q14, d10, d7[1]
328 VMLAL.S16 q15, d11, d7[1]
329
330 VLD1.8 {d10}, [r9]! // B7
331 VMLAL.S16 q8, d8, d1[2]
332 VMLAL.S16 q9, d9, d1[2]
333 VMLAL.S16 q10, d8, d3[2]
334 VMLAL.S16 q11, d9, d3[2]
335 VMOVL.S8 q5, d10
336 VMLAL.S16 q12, d8, d5[2]
337 VMLAL.S16 q13, d9, d5[2]
338 VMLAL.S16 q14, d8, d7[2]
339 VMLAL.S16 q15, d9, d7[2]
340
341 VMLAL.S16 q8, d10, d1[3]
342 VMLAL.S16 q9, d11, d1[3]
343 VMLAL.S16 q10, d10, d3[3]
344 VMLAL.S16 q11, d11, d3[3]
345 VMLAL.S16 q12, d10, d5[3]
346 VMLAL.S16 q13, d11, d5[3]
347 ADDS r5, r5, 8
348 VMLAL.S16 q14, d10, d7[3]
349 VMLAL.S16 q15, d11, d7[3]
350
351 # Is there a remainder?- 1-7 bytes of A
352 BNE 6f
353
354 4:
355 # ks loop
356 SUBS r14, r14, 16 // ks -= MR * sizeof(void*)
357 BHI 1b
358
359 LDR r7, [sp, 120] // cn_stride
360 LDR r14, [sp, 64] // p = ks
361
362 # QC8 FP32 quantization
363 VLD1.8 {q0-q1}, [r9]!
364
365 VDUP.32 q2, d12[0] // magic_bias
366 VDUP.32 q3, d12[1] // magic_bias_less_output_zero_point
367
368 VCVT.F32.S32 q8, q8
369 VCVT.F32.S32 q9, q9
370 VCVT.F32.S32 q10, q10
371 VCVT.F32.S32 q11, q11
372 VCVT.F32.S32 q12, q12
373 VCVT.F32.S32 q13, q13
374 VCVT.F32.S32 q14, q14
375 VCVT.F32.S32 q15, q15
376
377 VMUL.F32 q8, q8, q0 // multiplier
378 VMUL.F32 q9, q9, q1
379 VMUL.F32 q10, q10, q0
380 VMUL.F32 q11, q11, q1
381 VMUL.F32 q12, q12, q0
382 VMUL.F32 q13, q13, q1
383 VMUL.F32 q14, q14, q0
384 VMUL.F32 q15, q15, q1
385
386 VADD.F32 q8, q8, q2 // magic_bias
387 VADD.F32 q9, q9, q2
388 VADD.F32 q10, q10, q2
389 VADD.F32 q11, q11, q2
390 VADD.F32 q12, q12, q2
391 VADD.F32 q13, q13, q2
392 VADD.F32 q14, q14, q2
393 VADD.F32 q15, q15, q2
394
395 VQSUB.S32 q8, q8, q3 // magic_bias_less_output_zero_point
396 VQSUB.S32 q9, q9, q3
397 VQSUB.S32 q10, q10, q3
398 VQSUB.S32 q11, q11, q3
399 VQSUB.S32 q12, q12, q3
400 VQSUB.S32 q13, q13, q3
401 VQSUB.S32 q14, q14, q3
402 VQSUB.S32 q15, q15, q3
403
404
405 VQMOVN.S32 d16, q8
406 VQMOVN.S32 d17, q9
407 VQMOVN.S32 d18, q10
408 VQMOVN.S32 d19, q11
409 VQMOVN.S32 d20, q12
410 VQMOVN.S32 d21, q13
411 VQMOVN.S32 d22, q14
412 VQMOVN.S32 d23, q15
413
414
415 LDR r1, [sp, 56] // restore nc
416 VDUP.8 q12, d13[6] // output_min
417
418 VQMOVN.S16 d0, q8
419 VQMOVN.S16 d1, q9
420 VQMOVN.S16 d2, q10
421 VQMOVN.S16 d3, q11
422
423 VDUP.8 q13, d13[7] // output_max
424
425 VMAX.S8 q0, q0, q12
426 VMAX.S8 q1, q1, q12
427
428 SUBS r1, r1, 8 // nc -= 8
429
430 VMIN.S8 q0, q0, q13
431 VMIN.S8 q1, q1, q13
432
433 # Store full 4 x 8
434 BLO 7f
435 VST1.8 {d3}, [r6], r7
436 VST1.8 {d2}, [r8], r7
437 VST1.8 {d1}, [r4], r7
438 VST1.8 {d0}, [r11], r7
439 SUB r2, r2, r14 // a -= ks
440 BHI 0b
441
442 VPOP {d8-d13}
443 ADD sp, sp, 20 // skip pad of 8, r1, r2, r3
444 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
445
446 # Remainder- 1 to 7 bytes of A
447 .p2align 3
448 5:
449 AND r5, r5, 7 // kc remainder 1 to 7
450 6:
451 VLD1.8 {d0}, [r3]
452 VLD1.8 {d8}, [r9]!
453 VLD1.8 {d2}, [r12]
454 VLD1.8 {d4}, [r10]
455 VLD1.8 {d6}, [r0]
456
457 VMOVL.S8 q0, d0
458 VMOVL.S8 q4, d8
459 VMOVL.S8 q1, d2
460 VMOVL.S8 q2, d4
461 VMOVL.S8 q3, d6
462 VMLAL.S16 q8, d8, d0[0]
463 VMLAL.S16 q9, d9, d0[0]
464 VMLAL.S16 q10, d8, d2[0]
465 VMLAL.S16 q11, d9, d2[0]
466 VMLAL.S16 q12, d8, d4[0]
467 VMLAL.S16 q13, d9, d4[0]
468 VMLAL.S16 q14, d8, d6[0]
469 VMLAL.S16 q15, d9, d6[0]
470 CMP r5, 2
471 BLO 4b
472
473 VLD1.8 {d8}, [r9]!
474 VMOVL.S8 q4, d8
475 VMLAL.S16 q8, d8, d0[1]
476 VMLAL.S16 q9, d9, d0[1]
477 VMLAL.S16 q10, d8, d2[1]
478 VMLAL.S16 q11, d9, d2[1]
479 VMLAL.S16 q12, d8, d4[1]
480 VMLAL.S16 q13, d9, d4[1]
481 VMLAL.S16 q14, d8, d6[1]
482 VMLAL.S16 q15, d9, d6[1]
483 BEQ 4b
484
485 VLD1.8 {d8}, [r9]!
486 VMOVL.S8 q4, d8
487 VMLAL.S16 q8, d8, d0[2]
488 VMLAL.S16 q9, d9, d0[2]
489 VMLAL.S16 q10, d8, d2[2]
490 VMLAL.S16 q11, d9, d2[2]
491 VMLAL.S16 q12, d8, d4[2]
492 VMLAL.S16 q13, d9, d4[2]
493 VMLAL.S16 q14, d8, d6[2]
494 VMLAL.S16 q15, d9, d6[2]
495 CMP r5, 4
496 BLO 4b
497
498 VLD1.8 {d8}, [r9]!
499 VMOVL.S8 q4, d8
500 VMLAL.S16 q8, d8, d0[3]
501 VMLAL.S16 q9, d9, d0[3]
502 VMLAL.S16 q10, d8, d2[3]
503 VMLAL.S16 q11, d9, d2[3]
504 VMLAL.S16 q12, d8, d4[3]
505 VMLAL.S16 q13, d9, d4[3]
506 VMLAL.S16 q14, d8, d6[3]
507 VMLAL.S16 q15, d9, d6[3]
508 BEQ 4b
509
510 VLD1.8 {d8}, [r9]!
511 VMOVL.S8 q4, d8
512 VMLAL.S16 q8, d8, d1[0]
513 VMLAL.S16 q9, d9, d1[0]
514 VMLAL.S16 q10, d8, d3[0]
515 VMLAL.S16 q11, d9, d3[0]
516 VMLAL.S16 q12, d8, d5[0]
517 VMLAL.S16 q13, d9, d5[0]
518 VMLAL.S16 q14, d8, d7[0]
519 VMLAL.S16 q15, d9, d7[0]
520 CMP r5, 6
521 BLO 4b
522
523 VLD1.8 {d8}, [r9]!
524 VMOVL.S8 q4, d8
525 VMLAL.S16 q8, d8, d1[1]
526 VMLAL.S16 q9, d9, d1[1]
527 VMLAL.S16 q10, d8, d3[1]
528 VMLAL.S16 q11, d9, d3[1]
529 VMLAL.S16 q12, d8, d5[1]
530 VMLAL.S16 q13, d9, d5[1]
531 VMLAL.S16 q14, d8, d7[1]
532 VMLAL.S16 q15, d9, d7[1]
533 BEQ 4b
534
535 VLD1.8 {d8}, [r9]!
536 VMOVL.S8 q4, d8
537 VMLAL.S16 q8, d8, d1[2]
538 VMLAL.S16 q9, d9, d1[2]
539 VMLAL.S16 q10, d8, d3[2]
540 VMLAL.S16 q11, d9, d3[2]
541 VMLAL.S16 q12, d8, d5[2]
542 VMLAL.S16 q13, d9, d5[2]
543 VMLAL.S16 q14, d8, d7[2]
544 VMLAL.S16 q15, d9, d7[2]
545 B 4b
546
547 # Store odd width
548 .p2align 3
549 7:
550 TST r1, 4
551 BEQ 8f
552 VST1.32 {d3[0]}, [r6]!
553 VST1.32 {d2[0]}, [r8]!
554 VST1.32 {d1[0]}, [r4]!
555 VST1.32 {d0[0]}, [r11]!
556 VEXT.8 q1, q1, q1, 4
557 VEXT.8 q0, q0, q0, 4
558 8:
559 TST r1, 2
560 BEQ 9f
561 VST1.16 {d3[0]}, [r6]!
562 VST1.16 {d2[0]}, [r8]!
563 VST1.16 {d1[0]}, [r4]!
564 VST1.16 {d0[0]}, [r11]!
565 VEXT.8 q1, q1, q1, 2
566 VEXT.8 q0, q0, q0, 2
567
568 9:
569 TST r1, 1
570 BEQ 10f
571 VST1.8 {d3[0]}, [r6]
572 VST1.8 {d2[0]}, [r8]
573 VST1.8 {d1[0]}, [r4]
574 VST1.8 {d0[0]}, [r11]
575
576 10:
577 VPOP {d8-d13}
578 ADD sp, sp, 20 // skip pad of 8, r1, r2, r3
579 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
580
581 END_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neon_mlal_lane_cortex_a7_prfm
582
583 #ifdef __ELF__
584 .section ".note.GNU-stack","",%progbits
585 #endif