Debian Codegraph @

src/qs8-qc8w-igemm/gen/qs8-qc8w-igemm-4x8-minmax-fp32-asm-aarch32-neonv8-mlal-lane-cortex-a35-prfm.S

raw
1 // Auto-generated file. Do not edit!
2 // Template: src/qs8-igemm/4x8-aarch32-neon-mlal-lane-cortex-a7.S.in
3 // Generator: tools/xngen
4 //
5 // Copyright 2021 Google LLC
6 //
7 // This source code is licensed under the BSD-style license found in the
8 // LICENSE file in the root directory of this source tree.
9
10
11 #include "xnnpack/assembly.h"
12
13 .syntax unified
14
15 // void xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neonv8_mlal_lane_cortex_a35_prfm(
16 // size_t mr, (r0)
17 // size_t nc, r1 -> sp + 56
18 // size_t kc, (r2) -> r5 -> sp + 60
19 // size_t ks, (r3) -> sp + 64 -> r14
20 // const int8_t** restrict a, sp + 104 -> r2
21 // const void* restrict w, sp + 108 -> r9
22 // int8_t* restrict c, sp + 112 -> r11
23 // size_t cm_stride, sp + 116 -> (r6)
24 // size_t cn_stride, sp + 120 -> (r7)
25 // size_t a_offset, sp + 124 -> (r5)
26 // const int8_t* zero, sp + 128 -> (r7)
27 // xnn_qs8_qc8w_conv_minmax_params*params); sp + 132 -> (r5)
28
29 // d8-d15, r4-r11,r14(lr) need to be preserved if used. r13(sp),r15(pc) are reserved.
30
31 // Register usage
32 // A0 r3 d0-d1 q0
33 // A1 r12 d2-d3 q1
34 // A2 r10 d4-d5 q2
35 // A3 r0 d6-d7 q3
36 // B r9 d8-d9 q4 q5
37 // C0 r11 d16-d17 q8 d18-d19 q9
38 // C1 r4 d20-d21 q10 d22-d23 q11
39 // C2 r8 d24-d25 q12 d26-d27 q13
40 // C3 r6 d28-d29 q14 d30-d31 q15
41 // unused d15
42
43 // params structure is 4 bytes
44 // struct {
45 // int16_t output_zero_point; d13[2]
46 // int8_t output_min; d13[6]
47 // int8_t output_max; d13[7]
48 // } xnn_qs8_minmax_params.neonv8;
49
50 BEGIN_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neonv8_mlal_lane_cortex_a35_prfm
51 # Push 104 bytes
52 # r1, r2 will be reloaded in outer loop. r3 is ks
53 PUSH {r1, r2, r3, r4, r5, r6, r7, r8, r9, r10, r11, lr} // +48
54 SUB sp, sp, 8 // +8
55 VPUSH {d8-d13} // +48 = 104
56
57 LDR r11, [sp, 112] // c
58 LDR r6, [sp, 116] // cm_stride
59 LDR r2, [sp, 104] // a
60 LDR r9, [sp, 108] // w
61 LDR r5, [sp, 132] // params
62 MOV r14, r3 // p = ks
63
64 # Clamp C pointers
65 CMP r0, 2 // if mr >= 2
66 ADD r4, r11, r6 // c1 = c0 + cm_stride
67 MOVLO r4, r11 // c1
68 // if mr > 2
69 ADD r8, r4, r6 // c2 = c1 + cm_stride
70 MOVLS r8, r4 // c2
71 CMP r0, 4 // if mr >=4
72 ADD r6, r8, r6 // c3 = c2 + cm_stride
73 MOVLO r6, r8 // c3
74
75 # Load params values
76 VLD1.32 {d13[]}, [r5] // QC8 neonv8 params
77
78 PLD [r9, 64] // Prefetch B
79 PLD [r9, 128]
80 PLD [r9, 192]
81 PLD [r9, 256]
82 PLD [r9, 320]
83 PLD [r9, 384]
84
85 .p2align 3
86 0:
87 # Load initial bias from w into accumulators
88 VLDM r9!, {d16-d19} // Bias
89 VMOV q10, q8
90 VMOV q11, q9
91 STR r1, [sp, 56] // save nc
92 VMOV q12, q8
93 VMOV q13, q9
94 VMOV q14, q8
95 VMOV q15, q9
96
97 .p2align 3
98 1:
99 # Load next 4 A pointers
100 LDR r3, [r2, 0]
101 LDR r12, [r2, 4]
102 LDR r10, [r2, 8]
103 LDR r0, [r2, 12]
104
105 # Add a_offset
106 LDR r5, [sp, 124] // a_offset
107 LDR r7, [sp, 128] // zero
108 ADD r2, r2, 16
109 CMP r3, r7 // if a0 == zero
110 ADD r3, r3, r5 // a0 += a_offset
111 MOVEQ r3, r7 // a0 = zero, else += a0 + a_offset
112 CMP r12, r7 // if a1 == zero
113 ADD r12, r12, r5 // a1 += a_offset
114 MOVEQ r12, r7 // a1 = zero, else += a1 + a_offset
115 CMP r10, r7 // if a2 == zero
116 ADD r10, r10, r5 // a2 += a_offset
117 MOVEQ r10, r7 // a2 = zero, else += a2 + a_offset
118 CMP r0, r7 // if a3 == zero
119 ADD r0, r0, r5 // a3 += a_offset
120 LDR r5, [sp, 60] // kc
121 MOVEQ r0, r7 // a3 = zero, else += a3 + a_offset
122 SUBS r5, r5, 8 // kc - 8
123 BLO 5f // less than 8 channels?
124
125 // Prologue - load 4A's and B0
126 VLD1.8 {d0}, [r3]! // A0
127 VLD1.8 {d8}, [r9]! // B0
128 SUBS r5, r5, 8 // k = k - 8
129 VLD1.8 {d2}, [r12]! // A1
130 VLD1.8 {d4}, [r10]! // A2
131 VLD1.8 {d6}, [r0]! // A3
132
133 BLO 3f // less than 8 channels?
134
135 // Main loop - 8 bytes
136 // 64 bytes for weights.
137 // 5 VMOVL = 4 A and 1 B = 5 cycles
138 // 7 blocks with VLD B, VMOVL, 8 VMLA = 10 cycles
139 // 1 blocks with VLD B, VMLA = 9 cycles
140 // total = 84 cycles
141 .p2align 3
142 2:
143 // Extend - 5 cycles
144 VMOVL.S8 q0, d0
145 VMOVL.S8 q4, d8
146 PLD [r9, 448]
147 VMOVL.S8 q1, d2
148 VMOVL.S8 q2, d4
149 VMOVL.S8 q3, d6
150
151 // BLOCK 0 - 10 cycles
152 VLD1.8 {d10}, [r9]! // B1
153 VMLAL.S16 q8, d8, d0[0]
154 VMLAL.S16 q9, d9, d0[0]
155 VMLAL.S16 q10, d8, d2[0]
156 VMLAL.S16 q11, d9, d2[0]
157 VMOVL.S8 q5, d10
158 VMLAL.S16 q12, d8, d4[0]
159 VMLAL.S16 q13, d9, d4[0]
160 VMLAL.S16 q14, d8, d6[0]
161 VMLAL.S16 q15, d9, d6[0]
162
163 // BLOCK 1 - 10 cycles
164 VLD1.8 {d8}, [r9]! // B2
165 VMLAL.S16 q8, d10, d0[1]
166 VMLAL.S16 q9, d11, d0[1]
167 VMLAL.S16 q10, d10, d2[1]
168 VMLAL.S16 q11, d11, d2[1]
169 VMOVL.S8 q4, d8
170 VMLAL.S16 q12, d10, d4[1]
171 VMLAL.S16 q13, d11, d4[1]
172 VMLAL.S16 q14, d10, d6[1]
173 VMLAL.S16 q15, d11, d6[1]
174
175 // BLOCK 2 - 10 cycles
176 VLD1.8 {d10}, [r9]! // B3
177 VMLAL.S16 q8, d8, d0[2]
178 VMLAL.S16 q9, d9, d0[2]
179 VMLAL.S16 q10, d8, d2[2]
180 VMLAL.S16 q11, d9, d2[2]
181 VMOVL.S8 q5, d10
182 VMLAL.S16 q12, d8, d4[2]
183 VMLAL.S16 q13, d9, d4[2]
184 VMLAL.S16 q14, d8, d6[2]
185 VMLAL.S16 q15, d9, d6[2]
186
187 // BLOCK 3 - 10 cycles
188 VLD1.8 {d8}, [r9]! // B4
189 VMLAL.S16 q8, d10, d0[3]
190 VMLAL.S16 q9, d11, d0[3]
191 VMLAL.S16 q10, d10, d2[3]
192 VMLAL.S16 q11, d11, d2[3]
193 VLD1.8 {d0}, [r3]! // A0
194 VMOVL.S8 q4, d8
195 VMLAL.S16 q12, d10, d4[3]
196 VMLAL.S16 q13, d11, d4[3]
197 VMLAL.S16 q14, d10, d6[3]
198 VMLAL.S16 q15, d11, d6[3]
199
200 // BLOCK 4 - 10 cycles
201 VLD1.8 {d10}, [r9]! // B5
202 VMLAL.S16 q8, d8, d1[0]
203 VMLAL.S16 q9, d9, d1[0]
204 VMLAL.S16 q10, d8, d3[0]
205 VMLAL.S16 q11, d9, d3[0]
206 VLD1.8 {d2}, [r12]! // A1
207 VMOVL.S8 q5, d10
208 VMLAL.S16 q12, d8, d5[0]
209 VMLAL.S16 q13, d9, d5[0]
210 VMLAL.S16 q14, d8, d7[0]
211 VMLAL.S16 q15, d9, d7[0]
212
213 // BLOCK 5 - 10 cycles
214 VLD1.8 {d8}, [r9]! // B6
215 VMLAL.S16 q8, d10, d1[1]
216 VMLAL.S16 q9, d11, d1[1]
217 VMLAL.S16 q10, d10, d3[1]
218 VMLAL.S16 q11, d11, d3[1]
219 VLD1.8 {d4}, [r10]! // A2
220 VMOVL.S8 q4, d8
221 VMLAL.S16 q12, d10, d5[1]
222 VMLAL.S16 q13, d11, d5[1]
223 VMLAL.S16 q14, d10, d7[1]
224 VMLAL.S16 q15, d11, d7[1]
225
226 // BLOCK 6 - 10 cycles
227 VLD1.8 {d10}, [r9]! // B7
228 VMLAL.S16 q8, d8, d1[2]
229 VMLAL.S16 q9, d9, d1[2]
230 VMLAL.S16 q10, d8, d3[2]
231 VMLAL.S16 q11, d9, d3[2]
232 VLD1.8 {d6}, [r0]! // A3
233 VMOVL.S8 q5, d10
234 VMLAL.S16 q12, d8, d5[2]
235 VMLAL.S16 q13, d9, d5[2]
236 VMLAL.S16 q14, d8, d7[2]
237 VMLAL.S16 q15, d9, d7[2]
238
239 // BLOCK 7 - 9 cycles
240 VLD1.8 {d8}, [r9]! // B0
241 VMLAL.S16 q8, d10, d1[3]
242 VMLAL.S16 q9, d11, d1[3]
243 VMLAL.S16 q10, d10, d3[3]
244 VMLAL.S16 q11, d11, d3[3]
245 VMLAL.S16 q12, d10, d5[3]
246 VMLAL.S16 q13, d11, d5[3]
247 SUBS r5, r5, 8
248 VMLAL.S16 q14, d10, d7[3]
249 VMLAL.S16 q15, d11, d7[3]
250 BHS 2b
251
252 // Epilogue
253
254 .p2align 3
255 3:
256 VMOVL.S8 q0, d0
257 VMOVL.S8 q4, d8
258 VMOVL.S8 q1, d2
259 VMOVL.S8 q2, d4
260 VMOVL.S8 q3, d6
261
262 VLD1.8 {d10}, [r9]! // B1
263 VMLAL.S16 q8, d8, d0[0]
264 VMLAL.S16 q9, d9, d0[0]
265 VMLAL.S16 q10, d8, d2[0]
266 VMLAL.S16 q11, d9, d2[0]
267 VMOVL.S8 q5, d10
268 VMLAL.S16 q12, d8, d4[0]
269 VMLAL.S16 q13, d9, d4[0]
270 VMLAL.S16 q14, d8, d6[0]
271 VMLAL.S16 q15, d9, d6[0]
272
273 VLD1.8 {d8}, [r9]! // B2
274 VMLAL.S16 q8, d10, d0[1]
275 VMLAL.S16 q9, d11, d0[1]
276 VMLAL.S16 q10, d10, d2[1]
277 VMLAL.S16 q11, d11, d2[1]
278 VMOVL.S8 q4, d8
279 VMLAL.S16 q12, d10, d4[1]
280 VMLAL.S16 q13, d11, d4[1]
281 VMLAL.S16 q14, d10, d6[1]
282 VMLAL.S16 q15, d11, d6[1]
283
284 VLD1.8 {d10}, [r9]! // B3
285 VMLAL.S16 q8, d8, d0[2]
286 VMLAL.S16 q9, d9, d0[2]
287 VMLAL.S16 q10, d8, d2[2]
288 VMLAL.S16 q11, d9, d2[2]
289 VMOVL.S8 q5, d10
290 VMLAL.S16 q12, d8, d4[2]
291 VMLAL.S16 q13, d9, d4[2]
292 VMLAL.S16 q14, d8, d6[2]
293 VMLAL.S16 q15, d9, d6[2]
294
295 VLD1.8 {d8}, [r9]! // B4
296 VMLAL.S16 q8, d10, d0[3]
297 VMLAL.S16 q9, d11, d0[3]
298 VMLAL.S16 q10, d10, d2[3]
299 VMLAL.S16 q11, d11, d2[3]
300 VMOVL.S8 q4, d8
301 VMLAL.S16 q12, d10, d4[3]
302 VMLAL.S16 q13, d11, d4[3]
303 VMLAL.S16 q14, d10, d6[3]
304 VMLAL.S16 q15, d11, d6[3]
305
306 VLD1.8 {d10}, [r9]! // B5
307 VMLAL.S16 q8, d8, d1[0]
308 VMLAL.S16 q9, d9, d1[0]
309 VMLAL.S16 q10, d8, d3[0]
310 VMLAL.S16 q11, d9, d3[0]
311 VMOVL.S8 q5, d10
312 VMLAL.S16 q12, d8, d5[0]
313 VMLAL.S16 q13, d9, d5[0]
314 VMLAL.S16 q14, d8, d7[0]
315 VMLAL.S16 q15, d9, d7[0]
316
317 VLD1.8 {d8}, [r9]! // B6
318 VMLAL.S16 q8, d10, d1[1]
319 VMLAL.S16 q9, d11, d1[1]
320 VMLAL.S16 q10, d10, d3[1]
321 VMLAL.S16 q11, d11, d3[1]
322 VMOVL.S8 q4, d8
323 VMLAL.S16 q12, d10, d5[1]
324 VMLAL.S16 q13, d11, d5[1]
325 VMLAL.S16 q14, d10, d7[1]
326 VMLAL.S16 q15, d11, d7[1]
327
328 VLD1.8 {d10}, [r9]! // B7
329 VMLAL.S16 q8, d8, d1[2]
330 VMLAL.S16 q9, d9, d1[2]
331 VMLAL.S16 q10, d8, d3[2]
332 VMLAL.S16 q11, d9, d3[2]
333 VMOVL.S8 q5, d10
334 VMLAL.S16 q12, d8, d5[2]
335 VMLAL.S16 q13, d9, d5[2]
336 VMLAL.S16 q14, d8, d7[2]
337 VMLAL.S16 q15, d9, d7[2]
338
339 VMLAL.S16 q8, d10, d1[3]
340 VMLAL.S16 q9, d11, d1[3]
341 VMLAL.S16 q10, d10, d3[3]
342 VMLAL.S16 q11, d11, d3[3]
343 VMLAL.S16 q12, d10, d5[3]
344 VMLAL.S16 q13, d11, d5[3]
345 ADDS r5, r5, 8
346 VMLAL.S16 q14, d10, d7[3]
347 VMLAL.S16 q15, d11, d7[3]
348
349 # Is there a remainder?- 1-7 bytes of A
350 BNE 6f
351
352 4:
353 # ks loop
354 SUBS r14, r14, 16 // ks -= MR * sizeof(void*)
355 BHI 1b
356
357 LDR r7, [sp, 120] // cn_stride
358 LDR r14, [sp, 64] // p = ks
359
360 # QC8 FP32 quantization
361 VLD1.8 {q0-q1}, [r9]!
362
363 VCVT.F32.S32 q8, q8
364 VCVT.F32.S32 q9, q9
365 VCVT.F32.S32 q10, q10
366 VCVT.F32.S32 q11, q11
367 VCVT.F32.S32 q12, q12
368 VCVT.F32.S32 q13, q13
369 VCVT.F32.S32 q14, q14
370 VCVT.F32.S32 q15, q15
371
372 VMUL.F32 q8, q8, q0 // multiplier
373 VMUL.F32 q9, q9, q1
374 VMUL.F32 q10, q10, q0
375 VMUL.F32 q11, q11, q1
376 VMUL.F32 q12, q12, q0
377 VMUL.F32 q13, q13, q1
378 VMUL.F32 q14, q14, q0
379 VMUL.F32 q15, q15, q1
380
381 VCVTN.S32.F32 q8, q8
382 VCVTN.S32.F32 q9, q9
383 VCVTN.S32.F32 q10, q10
384 VCVTN.S32.F32 q11, q11
385 VCVTN.S32.F32 q12, q12
386 VCVTN.S32.F32 q13, q13
387 VCVTN.S32.F32 q14, q14
388 VCVTN.S32.F32 q15, q15
389
390 VDUP.16 q0, d13[2] // output_zero_point
391
392 VQMOVN.S32 d16, q8
393 VQMOVN.S32 d17, q9
394 VQMOVN.S32 d18, q10
395 VQMOVN.S32 d19, q11
396 VQMOVN.S32 d20, q12
397 VQMOVN.S32 d21, q13
398 VQMOVN.S32 d22, q14
399 VQMOVN.S32 d23, q15
400
401 VQADD.S16 q8, q8, q0
402 VQADD.S16 q9, q9, q0
403 VQADD.S16 q10, q10, q0
404 VQADD.S16 q11, q11, q0
405
406 LDR r1, [sp, 56] // restore nc
407 VDUP.8 q12, d13[6] // output_min
408
409 VQMOVN.S16 d0, q8
410 VQMOVN.S16 d1, q9
411 VQMOVN.S16 d2, q10
412 VQMOVN.S16 d3, q11
413
414 VDUP.8 q13, d13[7] // output_max
415
416 VMAX.S8 q0, q0, q12
417 VMAX.S8 q1, q1, q12
418
419 SUBS r1, r1, 8 // nc -= 8
420
421 VMIN.S8 q0, q0, q13
422 VMIN.S8 q1, q1, q13
423
424 # Store full 4 x 8
425 BLO 7f
426 VST1.8 {d3}, [r6], r7
427 VST1.8 {d2}, [r8], r7
428 VST1.8 {d1}, [r4], r7
429 VST1.8 {d0}, [r11], r7
430 SUB r2, r2, r14 // a -= ks
431 BHI 0b
432
433 VPOP {d8-d13}
434 ADD sp, sp, 20 // skip pad of 8, r1, r2, r3
435 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
436
437 # Remainder- 1 to 7 bytes of A
438 .p2align 3
439 5:
440 AND r5, r5, 7 // kc remainder 1 to 7
441 6:
442 VLD1.8 {d0}, [r3]
443 VLD1.8 {d8}, [r9]!
444 VLD1.8 {d2}, [r12]
445 VLD1.8 {d4}, [r10]
446 VLD1.8 {d6}, [r0]
447
448 VMOVL.S8 q0, d0
449 VMOVL.S8 q4, d8
450 VMOVL.S8 q1, d2
451 VMOVL.S8 q2, d4
452 VMOVL.S8 q3, d6
453 VMLAL.S16 q8, d8, d0[0]
454 VMLAL.S16 q9, d9, d0[0]
455 VMLAL.S16 q10, d8, d2[0]
456 VMLAL.S16 q11, d9, d2[0]
457 VMLAL.S16 q12, d8, d4[0]
458 VMLAL.S16 q13, d9, d4[0]
459 VMLAL.S16 q14, d8, d6[0]
460 VMLAL.S16 q15, d9, d6[0]
461 CMP r5, 2
462 BLO 4b
463
464 VLD1.8 {d8}, [r9]!
465 VMOVL.S8 q4, d8
466 VMLAL.S16 q8, d8, d0[1]
467 VMLAL.S16 q9, d9, d0[1]
468 VMLAL.S16 q10, d8, d2[1]
469 VMLAL.S16 q11, d9, d2[1]
470 VMLAL.S16 q12, d8, d4[1]
471 VMLAL.S16 q13, d9, d4[1]
472 VMLAL.S16 q14, d8, d6[1]
473 VMLAL.S16 q15, d9, d6[1]
474 BEQ 4b
475
476 VLD1.8 {d8}, [r9]!
477 VMOVL.S8 q4, d8
478 VMLAL.S16 q8, d8, d0[2]
479 VMLAL.S16 q9, d9, d0[2]
480 VMLAL.S16 q10, d8, d2[2]
481 VMLAL.S16 q11, d9, d2[2]
482 VMLAL.S16 q12, d8, d4[2]
483 VMLAL.S16 q13, d9, d4[2]
484 VMLAL.S16 q14, d8, d6[2]
485 VMLAL.S16 q15, d9, d6[2]
486 CMP r5, 4
487 BLO 4b
488
489 VLD1.8 {d8}, [r9]!
490 VMOVL.S8 q4, d8
491 VMLAL.S16 q8, d8, d0[3]
492 VMLAL.S16 q9, d9, d0[3]
493 VMLAL.S16 q10, d8, d2[3]
494 VMLAL.S16 q11, d9, d2[3]
495 VMLAL.S16 q12, d8, d4[3]
496 VMLAL.S16 q13, d9, d4[3]
497 VMLAL.S16 q14, d8, d6[3]
498 VMLAL.S16 q15, d9, d6[3]
499 BEQ 4b
500
501 VLD1.8 {d8}, [r9]!
502 VMOVL.S8 q4, d8
503 VMLAL.S16 q8, d8, d1[0]
504 VMLAL.S16 q9, d9, d1[0]
505 VMLAL.S16 q10, d8, d3[0]
506 VMLAL.S16 q11, d9, d3[0]
507 VMLAL.S16 q12, d8, d5[0]
508 VMLAL.S16 q13, d9, d5[0]
509 VMLAL.S16 q14, d8, d7[0]
510 VMLAL.S16 q15, d9, d7[0]
511 CMP r5, 6
512 BLO 4b
513
514 VLD1.8 {d8}, [r9]!
515 VMOVL.S8 q4, d8
516 VMLAL.S16 q8, d8, d1[1]
517 VMLAL.S16 q9, d9, d1[1]
518 VMLAL.S16 q10, d8, d3[1]
519 VMLAL.S16 q11, d9, d3[1]
520 VMLAL.S16 q12, d8, d5[1]
521 VMLAL.S16 q13, d9, d5[1]
522 VMLAL.S16 q14, d8, d7[1]
523 VMLAL.S16 q15, d9, d7[1]
524 BEQ 4b
525
526 VLD1.8 {d8}, [r9]!
527 VMOVL.S8 q4, d8
528 VMLAL.S16 q8, d8, d1[2]
529 VMLAL.S16 q9, d9, d1[2]
530 VMLAL.S16 q10, d8, d3[2]
531 VMLAL.S16 q11, d9, d3[2]
532 VMLAL.S16 q12, d8, d5[2]
533 VMLAL.S16 q13, d9, d5[2]
534 VMLAL.S16 q14, d8, d7[2]
535 VMLAL.S16 q15, d9, d7[2]
536 B 4b
537
538 # Store odd width
539 .p2align 3
540 7:
541 TST r1, 4
542 BEQ 8f
543 VST1.32 {d3[0]}, [r6]!
544 VST1.32 {d2[0]}, [r8]!
545 VST1.32 {d1[0]}, [r4]!
546 VST1.32 {d0[0]}, [r11]!
547 VEXT.8 q1, q1, q1, 4
548 VEXT.8 q0, q0, q0, 4
549 8:
550 TST r1, 2
551 BEQ 9f
552 VST1.16 {d3[0]}, [r6]!
553 VST1.16 {d2[0]}, [r8]!
554 VST1.16 {d1[0]}, [r4]!
555 VST1.16 {d0[0]}, [r11]!
556 VEXT.8 q1, q1, q1, 2
557 VEXT.8 q0, q0, q0, 2
558
559 9:
560 TST r1, 1
561 BEQ 10f
562 VST1.8 {d3[0]}, [r6]
563 VST1.8 {d2[0]}, [r8]
564 VST1.8 {d1[0]}, [r4]
565 VST1.8 {d0[0]}, [r11]
566
567 10:
568 VPOP {d8-d13}
569 ADD sp, sp, 20 // skip pad of 8, r1, r2, r3
570 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
571
572 END_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neonv8_mlal_lane_cortex_a35_prfm
573
574 #ifdef __ELF__
575 .section ".note.GNU-stack","",%progbits
576 #endif