Debian Codegraph @

src/qs8-qc8w-igemm/gen/qs8-qc8w-igemm-4x8-minmax-fp32-asm-aarch32-neon-mlal-lane-cortex-a7.S

raw
1 // Auto-generated file. Do not edit!
2 // Template: src/qs8-igemm/4x8-aarch32-neon-mlal-lane-cortex-a7.S.in
3 // Generator: tools/xngen
4 //
5 // Copyright 2021 Google LLC
6 //
7 // This source code is licensed under the BSD-style license found in the
8 // LICENSE file in the root directory of this source tree.
9
10
11 #include "xnnpack/assembly.h"
12
13 .syntax unified
14
15 // void xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neon_mlal_lane_cortex_a7(
16 // size_t mr, (r0)
17 // size_t nc, r1 -> sp + 56
18 // size_t kc, (r2) -> r5 -> sp + 60
19 // size_t ks, (r3) -> sp + 64 -> r14
20 // const int8_t** restrict a, sp + 104 -> r2
21 // const void* restrict w, sp + 108 -> r9
22 // int8_t* restrict c, sp + 112 -> r11
23 // size_t cm_stride, sp + 116 -> (r6)
24 // size_t cn_stride, sp + 120 -> (r7)
25 // size_t a_offset, sp + 124 -> (r5)
26 // const int8_t* zero, sp + 128 -> (r7)
27 // xnn_qs8_qc8w_conv_minmax_params*params); sp + 132 -> (r5)
28
29 // d8-d15, r4-r11,r14(lr) need to be preserved if used. r13(sp),r15(pc) are reserved.
30
31 // Register usage
32 // A0 r3 d0-d1 q0
33 // A1 r12 d2-d3 q1
34 // A2 r10 d4-d5 q2
35 // A3 r0 d6-d7 q3
36 // B r9 d8-d9 q4 q5
37 // C0 r11 d16-d17 q8 d18-d19 q9
38 // C1 r4 d20-d21 q10 d22-d23 q11
39 // C2 r8 d24-d25 q12 d26-d27 q13
40 // C3 r6 d28-d29 q14 d30-d31 q15
41 // unused d15
42
43 // params structure is 10 bytes
44 // struct {
45 // float magic_bias; d12[0]
46 // int32_t magic_bias_less_output_zero_point; d12[1]
47 // int8_t output_min; d13[6]
48 // int8_t output_max; d13[7]
49 // } xnn_qs8_minmax_params.neon;
50
51 BEGIN_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neon_mlal_lane_cortex_a7
52 # Push 104 bytes
53 # r1, r2 will be reloaded in outer loop. r3 is ks
54 PUSH {r1, r2, r3, r4, r5, r6, r7, r8, r9, r10, r11, lr} // +48
55 SUB sp, sp, 8 // +8
56 VPUSH {d8-d13} // +48 = 104
57
58 LDR r11, [sp, 112] // c
59 LDR r6, [sp, 116] // cm_stride
60 LDR r2, [sp, 104] // a
61 LDR r9, [sp, 108] // w
62 LDR r5, [sp, 132] // params
63 MOV r14, r3 // p = ks
64
65 # Clamp C pointers
66 CMP r0, 2 // if mr >= 2
67 ADD r4, r11, r6 // c1 = c0 + cm_stride
68 MOVLO r4, r11 // c1
69 // if mr > 2
70 ADD r8, r4, r6 // c2 = c1 + cm_stride
71 MOVLS r8, r4 // c2
72 CMP r0, 4 // if mr >=4
73 ADD r6, r8, r6 // c3 = c2 + cm_stride
74 MOVLO r6, r8 // c3
75
76 # Load params values
77 VLDM r5!, {d12} // QC8 neon params
78 VLD1.16 {d13[]}, [r5]
79
80
81 .p2align 3
82 0:
83 # Load initial bias from w into accumulators
84 VLDM r9!, {d16-d19} // Bias
85 VMOV q10, q8
86 VMOV q11, q9
87 STR r1, [sp, 56] // save nc
88 VMOV q12, q8
89 VMOV q13, q9
90 VMOV q14, q8
91 VMOV q15, q9
92
93 .p2align 3
94 1:
95 # Load next 4 A pointers
96 LDR r3, [r2, 0]
97 LDR r12, [r2, 4]
98 LDR r10, [r2, 8]
99 LDR r0, [r2, 12]
100
101 # Add a_offset
102 LDR r5, [sp, 124] // a_offset
103 LDR r7, [sp, 128] // zero
104 ADD r2, r2, 16
105 CMP r3, r7 // if a0 == zero
106 ADD r3, r3, r5 // a0 += a_offset
107 MOVEQ r3, r7 // a0 = zero, else += a0 + a_offset
108 CMP r12, r7 // if a1 == zero
109 ADD r12, r12, r5 // a1 += a_offset
110 MOVEQ r12, r7 // a1 = zero, else += a1 + a_offset
111 CMP r10, r7 // if a2 == zero
112 ADD r10, r10, r5 // a2 += a_offset
113 MOVEQ r10, r7 // a2 = zero, else += a2 + a_offset
114 CMP r0, r7 // if a3 == zero
115 ADD r0, r0, r5 // a3 += a_offset
116 LDR r5, [sp, 60] // kc
117 MOVEQ r0, r7 // a3 = zero, else += a3 + a_offset
118 SUBS r5, r5, 8 // kc - 8
119 BLO 5f // less than 8 channels?
120
121 // Prologue - load 4A's and B0
122 VLD1.8 {d0}, [r3]! // A0
123 VLD1.8 {d8}, [r9]! // B0
124 SUBS r5, r5, 8 // k = k - 8
125 VLD1.8 {d2}, [r12]! // A1
126 VLD1.8 {d4}, [r10]! // A2
127 VLD1.8 {d6}, [r0]! // A3
128
129 BLO 3f // less than 8 channels?
130
131 // Main loop - 8 bytes
132 // 64 bytes for weights.
133 // 5 VMOVL = 4 A and 1 B = 5 cycles
134 // 7 blocks with VLD B, VMOVL, 8 VMLA = 10 cycles
135 // 1 blocks with VLD B, VMLA = 9 cycles
136 // total = 84 cycles
137 .p2align 3
138 2:
139 // Extend - 5 cycles
140 VMOVL.S8 q0, d0
141 VMOVL.S8 q4, d8
142 VMOVL.S8 q1, d2
143 VMOVL.S8 q2, d4
144 VMOVL.S8 q3, d6
145
146 // BLOCK 0 - 10 cycles
147 VLD1.8 {d10}, [r9]! // B1
148 VMLAL.S16 q8, d8, d0[0]
149 VMLAL.S16 q9, d9, d0[0]
150 VMLAL.S16 q10, d8, d2[0]
151 VMLAL.S16 q11, d9, d2[0]
152 VMOVL.S8 q5, d10
153 VMLAL.S16 q12, d8, d4[0]
154 VMLAL.S16 q13, d9, d4[0]
155 VMLAL.S16 q14, d8, d6[0]
156 VMLAL.S16 q15, d9, d6[0]
157
158 // BLOCK 1 - 10 cycles
159 VLD1.8 {d8}, [r9]! // B2
160 VMLAL.S16 q8, d10, d0[1]
161 VMLAL.S16 q9, d11, d0[1]
162 VMLAL.S16 q10, d10, d2[1]
163 VMLAL.S16 q11, d11, d2[1]
164 VMOVL.S8 q4, d8
165 VMLAL.S16 q12, d10, d4[1]
166 VMLAL.S16 q13, d11, d4[1]
167 VMLAL.S16 q14, d10, d6[1]
168 VMLAL.S16 q15, d11, d6[1]
169
170 // BLOCK 2 - 10 cycles
171 VLD1.8 {d10}, [r9]! // B3
172 VMLAL.S16 q8, d8, d0[2]
173 VMLAL.S16 q9, d9, d0[2]
174 VMLAL.S16 q10, d8, d2[2]
175 VMLAL.S16 q11, d9, d2[2]
176 VMOVL.S8 q5, d10
177 VMLAL.S16 q12, d8, d4[2]
178 VMLAL.S16 q13, d9, d4[2]
179 VMLAL.S16 q14, d8, d6[2]
180 VMLAL.S16 q15, d9, d6[2]
181
182 // BLOCK 3 - 10 cycles
183 VLD1.8 {d8}, [r9]! // B4
184 VMLAL.S16 q8, d10, d0[3]
185 VMLAL.S16 q9, d11, d0[3]
186 VMLAL.S16 q10, d10, d2[3]
187 VMLAL.S16 q11, d11, d2[3]
188 VLD1.8 {d0}, [r3]! // A0
189 VMOVL.S8 q4, d8
190 VMLAL.S16 q12, d10, d4[3]
191 VMLAL.S16 q13, d11, d4[3]
192 VMLAL.S16 q14, d10, d6[3]
193 VMLAL.S16 q15, d11, d6[3]
194
195 // BLOCK 4 - 10 cycles
196 VLD1.8 {d10}, [r9]! // B5
197 VMLAL.S16 q8, d8, d1[0]
198 VMLAL.S16 q9, d9, d1[0]
199 VMLAL.S16 q10, d8, d3[0]
200 VMLAL.S16 q11, d9, d3[0]
201 VLD1.8 {d2}, [r12]! // A1
202 VMOVL.S8 q5, d10
203 VMLAL.S16 q12, d8, d5[0]
204 VMLAL.S16 q13, d9, d5[0]
205 VMLAL.S16 q14, d8, d7[0]
206 VMLAL.S16 q15, d9, d7[0]
207
208 // BLOCK 5 - 10 cycles
209 VLD1.8 {d8}, [r9]! // B6
210 VMLAL.S16 q8, d10, d1[1]
211 VMLAL.S16 q9, d11, d1[1]
212 VMLAL.S16 q10, d10, d3[1]
213 VMLAL.S16 q11, d11, d3[1]
214 VLD1.8 {d4}, [r10]! // A2
215 VMOVL.S8 q4, d8
216 VMLAL.S16 q12, d10, d5[1]
217 VMLAL.S16 q13, d11, d5[1]
218 VMLAL.S16 q14, d10, d7[1]
219 VMLAL.S16 q15, d11, d7[1]
220
221 // BLOCK 6 - 10 cycles
222 VLD1.8 {d10}, [r9]! // B7
223 VMLAL.S16 q8, d8, d1[2]
224 VMLAL.S16 q9, d9, d1[2]
225 VMLAL.S16 q10, d8, d3[2]
226 VMLAL.S16 q11, d9, d3[2]
227 VLD1.8 {d6}, [r0]! // A3
228 VMOVL.S8 q5, d10
229 VMLAL.S16 q12, d8, d5[2]
230 VMLAL.S16 q13, d9, d5[2]
231 VMLAL.S16 q14, d8, d7[2]
232 VMLAL.S16 q15, d9, d7[2]
233
234 // BLOCK 7 - 9 cycles
235 VLD1.8 {d8}, [r9]! // B0
236 VMLAL.S16 q8, d10, d1[3]
237 VMLAL.S16 q9, d11, d1[3]
238 VMLAL.S16 q10, d10, d3[3]
239 VMLAL.S16 q11, d11, d3[3]
240 VMLAL.S16 q12, d10, d5[3]
241 VMLAL.S16 q13, d11, d5[3]
242 SUBS r5, r5, 8
243 VMLAL.S16 q14, d10, d7[3]
244 VMLAL.S16 q15, d11, d7[3]
245 BHS 2b
246
247 // Epilogue
248
249 .p2align 3
250 3:
251 VMOVL.S8 q0, d0
252 VMOVL.S8 q4, d8
253 VMOVL.S8 q1, d2
254 VMOVL.S8 q2, d4
255 VMOVL.S8 q3, d6
256
257 VLD1.8 {d10}, [r9]! // B1
258 VMLAL.S16 q8, d8, d0[0]
259 VMLAL.S16 q9, d9, d0[0]
260 VMLAL.S16 q10, d8, d2[0]
261 VMLAL.S16 q11, d9, d2[0]
262 VMOVL.S8 q5, d10
263 VMLAL.S16 q12, d8, d4[0]
264 VMLAL.S16 q13, d9, d4[0]
265 VMLAL.S16 q14, d8, d6[0]
266 VMLAL.S16 q15, d9, d6[0]
267
268 VLD1.8 {d8}, [r9]! // B2
269 VMLAL.S16 q8, d10, d0[1]
270 VMLAL.S16 q9, d11, d0[1]
271 VMLAL.S16 q10, d10, d2[1]
272 VMLAL.S16 q11, d11, d2[1]
273 VMOVL.S8 q4, d8
274 VMLAL.S16 q12, d10, d4[1]
275 VMLAL.S16 q13, d11, d4[1]
276 VMLAL.S16 q14, d10, d6[1]
277 VMLAL.S16 q15, d11, d6[1]
278
279 VLD1.8 {d10}, [r9]! // B3
280 VMLAL.S16 q8, d8, d0[2]
281 VMLAL.S16 q9, d9, d0[2]
282 VMLAL.S16 q10, d8, d2[2]
283 VMLAL.S16 q11, d9, d2[2]
284 VMOVL.S8 q5, d10
285 VMLAL.S16 q12, d8, d4[2]
286 VMLAL.S16 q13, d9, d4[2]
287 VMLAL.S16 q14, d8, d6[2]
288 VMLAL.S16 q15, d9, d6[2]
289
290 VLD1.8 {d8}, [r9]! // B4
291 VMLAL.S16 q8, d10, d0[3]
292 VMLAL.S16 q9, d11, d0[3]
293 VMLAL.S16 q10, d10, d2[3]
294 VMLAL.S16 q11, d11, d2[3]
295 VMOVL.S8 q4, d8
296 VMLAL.S16 q12, d10, d4[3]
297 VMLAL.S16 q13, d11, d4[3]
298 VMLAL.S16 q14, d10, d6[3]
299 VMLAL.S16 q15, d11, d6[3]
300
301 VLD1.8 {d10}, [r9]! // B5
302 VMLAL.S16 q8, d8, d1[0]
303 VMLAL.S16 q9, d9, d1[0]
304 VMLAL.S16 q10, d8, d3[0]
305 VMLAL.S16 q11, d9, d3[0]
306 VMOVL.S8 q5, d10
307 VMLAL.S16 q12, d8, d5[0]
308 VMLAL.S16 q13, d9, d5[0]
309 VMLAL.S16 q14, d8, d7[0]
310 VMLAL.S16 q15, d9, d7[0]
311
312 VLD1.8 {d8}, [r9]! // B6
313 VMLAL.S16 q8, d10, d1[1]
314 VMLAL.S16 q9, d11, d1[1]
315 VMLAL.S16 q10, d10, d3[1]
316 VMLAL.S16 q11, d11, d3[1]
317 VMOVL.S8 q4, d8
318 VMLAL.S16 q12, d10, d5[1]
319 VMLAL.S16 q13, d11, d5[1]
320 VMLAL.S16 q14, d10, d7[1]
321 VMLAL.S16 q15, d11, d7[1]
322
323 VLD1.8 {d10}, [r9]! // B7
324 VMLAL.S16 q8, d8, d1[2]
325 VMLAL.S16 q9, d9, d1[2]
326 VMLAL.S16 q10, d8, d3[2]
327 VMLAL.S16 q11, d9, d3[2]
328 VMOVL.S8 q5, d10
329 VMLAL.S16 q12, d8, d5[2]
330 VMLAL.S16 q13, d9, d5[2]
331 VMLAL.S16 q14, d8, d7[2]
332 VMLAL.S16 q15, d9, d7[2]
333
334 VMLAL.S16 q8, d10, d1[3]
335 VMLAL.S16 q9, d11, d1[3]
336 VMLAL.S16 q10, d10, d3[3]
337 VMLAL.S16 q11, d11, d3[3]
338 VMLAL.S16 q12, d10, d5[3]
339 VMLAL.S16 q13, d11, d5[3]
340 ADDS r5, r5, 8
341 VMLAL.S16 q14, d10, d7[3]
342 VMLAL.S16 q15, d11, d7[3]
343
344 # Is there a remainder?- 1-7 bytes of A
345 BNE 6f
346
347 4:
348 # ks loop
349 SUBS r14, r14, 16 // ks -= MR * sizeof(void*)
350 BHI 1b
351
352 LDR r7, [sp, 120] // cn_stride
353 LDR r14, [sp, 64] // p = ks
354
355 # QC8 FP32 quantization
356 VLD1.8 {q0-q1}, [r9]!
357
358 VDUP.32 q2, d12[0] // magic_bias
359 VDUP.32 q3, d12[1] // magic_bias_less_output_zero_point
360
361 VCVT.F32.S32 q8, q8
362 VCVT.F32.S32 q9, q9
363 VCVT.F32.S32 q10, q10
364 VCVT.F32.S32 q11, q11
365 VCVT.F32.S32 q12, q12
366 VCVT.F32.S32 q13, q13
367 VCVT.F32.S32 q14, q14
368 VCVT.F32.S32 q15, q15
369
370 VMUL.F32 q8, q8, q0 // multiplier
371 VMUL.F32 q9, q9, q1
372 VMUL.F32 q10, q10, q0
373 VMUL.F32 q11, q11, q1
374 VMUL.F32 q12, q12, q0
375 VMUL.F32 q13, q13, q1
376 VMUL.F32 q14, q14, q0
377 VMUL.F32 q15, q15, q1
378
379 VADD.F32 q8, q8, q2 // magic_bias
380 VADD.F32 q9, q9, q2
381 VADD.F32 q10, q10, q2
382 VADD.F32 q11, q11, q2
383 VADD.F32 q12, q12, q2
384 VADD.F32 q13, q13, q2
385 VADD.F32 q14, q14, q2
386 VADD.F32 q15, q15, q2
387
388 VQSUB.S32 q8, q8, q3 // magic_bias_less_output_zero_point
389 VQSUB.S32 q9, q9, q3
390 VQSUB.S32 q10, q10, q3
391 VQSUB.S32 q11, q11, q3
392 VQSUB.S32 q12, q12, q3
393 VQSUB.S32 q13, q13, q3
394 VQSUB.S32 q14, q14, q3
395 VQSUB.S32 q15, q15, q3
396
397
398 VQMOVN.S32 d16, q8
399 VQMOVN.S32 d17, q9
400 VQMOVN.S32 d18, q10
401 VQMOVN.S32 d19, q11
402 VQMOVN.S32 d20, q12
403 VQMOVN.S32 d21, q13
404 VQMOVN.S32 d22, q14
405 VQMOVN.S32 d23, q15
406
407
408 LDR r1, [sp, 56] // restore nc
409 VDUP.8 q12, d13[6] // output_min
410
411 VQMOVN.S16 d0, q8
412 VQMOVN.S16 d1, q9
413 VQMOVN.S16 d2, q10
414 VQMOVN.S16 d3, q11
415
416 VDUP.8 q13, d13[7] // output_max
417
418 VMAX.S8 q0, q0, q12
419 VMAX.S8 q1, q1, q12
420
421 SUBS r1, r1, 8 // nc -= 8
422
423 VMIN.S8 q0, q0, q13
424 VMIN.S8 q1, q1, q13
425
426 # Store full 4 x 8
427 BLO 7f
428 VST1.8 {d3}, [r6], r7
429 VST1.8 {d2}, [r8], r7
430 VST1.8 {d1}, [r4], r7
431 VST1.8 {d0}, [r11], r7
432 SUB r2, r2, r14 // a -= ks
433 BHI 0b
434
435 VPOP {d8-d13}
436 ADD sp, sp, 20 // skip pad of 8, r1, r2, r3
437 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
438
439 # Remainder- 1 to 7 bytes of A
440 .p2align 3
441 5:
442 AND r5, r5, 7 // kc remainder 1 to 7
443 6:
444 VLD1.8 {d0}, [r3]
445 VLD1.8 {d8}, [r9]!
446 VLD1.8 {d2}, [r12]
447 VLD1.8 {d4}, [r10]
448 VLD1.8 {d6}, [r0]
449
450 VMOVL.S8 q0, d0
451 VMOVL.S8 q4, d8
452 VMOVL.S8 q1, d2
453 VMOVL.S8 q2, d4
454 VMOVL.S8 q3, d6
455 VMLAL.S16 q8, d8, d0[0]
456 VMLAL.S16 q9, d9, d0[0]
457 VMLAL.S16 q10, d8, d2[0]
458 VMLAL.S16 q11, d9, d2[0]
459 VMLAL.S16 q12, d8, d4[0]
460 VMLAL.S16 q13, d9, d4[0]
461 VMLAL.S16 q14, d8, d6[0]
462 VMLAL.S16 q15, d9, d6[0]
463 CMP r5, 2
464 BLO 4b
465
466 VLD1.8 {d8}, [r9]!
467 VMOVL.S8 q4, d8
468 VMLAL.S16 q8, d8, d0[1]
469 VMLAL.S16 q9, d9, d0[1]
470 VMLAL.S16 q10, d8, d2[1]
471 VMLAL.S16 q11, d9, d2[1]
472 VMLAL.S16 q12, d8, d4[1]
473 VMLAL.S16 q13, d9, d4[1]
474 VMLAL.S16 q14, d8, d6[1]
475 VMLAL.S16 q15, d9, d6[1]
476 BEQ 4b
477
478 VLD1.8 {d8}, [r9]!
479 VMOVL.S8 q4, d8
480 VMLAL.S16 q8, d8, d0[2]
481 VMLAL.S16 q9, d9, d0[2]
482 VMLAL.S16 q10, d8, d2[2]
483 VMLAL.S16 q11, d9, d2[2]
484 VMLAL.S16 q12, d8, d4[2]
485 VMLAL.S16 q13, d9, d4[2]
486 VMLAL.S16 q14, d8, d6[2]
487 VMLAL.S16 q15, d9, d6[2]
488 CMP r5, 4
489 BLO 4b
490
491 VLD1.8 {d8}, [r9]!
492 VMOVL.S8 q4, d8
493 VMLAL.S16 q8, d8, d0[3]
494 VMLAL.S16 q9, d9, d0[3]
495 VMLAL.S16 q10, d8, d2[3]
496 VMLAL.S16 q11, d9, d2[3]
497 VMLAL.S16 q12, d8, d4[3]
498 VMLAL.S16 q13, d9, d4[3]
499 VMLAL.S16 q14, d8, d6[3]
500 VMLAL.S16 q15, d9, d6[3]
501 BEQ 4b
502
503 VLD1.8 {d8}, [r9]!
504 VMOVL.S8 q4, d8
505 VMLAL.S16 q8, d8, d1[0]
506 VMLAL.S16 q9, d9, d1[0]
507 VMLAL.S16 q10, d8, d3[0]
508 VMLAL.S16 q11, d9, d3[0]
509 VMLAL.S16 q12, d8, d5[0]
510 VMLAL.S16 q13, d9, d5[0]
511 VMLAL.S16 q14, d8, d7[0]
512 VMLAL.S16 q15, d9, d7[0]
513 CMP r5, 6
514 BLO 4b
515
516 VLD1.8 {d8}, [r9]!
517 VMOVL.S8 q4, d8
518 VMLAL.S16 q8, d8, d1[1]
519 VMLAL.S16 q9, d9, d1[1]
520 VMLAL.S16 q10, d8, d3[1]
521 VMLAL.S16 q11, d9, d3[1]
522 VMLAL.S16 q12, d8, d5[1]
523 VMLAL.S16 q13, d9, d5[1]
524 VMLAL.S16 q14, d8, d7[1]
525 VMLAL.S16 q15, d9, d7[1]
526 BEQ 4b
527
528 VLD1.8 {d8}, [r9]!
529 VMOVL.S8 q4, d8
530 VMLAL.S16 q8, d8, d1[2]
531 VMLAL.S16 q9, d9, d1[2]
532 VMLAL.S16 q10, d8, d3[2]
533 VMLAL.S16 q11, d9, d3[2]
534 VMLAL.S16 q12, d8, d5[2]
535 VMLAL.S16 q13, d9, d5[2]
536 VMLAL.S16 q14, d8, d7[2]
537 VMLAL.S16 q15, d9, d7[2]
538 B 4b
539
540 # Store odd width
541 .p2align 3
542 7:
543 TST r1, 4
544 BEQ 8f
545 VST1.32 {d3[0]}, [r6]!
546 VST1.32 {d2[0]}, [r8]!
547 VST1.32 {d1[0]}, [r4]!
548 VST1.32 {d0[0]}, [r11]!
549 VEXT.8 q1, q1, q1, 4
550 VEXT.8 q0, q0, q0, 4
551 8:
552 TST r1, 2
553 BEQ 9f
554 VST1.16 {d3[0]}, [r6]!
555 VST1.16 {d2[0]}, [r8]!
556 VST1.16 {d1[0]}, [r4]!
557 VST1.16 {d0[0]}, [r11]!
558 VEXT.8 q1, q1, q1, 2
559 VEXT.8 q0, q0, q0, 2
560
561 9:
562 TST r1, 1
563 BEQ 10f
564 VST1.8 {d3[0]}, [r6]
565 VST1.8 {d2[0]}, [r8]
566 VST1.8 {d1[0]}, [r4]
567 VST1.8 {d0[0]}, [r11]
568
569 10:
570 VPOP {d8-d13}
571 ADD sp, sp, 20 // skip pad of 8, r1, r2, r3
572 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
573
574 END_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neon_mlal_lane_cortex_a7
575
576 #ifdef __ELF__
577 .section ".note.GNU-stack","",%progbits
578 #endif