Debian Codegraph @

src/qs8-qc8w-igemm/gen/qs8-qc8w-igemm-4x8-minmax-fp32-asm-aarch32-neonv8-mlal-lane-cortex-a35.S

raw
1 // Auto-generated file. Do not edit!
2 // Template: src/qs8-igemm/4x8-aarch32-neon-mlal-lane-cortex-a7.S.in
3 // Generator: tools/xngen
4 //
5 // Copyright 2021 Google LLC
6 //
7 // This source code is licensed under the BSD-style license found in the
8 // LICENSE file in the root directory of this source tree.
9
10
11 #include "xnnpack/assembly.h"
12
13 .syntax unified
14
15 // void xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neonv8_mlal_lane_cortex_a35(
16 // size_t mr, (r0)
17 // size_t nc, r1 -> sp + 56
18 // size_t kc, (r2) -> r5 -> sp + 60
19 // size_t ks, (r3) -> sp + 64 -> r14
20 // const int8_t** restrict a, sp + 104 -> r2
21 // const void* restrict w, sp + 108 -> r9
22 // int8_t* restrict c, sp + 112 -> r11
23 // size_t cm_stride, sp + 116 -> (r6)
24 // size_t cn_stride, sp + 120 -> (r7)
25 // size_t a_offset, sp + 124 -> (r5)
26 // const int8_t* zero, sp + 128 -> (r7)
27 // xnn_qs8_qc8w_conv_minmax_params*params); sp + 132 -> (r5)
28
29 // d8-d15, r4-r11,r14(lr) need to be preserved if used. r13(sp),r15(pc) are reserved.
30
31 // Register usage
32 // A0 r3 d0-d1 q0
33 // A1 r12 d2-d3 q1
34 // A2 r10 d4-d5 q2
35 // A3 r0 d6-d7 q3
36 // B r9 d8-d9 q4 q5
37 // C0 r11 d16-d17 q8 d18-d19 q9
38 // C1 r4 d20-d21 q10 d22-d23 q11
39 // C2 r8 d24-d25 q12 d26-d27 q13
40 // C3 r6 d28-d29 q14 d30-d31 q15
41 // unused d15
42
43 // params structure is 4 bytes
44 // struct {
45 // int16_t output_zero_point; d13[2]
46 // int8_t output_min; d13[6]
47 // int8_t output_max; d13[7]
48 // } xnn_qs8_minmax_params.neonv8;
49
50 BEGIN_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neonv8_mlal_lane_cortex_a35
51 # Push 104 bytes
52 # r1, r2 will be reloaded in outer loop. r3 is ks
53 PUSH {r1, r2, r3, r4, r5, r6, r7, r8, r9, r10, r11, lr} // +48
54 SUB sp, sp, 8 // +8
55 VPUSH {d8-d13} // +48 = 104
56
57 LDR r11, [sp, 112] // c
58 LDR r6, [sp, 116] // cm_stride
59 LDR r2, [sp, 104] // a
60 LDR r9, [sp, 108] // w
61 LDR r5, [sp, 132] // params
62 MOV r14, r3 // p = ks
63
64 # Clamp C pointers
65 CMP r0, 2 // if mr >= 2
66 ADD r4, r11, r6 // c1 = c0 + cm_stride
67 MOVLO r4, r11 // c1
68 // if mr > 2
69 ADD r8, r4, r6 // c2 = c1 + cm_stride
70 MOVLS r8, r4 // c2
71 CMP r0, 4 // if mr >=4
72 ADD r6, r8, r6 // c3 = c2 + cm_stride
73 MOVLO r6, r8 // c3
74
75 # Load params values
76 VLD1.32 {d13[]}, [r5] // QC8 neonv8 params
77
78
79 .p2align 3
80 0:
81 # Load initial bias from w into accumulators
82 VLDM r9!, {d16-d19} // Bias
83 VMOV q10, q8
84 VMOV q11, q9
85 STR r1, [sp, 56] // save nc
86 VMOV q12, q8
87 VMOV q13, q9
88 VMOV q14, q8
89 VMOV q15, q9
90
91 .p2align 3
92 1:
93 # Load next 4 A pointers
94 LDR r3, [r2, 0]
95 LDR r12, [r2, 4]
96 LDR r10, [r2, 8]
97 LDR r0, [r2, 12]
98
99 # Add a_offset
100 LDR r5, [sp, 124] // a_offset
101 LDR r7, [sp, 128] // zero
102 ADD r2, r2, 16
103 CMP r3, r7 // if a0 == zero
104 ADD r3, r3, r5 // a0 += a_offset
105 MOVEQ r3, r7 // a0 = zero, else += a0 + a_offset
106 CMP r12, r7 // if a1 == zero
107 ADD r12, r12, r5 // a1 += a_offset
108 MOVEQ r12, r7 // a1 = zero, else += a1 + a_offset
109 CMP r10, r7 // if a2 == zero
110 ADD r10, r10, r5 // a2 += a_offset
111 MOVEQ r10, r7 // a2 = zero, else += a2 + a_offset
112 CMP r0, r7 // if a3 == zero
113 ADD r0, r0, r5 // a3 += a_offset
114 LDR r5, [sp, 60] // kc
115 MOVEQ r0, r7 // a3 = zero, else += a3 + a_offset
116 SUBS r5, r5, 8 // kc - 8
117 BLO 5f // less than 8 channels?
118
119 // Prologue - load 4A's and B0
120 VLD1.8 {d0}, [r3]! // A0
121 VLD1.8 {d8}, [r9]! // B0
122 SUBS r5, r5, 8 // k = k - 8
123 VLD1.8 {d2}, [r12]! // A1
124 VLD1.8 {d4}, [r10]! // A2
125 VLD1.8 {d6}, [r0]! // A3
126
127 BLO 3f // less than 8 channels?
128
129 // Main loop - 8 bytes
130 // 64 bytes for weights.
131 // 5 VMOVL = 4 A and 1 B = 5 cycles
132 // 7 blocks with VLD B, VMOVL, 8 VMLA = 10 cycles
133 // 1 blocks with VLD B, VMLA = 9 cycles
134 // total = 84 cycles
135 .p2align 3
136 2:
137 // Extend - 5 cycles
138 VMOVL.S8 q0, d0
139 VMOVL.S8 q4, d8
140 VMOVL.S8 q1, d2
141 VMOVL.S8 q2, d4
142 VMOVL.S8 q3, d6
143
144 // BLOCK 0 - 10 cycles
145 VLD1.8 {d10}, [r9]! // B1
146 VMLAL.S16 q8, d8, d0[0]
147 VMLAL.S16 q9, d9, d0[0]
148 VMLAL.S16 q10, d8, d2[0]
149 VMLAL.S16 q11, d9, d2[0]
150 VMOVL.S8 q5, d10
151 VMLAL.S16 q12, d8, d4[0]
152 VMLAL.S16 q13, d9, d4[0]
153 VMLAL.S16 q14, d8, d6[0]
154 VMLAL.S16 q15, d9, d6[0]
155
156 // BLOCK 1 - 10 cycles
157 VLD1.8 {d8}, [r9]! // B2
158 VMLAL.S16 q8, d10, d0[1]
159 VMLAL.S16 q9, d11, d0[1]
160 VMLAL.S16 q10, d10, d2[1]
161 VMLAL.S16 q11, d11, d2[1]
162 VMOVL.S8 q4, d8
163 VMLAL.S16 q12, d10, d4[1]
164 VMLAL.S16 q13, d11, d4[1]
165 VMLAL.S16 q14, d10, d6[1]
166 VMLAL.S16 q15, d11, d6[1]
167
168 // BLOCK 2 - 10 cycles
169 VLD1.8 {d10}, [r9]! // B3
170 VMLAL.S16 q8, d8, d0[2]
171 VMLAL.S16 q9, d9, d0[2]
172 VMLAL.S16 q10, d8, d2[2]
173 VMLAL.S16 q11, d9, d2[2]
174 VMOVL.S8 q5, d10
175 VMLAL.S16 q12, d8, d4[2]
176 VMLAL.S16 q13, d9, d4[2]
177 VMLAL.S16 q14, d8, d6[2]
178 VMLAL.S16 q15, d9, d6[2]
179
180 // BLOCK 3 - 10 cycles
181 VLD1.8 {d8}, [r9]! // B4
182 VMLAL.S16 q8, d10, d0[3]
183 VMLAL.S16 q9, d11, d0[3]
184 VMLAL.S16 q10, d10, d2[3]
185 VMLAL.S16 q11, d11, d2[3]
186 VLD1.8 {d0}, [r3]! // A0
187 VMOVL.S8 q4, d8
188 VMLAL.S16 q12, d10, d4[3]
189 VMLAL.S16 q13, d11, d4[3]
190 VMLAL.S16 q14, d10, d6[3]
191 VMLAL.S16 q15, d11, d6[3]
192
193 // BLOCK 4 - 10 cycles
194 VLD1.8 {d10}, [r9]! // B5
195 VMLAL.S16 q8, d8, d1[0]
196 VMLAL.S16 q9, d9, d1[0]
197 VMLAL.S16 q10, d8, d3[0]
198 VMLAL.S16 q11, d9, d3[0]
199 VLD1.8 {d2}, [r12]! // A1
200 VMOVL.S8 q5, d10
201 VMLAL.S16 q12, d8, d5[0]
202 VMLAL.S16 q13, d9, d5[0]
203 VMLAL.S16 q14, d8, d7[0]
204 VMLAL.S16 q15, d9, d7[0]
205
206 // BLOCK 5 - 10 cycles
207 VLD1.8 {d8}, [r9]! // B6
208 VMLAL.S16 q8, d10, d1[1]
209 VMLAL.S16 q9, d11, d1[1]
210 VMLAL.S16 q10, d10, d3[1]
211 VMLAL.S16 q11, d11, d3[1]
212 VLD1.8 {d4}, [r10]! // A2
213 VMOVL.S8 q4, d8
214 VMLAL.S16 q12, d10, d5[1]
215 VMLAL.S16 q13, d11, d5[1]
216 VMLAL.S16 q14, d10, d7[1]
217 VMLAL.S16 q15, d11, d7[1]
218
219 // BLOCK 6 - 10 cycles
220 VLD1.8 {d10}, [r9]! // B7
221 VMLAL.S16 q8, d8, d1[2]
222 VMLAL.S16 q9, d9, d1[2]
223 VMLAL.S16 q10, d8, d3[2]
224 VMLAL.S16 q11, d9, d3[2]
225 VLD1.8 {d6}, [r0]! // A3
226 VMOVL.S8 q5, d10
227 VMLAL.S16 q12, d8, d5[2]
228 VMLAL.S16 q13, d9, d5[2]
229 VMLAL.S16 q14, d8, d7[2]
230 VMLAL.S16 q15, d9, d7[2]
231
232 // BLOCK 7 - 9 cycles
233 VLD1.8 {d8}, [r9]! // B0
234 VMLAL.S16 q8, d10, d1[3]
235 VMLAL.S16 q9, d11, d1[3]
236 VMLAL.S16 q10, d10, d3[3]
237 VMLAL.S16 q11, d11, d3[3]
238 VMLAL.S16 q12, d10, d5[3]
239 VMLAL.S16 q13, d11, d5[3]
240 SUBS r5, r5, 8
241 VMLAL.S16 q14, d10, d7[3]
242 VMLAL.S16 q15, d11, d7[3]
243 BHS 2b
244
245 // Epilogue
246
247 .p2align 3
248 3:
249 VMOVL.S8 q0, d0
250 VMOVL.S8 q4, d8
251 VMOVL.S8 q1, d2
252 VMOVL.S8 q2, d4
253 VMOVL.S8 q3, d6
254
255 VLD1.8 {d10}, [r9]! // B1
256 VMLAL.S16 q8, d8, d0[0]
257 VMLAL.S16 q9, d9, d0[0]
258 VMLAL.S16 q10, d8, d2[0]
259 VMLAL.S16 q11, d9, d2[0]
260 VMOVL.S8 q5, d10
261 VMLAL.S16 q12, d8, d4[0]
262 VMLAL.S16 q13, d9, d4[0]
263 VMLAL.S16 q14, d8, d6[0]
264 VMLAL.S16 q15, d9, d6[0]
265
266 VLD1.8 {d8}, [r9]! // B2
267 VMLAL.S16 q8, d10, d0[1]
268 VMLAL.S16 q9, d11, d0[1]
269 VMLAL.S16 q10, d10, d2[1]
270 VMLAL.S16 q11, d11, d2[1]
271 VMOVL.S8 q4, d8
272 VMLAL.S16 q12, d10, d4[1]
273 VMLAL.S16 q13, d11, d4[1]
274 VMLAL.S16 q14, d10, d6[1]
275 VMLAL.S16 q15, d11, d6[1]
276
277 VLD1.8 {d10}, [r9]! // B3
278 VMLAL.S16 q8, d8, d0[2]
279 VMLAL.S16 q9, d9, d0[2]
280 VMLAL.S16 q10, d8, d2[2]
281 VMLAL.S16 q11, d9, d2[2]
282 VMOVL.S8 q5, d10
283 VMLAL.S16 q12, d8, d4[2]
284 VMLAL.S16 q13, d9, d4[2]
285 VMLAL.S16 q14, d8, d6[2]
286 VMLAL.S16 q15, d9, d6[2]
287
288 VLD1.8 {d8}, [r9]! // B4
289 VMLAL.S16 q8, d10, d0[3]
290 VMLAL.S16 q9, d11, d0[3]
291 VMLAL.S16 q10, d10, d2[3]
292 VMLAL.S16 q11, d11, d2[3]
293 VMOVL.S8 q4, d8
294 VMLAL.S16 q12, d10, d4[3]
295 VMLAL.S16 q13, d11, d4[3]
296 VMLAL.S16 q14, d10, d6[3]
297 VMLAL.S16 q15, d11, d6[3]
298
299 VLD1.8 {d10}, [r9]! // B5
300 VMLAL.S16 q8, d8, d1[0]
301 VMLAL.S16 q9, d9, d1[0]
302 VMLAL.S16 q10, d8, d3[0]
303 VMLAL.S16 q11, d9, d3[0]
304 VMOVL.S8 q5, d10
305 VMLAL.S16 q12, d8, d5[0]
306 VMLAL.S16 q13, d9, d5[0]
307 VMLAL.S16 q14, d8, d7[0]
308 VMLAL.S16 q15, d9, d7[0]
309
310 VLD1.8 {d8}, [r9]! // B6
311 VMLAL.S16 q8, d10, d1[1]
312 VMLAL.S16 q9, d11, d1[1]
313 VMLAL.S16 q10, d10, d3[1]
314 VMLAL.S16 q11, d11, d3[1]
315 VMOVL.S8 q4, d8
316 VMLAL.S16 q12, d10, d5[1]
317 VMLAL.S16 q13, d11, d5[1]
318 VMLAL.S16 q14, d10, d7[1]
319 VMLAL.S16 q15, d11, d7[1]
320
321 VLD1.8 {d10}, [r9]! // B7
322 VMLAL.S16 q8, d8, d1[2]
323 VMLAL.S16 q9, d9, d1[2]
324 VMLAL.S16 q10, d8, d3[2]
325 VMLAL.S16 q11, d9, d3[2]
326 VMOVL.S8 q5, d10
327 VMLAL.S16 q12, d8, d5[2]
328 VMLAL.S16 q13, d9, d5[2]
329 VMLAL.S16 q14, d8, d7[2]
330 VMLAL.S16 q15, d9, d7[2]
331
332 VMLAL.S16 q8, d10, d1[3]
333 VMLAL.S16 q9, d11, d1[3]
334 VMLAL.S16 q10, d10, d3[3]
335 VMLAL.S16 q11, d11, d3[3]
336 VMLAL.S16 q12, d10, d5[3]
337 VMLAL.S16 q13, d11, d5[3]
338 ADDS r5, r5, 8
339 VMLAL.S16 q14, d10, d7[3]
340 VMLAL.S16 q15, d11, d7[3]
341
342 # Is there a remainder?- 1-7 bytes of A
343 BNE 6f
344
345 4:
346 # ks loop
347 SUBS r14, r14, 16 // ks -= MR * sizeof(void*)
348 BHI 1b
349
350 LDR r7, [sp, 120] // cn_stride
351 LDR r14, [sp, 64] // p = ks
352
353 # QC8 FP32 quantization
354 VLD1.8 {q0-q1}, [r9]!
355
356 VCVT.F32.S32 q8, q8
357 VCVT.F32.S32 q9, q9
358 VCVT.F32.S32 q10, q10
359 VCVT.F32.S32 q11, q11
360 VCVT.F32.S32 q12, q12
361 VCVT.F32.S32 q13, q13
362 VCVT.F32.S32 q14, q14
363 VCVT.F32.S32 q15, q15
364
365 VMUL.F32 q8, q8, q0 // multiplier
366 VMUL.F32 q9, q9, q1
367 VMUL.F32 q10, q10, q0
368 VMUL.F32 q11, q11, q1
369 VMUL.F32 q12, q12, q0
370 VMUL.F32 q13, q13, q1
371 VMUL.F32 q14, q14, q0
372 VMUL.F32 q15, q15, q1
373
374 VCVTN.S32.F32 q8, q8
375 VCVTN.S32.F32 q9, q9
376 VCVTN.S32.F32 q10, q10
377 VCVTN.S32.F32 q11, q11
378 VCVTN.S32.F32 q12, q12
379 VCVTN.S32.F32 q13, q13
380 VCVTN.S32.F32 q14, q14
381 VCVTN.S32.F32 q15, q15
382
383 VDUP.16 q0, d13[2] // output_zero_point
384
385 VQMOVN.S32 d16, q8
386 VQMOVN.S32 d17, q9
387 VQMOVN.S32 d18, q10
388 VQMOVN.S32 d19, q11
389 VQMOVN.S32 d20, q12
390 VQMOVN.S32 d21, q13
391 VQMOVN.S32 d22, q14
392 VQMOVN.S32 d23, q15
393
394 VQADD.S16 q8, q8, q0
395 VQADD.S16 q9, q9, q0
396 VQADD.S16 q10, q10, q0
397 VQADD.S16 q11, q11, q0
398
399 LDR r1, [sp, 56] // restore nc
400 VDUP.8 q12, d13[6] // output_min
401
402 VQMOVN.S16 d0, q8
403 VQMOVN.S16 d1, q9
404 VQMOVN.S16 d2, q10
405 VQMOVN.S16 d3, q11
406
407 VDUP.8 q13, d13[7] // output_max
408
409 VMAX.S8 q0, q0, q12
410 VMAX.S8 q1, q1, q12
411
412 SUBS r1, r1, 8 // nc -= 8
413
414 VMIN.S8 q0, q0, q13
415 VMIN.S8 q1, q1, q13
416
417 # Store full 4 x 8
418 BLO 7f
419 VST1.8 {d3}, [r6], r7
420 VST1.8 {d2}, [r8], r7
421 VST1.8 {d1}, [r4], r7
422 VST1.8 {d0}, [r11], r7
423 SUB r2, r2, r14 // a -= ks
424 BHI 0b
425
426 VPOP {d8-d13}
427 ADD sp, sp, 20 // skip pad of 8, r1, r2, r3
428 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
429
430 # Remainder- 1 to 7 bytes of A
431 .p2align 3
432 5:
433 AND r5, r5, 7 // kc remainder 1 to 7
434 6:
435 VLD1.8 {d0}, [r3]
436 VLD1.8 {d8}, [r9]!
437 VLD1.8 {d2}, [r12]
438 VLD1.8 {d4}, [r10]
439 VLD1.8 {d6}, [r0]
440
441 VMOVL.S8 q0, d0
442 VMOVL.S8 q4, d8
443 VMOVL.S8 q1, d2
444 VMOVL.S8 q2, d4
445 VMOVL.S8 q3, d6
446 VMLAL.S16 q8, d8, d0[0]
447 VMLAL.S16 q9, d9, d0[0]
448 VMLAL.S16 q10, d8, d2[0]
449 VMLAL.S16 q11, d9, d2[0]
450 VMLAL.S16 q12, d8, d4[0]
451 VMLAL.S16 q13, d9, d4[0]
452 VMLAL.S16 q14, d8, d6[0]
453 VMLAL.S16 q15, d9, d6[0]
454 CMP r5, 2
455 BLO 4b
456
457 VLD1.8 {d8}, [r9]!
458 VMOVL.S8 q4, d8
459 VMLAL.S16 q8, d8, d0[1]
460 VMLAL.S16 q9, d9, d0[1]
461 VMLAL.S16 q10, d8, d2[1]
462 VMLAL.S16 q11, d9, d2[1]
463 VMLAL.S16 q12, d8, d4[1]
464 VMLAL.S16 q13, d9, d4[1]
465 VMLAL.S16 q14, d8, d6[1]
466 VMLAL.S16 q15, d9, d6[1]
467 BEQ 4b
468
469 VLD1.8 {d8}, [r9]!
470 VMOVL.S8 q4, d8
471 VMLAL.S16 q8, d8, d0[2]
472 VMLAL.S16 q9, d9, d0[2]
473 VMLAL.S16 q10, d8, d2[2]
474 VMLAL.S16 q11, d9, d2[2]
475 VMLAL.S16 q12, d8, d4[2]
476 VMLAL.S16 q13, d9, d4[2]
477 VMLAL.S16 q14, d8, d6[2]
478 VMLAL.S16 q15, d9, d6[2]
479 CMP r5, 4
480 BLO 4b
481
482 VLD1.8 {d8}, [r9]!
483 VMOVL.S8 q4, d8
484 VMLAL.S16 q8, d8, d0[3]
485 VMLAL.S16 q9, d9, d0[3]
486 VMLAL.S16 q10, d8, d2[3]
487 VMLAL.S16 q11, d9, d2[3]
488 VMLAL.S16 q12, d8, d4[3]
489 VMLAL.S16 q13, d9, d4[3]
490 VMLAL.S16 q14, d8, d6[3]
491 VMLAL.S16 q15, d9, d6[3]
492 BEQ 4b
493
494 VLD1.8 {d8}, [r9]!
495 VMOVL.S8 q4, d8
496 VMLAL.S16 q8, d8, d1[0]
497 VMLAL.S16 q9, d9, d1[0]
498 VMLAL.S16 q10, d8, d3[0]
499 VMLAL.S16 q11, d9, d3[0]
500 VMLAL.S16 q12, d8, d5[0]
501 VMLAL.S16 q13, d9, d5[0]
502 VMLAL.S16 q14, d8, d7[0]
503 VMLAL.S16 q15, d9, d7[0]
504 CMP r5, 6
505 BLO 4b
506
507 VLD1.8 {d8}, [r9]!
508 VMOVL.S8 q4, d8
509 VMLAL.S16 q8, d8, d1[1]
510 VMLAL.S16 q9, d9, d1[1]
511 VMLAL.S16 q10, d8, d3[1]
512 VMLAL.S16 q11, d9, d3[1]
513 VMLAL.S16 q12, d8, d5[1]
514 VMLAL.S16 q13, d9, d5[1]
515 VMLAL.S16 q14, d8, d7[1]
516 VMLAL.S16 q15, d9, d7[1]
517 BEQ 4b
518
519 VLD1.8 {d8}, [r9]!
520 VMOVL.S8 q4, d8
521 VMLAL.S16 q8, d8, d1[2]
522 VMLAL.S16 q9, d9, d1[2]
523 VMLAL.S16 q10, d8, d3[2]
524 VMLAL.S16 q11, d9, d3[2]
525 VMLAL.S16 q12, d8, d5[2]
526 VMLAL.S16 q13, d9, d5[2]
527 VMLAL.S16 q14, d8, d7[2]
528 VMLAL.S16 q15, d9, d7[2]
529 B 4b
530
531 # Store odd width
532 .p2align 3
533 7:
534 TST r1, 4
535 BEQ 8f
536 VST1.32 {d3[0]}, [r6]!
537 VST1.32 {d2[0]}, [r8]!
538 VST1.32 {d1[0]}, [r4]!
539 VST1.32 {d0[0]}, [r11]!
540 VEXT.8 q1, q1, q1, 4
541 VEXT.8 q0, q0, q0, 4
542 8:
543 TST r1, 2
544 BEQ 9f
545 VST1.16 {d3[0]}, [r6]!
546 VST1.16 {d2[0]}, [r8]!
547 VST1.16 {d1[0]}, [r4]!
548 VST1.16 {d0[0]}, [r11]!
549 VEXT.8 q1, q1, q1, 2
550 VEXT.8 q0, q0, q0, 2
551
552 9:
553 TST r1, 1
554 BEQ 10f
555 VST1.8 {d3[0]}, [r6]
556 VST1.8 {d2[0]}, [r8]
557 VST1.8 {d1[0]}, [r4]
558 VST1.8 {d0[0]}, [r11]
559
560 10:
561 VPOP {d8-d13}
562 ADD sp, sp, 20 // skip pad of 8, r1, r2, r3
563 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
564
565 END_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neonv8_mlal_lane_cortex_a35
566
567 #ifdef __ELF__
568 .section ".note.GNU-stack","",%progbits
569 #endif