Debian Codegraph @

src/qs8-qc8w-igemm/gen/qs8-qc8w-igemm-4x8-minmax-fp32-asm-aarch32-neonv8-mlal-lane-cortex-a53-prfm.S

raw
1 // Auto-generated file. Do not edit!
2 // Template: src/qs8-igemm/4x8-aarch32-neon-mlal-lane-cortex-a53.S.in
3 // Generator: tools/xngen
4 //
5 // Copyright 2021 Google LLC
6 //
7 // This source code is licensed under the BSD-style license found in the
8 // LICENSE file in the root directory of this source tree.
9
10
11 #include "xnnpack/assembly.h"
12
13 .syntax unified
14
15 // void xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neonv8_mlal_lane_cortex_a53_prfm
16 // size_t mr, (r0)
17 // size_t nc, r1 -> sp + 56
18 // size_t kc, (r2) -> r5 -> sp + 60
19 // size_t ks, (r3) -> sp + 64 -> r14
20 // const int8_t** restrict a, sp + 104 -> r2
21 // const void* restrict w, sp + 108 -> r9
22 // int8_t* restrict c, sp + 112 -> r11
23 // size_t cm_stride, sp + 116 -> (r6)
24 // size_t cn_stride, sp + 120 -> (r7)
25 // size_t a_offset, sp + 124 -> (r5)
26 // const int8_t* zero, sp + 128 -> (r7)
27 // xnn_qs8_qc8w_conv_minmax_params*params); sp + 132 -> (r5)
28
29 // d8-d15, r4-r11,r14(lr) need to be preserved if used. r13(sp),r15(pc) are reserved.
30
31 // Register usage
32 // A0 r3 d0-d1 q0
33 // A1 r12 d2-d3 q1
34 // A2 r10 d4-d5 q2
35 // A3 r0 d6-d7 q3
36 // B r9 d8-d9 q4 q5
37 // C0 r11 d16-d17 q8 d18-d19 q9
38 // C1 r4 d20-d21 q10 d22-d23 q11
39 // C2 r8 d24-d25 q12 d26-d27 q13
40 // C3 r6 d28-d29 q14 d30-d31 q15
41
42 // r1,r7 A53 gpr temporary loads
43 // unused d15
44
45 // params structure is 4 bytes
46 // struct {
47 // int16_t output_zero_point; d13[2]
48 // int8_t output_min; d13[6]
49 // int8_t output_max; d13[7]
50 // } xnn_qs8_minmax_params.neonv8;
51
52 BEGIN_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neonv8_mlal_lane_cortex_a53_prfm
53 # Push 104 bytes
54 # r1, r2 will be reloaded in outer loop. r3 is ks
55 PUSH {r1, r2, r3, r4, r5, r6, r7, r8, r9, r10, r11, lr} // +48
56 SUB sp, sp, 8 // +8
57 VPUSH {d8-d13} // +48 = 104
58
59 LDR r11, [sp, 112] // c
60 LDR r6, [sp, 116] // cm_stride
61 LDR r2, [sp, 104] // a
62 LDR r9, [sp, 108] // w
63 LDR r5, [sp, 132] // params
64 MOV r14, r3 // p = ks
65
66 # Clamp C pointers
67 CMP r0, 2 // if mr >= 2
68 ADD r4, r11, r6 // c1 = c0 + cm_stride
69 MOVLO r4, r11 // c1
70 // if mr > 2
71 ADD r8, r4, r6 // c2 = c1 + cm_stride
72 MOVLS r8, r4 // c2
73 CMP r0, 4 // if mr >=4
74 ADD r6, r8, r6 // c3 = c2 + cm_stride
75 MOVLO r6, r8 // c3
76
77 # Load params values
78 VLD1.32 {d13[]}, [r5] // QC8 neonv8 params
79
80 PLD [r9, 64] // Prefetch B
81 PLD [r9, 128]
82 PLD [r9, 192]
83 PLD [r9, 256]
84 PLD [r9, 320]
85 PLD [r9, 384]
86
87 .p2align 3
88 0:
89 # Load initial bias from w into accumulators
90 VLDM r9!, {d16-d19} // Bias
91 VMOV q10, q8
92 VMOV q11, q9
93 STR r1, [sp, 56] // save nc
94 VMOV q12, q8
95 VMOV q13, q9
96 VMOV q14, q8
97 VMOV q15, q9
98
99 .p2align 3
100 1:
101 # Load next 4 A pointers
102 LDR r3, [r2, 0]
103 LDR r12, [r2, 4]
104 LDR r10, [r2, 8]
105 LDR r0, [r2, 12]
106
107 # Add a_offset
108 LDR r5, [sp, 124] // a_offset
109 LDR r7, [sp, 128] // zero
110 ADD r2, r2, 16
111 CMP r3, r7 // if a0 == zero
112 ADD r3, r3, r5 // a0 += a_offset
113 MOVEQ r3, r7 // a0 = zero, else += a0 + a_offset
114 CMP r12, r7 // if a1 == zero
115 ADD r12, r12, r5 // a1 += a_offset
116 MOVEQ r12, r7 // a1 = zero, else += a1 + a_offset
117 CMP r10, r7 // if a2 == zero
118 ADD r10, r10, r5 // a2 += a_offset
119 MOVEQ r10, r7 // a2 = zero, else += a2 + a_offset
120 CMP r0, r7 // if a3 == zero
121 ADD r0, r0, r5 // a3 += a_offset
122 LDR r5, [sp, 60] // kc
123 MOVEQ r0, r7 // a3 = zero, else += a3 + a_offset
124 SUBS r5, r5, 8 // kc - 8
125 BLO 5f // less than 8 channels?
126
127 // Prologue - load 4A's and B0
128 VLD1.8 {d0}, [r3]! // A0
129 VLD1.8 {d8}, [r9]! // B0
130 SUBS r5, r5, 8 // k = k - 8
131 VLD1.8 {d2}, [r12]! // A1
132 VLD1.8 {d4}, [r10]! // A2
133 VLD1.8 {d6}, [r0]! // A3
134 BLO 3f // less than 8 channels?
135
136 // Main loop - 8 bytes
137 // 64 bytes for weights.
138 // 5 VMOVL = 4 A and 1 B = 5 cycles
139 // 7 blocks with VLD B, VMOVL, 8 VMLA = 10 cycles
140 // 1 blocks with VLD B, VMLA = 9 cycles
141 // total = 84 cycles
142 .p2align 3
143 2:
144 // Extend - 5 cycles
145 VMOVL.S8 q0, d0
146 PLD [r3, 128]
147 VMOVL.S8 q4, d8
148 PLD [r9, 448]
149 VMOVL.S8 q1, d2
150 PLD [r12, 128]
151 VMOVL.S8 q2, d4
152 PLD [r0, 128]
153 VMOVL.S8 q3, d6
154 PLD [r10, 128]
155
156 // BLOCK 0 - 10 cycles
157 VLD1.8 {d10}, [r9]! // B1
158 VMLAL.S16 q8, d8, d0[0]
159 VMLAL.S16 q9, d9, d0[0]
160 VMLAL.S16 q10, d8, d2[0]
161 VMLAL.S16 q11, d9, d2[0]
162 VMOVL.S8 q5, d10
163 VMLAL.S16 q12, d8, d4[0]
164 VMLAL.S16 q13, d9, d4[0]
165 VMLAL.S16 q14, d8, d6[0]
166 VMLAL.S16 q15, d9, d6[0]
167
168 // BLOCK 1 - 10 cycles
169 VLD1.8 {d8}, [r9]! // B2
170 VMLAL.S16 q8, d10, d0[1]
171 VMLAL.S16 q9, d11, d0[1]
172 VMLAL.S16 q10, d10, d2[1]
173 VMLAL.S16 q11, d11, d2[1]
174 VMOVL.S8 q4, d8
175 VMLAL.S16 q12, d10, d4[1]
176 VMLAL.S16 q13, d11, d4[1]
177 VMLAL.S16 q14, d10, d6[1]
178 VMLAL.S16 q15, d11, d6[1]
179
180 // BLOCK 2 - 10 cycles
181 VLD1.8 {d10}, [r9]! // B3
182 VMLAL.S16 q8, d8, d0[2]
183 VMLAL.S16 q9, d9, d0[2]
184 VMLAL.S16 q10, d8, d2[2]
185 VMLAL.S16 q11, d9, d2[2]
186 VMOVL.S8 q5, d10
187 VMLAL.S16 q12, d8, d4[2]
188 VMLAL.S16 q13, d9, d4[2]
189 VMLAL.S16 q14, d8, d6[2]
190 VMLAL.S16 q15, d9, d6[2]
191
192 // BLOCK 3 - 10 cycles
193 VLD1.8 {d8}, [r9]! // B4
194 VMLAL.S16 q8, d10, d0[3]
195 VMLAL.S16 q9, d11, d0[3]
196 VMLAL.S16 q10, d10, d2[3]
197 VMLAL.S16 q11, d11, d2[3]
198 VMOVL.S8 q4, d8
199 VMLAL.S16 q12, d10, d4[3]
200 LDR r1, [r3] // A0 low
201 VMLAL.S16 q13, d11, d4[3]
202 LDR r7, [r3, 4] // A0 high
203 VMLAL.S16 q14, d10, d6[3]
204 ADD r3, r3, 8
205 VMLAL.S16 q15, d11, d6[3]
206
207 // BLOCK 4 - 10 cycles
208 VLD1.8 {d10}, [r9]! // B5
209 VMOV d0, r1, r7 // A0 VMOV
210 VMLAL.S16 q8, d8, d1[0]
211 VMLAL.S16 q9, d9, d1[0]
212 VMLAL.S16 q10, d8, d3[0]
213 VMLAL.S16 q11, d9, d3[0]
214 VMOVL.S8 q5, d10
215 VMLAL.S16 q12, d8, d5[0]
216 LDR r1, [r12] // A1 low
217 VMLAL.S16 q13, d9, d5[0]
218 LDR r7, [r12, 4] // A1 high
219 VMLAL.S16 q14, d8, d7[0]
220 ADD r12, r12, 8
221 VMLAL.S16 q15, d9, d7[0]
222
223 // BLOCK 5 - 10 cycles
224 VLD1.8 {d8}, [r9]! // B6
225 VMOV d2, r1, r7 // A1 VMOV
226 VMLAL.S16 q8, d10, d1[1]
227 VMLAL.S16 q9, d11, d1[1]
228 VMLAL.S16 q10, d10, d3[1]
229 VMLAL.S16 q11, d11, d3[1]
230 VMOVL.S8 q4, d8
231 VMLAL.S16 q12, d10, d5[1]
232 LDR r1, [r10] // A2 low
233 VMLAL.S16 q13, d11, d5[1]
234 LDR r7, [r10, 4] // A2 high
235 VMLAL.S16 q14, d10, d7[1]
236 ADD r10, r10, 8
237 VMLAL.S16 q15, d11, d7[1]
238
239 // BLOCK 6 - 10 cycles
240 VLD1.8 {d10}, [r9]! // B7
241 VMOV d4, r1, r7 // A2 VMOV
242 VMLAL.S16 q8, d8, d1[2]
243 VMLAL.S16 q9, d9, d1[2]
244 VMLAL.S16 q10, d8, d3[2]
245 VMLAL.S16 q11, d9, d3[2]
246 VMOVL.S8 q5, d10
247 VMLAL.S16 q12, d8, d5[2]
248 LDR r1, [r0] // A3 low
249 VMLAL.S16 q13, d9, d5[2]
250 LDR r7, [r0, 4] // A3 high
251 VMLAL.S16 q14, d8, d7[2]
252 ADD r0, r0, 8
253 VMLAL.S16 q15, d9, d7[2]
254
255 // BLOCK 7 - 9 cycles
256 VLD1.8 {d8}, [r9]! // B0
257 VMOV d6, r1, r7 // A3 VMOV
258 VMLAL.S16 q8, d10, d1[3]
259 VMLAL.S16 q9, d11, d1[3]
260 VMLAL.S16 q10, d10, d3[3]
261 VMLAL.S16 q11, d11, d3[3]
262 VMLAL.S16 q12, d10, d5[3]
263 VMLAL.S16 q13, d11, d5[3]
264 SUBS r5, r5, 8
265 VMLAL.S16 q14, d10, d7[3]
266 VMLAL.S16 q15, d11, d7[3]
267 BHS 2b
268
269 // Epilogue
270
271 .p2align 3
272 3:
273 VMOVL.S8 q0, d0
274 VMOVL.S8 q4, d8
275 VMOVL.S8 q1, d2
276 VMOVL.S8 q2, d4
277 VMOVL.S8 q3, d6
278
279 VLD1.8 {d10}, [r9]! // B1
280 VMLAL.S16 q8, d8, d0[0]
281 VMLAL.S16 q9, d9, d0[0]
282 VMLAL.S16 q10, d8, d2[0]
283 VMLAL.S16 q11, d9, d2[0]
284 VMOVL.S8 q5, d10
285 VMLAL.S16 q12, d8, d4[0]
286 VMLAL.S16 q13, d9, d4[0]
287 VMLAL.S16 q14, d8, d6[0]
288 VMLAL.S16 q15, d9, d6[0]
289
290 VLD1.8 {d8}, [r9]! // B2
291 VMLAL.S16 q8, d10, d0[1]
292 VMLAL.S16 q9, d11, d0[1]
293 VMLAL.S16 q10, d10, d2[1]
294 VMLAL.S16 q11, d11, d2[1]
295 VMOVL.S8 q4, d8
296 VMLAL.S16 q12, d10, d4[1]
297 VMLAL.S16 q13, d11, d4[1]
298 VMLAL.S16 q14, d10, d6[1]
299 VMLAL.S16 q15, d11, d6[1]
300
301 VLD1.8 {d10}, [r9]! // B3
302 VMLAL.S16 q8, d8, d0[2]
303 VMLAL.S16 q9, d9, d0[2]
304 VMLAL.S16 q10, d8, d2[2]
305 VMLAL.S16 q11, d9, d2[2]
306 VMOVL.S8 q5, d10
307 VMLAL.S16 q12, d8, d4[2]
308 VMLAL.S16 q13, d9, d4[2]
309 VMLAL.S16 q14, d8, d6[2]
310 VMLAL.S16 q15, d9, d6[2]
311
312 VLD1.8 {d8}, [r9]! // B4
313 VMLAL.S16 q8, d10, d0[3]
314 VMLAL.S16 q9, d11, d0[3]
315 VMLAL.S16 q10, d10, d2[3]
316 VMLAL.S16 q11, d11, d2[3]
317 VMOVL.S8 q4, d8
318 VMLAL.S16 q12, d10, d4[3]
319 VMLAL.S16 q13, d11, d4[3]
320 VMLAL.S16 q14, d10, d6[3]
321 VMLAL.S16 q15, d11, d6[3]
322
323 VLD1.8 {d10}, [r9]! // B5
324 VMLAL.S16 q8, d8, d1[0]
325 VMLAL.S16 q9, d9, d1[0]
326 VMLAL.S16 q10, d8, d3[0]
327 VMLAL.S16 q11, d9, d3[0]
328 VMOVL.S8 q5, d10
329 VMLAL.S16 q12, d8, d5[0]
330 VMLAL.S16 q13, d9, d5[0]
331 VMLAL.S16 q14, d8, d7[0]
332 VMLAL.S16 q15, d9, d7[0]
333
334 VLD1.8 {d8}, [r9]! // B6
335 VMLAL.S16 q8, d10, d1[1]
336 VMLAL.S16 q9, d11, d1[1]
337 VMLAL.S16 q10, d10, d3[1]
338 VMLAL.S16 q11, d11, d3[1]
339 VMOVL.S8 q4, d8
340 VMLAL.S16 q12, d10, d5[1]
341 VMLAL.S16 q13, d11, d5[1]
342 VMLAL.S16 q14, d10, d7[1]
343 VMLAL.S16 q15, d11, d7[1]
344
345 VLD1.8 {d10}, [r9]! // B7
346 VMLAL.S16 q8, d8, d1[2]
347 VMLAL.S16 q9, d9, d1[2]
348 VMLAL.S16 q10, d8, d3[2]
349 VMLAL.S16 q11, d9, d3[2]
350 VMOVL.S8 q5, d10
351 VMLAL.S16 q12, d8, d5[2]
352 VMLAL.S16 q13, d9, d5[2]
353 VMLAL.S16 q14, d8, d7[2]
354 VMLAL.S16 q15, d9, d7[2]
355
356 VMLAL.S16 q8, d10, d1[3]
357 VMLAL.S16 q9, d11, d1[3]
358 VMLAL.S16 q10, d10, d3[3]
359 VMLAL.S16 q11, d11, d3[3]
360 VMLAL.S16 q12, d10, d5[3]
361 VMLAL.S16 q13, d11, d5[3]
362 ADDS r5, r5, 8
363 VMLAL.S16 q14, d10, d7[3]
364 VMLAL.S16 q15, d11, d7[3]
365
366 # Is there a remainder?- 1-7 bytes of A
367 BNE 6f
368
369 4:
370 # ks loop
371 SUBS r14, r14, 16 // ks -= MR * sizeof(void*)
372 BHI 1b
373
374 LDR r7, [sp, 120] // cn_stride
375 LDR r14, [sp, 64] // p = ks
376
377 # QC8 FP32 quantization
378 VLD1.8 {q0-q1}, [r9]!
379
380 VCVT.F32.S32 q8, q8
381 VCVT.F32.S32 q9, q9
382 VCVT.F32.S32 q10, q10
383 VCVT.F32.S32 q11, q11
384 VCVT.F32.S32 q12, q12
385 VCVT.F32.S32 q13, q13
386 VCVT.F32.S32 q14, q14
387 VCVT.F32.S32 q15, q15
388
389 VMUL.F32 q8, q8, q0 // multiplier
390 VMUL.F32 q9, q9, q1
391 VMUL.F32 q10, q10, q0
392 VMUL.F32 q11, q11, q1
393 VMUL.F32 q12, q12, q0
394 VMUL.F32 q13, q13, q1
395 VMUL.F32 q14, q14, q0
396 VMUL.F32 q15, q15, q1
397
398 VCVTN.S32.F32 q8, q8
399 VCVTN.S32.F32 q9, q9
400 VCVTN.S32.F32 q10, q10
401 VCVTN.S32.F32 q11, q11
402 VCVTN.S32.F32 q12, q12
403 VCVTN.S32.F32 q13, q13
404 VCVTN.S32.F32 q14, q14
405 VCVTN.S32.F32 q15, q15
406
407 VDUP.16 q0, d13[2] // output_zero_point
408
409 VQMOVN.S32 d16, q8
410 VQMOVN.S32 d17, q9
411 VQMOVN.S32 d18, q10
412 VQMOVN.S32 d19, q11
413 VQMOVN.S32 d20, q12
414 VQMOVN.S32 d21, q13
415 VQMOVN.S32 d22, q14
416 VQMOVN.S32 d23, q15
417
418 VQADD.S16 q8, q8, q0
419 VQADD.S16 q9, q9, q0
420 VQADD.S16 q10, q10, q0
421 VQADD.S16 q11, q11, q0
422
423 LDR r1, [sp, 56] // restore nc
424 VDUP.8 q12, d13[6] // output_min
425
426 VQMOVN.S16 d0, q8
427 VQMOVN.S16 d1, q9
428 VQMOVN.S16 d2, q10
429 VQMOVN.S16 d3, q11
430
431 VDUP.8 q13, d13[7] // output_max
432
433 VMAX.S8 q0, q0, q12
434 VMAX.S8 q1, q1, q12
435
436 SUBS r1, r1, 8 // nc -= 8
437
438 VMIN.S8 q0, q0, q13
439 VMIN.S8 q1, q1, q13
440
441 # Store full 4 x 8
442 BLO 7f
443 VST1.8 {d3}, [r6], r7
444 VST1.8 {d2}, [r8], r7
445 VST1.8 {d1}, [r4], r7
446 VST1.8 {d0}, [r11], r7
447 SUB r2, r2, r14 // a -= ks
448 BHI 0b
449
450 VPOP {d8-d13}
451 ADD sp, sp, 20 // skip pad of 8, r1, r2, r3
452 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
453
454 # Remainder- 1 to 7 bytes of A
455 .p2align 3
456 5:
457 AND r5, r5, 7 // kc remainder 1 to 7
458 6:
459 VLD1.8 {d0}, [r3]
460 VLD1.8 {d8}, [r9]!
461 VLD1.8 {d2}, [r12]
462 VLD1.8 {d4}, [r10]
463 VLD1.8 {d6}, [r0]
464
465 VMOVL.S8 q0, d0
466 VMOVL.S8 q4, d8
467 VMOVL.S8 q1, d2
468 VMOVL.S8 q2, d4
469 VMOVL.S8 q3, d6
470 VMLAL.S16 q8, d8, d0[0]
471 VMLAL.S16 q9, d9, d0[0]
472 VMLAL.S16 q10, d8, d2[0]
473 VMLAL.S16 q11, d9, d2[0]
474 VMLAL.S16 q12, d8, d4[0]
475 VMLAL.S16 q13, d9, d4[0]
476 VMLAL.S16 q14, d8, d6[0]
477 VMLAL.S16 q15, d9, d6[0]
478 CMP r5, 2
479 BLO 4b
480
481 VLD1.8 {d8}, [r9]!
482 VMOVL.S8 q4, d8
483 VMLAL.S16 q8, d8, d0[1]
484 VMLAL.S16 q9, d9, d0[1]
485 VMLAL.S16 q10, d8, d2[1]
486 VMLAL.S16 q11, d9, d2[1]
487 VMLAL.S16 q12, d8, d4[1]
488 VMLAL.S16 q13, d9, d4[1]
489 VMLAL.S16 q14, d8, d6[1]
490 VMLAL.S16 q15, d9, d6[1]
491 BEQ 4b
492
493 VLD1.8 {d8}, [r9]!
494 VMOVL.S8 q4, d8
495 VMLAL.S16 q8, d8, d0[2]
496 VMLAL.S16 q9, d9, d0[2]
497 VMLAL.S16 q10, d8, d2[2]
498 VMLAL.S16 q11, d9, d2[2]
499 VMLAL.S16 q12, d8, d4[2]
500 VMLAL.S16 q13, d9, d4[2]
501 VMLAL.S16 q14, d8, d6[2]
502 VMLAL.S16 q15, d9, d6[2]
503 CMP r5, 4
504 BLO 4b
505
506 VLD1.8 {d8}, [r9]!
507 VMOVL.S8 q4, d8
508 VMLAL.S16 q8, d8, d0[3]
509 VMLAL.S16 q9, d9, d0[3]
510 VMLAL.S16 q10, d8, d2[3]
511 VMLAL.S16 q11, d9, d2[3]
512 VMLAL.S16 q12, d8, d4[3]
513 VMLAL.S16 q13, d9, d4[3]
514 VMLAL.S16 q14, d8, d6[3]
515 VMLAL.S16 q15, d9, d6[3]
516 BEQ 4b
517
518 VLD1.8 {d8}, [r9]!
519 VMOVL.S8 q4, d8
520 VMLAL.S16 q8, d8, d1[0]
521 VMLAL.S16 q9, d9, d1[0]
522 VMLAL.S16 q10, d8, d3[0]
523 VMLAL.S16 q11, d9, d3[0]
524 VMLAL.S16 q12, d8, d5[0]
525 VMLAL.S16 q13, d9, d5[0]
526 VMLAL.S16 q14, d8, d7[0]
527 VMLAL.S16 q15, d9, d7[0]
528 CMP r5, 6
529 BLO 4b
530
531 VLD1.8 {d8}, [r9]!
532 VMOVL.S8 q4, d8
533 VMLAL.S16 q8, d8, d1[1]
534 VMLAL.S16 q9, d9, d1[1]
535 VMLAL.S16 q10, d8, d3[1]
536 VMLAL.S16 q11, d9, d3[1]
537 VMLAL.S16 q12, d8, d5[1]
538 VMLAL.S16 q13, d9, d5[1]
539 VMLAL.S16 q14, d8, d7[1]
540 VMLAL.S16 q15, d9, d7[1]
541 BEQ 4b
542
543 VLD1.8 {d8}, [r9]!
544 VMOVL.S8 q4, d8
545 VMLAL.S16 q8, d8, d1[2]
546 VMLAL.S16 q9, d9, d1[2]
547 VMLAL.S16 q10, d8, d3[2]
548 VMLAL.S16 q11, d9, d3[2]
549 VMLAL.S16 q12, d8, d5[2]
550 VMLAL.S16 q13, d9, d5[2]
551 VMLAL.S16 q14, d8, d7[2]
552 VMLAL.S16 q15, d9, d7[2]
553 B 4b
554
555 # Store odd width
556 .p2align 3
557 7:
558 TST r1, 4
559 BEQ 8f
560 VST1.32 {d3[0]}, [r6]!
561 VST1.32 {d2[0]}, [r8]!
562 VST1.32 {d1[0]}, [r4]!
563 VST1.32 {d0[0]}, [r11]!
564 VEXT.8 q1, q1, q1, 4
565 VEXT.8 q0, q0, q0, 4
566 8:
567 TST r1, 2
568 BEQ 9f
569 VST1.16 {d3[0]}, [r6]!
570 VST1.16 {d2[0]}, [r8]!
571 VST1.16 {d1[0]}, [r4]!
572 VST1.16 {d0[0]}, [r11]!
573 VEXT.8 q1, q1, q1, 2
574 VEXT.8 q0, q0, q0, 2
575
576 9:
577 TST r1, 1
578 BEQ 10f
579 VST1.8 {d3[0]}, [r6]
580 VST1.8 {d2[0]}, [r8]
581 VST1.8 {d1[0]}, [r4]
582 VST1.8 {d0[0]}, [r11]
583
584 10:
585 VPOP {d8-d13}
586 ADD sp, sp, 20 // skip pad of 8, r1, r2, r3
587 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
588
589 END_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neonv8_mlal_lane_cortex_a53_prfm
590
591 #ifdef __ELF__
592 .section ".note.GNU-stack","",%progbits
593 #endif