Debian Codegraph @

src/qs8-qc8w-igemm/gen/qs8-qc8w-igemm-4x8-minmax-fp32-asm-aarch32-neonv8-mlal-lane-ld64-prfm.S

raw
1 // Auto-generated file. Do not edit!
2 // Template: src/qs8-igemm/4x8-aarch32-neon-mlal-lane-ld64.S.in
3 // Generator: tools/xngen
4 //
5 // Copyright 2021 Google LLC
6 //
7 // This source code is licensed under the BSD-style license found in the
8 // LICENSE file in the root directory of this source tree.
9
10
11 #include "xnnpack/assembly.h"
12
13 .syntax unified
14
15 // void xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neonv8_mlal_lane_ld64_prfm
16 // size_t mr, (r0)
17 // size_t nc, r1
18 // size_t kc, (r2) -> r5 -> sp + 44
19 // size_t ks, (r3) -> sp + 48 -> r14
20 // const int8_t** restrict a, sp + 88 -> r2
21 // const void* restrict w, sp + 92 -> r9
22 // int8_t* restrict c, sp + 96 -> r11
23 // size_t cm_stride, sp + 100 -> (r6)
24 // size_t cn_stride, sp + 104 -> (r7)
25 // size_t a_offset, sp + 108 -> (r5)
26 // const int8_t* zero, sp + 112 -> (r7)
27 // xnn_qs8_qc8w_conv_minmax_params*params); sp + 116 -> (r5)
28
29 // d8-d15, r4-r11,r14(lr) need to be preserved if used. r13(sp),r15(pc) are reserved.
30
31 // Register usage
32 // A0 r3 d0-d1 q0
33 // A1 r12 d2-d3 q1
34 // A2 r10 d4-d5 q2
35 // A3 r0 d6-d7 q3
36 // B r9 d10-d11 q5
37 // C0 r11 d16-d17 q8 d18-d19 q9
38 // C1 r4 d20-d21 q10 d22-d23 q11
39 // C2 r8 d24-d25 q12 d26-d27 q13
40 // C3 r6 d28-d29 q14 d30-d31 q15
41 // unused d13-d15
42
43 // params structure is 4 bytes
44 // struct {
45 // int16_t output_zero_point; d13[2]
46 // int8_t output_min; d13[6]
47 // int8_t output_max; d13[7]
48 // } xnn_qs8_minmax_params.neonv8;
49
50 BEGIN_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neonv8_mlal_lane_ld64_prfm
51 # Push 88 bytes
52 # r2 will be reloaded in outer loop. r3 is ks
53 PUSH {r2, r3, r4, r5, r6, r7, r8, r9, r10, r11, lr} // +44
54 SUB sp, sp, 12 // +12
55 VPUSH {d10-d13} // +32 = 88
56
57 LDR r11, [sp, 96] // c
58 LDR r6, [sp, 100] // cm_stride
59 LDR r2, [sp, 88] // a
60 LDR r9, [sp, 92] // w
61 LDR r5, [sp, 116] // params
62 MOV r14, r3 // p = ks
63
64 # Clamp C pointers
65 CMP r0, 2 // if mr >= 2
66 ADD r4, r11, r6 // c1 = c0 + cm_stride
67 MOVLO r4, r11 // c1
68 // if mr > 2
69 ADD r8, r4, r6 // c2 = c1 + cm_stride
70 MOVLS r8, r4 // c2
71 CMP r0, 4 // if mr >=4
72 ADD r6, r8, r6 // c3 = c2 + cm_stride
73 MOVLO r6, r8 // c3
74
75 # Load params values
76 VLD1.32 {d13[]}, [r5] // QC8 neonv8 params
77
78 PLD [r9, 64] // Prefetch B
79 PLD [r9, 128]
80 PLD [r9, 192]
81 PLD [r9, 256]
82 PLD [r9, 320]
83 PLD [r9, 384]
84
85 .p2align 3
86 0:
87 # Load initial bias from w into accumulators
88 VLDM r9!, {d16-d19} // Bias
89 VMOV q10, q8
90 VMOV q11, q9
91 VMOV q12, q8
92 VMOV q13, q9
93 VMOV q14, q8
94 VMOV q15, q9
95
96 .p2align 3
97 1:
98 # Load next 4 A pointers
99 LDR r3, [r2, 0]
100 LDR r12, [r2, 4]
101 LDR r10, [r2, 8]
102 LDR r0, [r2, 12]
103 ADD r2, r2, 16
104
105 PLD [r3, 64]
106 PLD [r12, 64]
107 PLD [r10, 64]
108 PLD [r0, 64]
109
110 # Add a_offset
111 LDR r5, [sp, 108] // a_offset
112 LDR r7, [sp, 112] // zero
113 CMP r3, r7 // if a0 == zero
114 ADD r3, r3, r5 // a0 += a_offset
115 MOVEQ r3, r7 // a0 = zero, else += a0 + a_offset
116 CMP r12, r7 // if a1 == zero
117 ADD r12, r12, r5 // a1 += a_offset
118 MOVEQ r12, r7 // a1 = zero, else += a1 + a_offset
119 CMP r10, r7 // if a2 == zero
120 ADD r10, r10, r5 // a2 += a_offset
121 MOVEQ r10, r7 // a2 = zero, else += a2 + a_offset
122 CMP r0, r7 // if a3 == zero
123 ADD r0, r0, r5 // a3 += a_offset
124 LDR r5, [sp, 44] // kc
125 MOVEQ r0, r7 // a3 = zero, else += a3 + a_offset
126
127 SUBS r5, r5, 8 // kc - 8
128 BLO 4f // less than 8 channels?
129
130 # Main loop - 8 bytes
131 # 64 bytes for weights.
132 .p2align 3
133 2:
134 VLD1.8 {d0}, [r3]! // A0
135 VLD1.8 {d10}, [r9]! // B
136 VLD1.8 {d2}, [r12]! // A1
137 VLD1.8 {d4}, [r10]! // A2
138 VLD1.8 {d6}, [r0]! // A3
139 SUBS r5, r5, 8
140 PLD [r3, 128]
141 VMOVL.S8 q0, d0
142 PLD [r12, 128]
143 VMOVL.S8 q5, d10
144 PLD [r10, 128]
145 VMOVL.S8 q1, d2
146 PLD [r0, 128]
147 VMOVL.S8 q2, d4
148 PLD [r9, 448]
149 VMOVL.S8 q3, d6
150 VMLAL.S16 q8, d10, d0[0]
151 VMLAL.S16 q9, d11, d0[0]
152 VMLAL.S16 q10, d10, d2[0]
153 VMLAL.S16 q11, d11, d2[0]
154 VMLAL.S16 q12, d10, d4[0]
155 VMLAL.S16 q13, d11, d4[0]
156 VMLAL.S16 q14, d10, d6[0]
157 VMLAL.S16 q15, d11, d6[0]
158
159 VLD1.8 {d10}, [r9]!
160 VMOVL.S8 q5, d10
161 VMLAL.S16 q8, d10, d0[1]
162 VMLAL.S16 q9, d11, d0[1]
163 VMLAL.S16 q10, d10, d2[1]
164 VMLAL.S16 q11, d11, d2[1]
165 VMLAL.S16 q12, d10, d4[1]
166 VMLAL.S16 q13, d11, d4[1]
167 VMLAL.S16 q14, d10, d6[1]
168 VMLAL.S16 q15, d11, d6[1]
169
170 VLD1.8 {d10}, [r9]!
171 VMOVL.S8 q5, d10
172 VMLAL.S16 q8, d10, d0[2]
173 VMLAL.S16 q9, d11, d0[2]
174 VMLAL.S16 q10, d10, d2[2]
175 VMLAL.S16 q11, d11, d2[2]
176 VMLAL.S16 q12, d10, d4[2]
177 VMLAL.S16 q13, d11, d4[2]
178 VMLAL.S16 q14, d10, d6[2]
179 VMLAL.S16 q15, d11, d6[2]
180
181 VLD1.8 {d10}, [r9]!
182 VMOVL.S8 q5, d10
183 VMLAL.S16 q8, d10, d0[3]
184 VMLAL.S16 q9, d11, d0[3]
185 VMLAL.S16 q10, d10, d2[3]
186 VMLAL.S16 q11, d11, d2[3]
187 VMLAL.S16 q12, d10, d4[3]
188 VMLAL.S16 q13, d11, d4[3]
189 VMLAL.S16 q14, d10, d6[3]
190 VMLAL.S16 q15, d11, d6[3]
191
192 VLD1.8 {d10}, [r9]!
193 VMOVL.S8 q5, d10
194 VMLAL.S16 q8, d10, d1[0]
195 VMLAL.S16 q9, d11, d1[0]
196 VMLAL.S16 q10, d10, d3[0]
197 VMLAL.S16 q11, d11, d3[0]
198 VMLAL.S16 q12, d10, d5[0]
199 VMLAL.S16 q13, d11, d5[0]
200 VMLAL.S16 q14, d10, d7[0]
201 VMLAL.S16 q15, d11, d7[0]
202
203 VLD1.8 {d10}, [r9]!
204 VMOVL.S8 q5, d10
205 VMLAL.S16 q8, d10, d1[1]
206 VMLAL.S16 q9, d11, d1[1]
207 VMLAL.S16 q10, d10, d3[1]
208 VMLAL.S16 q11, d11, d3[1]
209 VMLAL.S16 q12, d10, d5[1]
210 VMLAL.S16 q13, d11, d5[1]
211 VMLAL.S16 q14, d10, d7[1]
212 VMLAL.S16 q15, d11, d7[1]
213
214 VLD1.8 {d10}, [r9]!
215 VMOVL.S8 q5, d10
216 VMLAL.S16 q8, d10, d1[2]
217 VMLAL.S16 q9, d11, d1[2]
218 VMLAL.S16 q10, d10, d3[2]
219 VMLAL.S16 q11, d11, d3[2]
220 VMLAL.S16 q12, d10, d5[2]
221 VMLAL.S16 q13, d11, d5[2]
222 VMLAL.S16 q14, d10, d7[2]
223 VMLAL.S16 q15, d11, d7[2]
224
225 VLD1.8 {d10}, [r9]!
226 VMOVL.S8 q5, d10
227 VMLAL.S16 q8, d10, d1[3]
228 VMLAL.S16 q9, d11, d1[3]
229 VMLAL.S16 q10, d10, d3[3]
230 VMLAL.S16 q11, d11, d3[3]
231 VMLAL.S16 q12, d10, d5[3]
232 VMLAL.S16 q13, d11, d5[3]
233 VMLAL.S16 q14, d10, d7[3]
234 VMLAL.S16 q15, d11, d7[3]
235 BHS 2b
236
237 # Is there a remainder?- 1-7 bytes of A
238 ADDS r5, r5, 8
239 BNE 4f
240
241 3:
242 # ks loop
243 SUBS r14, r14, 16 // ks -= MR * sizeof(void*)
244 BHI 1b
245
246 LDR r7, [sp, 104] // cn_stride
247 LDR r14, [sp, 48] // p = ks
248
249 # QC8 FP32 quantization
250 VLD1.8 {q0-q1}, [r9]!
251
252 VCVT.F32.S32 q8, q8
253 VCVT.F32.S32 q9, q9
254 VCVT.F32.S32 q10, q10
255 VCVT.F32.S32 q11, q11
256 VCVT.F32.S32 q12, q12
257 VCVT.F32.S32 q13, q13
258 VCVT.F32.S32 q14, q14
259 VCVT.F32.S32 q15, q15
260
261 VMUL.F32 q8, q8, q0 // multiplier
262 VMUL.F32 q9, q9, q1
263 VMUL.F32 q10, q10, q0
264 VMUL.F32 q11, q11, q1
265 VMUL.F32 q12, q12, q0
266 VMUL.F32 q13, q13, q1
267 VMUL.F32 q14, q14, q0
268 VMUL.F32 q15, q15, q1
269
270 VCVTN.S32.F32 q8, q8
271 VCVTN.S32.F32 q9, q9
272 VCVTN.S32.F32 q10, q10
273 VCVTN.S32.F32 q11, q11
274 VCVTN.S32.F32 q12, q12
275 VCVTN.S32.F32 q13, q13
276 VCVTN.S32.F32 q14, q14
277 VCVTN.S32.F32 q15, q15
278
279 VDUP.16 q0, d13[2] // output_zero_point
280
281 VQMOVN.S32 d16, q8
282 VQMOVN.S32 d17, q9
283 VQMOVN.S32 d18, q10
284 VQMOVN.S32 d19, q11
285 VQMOVN.S32 d20, q12
286 VQMOVN.S32 d21, q13
287 VQMOVN.S32 d22, q14
288 VQMOVN.S32 d23, q15
289
290 VQADD.S16 q8, q8, q0
291 VQADD.S16 q9, q9, q0
292 VQADD.S16 q10, q10, q0
293 VQADD.S16 q11, q11, q0
294
295 VDUP.8 q12, d13[6] // output_min
296
297 VQMOVN.S16 d0, q8
298 VQMOVN.S16 d1, q9
299 VQMOVN.S16 d2, q10
300 VQMOVN.S16 d3, q11
301
302 VDUP.8 q13, d13[7] // output_max
303
304 VMAX.S8 q0, q0, q12
305 VMAX.S8 q1, q1, q12
306
307 SUBS r1, r1, 8 // nc -= 8
308
309 VMIN.S8 q0, q0, q13
310 VMIN.S8 q1, q1, q13
311
312 # Store full 4 x 8
313 BLO 5f
314 VST1.8 {d3}, [r6], r7
315 VST1.8 {d2}, [r8], r7
316 VST1.8 {d1}, [r4], r7
317 VST1.8 {d0}, [r11], r7
318 SUB r2, r2, r14 // a -= ks
319 BHI 0b
320
321 VPOP {d10-d13}
322 ADD sp, sp, 20 // skip pad of 12, r2, r3
323 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
324
325 # Remainder- 1 to 7 bytes of A
326 .p2align 3
327 4:
328 AND r5, r5, 7 // kc remainder 1 to 7
329
330 VLD1.8 {d0}, [r3]
331 VLD1.8 {d10}, [r9]!
332 VLD1.8 {d2}, [r12]
333 VLD1.8 {d4}, [r10]
334 VLD1.8 {d6}, [r0]
335
336 VMOVL.S8 q0, d0
337 VMOVL.S8 q5, d10
338 VMOVL.S8 q1, d2
339 VMOVL.S8 q2, d4
340 VMOVL.S8 q3, d6
341 VMLAL.S16 q8, d10, d0[0]
342 VMLAL.S16 q9, d11, d0[0]
343 VMLAL.S16 q10, d10, d2[0]
344 VMLAL.S16 q11, d11, d2[0]
345 VMLAL.S16 q12, d10, d4[0]
346 VMLAL.S16 q13, d11, d4[0]
347 VMLAL.S16 q14, d10, d6[0]
348 VMLAL.S16 q15, d11, d6[0]
349 CMP r5, 2
350 BLO 3b
351
352 VLD1.8 {d10}, [r9]!
353 VMOVL.S8 q5, d10
354 VMLAL.S16 q8, d10, d0[1]
355 VMLAL.S16 q9, d11, d0[1]
356 VMLAL.S16 q10, d10, d2[1]
357 VMLAL.S16 q11, d11, d2[1]
358 VMLAL.S16 q12, d10, d4[1]
359 VMLAL.S16 q13, d11, d4[1]
360 VMLAL.S16 q14, d10, d6[1]
361 VMLAL.S16 q15, d11, d6[1]
362 BEQ 3b
363
364 VLD1.8 {d10}, [r9]!
365 VMOVL.S8 q5, d10
366 VMLAL.S16 q8, d10, d0[2]
367 VMLAL.S16 q9, d11, d0[2]
368 VMLAL.S16 q10, d10, d2[2]
369 VMLAL.S16 q11, d11, d2[2]
370 VMLAL.S16 q12, d10, d4[2]
371 VMLAL.S16 q13, d11, d4[2]
372 VMLAL.S16 q14, d10, d6[2]
373 VMLAL.S16 q15, d11, d6[2]
374 CMP r5, 4
375 BLO 3b
376
377 VLD1.8 {d10}, [r9]!
378 VMOVL.S8 q5, d10
379 VMLAL.S16 q8, d10, d0[3]
380 VMLAL.S16 q9, d11, d0[3]
381 VMLAL.S16 q10, d10, d2[3]
382 VMLAL.S16 q11, d11, d2[3]
383 VMLAL.S16 q12, d10, d4[3]
384 VMLAL.S16 q13, d11, d4[3]
385 VMLAL.S16 q14, d10, d6[3]
386 VMLAL.S16 q15, d11, d6[3]
387 BEQ 3b
388
389 VLD1.8 {d10}, [r9]!
390 VMOVL.S8 q5, d10
391 VMLAL.S16 q8, d10, d1[0]
392 VMLAL.S16 q9, d11, d1[0]
393 VMLAL.S16 q10, d10, d3[0]
394 VMLAL.S16 q11, d11, d3[0]
395 VMLAL.S16 q12, d10, d5[0]
396 VMLAL.S16 q13, d11, d5[0]
397 VMLAL.S16 q14, d10, d7[0]
398 VMLAL.S16 q15, d11, d7[0]
399 CMP r5, 6
400 BLO 3b
401
402 VLD1.8 {d10}, [r9]!
403 VMOVL.S8 q5, d10
404 VMLAL.S16 q8, d10, d1[1]
405 VMLAL.S16 q9, d11, d1[1]
406 VMLAL.S16 q10, d10, d3[1]
407 VMLAL.S16 q11, d11, d3[1]
408 VMLAL.S16 q12, d10, d5[1]
409 VMLAL.S16 q13, d11, d5[1]
410 VMLAL.S16 q14, d10, d7[1]
411 VMLAL.S16 q15, d11, d7[1]
412 BEQ 3b
413
414 VLD1.8 {d10}, [r9]!
415 VMOVL.S8 q5, d10
416 VMLAL.S16 q8, d10, d1[2]
417 VMLAL.S16 q9, d11, d1[2]
418 VMLAL.S16 q10, d10, d3[2]
419 VMLAL.S16 q11, d11, d3[2]
420 VMLAL.S16 q12, d10, d5[2]
421 VMLAL.S16 q13, d11, d5[2]
422 VMLAL.S16 q14, d10, d7[2]
423 VMLAL.S16 q15, d11, d7[2]
424 B 3b
425
426 # Store odd width
427 .p2align 3
428 5:
429 TST r1, 4
430 BEQ 6f
431 VST1.32 {d3[0]}, [r6]!
432 VST1.32 {d2[0]}, [r8]!
433 VST1.32 {d1[0]}, [r4]!
434 VST1.32 {d0[0]}, [r11]!
435 VEXT.8 q1, q1, q1, 4
436 VEXT.8 q0, q0, q0, 4
437 6:
438 TST r1, 2
439 BEQ 7f
440 VST1.16 {d3[0]}, [r6]!
441 VST1.16 {d2[0]}, [r8]!
442 VST1.16 {d1[0]}, [r4]!
443 VST1.16 {d0[0]}, [r11]!
444 VEXT.8 q1, q1, q1, 2
445 VEXT.8 q0, q0, q0, 2
446
447 7:
448 TST r1, 1
449 BEQ 8f
450 VST1.8 {d3[0]}, [r6]
451 VST1.8 {d2[0]}, [r8]
452 VST1.8 {d1[0]}, [r4]
453 VST1.8 {d0[0]}, [r11]
454
455 8:
456 VPOP {d10-d13}
457 ADD sp, sp, 20 // skip pad of 12, r2, r3
458 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
459
460 END_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neonv8_mlal_lane_ld64_prfm
461 #ifdef __ELF__
462 .section ".note.GNU-stack","",%progbits
463 #endif