Debian Codegraph @

src/qs8-qc8w-igemm/gen/qs8-qc8w-igemm-4x8-minmax-fp32-asm-aarch32-neon-mlal-lane-ld64-prfm.S

raw
1 // Auto-generated file. Do not edit!
2 // Template: src/qs8-igemm/4x8-aarch32-neon-mlal-lane-ld64.S.in
3 // Generator: tools/xngen
4 //
5 // Copyright 2021 Google LLC
6 //
7 // This source code is licensed under the BSD-style license found in the
8 // LICENSE file in the root directory of this source tree.
9
10
11 #include "xnnpack/assembly.h"
12
13 .syntax unified
14
15 // void xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neon_mlal_lane_ld64_prfm
16 // size_t mr, (r0)
17 // size_t nc, r1
18 // size_t kc, (r2) -> r5 -> sp + 44
19 // size_t ks, (r3) -> sp + 48 -> r14
20 // const int8_t** restrict a, sp + 88 -> r2
21 // const void* restrict w, sp + 92 -> r9
22 // int8_t* restrict c, sp + 96 -> r11
23 // size_t cm_stride, sp + 100 -> (r6)
24 // size_t cn_stride, sp + 104 -> (r7)
25 // size_t a_offset, sp + 108 -> (r5)
26 // const int8_t* zero, sp + 112 -> (r7)
27 // xnn_qs8_qc8w_conv_minmax_params*params); sp + 116 -> (r5)
28
29 // d8-d15, r4-r11,r14(lr) need to be preserved if used. r13(sp),r15(pc) are reserved.
30
31 // Register usage
32 // A0 r3 d0-d1 q0
33 // A1 r12 d2-d3 q1
34 // A2 r10 d4-d5 q2
35 // A3 r0 d6-d7 q3
36 // B r9 d10-d11 q5
37 // C0 r11 d16-d17 q8 d18-d19 q9
38 // C1 r4 d20-d21 q10 d22-d23 q11
39 // C2 r8 d24-d25 q12 d26-d27 q13
40 // C3 r6 d28-d29 q14 d30-d31 q15
41 // unused d13-d15
42
43 // params structure is 10 bytes
44 // struct {
45 // float magic_bias; d12[0]
46 // int32_t magic_bias_less_output_zero_point; d12[1]
47 // int8_t output_min; d13[6]
48 // int8_t output_max; d13[7]
49 // } xnn_qs8_minmax_params.neon;
50
51 BEGIN_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neon_mlal_lane_ld64_prfm
52 # Push 88 bytes
53 # r2 will be reloaded in outer loop. r3 is ks
54 PUSH {r2, r3, r4, r5, r6, r7, r8, r9, r10, r11, lr} // +44
55 SUB sp, sp, 12 // +12
56 VPUSH {d10-d13} // +32 = 88
57
58 LDR r11, [sp, 96] // c
59 LDR r6, [sp, 100] // cm_stride
60 LDR r2, [sp, 88] // a
61 LDR r9, [sp, 92] // w
62 LDR r5, [sp, 116] // params
63 MOV r14, r3 // p = ks
64
65 # Clamp C pointers
66 CMP r0, 2 // if mr >= 2
67 ADD r4, r11, r6 // c1 = c0 + cm_stride
68 MOVLO r4, r11 // c1
69 // if mr > 2
70 ADD r8, r4, r6 // c2 = c1 + cm_stride
71 MOVLS r8, r4 // c2
72 CMP r0, 4 // if mr >=4
73 ADD r6, r8, r6 // c3 = c2 + cm_stride
74 MOVLO r6, r8 // c3
75
76 # Load params values
77 VLDM r5!, {d12} // QC8 neon params
78 VLD1.16 {d13[]}, [r5]
79
80 PLD [r9, 64] // Prefetch B
81 PLD [r9, 128]
82 PLD [r9, 192]
83 PLD [r9, 256]
84 PLD [r9, 320]
85 PLD [r9, 384]
86
87 .p2align 3
88 0:
89 # Load initial bias from w into accumulators
90 VLDM r9!, {d16-d19} // Bias
91 VMOV q10, q8
92 VMOV q11, q9
93 VMOV q12, q8
94 VMOV q13, q9
95 VMOV q14, q8
96 VMOV q15, q9
97
98 .p2align 3
99 1:
100 # Load next 4 A pointers
101 LDR r3, [r2, 0]
102 LDR r12, [r2, 4]
103 LDR r10, [r2, 8]
104 LDR r0, [r2, 12]
105 ADD r2, r2, 16
106
107 PLD [r3, 64]
108 PLD [r12, 64]
109 PLD [r10, 64]
110 PLD [r0, 64]
111
112 # Add a_offset
113 LDR r5, [sp, 108] // a_offset
114 LDR r7, [sp, 112] // zero
115 CMP r3, r7 // if a0 == zero
116 ADD r3, r3, r5 // a0 += a_offset
117 MOVEQ r3, r7 // a0 = zero, else += a0 + a_offset
118 CMP r12, r7 // if a1 == zero
119 ADD r12, r12, r5 // a1 += a_offset
120 MOVEQ r12, r7 // a1 = zero, else += a1 + a_offset
121 CMP r10, r7 // if a2 == zero
122 ADD r10, r10, r5 // a2 += a_offset
123 MOVEQ r10, r7 // a2 = zero, else += a2 + a_offset
124 CMP r0, r7 // if a3 == zero
125 ADD r0, r0, r5 // a3 += a_offset
126 LDR r5, [sp, 44] // kc
127 MOVEQ r0, r7 // a3 = zero, else += a3 + a_offset
128
129 SUBS r5, r5, 8 // kc - 8
130 BLO 4f // less than 8 channels?
131
132 # Main loop - 8 bytes
133 # 64 bytes for weights.
134 .p2align 3
135 2:
136 VLD1.8 {d0}, [r3]! // A0
137 VLD1.8 {d10}, [r9]! // B
138 VLD1.8 {d2}, [r12]! // A1
139 VLD1.8 {d4}, [r10]! // A2
140 VLD1.8 {d6}, [r0]! // A3
141 SUBS r5, r5, 8
142 PLD [r3, 128]
143 VMOVL.S8 q0, d0
144 PLD [r12, 128]
145 VMOVL.S8 q5, d10
146 PLD [r10, 128]
147 VMOVL.S8 q1, d2
148 PLD [r0, 128]
149 VMOVL.S8 q2, d4
150 PLD [r9, 448]
151 VMOVL.S8 q3, d6
152 VMLAL.S16 q8, d10, d0[0]
153 VMLAL.S16 q9, d11, d0[0]
154 VMLAL.S16 q10, d10, d2[0]
155 VMLAL.S16 q11, d11, d2[0]
156 VMLAL.S16 q12, d10, d4[0]
157 VMLAL.S16 q13, d11, d4[0]
158 VMLAL.S16 q14, d10, d6[0]
159 VMLAL.S16 q15, d11, d6[0]
160
161 VLD1.8 {d10}, [r9]!
162 VMOVL.S8 q5, d10
163 VMLAL.S16 q8, d10, d0[1]
164 VMLAL.S16 q9, d11, d0[1]
165 VMLAL.S16 q10, d10, d2[1]
166 VMLAL.S16 q11, d11, d2[1]
167 VMLAL.S16 q12, d10, d4[1]
168 VMLAL.S16 q13, d11, d4[1]
169 VMLAL.S16 q14, d10, d6[1]
170 VMLAL.S16 q15, d11, d6[1]
171
172 VLD1.8 {d10}, [r9]!
173 VMOVL.S8 q5, d10
174 VMLAL.S16 q8, d10, d0[2]
175 VMLAL.S16 q9, d11, d0[2]
176 VMLAL.S16 q10, d10, d2[2]
177 VMLAL.S16 q11, d11, d2[2]
178 VMLAL.S16 q12, d10, d4[2]
179 VMLAL.S16 q13, d11, d4[2]
180 VMLAL.S16 q14, d10, d6[2]
181 VMLAL.S16 q15, d11, d6[2]
182
183 VLD1.8 {d10}, [r9]!
184 VMOVL.S8 q5, d10
185 VMLAL.S16 q8, d10, d0[3]
186 VMLAL.S16 q9, d11, d0[3]
187 VMLAL.S16 q10, d10, d2[3]
188 VMLAL.S16 q11, d11, d2[3]
189 VMLAL.S16 q12, d10, d4[3]
190 VMLAL.S16 q13, d11, d4[3]
191 VMLAL.S16 q14, d10, d6[3]
192 VMLAL.S16 q15, d11, d6[3]
193
194 VLD1.8 {d10}, [r9]!
195 VMOVL.S8 q5, d10
196 VMLAL.S16 q8, d10, d1[0]
197 VMLAL.S16 q9, d11, d1[0]
198 VMLAL.S16 q10, d10, d3[0]
199 VMLAL.S16 q11, d11, d3[0]
200 VMLAL.S16 q12, d10, d5[0]
201 VMLAL.S16 q13, d11, d5[0]
202 VMLAL.S16 q14, d10, d7[0]
203 VMLAL.S16 q15, d11, d7[0]
204
205 VLD1.8 {d10}, [r9]!
206 VMOVL.S8 q5, d10
207 VMLAL.S16 q8, d10, d1[1]
208 VMLAL.S16 q9, d11, d1[1]
209 VMLAL.S16 q10, d10, d3[1]
210 VMLAL.S16 q11, d11, d3[1]
211 VMLAL.S16 q12, d10, d5[1]
212 VMLAL.S16 q13, d11, d5[1]
213 VMLAL.S16 q14, d10, d7[1]
214 VMLAL.S16 q15, d11, d7[1]
215
216 VLD1.8 {d10}, [r9]!
217 VMOVL.S8 q5, d10
218 VMLAL.S16 q8, d10, d1[2]
219 VMLAL.S16 q9, d11, d1[2]
220 VMLAL.S16 q10, d10, d3[2]
221 VMLAL.S16 q11, d11, d3[2]
222 VMLAL.S16 q12, d10, d5[2]
223 VMLAL.S16 q13, d11, d5[2]
224 VMLAL.S16 q14, d10, d7[2]
225 VMLAL.S16 q15, d11, d7[2]
226
227 VLD1.8 {d10}, [r9]!
228 VMOVL.S8 q5, d10
229 VMLAL.S16 q8, d10, d1[3]
230 VMLAL.S16 q9, d11, d1[3]
231 VMLAL.S16 q10, d10, d3[3]
232 VMLAL.S16 q11, d11, d3[3]
233 VMLAL.S16 q12, d10, d5[3]
234 VMLAL.S16 q13, d11, d5[3]
235 VMLAL.S16 q14, d10, d7[3]
236 VMLAL.S16 q15, d11, d7[3]
237 BHS 2b
238
239 # Is there a remainder?- 1-7 bytes of A
240 ADDS r5, r5, 8
241 BNE 4f
242
243 3:
244 # ks loop
245 SUBS r14, r14, 16 // ks -= MR * sizeof(void*)
246 BHI 1b
247
248 LDR r7, [sp, 104] // cn_stride
249 LDR r14, [sp, 48] // p = ks
250
251 # QC8 FP32 quantization
252 VLD1.8 {q0-q1}, [r9]!
253
254 VDUP.32 q2, d12[0] // magic_bias
255 VDUP.32 q3, d12[1] // magic_bias_less_output_zero_point
256
257 VCVT.F32.S32 q8, q8
258 VCVT.F32.S32 q9, q9
259 VCVT.F32.S32 q10, q10
260 VCVT.F32.S32 q11, q11
261 VCVT.F32.S32 q12, q12
262 VCVT.F32.S32 q13, q13
263 VCVT.F32.S32 q14, q14
264 VCVT.F32.S32 q15, q15
265
266 VMUL.F32 q8, q8, q0 // multiplier
267 VMUL.F32 q9, q9, q1
268 VMUL.F32 q10, q10, q0
269 VMUL.F32 q11, q11, q1
270 VMUL.F32 q12, q12, q0
271 VMUL.F32 q13, q13, q1
272 VMUL.F32 q14, q14, q0
273 VMUL.F32 q15, q15, q1
274
275 VADD.F32 q8, q8, q2 // magic_bias
276 VADD.F32 q9, q9, q2
277 VADD.F32 q10, q10, q2
278 VADD.F32 q11, q11, q2
279 VADD.F32 q12, q12, q2
280 VADD.F32 q13, q13, q2
281 VADD.F32 q14, q14, q2
282 VADD.F32 q15, q15, q2
283
284 VQSUB.S32 q8, q8, q3 // magic_bias_less_output_zero_point
285 VQSUB.S32 q9, q9, q3
286 VQSUB.S32 q10, q10, q3
287 VQSUB.S32 q11, q11, q3
288 VQSUB.S32 q12, q12, q3
289 VQSUB.S32 q13, q13, q3
290 VQSUB.S32 q14, q14, q3
291 VQSUB.S32 q15, q15, q3
292
293
294 VQMOVN.S32 d16, q8
295 VQMOVN.S32 d17, q9
296 VQMOVN.S32 d18, q10
297 VQMOVN.S32 d19, q11
298 VQMOVN.S32 d20, q12
299 VQMOVN.S32 d21, q13
300 VQMOVN.S32 d22, q14
301 VQMOVN.S32 d23, q15
302
303
304 VDUP.8 q12, d13[6] // output_min
305
306 VQMOVN.S16 d0, q8
307 VQMOVN.S16 d1, q9
308 VQMOVN.S16 d2, q10
309 VQMOVN.S16 d3, q11
310
311 VDUP.8 q13, d13[7] // output_max
312
313 VMAX.S8 q0, q0, q12
314 VMAX.S8 q1, q1, q12
315
316 SUBS r1, r1, 8 // nc -= 8
317
318 VMIN.S8 q0, q0, q13
319 VMIN.S8 q1, q1, q13
320
321 # Store full 4 x 8
322 BLO 5f
323 VST1.8 {d3}, [r6], r7
324 VST1.8 {d2}, [r8], r7
325 VST1.8 {d1}, [r4], r7
326 VST1.8 {d0}, [r11], r7
327 SUB r2, r2, r14 // a -= ks
328 BHI 0b
329
330 VPOP {d10-d13}
331 ADD sp, sp, 20 // skip pad of 12, r2, r3
332 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
333
334 # Remainder- 1 to 7 bytes of A
335 .p2align 3
336 4:
337 AND r5, r5, 7 // kc remainder 1 to 7
338
339 VLD1.8 {d0}, [r3]
340 VLD1.8 {d10}, [r9]!
341 VLD1.8 {d2}, [r12]
342 VLD1.8 {d4}, [r10]
343 VLD1.8 {d6}, [r0]
344
345 VMOVL.S8 q0, d0
346 VMOVL.S8 q5, d10
347 VMOVL.S8 q1, d2
348 VMOVL.S8 q2, d4
349 VMOVL.S8 q3, d6
350 VMLAL.S16 q8, d10, d0[0]
351 VMLAL.S16 q9, d11, d0[0]
352 VMLAL.S16 q10, d10, d2[0]
353 VMLAL.S16 q11, d11, d2[0]
354 VMLAL.S16 q12, d10, d4[0]
355 VMLAL.S16 q13, d11, d4[0]
356 VMLAL.S16 q14, d10, d6[0]
357 VMLAL.S16 q15, d11, d6[0]
358 CMP r5, 2
359 BLO 3b
360
361 VLD1.8 {d10}, [r9]!
362 VMOVL.S8 q5, d10
363 VMLAL.S16 q8, d10, d0[1]
364 VMLAL.S16 q9, d11, d0[1]
365 VMLAL.S16 q10, d10, d2[1]
366 VMLAL.S16 q11, d11, d2[1]
367 VMLAL.S16 q12, d10, d4[1]
368 VMLAL.S16 q13, d11, d4[1]
369 VMLAL.S16 q14, d10, d6[1]
370 VMLAL.S16 q15, d11, d6[1]
371 BEQ 3b
372
373 VLD1.8 {d10}, [r9]!
374 VMOVL.S8 q5, d10
375 VMLAL.S16 q8, d10, d0[2]
376 VMLAL.S16 q9, d11, d0[2]
377 VMLAL.S16 q10, d10, d2[2]
378 VMLAL.S16 q11, d11, d2[2]
379 VMLAL.S16 q12, d10, d4[2]
380 VMLAL.S16 q13, d11, d4[2]
381 VMLAL.S16 q14, d10, d6[2]
382 VMLAL.S16 q15, d11, d6[2]
383 CMP r5, 4
384 BLO 3b
385
386 VLD1.8 {d10}, [r9]!
387 VMOVL.S8 q5, d10
388 VMLAL.S16 q8, d10, d0[3]
389 VMLAL.S16 q9, d11, d0[3]
390 VMLAL.S16 q10, d10, d2[3]
391 VMLAL.S16 q11, d11, d2[3]
392 VMLAL.S16 q12, d10, d4[3]
393 VMLAL.S16 q13, d11, d4[3]
394 VMLAL.S16 q14, d10, d6[3]
395 VMLAL.S16 q15, d11, d6[3]
396 BEQ 3b
397
398 VLD1.8 {d10}, [r9]!
399 VMOVL.S8 q5, d10
400 VMLAL.S16 q8, d10, d1[0]
401 VMLAL.S16 q9, d11, d1[0]
402 VMLAL.S16 q10, d10, d3[0]
403 VMLAL.S16 q11, d11, d3[0]
404 VMLAL.S16 q12, d10, d5[0]
405 VMLAL.S16 q13, d11, d5[0]
406 VMLAL.S16 q14, d10, d7[0]
407 VMLAL.S16 q15, d11, d7[0]
408 CMP r5, 6
409 BLO 3b
410
411 VLD1.8 {d10}, [r9]!
412 VMOVL.S8 q5, d10
413 VMLAL.S16 q8, d10, d1[1]
414 VMLAL.S16 q9, d11, d1[1]
415 VMLAL.S16 q10, d10, d3[1]
416 VMLAL.S16 q11, d11, d3[1]
417 VMLAL.S16 q12, d10, d5[1]
418 VMLAL.S16 q13, d11, d5[1]
419 VMLAL.S16 q14, d10, d7[1]
420 VMLAL.S16 q15, d11, d7[1]
421 BEQ 3b
422
423 VLD1.8 {d10}, [r9]!
424 VMOVL.S8 q5, d10
425 VMLAL.S16 q8, d10, d1[2]
426 VMLAL.S16 q9, d11, d1[2]
427 VMLAL.S16 q10, d10, d3[2]
428 VMLAL.S16 q11, d11, d3[2]
429 VMLAL.S16 q12, d10, d5[2]
430 VMLAL.S16 q13, d11, d5[2]
431 VMLAL.S16 q14, d10, d7[2]
432 VMLAL.S16 q15, d11, d7[2]
433 B 3b
434
435 # Store odd width
436 .p2align 3
437 5:
438 TST r1, 4
439 BEQ 6f
440 VST1.32 {d3[0]}, [r6]!
441 VST1.32 {d2[0]}, [r8]!
442 VST1.32 {d1[0]}, [r4]!
443 VST1.32 {d0[0]}, [r11]!
444 VEXT.8 q1, q1, q1, 4
445 VEXT.8 q0, q0, q0, 4
446 6:
447 TST r1, 2
448 BEQ 7f
449 VST1.16 {d3[0]}, [r6]!
450 VST1.16 {d2[0]}, [r8]!
451 VST1.16 {d1[0]}, [r4]!
452 VST1.16 {d0[0]}, [r11]!
453 VEXT.8 q1, q1, q1, 2
454 VEXT.8 q0, q0, q0, 2
455
456 7:
457 TST r1, 1
458 BEQ 8f
459 VST1.8 {d3[0]}, [r6]
460 VST1.8 {d2[0]}, [r8]
461 VST1.8 {d1[0]}, [r4]
462 VST1.8 {d0[0]}, [r11]
463
464 8:
465 VPOP {d10-d13}
466 ADD sp, sp, 20 // skip pad of 12, r2, r3
467 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
468
469 END_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neon_mlal_lane_ld64_prfm
470 #ifdef __ELF__
471 .section ".note.GNU-stack","",%progbits
472 #endif