Debian Codegraph @

src/qs8-qc8w-igemm/gen/qs8-qc8w-igemm-4x8-minmax-fp32-asm-aarch32-neon-mlal-lane-ld64.S

raw
1 // Auto-generated file. Do not edit!
2 // Template: src/qs8-igemm/4x8-aarch32-neon-mlal-lane-ld64.S.in
3 // Generator: tools/xngen
4 //
5 // Copyright 2021 Google LLC
6 //
7 // This source code is licensed under the BSD-style license found in the
8 // LICENSE file in the root directory of this source tree.
9
10
11 #include "xnnpack/assembly.h"
12
13 .syntax unified
14
15 // void xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neon_mlal_lane_ld64
16 // size_t mr, (r0)
17 // size_t nc, r1
18 // size_t kc, (r2) -> r5 -> sp + 44
19 // size_t ks, (r3) -> sp + 48 -> r14
20 // const int8_t** restrict a, sp + 88 -> r2
21 // const void* restrict w, sp + 92 -> r9
22 // int8_t* restrict c, sp + 96 -> r11
23 // size_t cm_stride, sp + 100 -> (r6)
24 // size_t cn_stride, sp + 104 -> (r7)
25 // size_t a_offset, sp + 108 -> (r5)
26 // const int8_t* zero, sp + 112 -> (r7)
27 // xnn_qs8_qc8w_conv_minmax_params*params); sp + 116 -> (r5)
28
29 // d8-d15, r4-r11,r14(lr) need to be preserved if used. r13(sp),r15(pc) are reserved.
30
31 // Register usage
32 // A0 r3 d0-d1 q0
33 // A1 r12 d2-d3 q1
34 // A2 r10 d4-d5 q2
35 // A3 r0 d6-d7 q3
36 // B r9 d10-d11 q5
37 // C0 r11 d16-d17 q8 d18-d19 q9
38 // C1 r4 d20-d21 q10 d22-d23 q11
39 // C2 r8 d24-d25 q12 d26-d27 q13
40 // C3 r6 d28-d29 q14 d30-d31 q15
41 // unused d13-d15
42
43 // params structure is 10 bytes
44 // struct {
45 // float magic_bias; d12[0]
46 // int32_t magic_bias_less_output_zero_point; d12[1]
47 // int8_t output_min; d13[6]
48 // int8_t output_max; d13[7]
49 // } xnn_qs8_minmax_params.neon;
50
51 BEGIN_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neon_mlal_lane_ld64
52 # Push 88 bytes
53 # r2 will be reloaded in outer loop. r3 is ks
54 PUSH {r2, r3, r4, r5, r6, r7, r8, r9, r10, r11, lr} // +44
55 SUB sp, sp, 12 // +12
56 VPUSH {d10-d13} // +32 = 88
57
58 LDR r11, [sp, 96] // c
59 LDR r6, [sp, 100] // cm_stride
60 LDR r2, [sp, 88] // a
61 LDR r9, [sp, 92] // w
62 LDR r5, [sp, 116] // params
63 MOV r14, r3 // p = ks
64
65 # Clamp C pointers
66 CMP r0, 2 // if mr >= 2
67 ADD r4, r11, r6 // c1 = c0 + cm_stride
68 MOVLO r4, r11 // c1
69 // if mr > 2
70 ADD r8, r4, r6 // c2 = c1 + cm_stride
71 MOVLS r8, r4 // c2
72 CMP r0, 4 // if mr >=4
73 ADD r6, r8, r6 // c3 = c2 + cm_stride
74 MOVLO r6, r8 // c3
75
76 # Load params values
77 VLDM r5!, {d12} // QC8 neon params
78 VLD1.16 {d13[]}, [r5]
79
80
81 .p2align 3
82 0:
83 # Load initial bias from w into accumulators
84 VLDM r9!, {d16-d19} // Bias
85 VMOV q10, q8
86 VMOV q11, q9
87 VMOV q12, q8
88 VMOV q13, q9
89 VMOV q14, q8
90 VMOV q15, q9
91
92 .p2align 3
93 1:
94 # Load next 4 A pointers
95 LDR r3, [r2, 0]
96 LDR r12, [r2, 4]
97 LDR r10, [r2, 8]
98 LDR r0, [r2, 12]
99 ADD r2, r2, 16
100
101
102 # Add a_offset
103 LDR r5, [sp, 108] // a_offset
104 LDR r7, [sp, 112] // zero
105 CMP r3, r7 // if a0 == zero
106 ADD r3, r3, r5 // a0 += a_offset
107 MOVEQ r3, r7 // a0 = zero, else += a0 + a_offset
108 CMP r12, r7 // if a1 == zero
109 ADD r12, r12, r5 // a1 += a_offset
110 MOVEQ r12, r7 // a1 = zero, else += a1 + a_offset
111 CMP r10, r7 // if a2 == zero
112 ADD r10, r10, r5 // a2 += a_offset
113 MOVEQ r10, r7 // a2 = zero, else += a2 + a_offset
114 CMP r0, r7 // if a3 == zero
115 ADD r0, r0, r5 // a3 += a_offset
116 LDR r5, [sp, 44] // kc
117 MOVEQ r0, r7 // a3 = zero, else += a3 + a_offset
118
119 SUBS r5, r5, 8 // kc - 8
120 BLO 4f // less than 8 channels?
121
122 # Main loop - 8 bytes
123 # 64 bytes for weights.
124 .p2align 3
125 2:
126 VLD1.8 {d0}, [r3]! // A0
127 VLD1.8 {d10}, [r9]! // B
128 VLD1.8 {d2}, [r12]! // A1
129 VLD1.8 {d4}, [r10]! // A2
130 VLD1.8 {d6}, [r0]! // A3
131 SUBS r5, r5, 8
132 VMOVL.S8 q0, d0
133 VMOVL.S8 q5, d10
134 VMOVL.S8 q1, d2
135 VMOVL.S8 q2, d4
136 VMOVL.S8 q3, d6
137 VMLAL.S16 q8, d10, d0[0]
138 VMLAL.S16 q9, d11, d0[0]
139 VMLAL.S16 q10, d10, d2[0]
140 VMLAL.S16 q11, d11, d2[0]
141 VMLAL.S16 q12, d10, d4[0]
142 VMLAL.S16 q13, d11, d4[0]
143 VMLAL.S16 q14, d10, d6[0]
144 VMLAL.S16 q15, d11, d6[0]
145
146 VLD1.8 {d10}, [r9]!
147 VMOVL.S8 q5, d10
148 VMLAL.S16 q8, d10, d0[1]
149 VMLAL.S16 q9, d11, d0[1]
150 VMLAL.S16 q10, d10, d2[1]
151 VMLAL.S16 q11, d11, d2[1]
152 VMLAL.S16 q12, d10, d4[1]
153 VMLAL.S16 q13, d11, d4[1]
154 VMLAL.S16 q14, d10, d6[1]
155 VMLAL.S16 q15, d11, d6[1]
156
157 VLD1.8 {d10}, [r9]!
158 VMOVL.S8 q5, d10
159 VMLAL.S16 q8, d10, d0[2]
160 VMLAL.S16 q9, d11, d0[2]
161 VMLAL.S16 q10, d10, d2[2]
162 VMLAL.S16 q11, d11, d2[2]
163 VMLAL.S16 q12, d10, d4[2]
164 VMLAL.S16 q13, d11, d4[2]
165 VMLAL.S16 q14, d10, d6[2]
166 VMLAL.S16 q15, d11, d6[2]
167
168 VLD1.8 {d10}, [r9]!
169 VMOVL.S8 q5, d10
170 VMLAL.S16 q8, d10, d0[3]
171 VMLAL.S16 q9, d11, d0[3]
172 VMLAL.S16 q10, d10, d2[3]
173 VMLAL.S16 q11, d11, d2[3]
174 VMLAL.S16 q12, d10, d4[3]
175 VMLAL.S16 q13, d11, d4[3]
176 VMLAL.S16 q14, d10, d6[3]
177 VMLAL.S16 q15, d11, d6[3]
178
179 VLD1.8 {d10}, [r9]!
180 VMOVL.S8 q5, d10
181 VMLAL.S16 q8, d10, d1[0]
182 VMLAL.S16 q9, d11, d1[0]
183 VMLAL.S16 q10, d10, d3[0]
184 VMLAL.S16 q11, d11, d3[0]
185 VMLAL.S16 q12, d10, d5[0]
186 VMLAL.S16 q13, d11, d5[0]
187 VMLAL.S16 q14, d10, d7[0]
188 VMLAL.S16 q15, d11, d7[0]
189
190 VLD1.8 {d10}, [r9]!
191 VMOVL.S8 q5, d10
192 VMLAL.S16 q8, d10, d1[1]
193 VMLAL.S16 q9, d11, d1[1]
194 VMLAL.S16 q10, d10, d3[1]
195 VMLAL.S16 q11, d11, d3[1]
196 VMLAL.S16 q12, d10, d5[1]
197 VMLAL.S16 q13, d11, d5[1]
198 VMLAL.S16 q14, d10, d7[1]
199 VMLAL.S16 q15, d11, d7[1]
200
201 VLD1.8 {d10}, [r9]!
202 VMOVL.S8 q5, d10
203 VMLAL.S16 q8, d10, d1[2]
204 VMLAL.S16 q9, d11, d1[2]
205 VMLAL.S16 q10, d10, d3[2]
206 VMLAL.S16 q11, d11, d3[2]
207 VMLAL.S16 q12, d10, d5[2]
208 VMLAL.S16 q13, d11, d5[2]
209 VMLAL.S16 q14, d10, d7[2]
210 VMLAL.S16 q15, d11, d7[2]
211
212 VLD1.8 {d10}, [r9]!
213 VMOVL.S8 q5, d10
214 VMLAL.S16 q8, d10, d1[3]
215 VMLAL.S16 q9, d11, d1[3]
216 VMLAL.S16 q10, d10, d3[3]
217 VMLAL.S16 q11, d11, d3[3]
218 VMLAL.S16 q12, d10, d5[3]
219 VMLAL.S16 q13, d11, d5[3]
220 VMLAL.S16 q14, d10, d7[3]
221 VMLAL.S16 q15, d11, d7[3]
222 BHS 2b
223
224 # Is there a remainder?- 1-7 bytes of A
225 ADDS r5, r5, 8
226 BNE 4f
227
228 3:
229 # ks loop
230 SUBS r14, r14, 16 // ks -= MR * sizeof(void*)
231 BHI 1b
232
233 LDR r7, [sp, 104] // cn_stride
234 LDR r14, [sp, 48] // p = ks
235
236 # QC8 FP32 quantization
237 VLD1.8 {q0-q1}, [r9]!
238
239 VDUP.32 q2, d12[0] // magic_bias
240 VDUP.32 q3, d12[1] // magic_bias_less_output_zero_point
241
242 VCVT.F32.S32 q8, q8
243 VCVT.F32.S32 q9, q9
244 VCVT.F32.S32 q10, q10
245 VCVT.F32.S32 q11, q11
246 VCVT.F32.S32 q12, q12
247 VCVT.F32.S32 q13, q13
248 VCVT.F32.S32 q14, q14
249 VCVT.F32.S32 q15, q15
250
251 VMUL.F32 q8, q8, q0 // multiplier
252 VMUL.F32 q9, q9, q1
253 VMUL.F32 q10, q10, q0
254 VMUL.F32 q11, q11, q1
255 VMUL.F32 q12, q12, q0
256 VMUL.F32 q13, q13, q1
257 VMUL.F32 q14, q14, q0
258 VMUL.F32 q15, q15, q1
259
260 VADD.F32 q8, q8, q2 // magic_bias
261 VADD.F32 q9, q9, q2
262 VADD.F32 q10, q10, q2
263 VADD.F32 q11, q11, q2
264 VADD.F32 q12, q12, q2
265 VADD.F32 q13, q13, q2
266 VADD.F32 q14, q14, q2
267 VADD.F32 q15, q15, q2
268
269 VQSUB.S32 q8, q8, q3 // magic_bias_less_output_zero_point
270 VQSUB.S32 q9, q9, q3
271 VQSUB.S32 q10, q10, q3
272 VQSUB.S32 q11, q11, q3
273 VQSUB.S32 q12, q12, q3
274 VQSUB.S32 q13, q13, q3
275 VQSUB.S32 q14, q14, q3
276 VQSUB.S32 q15, q15, q3
277
278
279 VQMOVN.S32 d16, q8
280 VQMOVN.S32 d17, q9
281 VQMOVN.S32 d18, q10
282 VQMOVN.S32 d19, q11
283 VQMOVN.S32 d20, q12
284 VQMOVN.S32 d21, q13
285 VQMOVN.S32 d22, q14
286 VQMOVN.S32 d23, q15
287
288
289 VDUP.8 q12, d13[6] // output_min
290
291 VQMOVN.S16 d0, q8
292 VQMOVN.S16 d1, q9
293 VQMOVN.S16 d2, q10
294 VQMOVN.S16 d3, q11
295
296 VDUP.8 q13, d13[7] // output_max
297
298 VMAX.S8 q0, q0, q12
299 VMAX.S8 q1, q1, q12
300
301 SUBS r1, r1, 8 // nc -= 8
302
303 VMIN.S8 q0, q0, q13
304 VMIN.S8 q1, q1, q13
305
306 # Store full 4 x 8
307 BLO 5f
308 VST1.8 {d3}, [r6], r7
309 VST1.8 {d2}, [r8], r7
310 VST1.8 {d1}, [r4], r7
311 VST1.8 {d0}, [r11], r7
312 SUB r2, r2, r14 // a -= ks
313 BHI 0b
314
315 VPOP {d10-d13}
316 ADD sp, sp, 20 // skip pad of 12, r2, r3
317 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
318
319 # Remainder- 1 to 7 bytes of A
320 .p2align 3
321 4:
322 AND r5, r5, 7 // kc remainder 1 to 7
323
324 VLD1.8 {d0}, [r3]
325 VLD1.8 {d10}, [r9]!
326 VLD1.8 {d2}, [r12]
327 VLD1.8 {d4}, [r10]
328 VLD1.8 {d6}, [r0]
329
330 VMOVL.S8 q0, d0
331 VMOVL.S8 q5, d10
332 VMOVL.S8 q1, d2
333 VMOVL.S8 q2, d4
334 VMOVL.S8 q3, d6
335 VMLAL.S16 q8, d10, d0[0]
336 VMLAL.S16 q9, d11, d0[0]
337 VMLAL.S16 q10, d10, d2[0]
338 VMLAL.S16 q11, d11, d2[0]
339 VMLAL.S16 q12, d10, d4[0]
340 VMLAL.S16 q13, d11, d4[0]
341 VMLAL.S16 q14, d10, d6[0]
342 VMLAL.S16 q15, d11, d6[0]
343 CMP r5, 2
344 BLO 3b
345
346 VLD1.8 {d10}, [r9]!
347 VMOVL.S8 q5, d10
348 VMLAL.S16 q8, d10, d0[1]
349 VMLAL.S16 q9, d11, d0[1]
350 VMLAL.S16 q10, d10, d2[1]
351 VMLAL.S16 q11, d11, d2[1]
352 VMLAL.S16 q12, d10, d4[1]
353 VMLAL.S16 q13, d11, d4[1]
354 VMLAL.S16 q14, d10, d6[1]
355 VMLAL.S16 q15, d11, d6[1]
356 BEQ 3b
357
358 VLD1.8 {d10}, [r9]!
359 VMOVL.S8 q5, d10
360 VMLAL.S16 q8, d10, d0[2]
361 VMLAL.S16 q9, d11, d0[2]
362 VMLAL.S16 q10, d10, d2[2]
363 VMLAL.S16 q11, d11, d2[2]
364 VMLAL.S16 q12, d10, d4[2]
365 VMLAL.S16 q13, d11, d4[2]
366 VMLAL.S16 q14, d10, d6[2]
367 VMLAL.S16 q15, d11, d6[2]
368 CMP r5, 4
369 BLO 3b
370
371 VLD1.8 {d10}, [r9]!
372 VMOVL.S8 q5, d10
373 VMLAL.S16 q8, d10, d0[3]
374 VMLAL.S16 q9, d11, d0[3]
375 VMLAL.S16 q10, d10, d2[3]
376 VMLAL.S16 q11, d11, d2[3]
377 VMLAL.S16 q12, d10, d4[3]
378 VMLAL.S16 q13, d11, d4[3]
379 VMLAL.S16 q14, d10, d6[3]
380 VMLAL.S16 q15, d11, d6[3]
381 BEQ 3b
382
383 VLD1.8 {d10}, [r9]!
384 VMOVL.S8 q5, d10
385 VMLAL.S16 q8, d10, d1[0]
386 VMLAL.S16 q9, d11, d1[0]
387 VMLAL.S16 q10, d10, d3[0]
388 VMLAL.S16 q11, d11, d3[0]
389 VMLAL.S16 q12, d10, d5[0]
390 VMLAL.S16 q13, d11, d5[0]
391 VMLAL.S16 q14, d10, d7[0]
392 VMLAL.S16 q15, d11, d7[0]
393 CMP r5, 6
394 BLO 3b
395
396 VLD1.8 {d10}, [r9]!
397 VMOVL.S8 q5, d10
398 VMLAL.S16 q8, d10, d1[1]
399 VMLAL.S16 q9, d11, d1[1]
400 VMLAL.S16 q10, d10, d3[1]
401 VMLAL.S16 q11, d11, d3[1]
402 VMLAL.S16 q12, d10, d5[1]
403 VMLAL.S16 q13, d11, d5[1]
404 VMLAL.S16 q14, d10, d7[1]
405 VMLAL.S16 q15, d11, d7[1]
406 BEQ 3b
407
408 VLD1.8 {d10}, [r9]!
409 VMOVL.S8 q5, d10
410 VMLAL.S16 q8, d10, d1[2]
411 VMLAL.S16 q9, d11, d1[2]
412 VMLAL.S16 q10, d10, d3[2]
413 VMLAL.S16 q11, d11, d3[2]
414 VMLAL.S16 q12, d10, d5[2]
415 VMLAL.S16 q13, d11, d5[2]
416 VMLAL.S16 q14, d10, d7[2]
417 VMLAL.S16 q15, d11, d7[2]
418 B 3b
419
420 # Store odd width
421 .p2align 3
422 5:
423 TST r1, 4
424 BEQ 6f
425 VST1.32 {d3[0]}, [r6]!
426 VST1.32 {d2[0]}, [r8]!
427 VST1.32 {d1[0]}, [r4]!
428 VST1.32 {d0[0]}, [r11]!
429 VEXT.8 q1, q1, q1, 4
430 VEXT.8 q0, q0, q0, 4
431 6:
432 TST r1, 2
433 BEQ 7f
434 VST1.16 {d3[0]}, [r6]!
435 VST1.16 {d2[0]}, [r8]!
436 VST1.16 {d1[0]}, [r4]!
437 VST1.16 {d0[0]}, [r11]!
438 VEXT.8 q1, q1, q1, 2
439 VEXT.8 q0, q0, q0, 2
440
441 7:
442 TST r1, 1
443 BEQ 8f
444 VST1.8 {d3[0]}, [r6]
445 VST1.8 {d2[0]}, [r8]
446 VST1.8 {d1[0]}, [r4]
447 VST1.8 {d0[0]}, [r11]
448
449 8:
450 VPOP {d10-d13}
451 ADD sp, sp, 20 // skip pad of 12, r2, r3
452 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
453
454 END_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neon_mlal_lane_ld64
455 #ifdef __ELF__
456 .section ".note.GNU-stack","",%progbits
457 #endif