Debian Codegraph @

src/qs8-qc8w-igemm/gen/qs8-qc8w-igemm-4x8-minmax-fp32-asm-aarch32-neonv8-mlal-lane-ld64.S

raw
1 // Auto-generated file. Do not edit!
2 // Template: src/qs8-igemm/4x8-aarch32-neon-mlal-lane-ld64.S.in
3 // Generator: tools/xngen
4 //
5 // Copyright 2021 Google LLC
6 //
7 // This source code is licensed under the BSD-style license found in the
8 // LICENSE file in the root directory of this source tree.
9
10
11 #include "xnnpack/assembly.h"
12
13 .syntax unified
14
15 // void xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neonv8_mlal_lane_ld64
16 // size_t mr, (r0)
17 // size_t nc, r1
18 // size_t kc, (r2) -> r5 -> sp + 44
19 // size_t ks, (r3) -> sp + 48 -> r14
20 // const int8_t** restrict a, sp + 88 -> r2
21 // const void* restrict w, sp + 92 -> r9
22 // int8_t* restrict c, sp + 96 -> r11
23 // size_t cm_stride, sp + 100 -> (r6)
24 // size_t cn_stride, sp + 104 -> (r7)
25 // size_t a_offset, sp + 108 -> (r5)
26 // const int8_t* zero, sp + 112 -> (r7)
27 // xnn_qs8_qc8w_conv_minmax_params*params); sp + 116 -> (r5)
28
29 // d8-d15, r4-r11,r14(lr) need to be preserved if used. r13(sp),r15(pc) are reserved.
30
31 // Register usage
32 // A0 r3 d0-d1 q0
33 // A1 r12 d2-d3 q1
34 // A2 r10 d4-d5 q2
35 // A3 r0 d6-d7 q3
36 // B r9 d10-d11 q5
37 // C0 r11 d16-d17 q8 d18-d19 q9
38 // C1 r4 d20-d21 q10 d22-d23 q11
39 // C2 r8 d24-d25 q12 d26-d27 q13
40 // C3 r6 d28-d29 q14 d30-d31 q15
41 // unused d13-d15
42
43 // params structure is 4 bytes
44 // struct {
45 // int16_t output_zero_point; d13[2]
46 // int8_t output_min; d13[6]
47 // int8_t output_max; d13[7]
48 // } xnn_qs8_minmax_params.neonv8;
49
50 BEGIN_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neonv8_mlal_lane_ld64
51 # Push 88 bytes
52 # r2 will be reloaded in outer loop. r3 is ks
53 PUSH {r2, r3, r4, r5, r6, r7, r8, r9, r10, r11, lr} // +44
54 SUB sp, sp, 12 // +12
55 VPUSH {d10-d13} // +32 = 88
56
57 LDR r11, [sp, 96] // c
58 LDR r6, [sp, 100] // cm_stride
59 LDR r2, [sp, 88] // a
60 LDR r9, [sp, 92] // w
61 LDR r5, [sp, 116] // params
62 MOV r14, r3 // p = ks
63
64 # Clamp C pointers
65 CMP r0, 2 // if mr >= 2
66 ADD r4, r11, r6 // c1 = c0 + cm_stride
67 MOVLO r4, r11 // c1
68 // if mr > 2
69 ADD r8, r4, r6 // c2 = c1 + cm_stride
70 MOVLS r8, r4 // c2
71 CMP r0, 4 // if mr >=4
72 ADD r6, r8, r6 // c3 = c2 + cm_stride
73 MOVLO r6, r8 // c3
74
75 # Load params values
76 VLD1.32 {d13[]}, [r5] // QC8 neonv8 params
77
78
79 .p2align 3
80 0:
81 # Load initial bias from w into accumulators
82 VLDM r9!, {d16-d19} // Bias
83 VMOV q10, q8
84 VMOV q11, q9
85 VMOV q12, q8
86 VMOV q13, q9
87 VMOV q14, q8
88 VMOV q15, q9
89
90 .p2align 3
91 1:
92 # Load next 4 A pointers
93 LDR r3, [r2, 0]
94 LDR r12, [r2, 4]
95 LDR r10, [r2, 8]
96 LDR r0, [r2, 12]
97 ADD r2, r2, 16
98
99
100 # Add a_offset
101 LDR r5, [sp, 108] // a_offset
102 LDR r7, [sp, 112] // zero
103 CMP r3, r7 // if a0 == zero
104 ADD r3, r3, r5 // a0 += a_offset
105 MOVEQ r3, r7 // a0 = zero, else += a0 + a_offset
106 CMP r12, r7 // if a1 == zero
107 ADD r12, r12, r5 // a1 += a_offset
108 MOVEQ r12, r7 // a1 = zero, else += a1 + a_offset
109 CMP r10, r7 // if a2 == zero
110 ADD r10, r10, r5 // a2 += a_offset
111 MOVEQ r10, r7 // a2 = zero, else += a2 + a_offset
112 CMP r0, r7 // if a3 == zero
113 ADD r0, r0, r5 // a3 += a_offset
114 LDR r5, [sp, 44] // kc
115 MOVEQ r0, r7 // a3 = zero, else += a3 + a_offset
116
117 SUBS r5, r5, 8 // kc - 8
118 BLO 4f // less than 8 channels?
119
120 # Main loop - 8 bytes
121 # 64 bytes for weights.
122 .p2align 3
123 2:
124 VLD1.8 {d0}, [r3]! // A0
125 VLD1.8 {d10}, [r9]! // B
126 VLD1.8 {d2}, [r12]! // A1
127 VLD1.8 {d4}, [r10]! // A2
128 VLD1.8 {d6}, [r0]! // A3
129 SUBS r5, r5, 8
130 VMOVL.S8 q0, d0
131 VMOVL.S8 q5, d10
132 VMOVL.S8 q1, d2
133 VMOVL.S8 q2, d4
134 VMOVL.S8 q3, d6
135 VMLAL.S16 q8, d10, d0[0]
136 VMLAL.S16 q9, d11, d0[0]
137 VMLAL.S16 q10, d10, d2[0]
138 VMLAL.S16 q11, d11, d2[0]
139 VMLAL.S16 q12, d10, d4[0]
140 VMLAL.S16 q13, d11, d4[0]
141 VMLAL.S16 q14, d10, d6[0]
142 VMLAL.S16 q15, d11, d6[0]
143
144 VLD1.8 {d10}, [r9]!
145 VMOVL.S8 q5, d10
146 VMLAL.S16 q8, d10, d0[1]
147 VMLAL.S16 q9, d11, d0[1]
148 VMLAL.S16 q10, d10, d2[1]
149 VMLAL.S16 q11, d11, d2[1]
150 VMLAL.S16 q12, d10, d4[1]
151 VMLAL.S16 q13, d11, d4[1]
152 VMLAL.S16 q14, d10, d6[1]
153 VMLAL.S16 q15, d11, d6[1]
154
155 VLD1.8 {d10}, [r9]!
156 VMOVL.S8 q5, d10
157 VMLAL.S16 q8, d10, d0[2]
158 VMLAL.S16 q9, d11, d0[2]
159 VMLAL.S16 q10, d10, d2[2]
160 VMLAL.S16 q11, d11, d2[2]
161 VMLAL.S16 q12, d10, d4[2]
162 VMLAL.S16 q13, d11, d4[2]
163 VMLAL.S16 q14, d10, d6[2]
164 VMLAL.S16 q15, d11, d6[2]
165
166 VLD1.8 {d10}, [r9]!
167 VMOVL.S8 q5, d10
168 VMLAL.S16 q8, d10, d0[3]
169 VMLAL.S16 q9, d11, d0[3]
170 VMLAL.S16 q10, d10, d2[3]
171 VMLAL.S16 q11, d11, d2[3]
172 VMLAL.S16 q12, d10, d4[3]
173 VMLAL.S16 q13, d11, d4[3]
174 VMLAL.S16 q14, d10, d6[3]
175 VMLAL.S16 q15, d11, d6[3]
176
177 VLD1.8 {d10}, [r9]!
178 VMOVL.S8 q5, d10
179 VMLAL.S16 q8, d10, d1[0]
180 VMLAL.S16 q9, d11, d1[0]
181 VMLAL.S16 q10, d10, d3[0]
182 VMLAL.S16 q11, d11, d3[0]
183 VMLAL.S16 q12, d10, d5[0]
184 VMLAL.S16 q13, d11, d5[0]
185 VMLAL.S16 q14, d10, d7[0]
186 VMLAL.S16 q15, d11, d7[0]
187
188 VLD1.8 {d10}, [r9]!
189 VMOVL.S8 q5, d10
190 VMLAL.S16 q8, d10, d1[1]
191 VMLAL.S16 q9, d11, d1[1]
192 VMLAL.S16 q10, d10, d3[1]
193 VMLAL.S16 q11, d11, d3[1]
194 VMLAL.S16 q12, d10, d5[1]
195 VMLAL.S16 q13, d11, d5[1]
196 VMLAL.S16 q14, d10, d7[1]
197 VMLAL.S16 q15, d11, d7[1]
198
199 VLD1.8 {d10}, [r9]!
200 VMOVL.S8 q5, d10
201 VMLAL.S16 q8, d10, d1[2]
202 VMLAL.S16 q9, d11, d1[2]
203 VMLAL.S16 q10, d10, d3[2]
204 VMLAL.S16 q11, d11, d3[2]
205 VMLAL.S16 q12, d10, d5[2]
206 VMLAL.S16 q13, d11, d5[2]
207 VMLAL.S16 q14, d10, d7[2]
208 VMLAL.S16 q15, d11, d7[2]
209
210 VLD1.8 {d10}, [r9]!
211 VMOVL.S8 q5, d10
212 VMLAL.S16 q8, d10, d1[3]
213 VMLAL.S16 q9, d11, d1[3]
214 VMLAL.S16 q10, d10, d3[3]
215 VMLAL.S16 q11, d11, d3[3]
216 VMLAL.S16 q12, d10, d5[3]
217 VMLAL.S16 q13, d11, d5[3]
218 VMLAL.S16 q14, d10, d7[3]
219 VMLAL.S16 q15, d11, d7[3]
220 BHS 2b
221
222 # Is there a remainder?- 1-7 bytes of A
223 ADDS r5, r5, 8
224 BNE 4f
225
226 3:
227 # ks loop
228 SUBS r14, r14, 16 // ks -= MR * sizeof(void*)
229 BHI 1b
230
231 LDR r7, [sp, 104] // cn_stride
232 LDR r14, [sp, 48] // p = ks
233
234 # QC8 FP32 quantization
235 VLD1.8 {q0-q1}, [r9]!
236
237 VCVT.F32.S32 q8, q8
238 VCVT.F32.S32 q9, q9
239 VCVT.F32.S32 q10, q10
240 VCVT.F32.S32 q11, q11
241 VCVT.F32.S32 q12, q12
242 VCVT.F32.S32 q13, q13
243 VCVT.F32.S32 q14, q14
244 VCVT.F32.S32 q15, q15
245
246 VMUL.F32 q8, q8, q0 // multiplier
247 VMUL.F32 q9, q9, q1
248 VMUL.F32 q10, q10, q0
249 VMUL.F32 q11, q11, q1
250 VMUL.F32 q12, q12, q0
251 VMUL.F32 q13, q13, q1
252 VMUL.F32 q14, q14, q0
253 VMUL.F32 q15, q15, q1
254
255 VCVTN.S32.F32 q8, q8
256 VCVTN.S32.F32 q9, q9
257 VCVTN.S32.F32 q10, q10
258 VCVTN.S32.F32 q11, q11
259 VCVTN.S32.F32 q12, q12
260 VCVTN.S32.F32 q13, q13
261 VCVTN.S32.F32 q14, q14
262 VCVTN.S32.F32 q15, q15
263
264 VDUP.16 q0, d13[2] // output_zero_point
265
266 VQMOVN.S32 d16, q8
267 VQMOVN.S32 d17, q9
268 VQMOVN.S32 d18, q10
269 VQMOVN.S32 d19, q11
270 VQMOVN.S32 d20, q12
271 VQMOVN.S32 d21, q13
272 VQMOVN.S32 d22, q14
273 VQMOVN.S32 d23, q15
274
275 VQADD.S16 q8, q8, q0
276 VQADD.S16 q9, q9, q0
277 VQADD.S16 q10, q10, q0
278 VQADD.S16 q11, q11, q0
279
280 VDUP.8 q12, d13[6] // output_min
281
282 VQMOVN.S16 d0, q8
283 VQMOVN.S16 d1, q9
284 VQMOVN.S16 d2, q10
285 VQMOVN.S16 d3, q11
286
287 VDUP.8 q13, d13[7] // output_max
288
289 VMAX.S8 q0, q0, q12
290 VMAX.S8 q1, q1, q12
291
292 SUBS r1, r1, 8 // nc -= 8
293
294 VMIN.S8 q0, q0, q13
295 VMIN.S8 q1, q1, q13
296
297 # Store full 4 x 8
298 BLO 5f
299 VST1.8 {d3}, [r6], r7
300 VST1.8 {d2}, [r8], r7
301 VST1.8 {d1}, [r4], r7
302 VST1.8 {d0}, [r11], r7
303 SUB r2, r2, r14 // a -= ks
304 BHI 0b
305
306 VPOP {d10-d13}
307 ADD sp, sp, 20 // skip pad of 12, r2, r3
308 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
309
310 # Remainder- 1 to 7 bytes of A
311 .p2align 3
312 4:
313 AND r5, r5, 7 // kc remainder 1 to 7
314
315 VLD1.8 {d0}, [r3]
316 VLD1.8 {d10}, [r9]!
317 VLD1.8 {d2}, [r12]
318 VLD1.8 {d4}, [r10]
319 VLD1.8 {d6}, [r0]
320
321 VMOVL.S8 q0, d0
322 VMOVL.S8 q5, d10
323 VMOVL.S8 q1, d2
324 VMOVL.S8 q2, d4
325 VMOVL.S8 q3, d6
326 VMLAL.S16 q8, d10, d0[0]
327 VMLAL.S16 q9, d11, d0[0]
328 VMLAL.S16 q10, d10, d2[0]
329 VMLAL.S16 q11, d11, d2[0]
330 VMLAL.S16 q12, d10, d4[0]
331 VMLAL.S16 q13, d11, d4[0]
332 VMLAL.S16 q14, d10, d6[0]
333 VMLAL.S16 q15, d11, d6[0]
334 CMP r5, 2
335 BLO 3b
336
337 VLD1.8 {d10}, [r9]!
338 VMOVL.S8 q5, d10
339 VMLAL.S16 q8, d10, d0[1]
340 VMLAL.S16 q9, d11, d0[1]
341 VMLAL.S16 q10, d10, d2[1]
342 VMLAL.S16 q11, d11, d2[1]
343 VMLAL.S16 q12, d10, d4[1]
344 VMLAL.S16 q13, d11, d4[1]
345 VMLAL.S16 q14, d10, d6[1]
346 VMLAL.S16 q15, d11, d6[1]
347 BEQ 3b
348
349 VLD1.8 {d10}, [r9]!
350 VMOVL.S8 q5, d10
351 VMLAL.S16 q8, d10, d0[2]
352 VMLAL.S16 q9, d11, d0[2]
353 VMLAL.S16 q10, d10, d2[2]
354 VMLAL.S16 q11, d11, d2[2]
355 VMLAL.S16 q12, d10, d4[2]
356 VMLAL.S16 q13, d11, d4[2]
357 VMLAL.S16 q14, d10, d6[2]
358 VMLAL.S16 q15, d11, d6[2]
359 CMP r5, 4
360 BLO 3b
361
362 VLD1.8 {d10}, [r9]!
363 VMOVL.S8 q5, d10
364 VMLAL.S16 q8, d10, d0[3]
365 VMLAL.S16 q9, d11, d0[3]
366 VMLAL.S16 q10, d10, d2[3]
367 VMLAL.S16 q11, d11, d2[3]
368 VMLAL.S16 q12, d10, d4[3]
369 VMLAL.S16 q13, d11, d4[3]
370 VMLAL.S16 q14, d10, d6[3]
371 VMLAL.S16 q15, d11, d6[3]
372 BEQ 3b
373
374 VLD1.8 {d10}, [r9]!
375 VMOVL.S8 q5, d10
376 VMLAL.S16 q8, d10, d1[0]
377 VMLAL.S16 q9, d11, d1[0]
378 VMLAL.S16 q10, d10, d3[0]
379 VMLAL.S16 q11, d11, d3[0]
380 VMLAL.S16 q12, d10, d5[0]
381 VMLAL.S16 q13, d11, d5[0]
382 VMLAL.S16 q14, d10, d7[0]
383 VMLAL.S16 q15, d11, d7[0]
384 CMP r5, 6
385 BLO 3b
386
387 VLD1.8 {d10}, [r9]!
388 VMOVL.S8 q5, d10
389 VMLAL.S16 q8, d10, d1[1]
390 VMLAL.S16 q9, d11, d1[1]
391 VMLAL.S16 q10, d10, d3[1]
392 VMLAL.S16 q11, d11, d3[1]
393 VMLAL.S16 q12, d10, d5[1]
394 VMLAL.S16 q13, d11, d5[1]
395 VMLAL.S16 q14, d10, d7[1]
396 VMLAL.S16 q15, d11, d7[1]
397 BEQ 3b
398
399 VLD1.8 {d10}, [r9]!
400 VMOVL.S8 q5, d10
401 VMLAL.S16 q8, d10, d1[2]
402 VMLAL.S16 q9, d11, d1[2]
403 VMLAL.S16 q10, d10, d3[2]
404 VMLAL.S16 q11, d11, d3[2]
405 VMLAL.S16 q12, d10, d5[2]
406 VMLAL.S16 q13, d11, d5[2]
407 VMLAL.S16 q14, d10, d7[2]
408 VMLAL.S16 q15, d11, d7[2]
409 B 3b
410
411 # Store odd width
412 .p2align 3
413 5:
414 TST r1, 4
415 BEQ 6f
416 VST1.32 {d3[0]}, [r6]!
417 VST1.32 {d2[0]}, [r8]!
418 VST1.32 {d1[0]}, [r4]!
419 VST1.32 {d0[0]}, [r11]!
420 VEXT.8 q1, q1, q1, 4
421 VEXT.8 q0, q0, q0, 4
422 6:
423 TST r1, 2
424 BEQ 7f
425 VST1.16 {d3[0]}, [r6]!
426 VST1.16 {d2[0]}, [r8]!
427 VST1.16 {d1[0]}, [r4]!
428 VST1.16 {d0[0]}, [r11]!
429 VEXT.8 q1, q1, q1, 2
430 VEXT.8 q0, q0, q0, 2
431
432 7:
433 TST r1, 1
434 BEQ 8f
435 VST1.8 {d3[0]}, [r6]
436 VST1.8 {d2[0]}, [r8]
437 VST1.8 {d1[0]}, [r4]
438 VST1.8 {d0[0]}, [r11]
439
440 8:
441 VPOP {d10-d13}
442 ADD sp, sp, 20 // skip pad of 12, r2, r3
443 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
444
445 END_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8__asm_aarch32_neonv8_mlal_lane_ld64
446 #ifdef __ELF__
447 .section ".note.GNU-stack","",%progbits
448 #endif