Debian Codegraph @

src/qd8-f16-qc8w-igemm/gen/qd8-f16-qc8w-igemm-4x8c4-minmax-asm-aarch32-neondotfp16arith-cortex-a55.S

raw
1 // Auto-generated file. Do not edit!
2 // Template: src/qs8-igemm/4x8c4-aarch32-neondot-cortex-a55.S.in
3 // Generator: tools/xngen
4 //
5 // Copyright 2021 Google LLC
6 //
7 // This source code is licensed under the BSD-style license found in the
8 // LICENSE file in the root directory of this source tree.
9
10
11 #include "xnnpack/assembly.h"
12
13 .syntax unified
14
15 // void xnn_qd8_f16_qc8w_igemm_minmax_ukernel_4x8c4__asm_aarch32_neondotfp16arith_cortex_a55(
16 // size_t mr, r0
17 // size_t nc, r1
18 // size_t kc, r2 -> r5 -> sp + 52
19 // size_t ks, r3 -> sp + 56 -> r14
20 // const int8_t** restrict a, sp + 96 -> r2
21 // const void* restrict w, sp + 100 -> r9
22 // int8_t* restrict c, sp + 104 -> r11
23 // size_t cm_stride, sp + 108 -> (r6)
24 // size_t cn_stride, sp + 112 -> (r7)
25 // size_t a_offset, sp + 116 -> (r5)
26 // const int8_t* zero, sp + 120 -> (r7)
27 // const int8_t* zero_data, sp + 124 -> (r4)
28 // xnn_f16_minmax_params *params, sp + 128 -> (r5)
29 // const struct xnn_qd8_quantization_params *quantization_params) [sp + 132] -> (r5)
30
31 // d8-d15, r4-r11,r14(lr) need to be preserved if used. r13(sp),r15(pc) are reserved.
32
33 // Register usage
34 // A0 r3 d0
35 // A1 r12 d1
36 // A2 r10 d2
37 // A3 r0 d3
38 // B r9 q2 q3 q4 q5
39 // C0 r11 d16-d17 q8 d18-d19 q9
40 // C1 r4 d20-d21 q10 d22-d23 q11
41 // C2 r8 d24-d25 q12 d26-d27 q13
42 // C3 r6 d28-d29 q14 d30-d31 q15
43 // unused q7
44
45 // params structure is 8 bytes
46 // struct {
47 // float min;
48 // float max;
49 // } scalar;
50
51 // iOS does not support 32 bit ARM with Neon DotProduct.
52 #ifndef __APPLE__
53
54 BEGIN_FUNCTION xnn_qd8_f16_qc8w_igemm_minmax_ukernel_4x8c4__asm_aarch32_neondotfp16arith_cortex_a55
55 ADD r2, r2, 3 // kc = (kc + 3) & ~3
56 BIC r2, r2, 3
57 # Push 96 bytes
58 # r2 will be reloaded in outer loop. r3 is ks
59 PUSH {r2, r3, r4, r5, r6, r7, r8, r9, r10, r11, lr} // +44
60 SUB sp, sp, 4 // 4
61 VPUSH {d8-d13} // +48 = 96
62
63 LDR r11, [sp, 104] // c
64 LDR r6, [sp, 108] // cm_stride
65 LDR r2, [sp, 96] // a
66 LDR r9, [sp, 100] // w
67
68 MOV r14, r3 // p = ks
69
70 # Clamp C pointers
71 CMP r0, 2 // if mr >= 2
72 ADD r4, r11, r6 // c1 = c0 + cm_stride
73 MOVLO r4, r11 // c1
74 // if mr > 2
75 ADD r8, r4, r6 // c2 = c1 + cm_stride
76 MOVLS r8, r4 // c2
77 CMP r0, 4 // if mr >=4
78 ADD r6, r8, r6 // c3 = c2 + cm_stride
79 MOVLO r6, r8 // c3
80
81
82 LDR r5, [sp, 132] // &quantization_params[0].zero_point
83 VLD1.8 {q6, q7}, [r5]
84
85 0:
86 # Load initial bias from w into accumulators
87 VLDM r9!, {d16-d19} // ksum
88 // ksum * zero_point
89 VMUL.S32 q8, q8, d12[0]
90 VMUL.S32 q9, q9, d12[0]
91 VMOV q10, q8
92 VMOV q11, q9
93 LDR r7, [sp, 120] // zero
94 VMOV q12, q8
95 VMOV q13, q9
96 VMOV q14, q8
97 VMOV q15, q9
98
99 1:
100 # Load next 4 A pointers + Add a_offset + Prologue
101 # - Load next 4 A pointers to GPR
102 # - Adjust A pointers by a_offset if not zero
103 # - Load prologue
104 # - Load k = kc from stack
105 LDR r3, [r2, 0] // A0
106 LDR r5, [sp, 116] // a_offset
107 PUSH {r4}
108 LDR r4, [sp, 128] // zero_data
109 CMP r3, r7 // if a0 == zero
110 LDR r12, [r2, 4] // A1
111 ADD r3, r3, r5 // a0 += a_offset
112 LDR r10, [r2, 8] // A2
113 MOVEQ r3, r4 // a0 = zero_data, else += a0 + a_offset
114 LDR r0, [r2, 12] // A3
115 CMP r12, r7 // if a1 == zero
116 VLD1.8 {d4}, [r9]! // B0
117 ADD r12, r12, r5 // a1 += a_offset
118 VLD1.8 {d5}, [r9]! // B1
119 MOVEQ r12, r4 // a1 = zero_data, else += a1 + a_offset
120 VLD1.8 {d6}, [r9]! // B2
121 CMP r10, r7 // if a2 == zero
122 VLD1.8 {d7}, [r9]! // B3
123 ADD r10, r10, r5 // a2 += a_offset
124 VLD1.8 {d0}, [r3]! // A0
125 MOVEQ r10, r4 // a2 = zero_data, else += a2 + a_offset
126 VLD1.8 {d1}, [r12]! // A1
127 CMP r0, r7 // if a3 == zero
128 ADD r0, r0, r5 // a3 += a_offset
129 MOVEQ r0, r4 // a3 = zero_data, else += a3 + a_offset
130 ADD r2, r2, 16
131 POP {r4}
132 LDR r5, [sp, 52] // k = kc
133 SUBS r5, r5, 8 // k = k - 8
134
135 BLO 6f // less than 8 channels?
136
137 SUBS r5, r5, 8 // k = k - 8
138 BLO 3f // less than 8 channels?
139
140 # Main loop - 8 bytes of A.
141 # 16 SDOT, 12 LD64
142 .p2align 3
143 2:
144 VSDOT.S8 q8, q2, d0[0]
145 VLD1.8 {d2}, [r10]! // A2
146 VSDOT.S8 q9, q3, d0[0]
147 VLD1.8 {d3}, [r0]! // A3
148 VSDOT.S8 q10, q2, d1[0]
149 VLD1.8 {d8}, [r9]! // B4
150 VSDOT.S8 q11, q3, d1[0]
151 VLD1.8 {d9}, [r9]! // B5
152 VSDOT.S8 q12, q2, d2[0]
153 VLD1.8 {d10}, [r9]! // B6
154 VSDOT.S8 q13, q3, d2[0]
155 VLD1.8 {d11}, [r9]! // B7
156 VSDOT.S8 q14, q2, d3[0]
157 VSDOT.S8 q15, q3, d3[0]
158 SUBS r5, r5, 8
159
160 VSDOT.S8 q8, q4, d0[1]
161 VLD1.8 {d4}, [r9]! // B0
162 VSDOT.S8 q9, q5, d0[1]
163 VLD1.8 {d5}, [r9]! // B1
164 VSDOT.S8 q10, q4, d1[1]
165 VLD1.8 {d6}, [r9]! // B2
166 VSDOT.S8 q11, q5, d1[1]
167 VLD1.8 {d7}, [r9]! // B3
168 VSDOT.S8 q12, q4, d2[1]
169 VLD1.8 {d0}, [r3]! // A0
170 VSDOT.S8 q13, q5, d2[1]
171 VLD1.8 {d1}, [r12]! // A1
172 VSDOT.S8 q14, q4, d3[1]
173 VSDOT.S8 q15, q5, d3[1]
174 BHS 2b
175
176 # Epilogue
177 .p2align 3
178 3:
179 VSDOT.S8 q8, q2, d0[0]
180 VLD1.8 {d2}, [r10]! // A2
181 VSDOT.S8 q9, q3, d0[0]
182 VLD1.8 {d3}, [r0]! // A3
183 VSDOT.S8 q10, q2, d1[0]
184 VLD1.8 {d8}, [r9]! // B4
185 VSDOT.S8 q11, q3, d1[0]
186 VLD1.8 {d9}, [r9]! // B5
187 VSDOT.S8 q12, q2, d2[0]
188 VLD1.8 {d10}, [r9]! // B6
189 VSDOT.S8 q13, q3, d2[0]
190 VLD1.8 {d11}, [r9]! // B7
191 VSDOT.S8 q14, q2, d3[0]
192 VSDOT.S8 q15, q3, d3[0]
193 TST r5, 5
194
195 VSDOT.S8 q8, q4, d0[1]
196 VSDOT.S8 q9, q5, d0[1]
197 VSDOT.S8 q10, q4, d1[1]
198 VSDOT.S8 q11, q5, d1[1]
199 VSDOT.S8 q12, q4, d2[1]
200 VSDOT.S8 q13, q5, d2[1]
201 VSDOT.S8 q14, q4, d3[1]
202 VSDOT.S8 q15, q5, d3[1]
203 # Is there a remainder?- 4 bytes of A
204 BNE 5f
205
206 4:
207 # ks loop
208 SUBS r14, r14, 16 // ks -= MR * sizeof(void*)
209 BHI 1b
210
211 LDR r7, [sp, 112] // cn_stride
212 LDR r14, [sp, 56] // p = ks
213
214 LDR r5, [sp, 128] // params
215 VCVT.F32.S32 q8, q8
216 VCVT.F32.S32 q9, q9
217 VCVT.F32.S32 q10, q10
218 VCVT.F32.S32 q11, q11
219 VCVT.F32.S32 q12, q12
220 VCVT.F32.S32 q13, q13
221 VCVT.F32.S32 q14, q14
222 VCVT.F32.S32 q15, q15
223
224 // Load scale
225 VLD1.8 {q0-q1}, [r9]!
226
227 VMUL.F32 q2, q0, d12[1]
228 VMUL.F32 q3, q1, d12[1]
229 VMUL.F32 q4, q0, d12[1]
230 VMUL.F32 q5, q1, d12[1]
231 VMUL.F32 q8, q8, q2
232 VMUL.F32 q9, q9, q3
233 VMUL.F32 q10, q10, q4
234 VMUL.F32 q11, q11, q5
235 VMUL.F32 q2, q0, d12[1]
236 VMUL.F32 q3, q1, d12[1]
237 VMUL.F32 q4, q0, d12[1]
238 VMUL.F32 q5, q1, d12[1]
239 VMUL.F32 q12, q12, q2
240 VMUL.F32 q13, q13, q3
241 VMUL.F32 q14, q14, q4
242 VMUL.F32 q15, q15, q5
243
244 // Load bias
245 VLD1.8 {q0-q1}, [r9]!
246
247 VLD1.32 {d5[0]}, [r5] // params.min/max
248 VADD.F32 q8, q8, q0
249 VADD.F32 q10, q10, q0
250 VADD.F32 q12, q12, q0
251 VADD.F32 q14, q14, q0
252 VDUP.16 q4, d5[0]
253 VADD.F32 q9, q9, q1
254 VADD.F32 q11, q11, q1
255 VADD.F32 q13, q13, q1
256 VADD.F32 q15, q15, q1
257
258 VCVT.F16.F32 d16, q8
259 VCVT.F16.F32 d17, q9
260 VCVT.F16.F32 d20, q10
261 VCVT.F16.F32 d21, q11
262 VCVT.F16.F32 d24, q12
263 VCVT.F16.F32 d25, q13
264 VCVT.F16.F32 d28, q14
265 VCVT.F16.F32 d29, q15
266 VMAX.F16 q8, q8, q4
267 VMAX.F16 q10, q10, q4
268 VDUP.16 q5, d5[1]
269 VMAX.F16 q12, q12, q4
270 VMAX.F16 q14, q14, q4
271
272 VMIN.F16 q8, q8, q5
273 VMIN.F16 q10, q10, q5
274 VMIN.F16 q12, q12, q5
275 VMIN.F16 q14, q14, q5
276 SUBS r1, r1, 8 // nc -= 8
277
278 # Store full 4 x 8
279 BLO 11f
280 VST1.16 {q14}, [r6], r7
281 VST1.16 {q12}, [r8], r7
282 VST1.16 {q10}, [r4], r7
283 VST1.16 {q8}, [r11], r7
284
285 SUB r2, r2, r14 // a -= ks
286
287 BHI 0b
288
289 VPOP {d8-d13}
290 ADD sp, sp, 12 // skip pad, r2, r3
291 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
292
293 # Remainder prologue
294 .p2align 3
295 5:
296 VLD1.8 {d4}, [r9]! // B0
297 VLD1.8 {d0}, [r3]! // A0
298 VLD1.8 {d5}, [r9]! // B1
299 VLD1.8 {d6}, [r9]! // B2
300 VLD1.8 {d1}, [r12]! // A1
301 VLD1.8 {d7}, [r9]! // B3
302
303 # Remainder- 4 bytes of A
304 6:
305 VSDOT.S8 q8, q2, d0[0]
306 VLD1.32 {d2[0]}, [r10]! // A2
307 VSDOT.S8 q9, q3, d0[0]
308 VLD1.32 {d3[0]}, [r0]! // A3
309 VSDOT.S8 q10, q2, d1[0]
310 SUB r3, r3, 4 // Rewind A0
311 VSDOT.S8 q11, q3, d1[0]
312 SUB r12, r12, 4 // Rewind A1
313 VSDOT.S8 q12, q2, d2[0]
314 VSDOT.S8 q13, q3, d2[0]
315 VSDOT.S8 q14, q2, d3[0]
316 VSDOT.S8 q15, q3, d3[0]
317 B 4b
318
319 # Store odd width
320 .p2align 3
321 11:
322 TST r1, 4
323 BEQ 12f
324 VST1.16 {d28}, [r6]!
325 VMOV d28, d29
326 VST1.16 {d24}, [r8]!
327 VMOV d24, d25
328 VST1.16 {d20}, [r4]!
329 VMOV d20, d21
330 VST1.16 {d16}, [r11]!
331 VMOV d16, d17
332
333 12:
334 TST r1, 2
335 BEQ 13f
336 VST1.32 {d28[0]}, [r6]!
337 VEXT.8 d28, d28, d29, 4
338 VST1.32 {d24[0]}, [r8]!
339 VEXT.8 d24, d24, d25, 4
340 VST1.32 {d20[0]}, [r4]!
341 VEXT.8 d20, d20, d21, 4
342 VST1.32 {d16[0]}, [r11]!
343 VEXT.8 d16, d16, d17, 4
344 13:
345 TST r1, 1
346 BEQ 14f
347 VST1.16 {d28[0]}, [r6]
348 VST1.16 {d24[0]}, [r8]
349 VST1.16 {d20[0]}, [r4]
350 VST1.16 {d16[0]}, [r11]
351
352 14:
353 VPOP {d8-d13}
354 ADD sp, sp, 12 // skip pad, r2, r3
355 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
356
357 END_FUNCTION xnn_qd8_f16_qc8w_igemm_minmax_ukernel_4x8c4__asm_aarch32_neondotfp16arith_cortex_a55
358 #endif // __APPLE__
359
360 #ifdef __ELF__
361 .section ".note.GNU-stack","",%progbits
362 #endif