Debian Codegraph @

src/qd8-f32-qc8w-gemm/gen/qd8-f32-qc8w-gemm-4x8c4-minmax-asm-aarch32-neondot-cortex-a55.S

raw
1 // Auto-generated file. Do not edit!
2 // Template: src/qs8-gemm/4x8c4-aarch32-neondot-cortex-a55.S.in
3 // Generator: tools/xngen
4 //
5 // Copyright 2022 Google LLC
6 //
7 // This source code is licensed under the BSD-style license found in the
8 // LICENSE file in the root directory of this source tree.
9
10
11 #include "xnnpack/assembly.h"
12
13 .syntax unified
14
15 // void xnn_qd8_f32_qc8w_gemm_minmax_ukernel_4x8c4__asm_aarch32_neondot_cortex_a55(
16 // size_t mr, r0
17 // size_t nc, r1
18 // size_t kc, r2 -> r5
19 // const uint8_t* restrict a, r3
20 // size_t a_stride, sp + 80 -> (r7)
21 // const void* restrict w, sp + 84 -> r9
22 // uint8_t* restrict c, sp + 88 -> r11
23 // size_t cm_stride, sp + 92 -> (r6)
24 // size_t cn_stride, sp + 96 -> r7
25 // xnn_f32_minmax_params params, sp + 100 -> (r5)
26 // const struct xnn_qd8_quantization_params *quantization_params) [sp + 104] -> (r5)
27
28 // d8-d15, r4-r11,r14(lr) need to be preserved if used. r13(sp),r15(pc) are reserved.
29
30 // Register usage
31 // A0 r3 d0
32 // A1 r12 d1
33 // A2 r10 d2
34 // A3 r0 d3
35 // B r9 q2 q3 q4 q5
36 // C0 r11 d16-d17 q8 d18-d19 q9
37 // C1 r4 d20-d21 q10 d22-d23 q11
38 // C2 r8 d24-d25 q12 d26-d27 q13
39 // C3 r6 d28-d29 q14 d30-d31 q15
40 // r5 params, zero point & scale
41 // d6, d7, d14, d15 zero point and scale
42 // q6, q7 zero point and scale.
43 // params structure is 8 bytes
44 // struct {
45 // float min;
46 // float max;
47 // } scalar;
48
49 // iOS does not support 32 bit ARM with Neon DotProduct.
50 #ifndef __APPLE__
51
52 BEGIN_FUNCTION xnn_qd8_f32_qc8w_gemm_minmax_ukernel_4x8c4__asm_aarch32_neondot_cortex_a55
53 # Push 96 bytes
54 PUSH {r4, r5, r6, r7, r8, r9, r10, r11} // 32
55 VPUSH {d8-d15} // +64 = 96
56
57 LDR r7, [sp, 96] // a_stride
58 ADD r2, r2, 3 // kc = (kc + 3) & ~3
59 LDR r11, [sp, 104] // c
60
61 LDR r6, [sp, 108] // cm_stride
62 LDR r9, [sp, 100] // w
63 BIC r2, r2, 3
64
65 # Clamp A and C pointers
66 CMP r0, 2 // if mr >= 2
67 ADD r12, r3, r7 // a1 = a0 + a_stride
68 ADD r4, r11, r6 // c1 = c0 + cm_stride
69 MOVLO r12, r3 // a1
70 MOVLO r4, r11 // c1
71 // if mr > 2
72 ADD r10, r12, r7 // a2 = a1 + a_stride
73 ADD r8, r4, r6 // c2 = c1 + cm_stride
74 MOVLS r10, r12 // a2
75 MOVLS r8, r4 // c2
76
77 CMP r0, 4 // if mr >=4
78 ADD r0, r10, r7 // a3 = a2 + a_stride
79 ADD r6, r8, r6 // c3 = c2 + cm_stride
80 MOVLO r0, r10 // a3
81 MOVLO r6, r8 // c3
82
83 LDR r7, [sp, 112] // cn_stride
84
85 LDR r5, [sp, 120] // &quantization_params[0].zero_point
86 VLD1.8 {q6, q7}, [r5]
87
88 .p2align 3
89 0:
90 # Load initial bias from w into accumulators
91 VLDM r9!, {d16-d19} // Bias
92 SUBS r5, r2, 8 // k = kc - 8
93
94 # Prologue + Bias
95 // ksum * zero_point
96 VLD1.8 {d4}, [r9]! // B0
97 VMUL.S32 q10, q8, d13[0]
98 VLD1.8 {d0}, [r3]! // A0
99 VMUL.S32 q12, q8, d14[0]
100 VLD1.8 {d5}, [r9]! // B1
101 VMUL.S32 q14, q8, d15[0]
102 VLD1.8 {d6}, [r9]! // B2
103 VMUL.S32 q8, q8, d12[0]
104 VLD1.8 {d1}, [r12]! // A1
105 VMUL.S32 q11, q9, d13[0]
106 VLD1.8 {d7}, [r9]! // B3
107 VMUL.S32 q13, q9, d14[0]
108 VMUL.S32 q15, q9, d15[0]
109 VMUL.S32 q9, q9, d12[0]
110 BLO 5f // less than 8 channels?
111
112 SUBS r5, r5, 8 // k = k - 8
113 BLO 2f // less than 16 channels - skip mainloop
114
115 # Main loop - 8 bytes of A.
116 # 16 SDOT, 12 LD64
117 .p2align 3
118 1:
119 VSDOT.S8 q8, q2, d0[0]
120 VLD1.8 {d2}, [r10]! // A2
121 VSDOT.S8 q9, q3, d0[0]
122 VLD1.8 {d3}, [r0]! // A3
123 VSDOT.S8 q10, q2, d1[0]
124 VLD1.8 {d8}, [r9]! // B4
125 VSDOT.S8 q11, q3, d1[0]
126 VLD1.8 {d9}, [r9]! // B5
127 VSDOT.S8 q12, q2, d2[0]
128 VLD1.8 {d10}, [r9]! // B6
129 VSDOT.S8 q13, q3, d2[0]
130 VLD1.8 {d11}, [r9]! // B7
131 VSDOT.S8 q14, q2, d3[0]
132 VSDOT.S8 q15, q3, d3[0]
133 SUBS r5, r5, 8
134
135 VSDOT.S8 q8, q4, d0[1]
136 VLD1.8 {d4}, [r9]! // B0
137 VSDOT.S8 q9, q5, d0[1]
138 VLD1.8 {d5}, [r9]! // B1
139 VSDOT.S8 q10, q4, d1[1]
140 VLD1.8 {d6}, [r9]! // B2
141 VSDOT.S8 q11, q5, d1[1]
142 VLD1.8 {d7}, [r9]! // B3
143 VSDOT.S8 q12, q4, d2[1]
144 VLD1.8 {d0}, [r3]! // A0
145 VSDOT.S8 q13, q5, d2[1]
146 VLD1.8 {d1}, [r12]! // A1
147 VSDOT.S8 q14, q4, d3[1]
148 VSDOT.S8 q15, q5, d3[1]
149 BHS 1b
150
151 # Epilogue
152 .p2align 3
153 2:
154 VSDOT.S8 q8, q2, d0[0]
155 VLD1.8 {d2}, [r10]! // A2
156 VSDOT.S8 q9, q3, d0[0]
157 VLD1.8 {d3}, [r0]! // A3
158 VSDOT.S8 q10, q2, d1[0]
159 VLD1.8 {d8}, [r9]! // B4
160 VSDOT.S8 q11, q3, d1[0]
161 VLD1.8 {d9}, [r9]! // B5
162 VSDOT.S8 q12, q2, d2[0]
163 VLD1.8 {d10}, [r9]! // B6
164 VSDOT.S8 q13, q3, d2[0]
165 VLD1.8 {d11}, [r9]! // B7
166 VSDOT.S8 q14, q2, d3[0]
167 VSDOT.S8 q15, q3, d3[0]
168 TST r5, 7
169
170 VSDOT.S8 q8, q4, d0[1]
171 VSDOT.S8 q9, q5, d0[1]
172 VSDOT.S8 q10, q4, d1[1]
173 VSDOT.S8 q11, q5, d1[1]
174 VSDOT.S8 q12, q4, d2[1]
175 VSDOT.S8 q13, q5, d2[1]
176 VSDOT.S8 q14, q4, d3[1]
177 VSDOT.S8 q15, q5, d3[1]
178
179 # Is there a remainder?- 4 bytes of A
180 BNE 4f
181
182 3:
183 LDR r5, [sp, 116] // params
184 VCVT.F32.S32 q8, q8
185 VCVT.F32.S32 q9, q9
186 VCVT.F32.S32 q10, q10
187 VCVT.F32.S32 q11, q11
188 VCVT.F32.S32 q12, q12
189 VCVT.F32.S32 q13, q13
190 VCVT.F32.S32 q14, q14
191 VCVT.F32.S32 q15, q15
192
193 // Load bias
194 VLD1.8 {q0-q1}, [r9]!
195
196 VMUL.F32 q2, q0, d12[1]
197 VMUL.F32 q3, q1, d12[1]
198 VMUL.F32 q4, q0, d13[1]
199 VMUL.F32 q5, q1, d13[1]
200 VMUL.F32 q8, q8, q2
201 VMUL.F32 q9, q9, q3
202 VMUL.F32 q10, q10, q4
203 VMUL.F32 q11, q11, q5
204 VMUL.F32 q2, q0, d14[1]
205 VMUL.F32 q3, q1, d14[1]
206 VMUL.F32 q4, q0, d15[1]
207 VMUL.F32 q5, q1, d15[1]
208 VMUL.F32 q12, q12, q2
209 VMUL.F32 q13, q13, q3
210 VMUL.F32 q14, q14, q4
211 VMUL.F32 q15, q15, q5
212
213 // Load bias
214 VLD1.8 {q0-q1}, [r9]!
215
216 VLD1.32 {d5}, [r5] // params.min/max
217 VADD.F32 q8, q8, q0
218 VADD.F32 q10, q10, q0
219 VADD.F32 q12, q12, q0
220 VADD.F32 q14, q14, q0
221 VDUP.32 q4, d5[0]
222 VADD.F32 q9, q9, q1
223 VADD.F32 q11, q11, q1
224 VADD.F32 q13, q13, q1
225 VADD.F32 q15, q15, q1
226
227 VMAX.F32 q8, q8, q4
228 VMAX.F32 q9, q9, q4
229 VMAX.F32 q10, q10, q4
230 VMAX.F32 q11, q11, q4
231 VDUP.32 q5, d5[1]
232 VMAX.F32 q12, q12, q4
233 VMAX.F32 q13, q13, q4
234 VMAX.F32 q14, q14, q4
235 VMAX.F32 q15, q15, q4
236
237 VMIN.F32 q8, q8, q5
238 VMIN.F32 q9, q9, q5
239 VMIN.F32 q10, q10, q5
240 VMIN.F32 q11, q11, q5
241 VMIN.F32 q12, q12, q5
242 VMIN.F32 q13, q13, q5
243 VMIN.F32 q14, q14, q5
244 VMIN.F32 q15, q15, q5
245
246 SUBS r1, r1, 8
247
248 # Store full 4 x 8
249 BLO 10f
250 VST1.32 {q14, q15}, [r6], r7
251 SUB r0, r0, r2
252 VST1.32 {q12, q13}, [r8], r7
253 SUB r10, r10, r2
254 VST1.32 {q10, q11}, [r4], r7
255 SUB r12, r12, r2
256 VST1.32 {q8, q9}, [r11], r7
257 SUB r3, r3, r2
258
259 BHI 0b
260
261 VPOP {d8-d15}
262 POP {r4, r5, r6, r7, r8, r9, r10, r11}
263 BX lr
264
265 # Remainder prologue
266 .p2align 3
267 4:
268 VLD1.8 {d4}, [r9]! // B0
269 VLD1.8 {d0}, [r3]! // A0
270 VLD1.8 {d5}, [r9]! // B1
271 VLD1.8 {d6}, [r9]! // B2
272 VLD1.8 {d1}, [r12]! // A1
273 VLD1.8 {d7}, [r9]! // B3
274
275 # Remainder- 4 bytes of A
276 5:
277 VSDOT.S8 q8, q2, d0[0]
278 VLD1.32 {d2[0]}, [r10]! // A2
279 VSDOT.S8 q9, q3, d0[0]
280 VLD1.32 {d3[0]}, [r0]! // A3
281 VSDOT.S8 q10, q2, d1[0]
282 SUB r3, r3, 4 // Rewind A0
283 VSDOT.S8 q11, q3, d1[0]
284 SUB r12, r12, 4 // Rewind A1
285 VSDOT.S8 q12, q2, d2[0]
286 VSDOT.S8 q13, q3, d2[0]
287 VSDOT.S8 q14, q2, d3[0]
288 VSDOT.S8 q15, q3, d3[0]
289 B 3b
290
291 # Store odd width
292 .p2align 3
293 10:
294 TST r1, 4
295 BEQ 11f
296 VST1.32 {q14}, [r6]!
297 VMOV q14, q15
298 VST1.32 {q12}, [r8]!
299 VMOV q12, q13
300 VST1.32 {q10}, [r4]!
301 VMOV q10, q11
302 VST1.32 {q8}, [r11]!
303 VMOV q8, q9
304 11:
305 TST r1, 2
306 BEQ 12f
307 VST1.32 {d28}, [r6]!
308 VEXT.8 q14, q14, q14, 8
309 VST1.32 {d24}, [r8]!
310 VEXT.8 q12, q12, q12, 8
311 VST1.32 {d20}, [r4]!
312 VEXT.8 q10, q10, q10, 8
313 VST1.32 {d16}, [r11]!
314 VEXT.8 q8, q8, q8, 8
315
316 12:
317 TST r1, 1
318 BEQ 13f
319 VST1.32 {d28[0]}, [r6]!
320 VST1.32 {d24[0]}, [r8]!
321 VST1.32 {d20[0]}, [r4]!
322 VST1.32 {d16[0]}, [r11]!
323
324 13:
325 VPOP {d8-d15}
326 POP {r4, r5, r6, r7, r8, r9, r10, r11}
327 BX lr
328
329
330 END_FUNCTION xnn_qd8_f32_qc8w_gemm_minmax_ukernel_4x8c4__asm_aarch32_neondot_cortex_a55
331 #endif // __APPLE__
332
333 #ifdef __ELF__
334 .section ".note.GNU-stack","",%progbits
335 #endif
336