Debian Codegraph @

src/qs8-qc8w-igemm/gen/qs8-qc8w-igemm-4x8c4-minmax-fp32-asm-aarch32-neondot-ld64.S

raw
1 // Auto-generated file. Do not edit!
2 // Template: src/qs8-igemm/4x8c4-aarch32-neondot-ld64.S.in
3 // Generator: tools/xngen
4 //
5 // Copyright 2022 Google LLC
6 //
7 // This source code is licensed under the BSD-style license found in the
8 // LICENSE file in the root directory of this source tree.
9
10
11 #include "xnnpack/assembly.h"
12
13 .syntax unified
14
15 // void xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8c4__asm_aarch32_neondot_ld64(
16 // size_t mr, r0
17 // size_t nc, r1
18 // size_t kc, r2 -> r5 -> sp + 52
19 // size_t ks, r3 -> sp + 56 -> r14
20 // const int8_t** restrict a, sp + 96 -> r2
21 // const void* restrict w, sp + 100 -> r9
22 // int8_t* restrict c, sp + 104 -> r11
23 // size_t cm_stride, sp + 108 -> (r6)
24 // size_t cn_stride, sp + 112 -> (r7)
25 // size_t a_offset, sp + 116 -> (r5)
26 // const int8_t* zero, sp + 120 -> (r7)
27 // xnn_qs8_qc8w_conv_minmax_params*params); sp + 124 -> (r5)
28
29 // d8-d15, r4-r11,r14(lr) need to be preserved if used. r13(sp),r15(pc) are reserved.
30
31 // Register usage
32 // A0 r3 d0
33 // A1 r12 d1
34 // A2 r10 d2
35 // A3 r0 d3
36 // B r9 q2 q3 q4 q5
37 // C0 r11 d16-d17 q8 d18-d19 q9
38 // C1 r4 d20-d21 q10 d22-d23 q11
39 // C2 r8 d24-d25 q12 d26-d27 q13
40 // C3 r6 d28-d29 q14 d30-d31 q15
41 // unused q7
42
43 // params structure is 4 bytes
44 // struct {
45 // int16_t output_zero_point; d13[2]
46 // int8_t output_min; d13[6]
47 // int8_t output_max; d13[7]
48 // } xnn_qs8_minmax_params.neonv8;
49
50 // iOS does not support 32 bit ARM with Neon DotProduct.
51 #ifndef __APPLE__
52
53 BEGIN_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8c4__asm_aarch32_neondot_ld64
54 ADD r2, r2, 3 // kc = (kc + 3) & ~3
55 BIC r2, r2, 3
56 # Push 96 bytes
57 # r2 will be reloaded in outer loop. r3 is ks
58 PUSH {r2, r3, r4, r5, r6, r7, r8, r9, r10, r11, lr} // +44
59 SUB sp, sp, 4 // 4
60 VPUSH {d8-d13} // +48 = 96
61
62 LDR r11, [sp, 104] // c
63 LDR r6, [sp, 108] // cm_stride
64 LDR r2, [sp, 96] // a
65 LDR r9, [sp, 100] // w
66 LDR r5, [sp, 124] // params
67 MOV r14, r3 // p = ks
68
69 # Clamp C pointers
70 CMP r0, 2 // if mr >= 2
71 ADD r4, r11, r6 // c1 = c0 + cm_stride
72 MOVLO r4, r11 // c1
73 // if mr > 2
74 ADD r8, r4, r6 // c2 = c1 + cm_stride
75 MOVLS r8, r4 // c2
76 CMP r0, 4 // if mr >=4
77 ADD r6, r8, r6 // c3 = c2 + cm_stride
78 MOVLO r6, r8 // c3
79
80 # Load params values
81 VLD1.32 {d13[]}, [r5] // QC8 params
82
83 0:
84 # Load initial bias from w into accumulators
85 VLDM r9!, {d16-d19} // Bias
86 VMOV q10, q8
87 VMOV q11, q9
88 LDR r7, [sp, 120] // zero
89 VMOV q12, q8
90 VMOV q13, q9
91 VMOV q14, q8
92 VMOV q15, q9
93
94 1:
95 # Load next 4 A pointers
96 LDR r3, [r2, 0]
97 LDR r12, [r2, 4]
98 LDR r10, [r2, 8]
99 LDR r0, [r2, 12]
100 ADD r2, r2, 16
101
102 # Add a_offset
103 LDR r5, [sp, 116] // a_offset
104 CMP r3, r7 // if a0 == zero
105 ADD r3, r3, r5 // a0 += a_offset
106 MOVEQ r3, r7 // a0 = zero, else += a0 + a_offset
107 CMP r12, r7 // if a1 == zero
108 ADD r12, r12, r5 // a1 += a_offset
109 MOVEQ r12, r7 // a1 = zero, else += a1 + a_offset
110 CMP r10, r7 // if a2 == zero
111 ADD r10, r10, r5 // a2 += a_offset
112 MOVEQ r10, r7 // a2 = zero, else += a2 + a_offset
113 CMP r0, r7 // if a3 == zero
114 ADD r0, r0, r5 // a3 += a_offset
115 LDR r5, [sp, 52] // kc
116 MOVEQ r0, r7 // a3 = zero, else += a3 + a_offset
117
118 SUBS r5, r5, 8 // kc - 8
119 BLO 4f // less than 8 channels?
120
121 # Main loop - 8 bytes of A.
122 # 16 SDOT, 4 LD64 A, 4 LD128 B
123 .p2align 3
124 2:
125 VLD1.8 {d0}, [r3]! // A0
126 VLD1.8 {q2}, [r9]! // B0
127 VLD1.8 {d1}, [r12]! // A1
128 VLD1.8 {q3}, [r9]! // B1
129 VLD1.8 {d2}, [r10]! // A2
130 VLD1.8 {q4}, [r9]! // B2
131 VLD1.8 {d3}, [r0]! // A3
132 VLD1.8 {q5}, [r9]! // B3
133 SUBS r5, r5, 8
134
135 VSDOT.S8 q8, q2, d0[0]
136 VSDOT.S8 q9, q3, d0[0]
137 VSDOT.S8 q10, q2, d1[0]
138 VSDOT.S8 q11, q3, d1[0]
139 VSDOT.S8 q12, q2, d2[0]
140 VSDOT.S8 q13, q3, d2[0]
141 VSDOT.S8 q14, q2, d3[0]
142 VSDOT.S8 q15, q3, d3[0]
143
144 VSDOT.S8 q8, q4, d0[1]
145 VSDOT.S8 q9, q5, d0[1]
146 VSDOT.S8 q10, q4, d1[1]
147 VSDOT.S8 q11, q5, d1[1]
148 VSDOT.S8 q12, q4, d2[1]
149 VSDOT.S8 q13, q5, d2[1]
150 VSDOT.S8 q14, q4, d3[1]
151 VSDOT.S8 q15, q5, d3[1]
152 BHS 2b
153
154 # Is there a remainder?- 4 bytes of A
155 TST r5, 4
156 BNE 4f
157
158 3:
159 # ks loop
160 SUBS r14, r14, 16 // ks -= MR * sizeof(void*)
161 BHI 1b
162
163 LDR r7, [sp, 112] // cn_stride
164 LDR r14, [sp, 56] // p = ks
165
166 # QC8 FP32 quantization
167 VLD1.8 {q0-q1}, [r9]!
168
169 VCVT.F32.S32 q8, q8
170 VCVT.F32.S32 q9, q9
171 VCVT.F32.S32 q10, q10
172 VCVT.F32.S32 q11, q11
173 VCVT.F32.S32 q12, q12
174 VCVT.F32.S32 q13, q13
175 VCVT.F32.S32 q14, q14
176 VCVT.F32.S32 q15, q15
177
178 VMUL.F32 q8, q8, q0 // multiplier
179 VMUL.F32 q9, q9, q1
180 VMUL.F32 q10, q10, q0
181 VMUL.F32 q11, q11, q1
182 VMUL.F32 q12, q12, q0
183 VMUL.F32 q13, q13, q1
184 VMUL.F32 q14, q14, q0
185 VMUL.F32 q15, q15, q1
186
187 VCVTN.S32.F32 q8, q8
188 VCVTN.S32.F32 q9, q9
189 VCVTN.S32.F32 q10, q10
190 VCVTN.S32.F32 q11, q11
191 VCVTN.S32.F32 q12, q12
192 VCVTN.S32.F32 q13, q13
193 VCVTN.S32.F32 q14, q14
194 VCVTN.S32.F32 q15, q15
195 VDUP.16 q0, d13[2] // output_zero_point
196
197 VQMOVN.S32 d16, q8
198 VQMOVN.S32 d17, q9
199 VQMOVN.S32 d18, q10
200 VQMOVN.S32 d19, q11
201 VQMOVN.S32 d20, q12
202 VQMOVN.S32 d21, q13
203 VQMOVN.S32 d22, q14
204 VQMOVN.S32 d23, q15
205
206 VQADD.S16 q8, q8, q0
207 VQADD.S16 q9, q9, q0
208 VQADD.S16 q10, q10, q0
209 VQADD.S16 q11, q11, q0
210
211 VDUP.8 q12, d13[6] // output_min
212
213 VQMOVN.S16 d0, q8
214 VQMOVN.S16 d1, q9
215 VQMOVN.S16 d2, q10
216 VQMOVN.S16 d3, q11
217
218 VDUP.8 q13, d13[7] // output_max
219
220 VMAX.S8 q0, q0, q12
221 VMAX.S8 q1, q1, q12
222
223 SUBS r1, r1, 8 // nc -= 8
224
225 VMIN.S8 q0, q0, q13
226 VMIN.S8 q1, q1, q13
227
228 # Store full 4 x 8
229 BLO 5f
230 VST1.8 {d3}, [r6], r7
231 VST1.8 {d2}, [r8], r7
232 VST1.8 {d1}, [r4], r7
233 VST1.8 {d0}, [r11], r7
234 SUB r2, r2, r14 // a -= ks
235 BHI 0b
236
237 VPOP {d8-d13}
238 ADD sp, sp, 12 // skip pad, r2, r3
239 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
240
241 4:
242 # Remainder- 4 bytes of A
243 VLD1.32 {d0[0]}, [r3]! // A0
244 VLD1.32 {q2}, [r9]! // B0
245 VLD1.32 {d1[0]}, [r12]! // A1
246 VLD1.32 {q3}, [r9]! // B1
247 VLD1.32 {d2[0]}, [r10]! // A2
248 VLD1.32 {d3[0]}, [r0]! // A3
249
250 VSDOT.S8 q8, q2, d0[0]
251 VSDOT.S8 q9, q3, d0[0]
252 VSDOT.S8 q10, q2, d1[0]
253 VSDOT.S8 q11, q3, d1[0]
254 VSDOT.S8 q12, q2, d2[0]
255 VSDOT.S8 q13, q3, d2[0]
256 VSDOT.S8 q14, q2, d3[0]
257 VSDOT.S8 q15, q3, d3[0]
258 B 3b
259
260 # Store odd width
261 .p2align 3
262 5:
263 TST r1, 4
264 BEQ 6f
265 VST1.32 {d3[0]}, [r6]!
266 VST1.32 {d2[0]}, [r8]!
267 VST1.32 {d1[0]}, [r4]!
268 VST1.32 {d0[0]}, [r11]!
269 VEXT.8 q1, q1, q1, 4
270 VEXT.8 q0, q0, q0, 4
271 6:
272 TST r1, 2
273 BEQ 7f
274 VST1.16 {d3[0]}, [r6]!
275 VST1.16 {d2[0]}, [r8]!
276 VST1.16 {d1[0]}, [r4]!
277 VST1.16 {d0[0]}, [r11]!
278 VEXT.8 q1, q1, q1, 2
279 VEXT.8 q0, q0, q0, 2
280
281 7:
282 TST r1, 1
283 BEQ 8f
284 VST1.8 {d3[0]}, [r6]
285 VST1.8 {d2[0]}, [r8]
286 VST1.8 {d1[0]}, [r4]
287 VST1.8 {d0[0]}, [r11]
288
289 8:
290 VPOP {d8-d13}
291 ADD sp, sp, 12 // skip pad, r2, r3
292 POP {r4, r5, r6, r7, r8, r9, r10, r11, pc}
293
294 END_FUNCTION xnn_qs8_qc8w_igemm_minmax_fp32_ukernel_4x8c4__asm_aarch32_neondot_ld64
295 #endif // __APPLE__
296
297 #ifdef __ELF__
298 .section ".note.GNU-stack","",%progbits
299 #endif