Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/aarch64/asimd/mix.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_MIX_H_
23 #define PRIVATE_DSP_ARCH_AARCH64_ASIMD_MIX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL */
28
29 namespace lsp
30 {
31 namespace asimd
32 {
33 void mix2(float *a, const float *b, float k1, float k2, size_t count)
34 {
35 ARCH_AARCH64_ASM(
36 __ASM_EMIT("dup v28.4s, %[k1].s[0]")
37 __ASM_EMIT("dup v29.4s, %[k2].s[0]")
38 __ASM_EMIT("subs %[count], %[count], #16")
39 __ASM_EMIT("b.lt 2f")
40 // x16 block
41 __ASM_EMIT("1:")
42 __ASM_EMIT("ldp q0, q1, [%[a], #0x00]")
43 __ASM_EMIT("ldp q2, q3, [%[a], #0x20]")
44 __ASM_EMIT("ldp q4, q5, [%[b], #0x00]")
45 __ASM_EMIT("ldp q6, q7, [%[b], #0x20]")
46 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
47 __ASM_EMIT("fmul v17.4s, v1.4s, v28.4s")
48 __ASM_EMIT("fmul v18.4s, v2.4s, v28.4s")
49 __ASM_EMIT("fmul v19.4s, v3.4s, v28.4s")
50 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
51 __ASM_EMIT("fmla v17.4s, v5.4s, v29.4s")
52 __ASM_EMIT("fmla v18.4s, v6.4s, v29.4s")
53 __ASM_EMIT("fmla v19.4s, v7.4s, v29.4s")
54 __ASM_EMIT("stp q16, q17, [%[a], #0x00]")
55 __ASM_EMIT("stp q18, q19, [%[a], #0x20]")
56 __ASM_EMIT("subs %[count], %[count], #16")
57 __ASM_EMIT("add %[a], %[a], #0x40")
58 __ASM_EMIT("add %[b], %[b], #0x40")
59 __ASM_EMIT("b.hs 1b")
60 // x8 block
61 __ASM_EMIT("2:")
62 __ASM_EMIT("adds %[count], %[count], #8")
63 __ASM_EMIT("b.lt 4f")
64 __ASM_EMIT("ldp q0, q1, [%[a], #0x00]")
65 __ASM_EMIT("ldp q4, q5, [%[b], #0x00]")
66 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
67 __ASM_EMIT("fmul v17.4s, v1.4s, v28.4s")
68 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
69 __ASM_EMIT("fmla v17.4s, v5.4s, v29.4s")
70 __ASM_EMIT("stp q16, q17, [%[a], #0x00]")
71 __ASM_EMIT("sub %[count], %[count], #8")
72 __ASM_EMIT("add %[a], %[a], #0x20")
73 __ASM_EMIT("add %[b], %[b], #0x20")
74 // x4 block
75 __ASM_EMIT("4:")
76 __ASM_EMIT("adds %[count], %[count], #4")
77 __ASM_EMIT("b.lt 6f")
78 __ASM_EMIT("ldr q0, [%[a], #0x00]")
79 __ASM_EMIT("ldr q4, [%[b], #0x00]")
80 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
81 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
82 __ASM_EMIT("str q16, [%[a], #0x00]")
83 __ASM_EMIT("sub %[count], %[count], #4")
84 __ASM_EMIT("add %[a], %[a], #0x10")
85 __ASM_EMIT("add %[b], %[b], #0x10")
86 // x1 blocks
87 __ASM_EMIT("6:")
88 __ASM_EMIT("adds %[count], %[count], #3")
89 __ASM_EMIT("b.lt 8f")
90 __ASM_EMIT("7:")
91 __ASM_EMIT("ld1r {v0.4s}, [%[a]]")
92 __ASM_EMIT("ld1r {v4.4s}, [%[b]]")
93 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
94 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
95 __ASM_EMIT("st1 {v16.s}[0], [%[a]]")
96 __ASM_EMIT("subs %[count], %[count], #1")
97 __ASM_EMIT("add %[a], %[a], #0x04")
98 __ASM_EMIT("add %[b], %[b], #0x04")
99 __ASM_EMIT("b.ge 7b")
100 // End
101 __ASM_EMIT("8:")
102
103 : [a] "+r" (a), [b] "+r" (b),
104 [count] "+r" (count),
105 [k1] "+w" (k1), [k2] "+w" (k2)
106 :
107 : "cc", "memory",
108 "v2", "v3",
109 "v4", "v5", "v6", "v7",
110 "v16", "v17", "v18", "v19",
111 "v28", "v29"
112 );
113 }
114
115 void mix_copy2(float *dst, const float *a, const float *b, float k1, float k2, size_t count)
116 {
117 ARCH_AARCH64_ASM(
118 __ASM_EMIT("dup v28.4s, %[k1].s[0]")
119 __ASM_EMIT("dup v29.4s, %[k2].s[0]")
120 __ASM_EMIT("subs %[count], %[count], #16")
121 __ASM_EMIT("b.lt 2f")
122 // x16 block
123 __ASM_EMIT("1:")
124 __ASM_EMIT("ldp q0, q1, [%[a], #0x00]")
125 __ASM_EMIT("ldp q2, q3, [%[a], #0x20]")
126 __ASM_EMIT("ldp q4, q5, [%[b], #0x00]")
127 __ASM_EMIT("ldp q6, q7, [%[b], #0x20]")
128 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
129 __ASM_EMIT("fmul v17.4s, v1.4s, v28.4s")
130 __ASM_EMIT("fmul v18.4s, v2.4s, v28.4s")
131 __ASM_EMIT("fmul v19.4s, v3.4s, v28.4s")
132 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
133 __ASM_EMIT("fmla v17.4s, v5.4s, v29.4s")
134 __ASM_EMIT("fmla v18.4s, v6.4s, v29.4s")
135 __ASM_EMIT("fmla v19.4s, v7.4s, v29.4s")
136 __ASM_EMIT("stp q16, q17, [%[dst], #0x00]")
137 __ASM_EMIT("stp q18, q19, [%[dst], #0x20]")
138 __ASM_EMIT("subs %[count], %[count], #16")
139 __ASM_EMIT("add %[a], %[a], #0x40")
140 __ASM_EMIT("add %[b], %[b], #0x40")
141 __ASM_EMIT("add %[dst], %[dst], #0x40")
142 __ASM_EMIT("b.hs 1b")
143 // x8 block
144 __ASM_EMIT("2:")
145 __ASM_EMIT("adds %[count], %[count], #8")
146 __ASM_EMIT("b.lt 4f")
147 __ASM_EMIT("ldp q0, q1, [%[a], #0x00]")
148 __ASM_EMIT("ldp q4, q5, [%[b], #0x00]")
149 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
150 __ASM_EMIT("fmul v17.4s, v1.4s, v28.4s")
151 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
152 __ASM_EMIT("fmla v17.4s, v5.4s, v29.4s")
153 __ASM_EMIT("stp q16, q17, [%[dst], #0x00]")
154 __ASM_EMIT("sub %[count], %[count], #8")
155 __ASM_EMIT("add %[a], %[a], #0x20")
156 __ASM_EMIT("add %[b], %[b], #0x20")
157 __ASM_EMIT("add %[dst], %[dst], #0x20")
158 // x4 block
159 __ASM_EMIT("4:")
160 __ASM_EMIT("adds %[count], %[count], #4")
161 __ASM_EMIT("b.lt 6f")
162 __ASM_EMIT("ldr q0, [%[a], #0x00]")
163 __ASM_EMIT("ldr q4, [%[b], #0x00]")
164 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
165 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
166 __ASM_EMIT("str q16, [%[dst], #0x00]")
167 __ASM_EMIT("sub %[count], %[count], #4")
168 __ASM_EMIT("add %[a], %[a], #0x10")
169 __ASM_EMIT("add %[b], %[b], #0x10")
170 __ASM_EMIT("add %[dst], %[dst], #0x10")
171 // x1 blocks
172 __ASM_EMIT("6:")
173 __ASM_EMIT("adds %[count], %[count], #3")
174 __ASM_EMIT("b.lt 8f")
175 __ASM_EMIT("7:")
176 __ASM_EMIT("ld1r {v0.4s}, [%[a]]")
177 __ASM_EMIT("ld1r {v4.4s}, [%[b]]")
178 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
179 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
180 __ASM_EMIT("st1 {v16.s}[0], [%[dst]]")
181 __ASM_EMIT("subs %[count], %[count], #1")
182 __ASM_EMIT("add %[a], %[a], #0x04")
183 __ASM_EMIT("add %[b], %[b], #0x04")
184 __ASM_EMIT("add %[dst], %[dst], #0x04")
185 __ASM_EMIT("b.ge 7b")
186 // End
187 __ASM_EMIT("8:")
188
189 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
190 [count] "+r" (count),
191 [k1] "+w" (k1), [k2] "+w" (k2)
192 :
193 : "cc", "memory",
194 "v2", "v3",
195 "v4", "v5", "v6", "v7",
196 "v16", "v17", "v18", "v19",
197 "v28", "v29"
198 );
199 }
200
201 void mix_add2(float *dst, const float *a, const float *b, float k1, float k2, size_t count)
202 {
203 ARCH_AARCH64_ASM(
204 __ASM_EMIT("dup v28.4s, %[k1].s[0]")
205 __ASM_EMIT("dup v29.4s, %[k2].s[0]")
206 __ASM_EMIT("subs %[count], %[count], #16")
207 __ASM_EMIT("b.lt 2f")
208 // x16 block
209 __ASM_EMIT("1:")
210 __ASM_EMIT("ldp q16, q17, [%[dst], #0x00]")
211 __ASM_EMIT("ldp q18, q19, [%[dst], #0x20]")
212 __ASM_EMIT("ldp q0, q1, [%[a], #0x00]")
213 __ASM_EMIT("ldp q2, q3, [%[a], #0x20]")
214 __ASM_EMIT("ldp q4, q5, [%[b], #0x00]")
215 __ASM_EMIT("ldp q6, q7, [%[b], #0x20]")
216 __ASM_EMIT("fmla v16.4s, v0.4s, v28.4s")
217 __ASM_EMIT("fmla v17.4s, v1.4s, v28.4s")
218 __ASM_EMIT("fmla v18.4s, v2.4s, v28.4s")
219 __ASM_EMIT("fmla v19.4s, v3.4s, v28.4s")
220 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
221 __ASM_EMIT("fmla v17.4s, v5.4s, v29.4s")
222 __ASM_EMIT("fmla v18.4s, v6.4s, v29.4s")
223 __ASM_EMIT("fmla v19.4s, v7.4s, v29.4s")
224 __ASM_EMIT("stp q16, q17, [%[dst], #0x00]")
225 __ASM_EMIT("stp q18, q19, [%[dst], #0x20]")
226 __ASM_EMIT("subs %[count], %[count], #16")
227 __ASM_EMIT("add %[a], %[a], #0x40")
228 __ASM_EMIT("add %[b], %[b], #0x40")
229 __ASM_EMIT("add %[dst], %[dst], #0x40")
230 __ASM_EMIT("b.hs 1b")
231 // x8 block
232 __ASM_EMIT("2:")
233 __ASM_EMIT("adds %[count], %[count], #8")
234 __ASM_EMIT("b.lt 4f")
235 __ASM_EMIT("ldp q16, q17, [%[dst], #0x00]")
236 __ASM_EMIT("ldp q0, q1, [%[a], #0x00]")
237 __ASM_EMIT("ldp q4, q5, [%[b], #0x00]")
238 __ASM_EMIT("fmla v16.4s, v0.4s, v28.4s")
239 __ASM_EMIT("fmla v17.4s, v1.4s, v28.4s")
240 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
241 __ASM_EMIT("fmla v17.4s, v5.4s, v29.4s")
242 __ASM_EMIT("stp q16, q17, [%[dst], #0x00]")
243 __ASM_EMIT("sub %[count], %[count], #8")
244 __ASM_EMIT("add %[a], %[a], #0x20")
245 __ASM_EMIT("add %[b], %[b], #0x20")
246 __ASM_EMIT("add %[dst], %[dst], #0x20")
247 // x4 block
248 __ASM_EMIT("4:")
249 __ASM_EMIT("adds %[count], %[count], #4")
250 __ASM_EMIT("b.lt 6f")
251 __ASM_EMIT("ldr q16, [%[dst], #0x00]")
252 __ASM_EMIT("ldr q0, [%[a], #0x00]")
253 __ASM_EMIT("ldr q4, [%[b], #0x00]")
254 __ASM_EMIT("fmla v16.4s, v0.4s, v28.4s")
255 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
256 __ASM_EMIT("str q16, [%[dst], #0x00]")
257 __ASM_EMIT("sub %[count], %[count], #4")
258 __ASM_EMIT("add %[a], %[a], #0x10")
259 __ASM_EMIT("add %[b], %[b], #0x10")
260 __ASM_EMIT("add %[dst], %[dst], #0x10")
261 // x1 blocks
262 __ASM_EMIT("6:")
263 __ASM_EMIT("adds %[count], %[count], #3")
264 __ASM_EMIT("b.lt 8f")
265 __ASM_EMIT("7:")
266 __ASM_EMIT("ld1r {v16.4s}, [%[dst]]")
267 __ASM_EMIT("ld1r {v0.4s}, [%[a]]")
268 __ASM_EMIT("ld1r {v4.4s}, [%[b]]")
269 __ASM_EMIT("fmla v16.4s, v0.4s, v28.4s")
270 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
271 __ASM_EMIT("st1 {v16.s}[0], [%[dst]]")
272 __ASM_EMIT("subs %[count], %[count], #1")
273 __ASM_EMIT("add %[a], %[a], #0x04")
274 __ASM_EMIT("add %[b], %[b], #0x04")
275 __ASM_EMIT("add %[dst], %[dst], #0x04")
276 __ASM_EMIT("b.ge 7b")
277 // End
278 __ASM_EMIT("8:")
279
280 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
281 [count] "+r" (count),
282 [k1] "+w" (k1), [k2] "+w" (k2)
283 :
284 : "cc", "memory",
285 "v2", "v3",
286 "v4", "v5", "v6", "v7",
287 "v16", "v17", "v18", "v19",
288 "v28", "v29"
289 );
290 }
291
292 void mix3(float *a, const float *b, const float *c, float k1, float k2, float k3, size_t count)
293 {
294 ARCH_AARCH64_ASM(
295 __ASM_EMIT("dup v28.4s, %[k1].s[0]")
296 __ASM_EMIT("dup v29.4s, %[k2].s[0]")
297 __ASM_EMIT("dup v30.4s, %[k3].s[0]")
298 __ASM_EMIT("subs %[count], %[count], #16")
299 __ASM_EMIT("b.lt 2f")
300 // x16 block
301 __ASM_EMIT("1:")
302 __ASM_EMIT("ldp q0, q1, [%[a], #0x00]")
303 __ASM_EMIT("ldp q2, q3, [%[a], #0x20]")
304 __ASM_EMIT("ldp q4, q5, [%[b], #0x00]")
305 __ASM_EMIT("ldp q6, q7, [%[b], #0x20]")
306 __ASM_EMIT("ldp q8, q9, [%[c], #0x00]")
307 __ASM_EMIT("ldp q10, q11, [%[c], #0x20]")
308 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
309 __ASM_EMIT("fmul v17.4s, v1.4s, v28.4s")
310 __ASM_EMIT("fmul v18.4s, v2.4s, v28.4s")
311 __ASM_EMIT("fmul v19.4s, v3.4s, v28.4s")
312 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
313 __ASM_EMIT("fmla v17.4s, v5.4s, v29.4s")
314 __ASM_EMIT("fmla v18.4s, v6.4s, v29.4s")
315 __ASM_EMIT("fmla v19.4s, v7.4s, v29.4s")
316 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
317 __ASM_EMIT("fmla v17.4s, v9.4s, v30.4s")
318 __ASM_EMIT("fmla v18.4s, v10.4s, v30.4s")
319 __ASM_EMIT("fmla v19.4s, v11.4s, v30.4s")
320 __ASM_EMIT("stp q16, q17, [%[a], #0x00]")
321 __ASM_EMIT("stp q18, q19, [%[a], #0x20]")
322 __ASM_EMIT("subs %[count], %[count], #16")
323 __ASM_EMIT("add %[a], %[a], #0x40")
324 __ASM_EMIT("add %[b], %[b], #0x40")
325 __ASM_EMIT("add %[c], %[c], #0x40")
326 __ASM_EMIT("b.hs 1b")
327 // x8 block
328 __ASM_EMIT("2:")
329 __ASM_EMIT("adds %[count], %[count], #8")
330 __ASM_EMIT("b.lt 4f")
331 __ASM_EMIT("ldp q0, q1, [%[a], #0x00]")
332 __ASM_EMIT("ldp q4, q5, [%[b], #0x00]")
333 __ASM_EMIT("ldp q8, q9, [%[c], #0x00]")
334 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
335 __ASM_EMIT("fmul v17.4s, v1.4s, v28.4s")
336 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
337 __ASM_EMIT("fmla v17.4s, v5.4s, v29.4s")
338 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
339 __ASM_EMIT("fmla v17.4s, v9.4s, v30.4s")
340 __ASM_EMIT("stp q16, q17, [%[a], #0x00]")
341 __ASM_EMIT("sub %[count], %[count], #8")
342 __ASM_EMIT("add %[a], %[a], #0x20")
343 __ASM_EMIT("add %[b], %[b], #0x20")
344 __ASM_EMIT("add %[c], %[c], #0x20")
345 // x4 block
346 __ASM_EMIT("4:")
347 __ASM_EMIT("adds %[count], %[count], #4")
348 __ASM_EMIT("b.lt 6f")
349 __ASM_EMIT("ldr q0, [%[a], #0x00]")
350 __ASM_EMIT("ldr q4, [%[b], #0x00]")
351 __ASM_EMIT("ldr q8, [%[c], #0x00]")
352 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
353 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
354 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
355 __ASM_EMIT("str q16, [%[a], #0x00]")
356 __ASM_EMIT("sub %[count], %[count], #4")
357 __ASM_EMIT("add %[a], %[a], #0x10")
358 __ASM_EMIT("add %[b], %[b], #0x10")
359 __ASM_EMIT("add %[c], %[c], #0x10")
360 // x1 blocks
361 __ASM_EMIT("6:")
362 __ASM_EMIT("adds %[count], %[count], #3")
363 __ASM_EMIT("b.lt 8f")
364 __ASM_EMIT("7:")
365 __ASM_EMIT("ld1r {v0.4s}, [%[a]]")
366 __ASM_EMIT("ld1r {v4.4s}, [%[b]]")
367 __ASM_EMIT("ld1r {v8.4s}, [%[c]]")
368 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
369 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
370 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
371 __ASM_EMIT("st1 {v16.s}[0], [%[a]]")
372 __ASM_EMIT("subs %[count], %[count], #1")
373 __ASM_EMIT("add %[a], %[a], #0x04")
374 __ASM_EMIT("add %[b], %[b], #0x04")
375 __ASM_EMIT("add %[c], %[c], #0x04")
376 __ASM_EMIT("b.ge 7b")
377 // End
378 __ASM_EMIT("8:")
379
380 : [a] "+r" (a), [b] "+r" (b), [c] "+r" (c),
381 [count] "+r" (count),
382 [k1] "+w" (k1), [k2] "+w" (k2), [k3] "+w" (k3)
383 :
384 : "cc", "memory",
385 "v3",
386 "v4", "v5", "v6", "v7",
387 "v8", "v9", "v10", "v11",
388 "v16", "v17", "v18", "v19",
389 "v28", "v29", "v30"
390 );
391 }
392
393 void mix_copy3(float *dst, const float *a, const float *b, const float *c, float k1, float k2, float k3, size_t count)
394 {
395 ARCH_AARCH64_ASM(
396 __ASM_EMIT("dup v28.4s, %[k1].s[0]")
397 __ASM_EMIT("dup v29.4s, %[k2].s[0]")
398 __ASM_EMIT("dup v30.4s, %[k3].s[0]")
399 __ASM_EMIT("subs %[count], %[count], #16")
400 __ASM_EMIT("b.lt 2f")
401 // x16 block
402 __ASM_EMIT("1:")
403 __ASM_EMIT("ldp q0, q1, [%[a], #0x00]")
404 __ASM_EMIT("ldp q2, q3, [%[a], #0x20]")
405 __ASM_EMIT("ldp q4, q5, [%[b], #0x00]")
406 __ASM_EMIT("ldp q6, q7, [%[b], #0x20]")
407 __ASM_EMIT("ldp q8, q9, [%[c], #0x00]")
408 __ASM_EMIT("ldp q10, q11, [%[c], #0x20]")
409 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
410 __ASM_EMIT("fmul v17.4s, v1.4s, v28.4s")
411 __ASM_EMIT("fmul v18.4s, v2.4s, v28.4s")
412 __ASM_EMIT("fmul v19.4s, v3.4s, v28.4s")
413 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
414 __ASM_EMIT("fmla v17.4s, v5.4s, v29.4s")
415 __ASM_EMIT("fmla v18.4s, v6.4s, v29.4s")
416 __ASM_EMIT("fmla v19.4s, v7.4s, v29.4s")
417 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
418 __ASM_EMIT("fmla v17.4s, v9.4s, v30.4s")
419 __ASM_EMIT("fmla v18.4s, v10.4s, v30.4s")
420 __ASM_EMIT("fmla v19.4s, v11.4s, v30.4s")
421 __ASM_EMIT("stp q16, q17, [%[dst], #0x00]")
422 __ASM_EMIT("stp q18, q19, [%[dst], #0x20]")
423 __ASM_EMIT("subs %[count], %[count], #16")
424 __ASM_EMIT("add %[a], %[a], #0x40")
425 __ASM_EMIT("add %[b], %[b], #0x40")
426 __ASM_EMIT("add %[c], %[c], #0x40")
427 __ASM_EMIT("add %[dst], %[dst], #0x40")
428 __ASM_EMIT("b.hs 1b")
429 // x8 block
430 __ASM_EMIT("2:")
431 __ASM_EMIT("adds %[count], %[count], #8")
432 __ASM_EMIT("b.lt 4f")
433 __ASM_EMIT("ldp q0, q1, [%[a], #0x00]")
434 __ASM_EMIT("ldp q4, q5, [%[b], #0x00]")
435 __ASM_EMIT("ldp q8, q9, [%[c], #0x00]")
436 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
437 __ASM_EMIT("fmul v17.4s, v1.4s, v28.4s")
438 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
439 __ASM_EMIT("fmla v17.4s, v5.4s, v29.4s")
440 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
441 __ASM_EMIT("fmla v17.4s, v9.4s, v30.4s")
442 __ASM_EMIT("stp q16, q17, [%[dst], #0x00]")
443 __ASM_EMIT("sub %[count], %[count], #8")
444 __ASM_EMIT("add %[a], %[a], #0x20")
445 __ASM_EMIT("add %[b], %[b], #0x20")
446 __ASM_EMIT("add %[c], %[c], #0x20")
447 __ASM_EMIT("add %[dst], %[dst], #0x20")
448 // x4 block
449 __ASM_EMIT("4:")
450 __ASM_EMIT("adds %[count], %[count], #4")
451 __ASM_EMIT("b.lt 6f")
452 __ASM_EMIT("ldr q0, [%[a], #0x00]")
453 __ASM_EMIT("ldr q4, [%[b], #0x00]")
454 __ASM_EMIT("ldr q8, [%[c], #0x00]")
455 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
456 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
457 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
458 __ASM_EMIT("str q16, [%[dst], #0x00]")
459 __ASM_EMIT("sub %[count], %[count], #4")
460 __ASM_EMIT("add %[a], %[a], #0x10")
461 __ASM_EMIT("add %[b], %[b], #0x10")
462 __ASM_EMIT("add %[c], %[c], #0x10")
463 __ASM_EMIT("add %[dst], %[dst], #0x10")
464 // x1 blocks
465 __ASM_EMIT("6:")
466 __ASM_EMIT("adds %[count], %[count], #3")
467 __ASM_EMIT("b.lt 8f")
468 __ASM_EMIT("7:")
469 __ASM_EMIT("ld1r {v0.4s}, [%[a]]")
470 __ASM_EMIT("ld1r {v4.4s}, [%[b]]")
471 __ASM_EMIT("ld1r {v8.4s}, [%[c]]")
472 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
473 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
474 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
475 __ASM_EMIT("st1 {v16.s}[0], [%[dst]]")
476 __ASM_EMIT("subs %[count], %[count], #1")
477 __ASM_EMIT("add %[a], %[a], #0x04")
478 __ASM_EMIT("add %[b], %[b], #0x04")
479 __ASM_EMIT("add %[c], %[c], #0x04")
480 __ASM_EMIT("add %[dst], %[dst], #0x04")
481 __ASM_EMIT("b.ge 7b")
482 // End
483 __ASM_EMIT("8:")
484
485 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c),
486 [count] "+r" (count),
487 [k1] "+w" (k1), [k2] "+w" (k2), [k3] "+w" (k3)
488 :
489 : "cc", "memory",
490 "v3",
491 "v4", "v5", "v6", "v7",
492 "v8", "v9", "v10", "v11",
493 "v16", "v17", "v18", "v19",
494 "v28", "v29", "v30"
495 );
496 }
497
498 void mix_add3(float *dst, const float *a, const float *b, const float *c, float k1, float k2, float k3, size_t count)
499 {
500 ARCH_AARCH64_ASM(
501 __ASM_EMIT("dup v28.4s, %[k1].s[0]")
502 __ASM_EMIT("dup v29.4s, %[k2].s[0]")
503 __ASM_EMIT("dup v30.4s, %[k3].s[0]")
504 __ASM_EMIT("subs %[count], %[count], #16")
505 __ASM_EMIT("b.lt 2f")
506 // x16 block
507 __ASM_EMIT("1:")
508 __ASM_EMIT("ldp q16, q17, [%[dst], #0x00]")
509 __ASM_EMIT("ldp q18, q19, [%[dst], #0x20]")
510 __ASM_EMIT("ldp q0, q1, [%[a], #0x00]")
511 __ASM_EMIT("ldp q2, q3, [%[a], #0x20]")
512 __ASM_EMIT("ldp q4, q5, [%[b], #0x00]")
513 __ASM_EMIT("ldp q6, q7, [%[b], #0x20]")
514 __ASM_EMIT("ldp q8, q9, [%[c], #0x00]")
515 __ASM_EMIT("ldp q10, q11, [%[c], #0x20]")
516 __ASM_EMIT("fmla v16.4s, v0.4s, v28.4s")
517 __ASM_EMIT("fmla v17.4s, v1.4s, v28.4s")
518 __ASM_EMIT("fmla v18.4s, v2.4s, v28.4s")
519 __ASM_EMIT("fmla v19.4s, v3.4s, v28.4s")
520 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
521 __ASM_EMIT("fmla v17.4s, v5.4s, v29.4s")
522 __ASM_EMIT("fmla v18.4s, v6.4s, v29.4s")
523 __ASM_EMIT("fmla v19.4s, v7.4s, v29.4s")
524 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
525 __ASM_EMIT("fmla v17.4s, v9.4s, v30.4s")
526 __ASM_EMIT("fmla v18.4s, v10.4s, v30.4s")
527 __ASM_EMIT("fmla v19.4s, v11.4s, v30.4s")
528 __ASM_EMIT("stp q16, q17, [%[dst], #0x00]")
529 __ASM_EMIT("stp q18, q19, [%[dst], #0x20]")
530 __ASM_EMIT("subs %[count], %[count], #16")
531 __ASM_EMIT("add %[a], %[a], #0x40")
532 __ASM_EMIT("add %[b], %[b], #0x40")
533 __ASM_EMIT("add %[c], %[c], #0x40")
534 __ASM_EMIT("add %[dst], %[dst], #0x40")
535 __ASM_EMIT("b.hs 1b")
536 // x8 block
537 __ASM_EMIT("2:")
538 __ASM_EMIT("adds %[count], %[count], #8")
539 __ASM_EMIT("b.lt 4f")
540 __ASM_EMIT("ldp q16, q17, [%[dst], #0x00]")
541 __ASM_EMIT("ldp q0, q1, [%[a], #0x00]")
542 __ASM_EMIT("ldp q4, q5, [%[b], #0x00]")
543 __ASM_EMIT("ldp q8, q9, [%[c], #0x00]")
544 __ASM_EMIT("fmla v16.4s, v0.4s, v28.4s")
545 __ASM_EMIT("fmla v17.4s, v1.4s, v28.4s")
546 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
547 __ASM_EMIT("fmla v17.4s, v5.4s, v29.4s")
548 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
549 __ASM_EMIT("fmla v17.4s, v9.4s, v30.4s")
550 __ASM_EMIT("stp q16, q17, [%[dst], #0x00]")
551 __ASM_EMIT("sub %[count], %[count], #8")
552 __ASM_EMIT("add %[a], %[a], #0x20")
553 __ASM_EMIT("add %[b], %[b], #0x20")
554 __ASM_EMIT("add %[c], %[c], #0x20")
555 __ASM_EMIT("add %[dst], %[dst], #0x20")
556 // x4 block
557 __ASM_EMIT("4:")
558 __ASM_EMIT("adds %[count], %[count], #4")
559 __ASM_EMIT("b.lt 6f")
560 __ASM_EMIT("ldr q16, [%[dst], #0x00]")
561 __ASM_EMIT("ldr q0, [%[a], #0x00]")
562 __ASM_EMIT("ldr q4, [%[b], #0x00]")
563 __ASM_EMIT("ldr q8, [%[c], #0x00]")
564 __ASM_EMIT("fmla v16.4s, v0.4s, v28.4s")
565 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
566 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
567 __ASM_EMIT("str q16, [%[dst], #0x00]")
568 __ASM_EMIT("sub %[count], %[count], #4")
569 __ASM_EMIT("add %[a], %[a], #0x10")
570 __ASM_EMIT("add %[b], %[b], #0x10")
571 __ASM_EMIT("add %[c], %[c], #0x10")
572 __ASM_EMIT("add %[dst], %[dst], #0x10")
573 // x1 blocks
574 __ASM_EMIT("6:")
575 __ASM_EMIT("adds %[count], %[count], #3")
576 __ASM_EMIT("b.lt 8f")
577 __ASM_EMIT("7:")
578 __ASM_EMIT("ld1r {v16.4s}, [%[dst]]")
579 __ASM_EMIT("ld1r {v0.4s}, [%[a]]")
580 __ASM_EMIT("ld1r {v4.4s}, [%[b]]")
581 __ASM_EMIT("ld1r {v8.4s}, [%[c]]")
582 __ASM_EMIT("fmla v16.4s, v0.4s, v28.4s")
583 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
584 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
585 __ASM_EMIT("st1 {v16.s}[0], [%[dst]]")
586 __ASM_EMIT("subs %[count], %[count], #1")
587 __ASM_EMIT("add %[a], %[a], #0x04")
588 __ASM_EMIT("add %[b], %[b], #0x04")
589 __ASM_EMIT("add %[c], %[c], #0x04")
590 __ASM_EMIT("add %[dst], %[dst], #0x04")
591 __ASM_EMIT("b.ge 7b")
592 // End
593 __ASM_EMIT("8:")
594
595 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c),
596 [count] "+r" (count),
597 [k1] "+w" (k1), [k2] "+w" (k2), [k3] "+w" (k3)
598 :
599 : "cc", "memory",
600 "v3",
601 "v4", "v5", "v6", "v7",
602 "v8", "v9", "v10", "v11",
603 "v16", "v17", "v18", "v19",
604 "v28", "v29", "v30"
605 );
606 }
607
608 void mix4(float *a, const float *b, const float *c, const float *d,
609 float k1, float k2, float k3, float k4, size_t count)
610 {
611 ARCH_AARCH64_ASM(
612 __ASM_EMIT("dup v28.4s, %[k1].s[0]")
613 __ASM_EMIT("dup v29.4s, %[k2].s[0]")
614 __ASM_EMIT("dup v30.4s, %[k3].s[0]")
615 __ASM_EMIT("dup v31.4s, %[k4].s[0]")
616 __ASM_EMIT("subs %[count], %[count], #16")
617 __ASM_EMIT("b.lt 2f")
618 // x16 block
619 __ASM_EMIT("1:")
620 __ASM_EMIT("ldp q0, q1, [%[a], #0x00]")
621 __ASM_EMIT("ldp q2, q3, [%[a], #0x20]")
622 __ASM_EMIT("ldp q4, q5, [%[b], #0x00]")
623 __ASM_EMIT("ldp q6, q7, [%[b], #0x20]")
624 __ASM_EMIT("ldp q8, q9, [%[c], #0x00]")
625 __ASM_EMIT("ldp q10, q11, [%[c], #0x20]")
626 __ASM_EMIT("ldp q12, q13, [%[d], #0x00]")
627 __ASM_EMIT("ldp q14, q15, [%[d], #0x20]")
628 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
629 __ASM_EMIT("fmul v17.4s, v1.4s, v28.4s")
630 __ASM_EMIT("fmul v18.4s, v2.4s, v28.4s")
631 __ASM_EMIT("fmul v19.4s, v3.4s, v28.4s")
632 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
633 __ASM_EMIT("fmla v17.4s, v5.4s, v29.4s")
634 __ASM_EMIT("fmla v18.4s, v6.4s, v29.4s")
635 __ASM_EMIT("fmla v19.4s, v7.4s, v29.4s")
636 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
637 __ASM_EMIT("fmla v17.4s, v9.4s, v30.4s")
638 __ASM_EMIT("fmla v18.4s, v10.4s, v30.4s")
639 __ASM_EMIT("fmla v19.4s, v11.4s, v30.4s")
640 __ASM_EMIT("fmla v16.4s, v12.4s, v31.4s")
641 __ASM_EMIT("fmla v17.4s, v13.4s, v31.4s")
642 __ASM_EMIT("fmla v18.4s, v14.4s, v31.4s")
643 __ASM_EMIT("fmla v19.4s, v15.4s, v31.4s")
644 __ASM_EMIT("stp q16, q17, [%[a], #0x00]")
645 __ASM_EMIT("stp q18, q19, [%[a], #0x20]")
646 __ASM_EMIT("subs %[count], %[count], #16")
647 __ASM_EMIT("add %[a], %[a], #0x40")
648 __ASM_EMIT("add %[b], %[b], #0x40")
649 __ASM_EMIT("add %[c], %[c], #0x40")
650 __ASM_EMIT("add %[d], %[d], #0x40")
651 __ASM_EMIT("b.hs 1b")
652 // x8 block
653 __ASM_EMIT("2:")
654 __ASM_EMIT("adds %[count], %[count], #8")
655 __ASM_EMIT("b.lt 4f")
656 __ASM_EMIT("ldp q0, q1, [%[a], #0x00]")
657 __ASM_EMIT("ldp q4, q5, [%[b], #0x00]")
658 __ASM_EMIT("ldp q8, q9, [%[c], #0x00]")
659 __ASM_EMIT("ldp q12, q13, [%[d], #0x00]")
660 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
661 __ASM_EMIT("fmul v17.4s, v1.4s, v28.4s")
662 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
663 __ASM_EMIT("fmla v17.4s, v5.4s, v29.4s")
664 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
665 __ASM_EMIT("fmla v17.4s, v9.4s, v30.4s")
666 __ASM_EMIT("fmla v16.4s, v12.4s, v31.4s")
667 __ASM_EMIT("fmla v17.4s, v13.4s, v31.4s")
668 __ASM_EMIT("stp q16, q17, [%[a], #0x00]")
669 __ASM_EMIT("sub %[count], %[count], #8")
670 __ASM_EMIT("add %[a], %[a], #0x20")
671 __ASM_EMIT("add %[b], %[b], #0x20")
672 __ASM_EMIT("add %[c], %[c], #0x20")
673 __ASM_EMIT("add %[d], %[d], #0x20")
674 // x4 block
675 __ASM_EMIT("4:")
676 __ASM_EMIT("adds %[count], %[count], #4")
677 __ASM_EMIT("b.lt 6f")
678 __ASM_EMIT("ldr q0, [%[a], #0x00]")
679 __ASM_EMIT("ldr q4, [%[b], #0x00]")
680 __ASM_EMIT("ldr q8, [%[c], #0x00]")
681 __ASM_EMIT("ldr q12, [%[d], #0x00]")
682 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
683 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
684 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
685 __ASM_EMIT("fmla v16.4s, v12.4s, v31.4s")
686 __ASM_EMIT("str q16, [%[a], #0x00]")
687 __ASM_EMIT("sub %[count], %[count], #4")
688 __ASM_EMIT("add %[a], %[a], #0x10")
689 __ASM_EMIT("add %[b], %[b], #0x10")
690 __ASM_EMIT("add %[c], %[c], #0x10")
691 __ASM_EMIT("add %[d], %[d], #0x10")
692 // x1 blocks
693 __ASM_EMIT("6:")
694 __ASM_EMIT("adds %[count], %[count], #3")
695 __ASM_EMIT("b.lt 8f")
696 __ASM_EMIT("7:")
697 __ASM_EMIT("ld1r {v0.4s}, [%[a]]")
698 __ASM_EMIT("ld1r {v4.4s}, [%[b]]")
699 __ASM_EMIT("ld1r {v8.4s}, [%[c]]")
700 __ASM_EMIT("ld1r {v12.4s}, [%[d]]")
701 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
702 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
703 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
704 __ASM_EMIT("fmla v16.4s, v12.4s, v31.4s")
705 __ASM_EMIT("st1 {v16.s}[0], [%[a]]")
706 __ASM_EMIT("subs %[count], %[count], #1")
707 __ASM_EMIT("add %[a], %[a], #0x04")
708 __ASM_EMIT("add %[b], %[b], #0x04")
709 __ASM_EMIT("add %[c], %[c], #0x04")
710 __ASM_EMIT("add %[d], %[d], #0x04")
711 __ASM_EMIT("b.ge 7b")
712 // End
713 __ASM_EMIT("8:")
714
715 : [a] "+r" (a), [b] "+r" (b), [c] "+r" (c), [d] "+r" (d),
716 [count] "+r" (count),
717 [k1] "+w" (k1), [k2] "+w" (k2), [k3] "+w" (k3), [k4] "+w" (k4)
718 :
719 : "cc", "memory",
720 "v4", "v5", "v6", "v7",
721 "v8", "v9", "v10", "v11",
722 "v12", "v13", "v14", "v15",
723 "v16", "v17", "v18", "v19",
724 "v28", "v29", "v30", "v31"
725 );
726 }
727
728 void mix_copy4(float *dst, const float *a, const float *b, const float *c, const float *d,
729 float k1, float k2, float k3, float k4, size_t count)
730 {
731 ARCH_AARCH64_ASM(
732 __ASM_EMIT("dup v28.4s, %[k1].s[0]")
733 __ASM_EMIT("dup v29.4s, %[k2].s[0]")
734 __ASM_EMIT("dup v30.4s, %[k3].s[0]")
735 __ASM_EMIT("dup v31.4s, %[k4].s[0]")
736 __ASM_EMIT("subs %[count], %[count], #16")
737 __ASM_EMIT("b.lt 2f")
738 // x16 block
739 __ASM_EMIT("1:")
740 __ASM_EMIT("ldp q0, q1, [%[a], #0x00]")
741 __ASM_EMIT("ldp q2, q3, [%[a], #0x20]")
742 __ASM_EMIT("ldp q4, q5, [%[b], #0x00]")
743 __ASM_EMIT("ldp q6, q7, [%[b], #0x20]")
744 __ASM_EMIT("ldp q8, q9, [%[c], #0x00]")
745 __ASM_EMIT("ldp q10, q11, [%[c], #0x20]")
746 __ASM_EMIT("ldp q12, q13, [%[d], #0x00]")
747 __ASM_EMIT("ldp q14, q15, [%[d], #0x20]")
748 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
749 __ASM_EMIT("fmul v17.4s, v1.4s, v28.4s")
750 __ASM_EMIT("fmul v18.4s, v2.4s, v28.4s")
751 __ASM_EMIT("fmul v19.4s, v3.4s, v28.4s")
752 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
753 __ASM_EMIT("fmla v17.4s, v5.4s, v29.4s")
754 __ASM_EMIT("fmla v18.4s, v6.4s, v29.4s")
755 __ASM_EMIT("fmla v19.4s, v7.4s, v29.4s")
756 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
757 __ASM_EMIT("fmla v17.4s, v9.4s, v30.4s")
758 __ASM_EMIT("fmla v18.4s, v10.4s, v30.4s")
759 __ASM_EMIT("fmla v19.4s, v11.4s, v30.4s")
760 __ASM_EMIT("fmla v16.4s, v12.4s, v31.4s")
761 __ASM_EMIT("fmla v17.4s, v13.4s, v31.4s")
762 __ASM_EMIT("fmla v18.4s, v14.4s, v31.4s")
763 __ASM_EMIT("fmla v19.4s, v15.4s, v31.4s")
764 __ASM_EMIT("stp q16, q17, [%[dst], #0x00]")
765 __ASM_EMIT("stp q18, q19, [%[dst], #0x20]")
766 __ASM_EMIT("subs %[count], %[count], #16")
767 __ASM_EMIT("add %[a], %[a], #0x40")
768 __ASM_EMIT("add %[b], %[b], #0x40")
769 __ASM_EMIT("add %[c], %[c], #0x40")
770 __ASM_EMIT("add %[d], %[d], #0x40")
771 __ASM_EMIT("add %[dst], %[dst], #0x40")
772 __ASM_EMIT("b.hs 1b")
773 // x8 block
774 __ASM_EMIT("2:")
775 __ASM_EMIT("adds %[count], %[count], #8")
776 __ASM_EMIT("b.lt 4f")
777 __ASM_EMIT("ldp q0, q1, [%[a], #0x00]")
778 __ASM_EMIT("ldp q4, q5, [%[b], #0x00]")
779 __ASM_EMIT("ldp q8, q9, [%[c], #0x00]")
780 __ASM_EMIT("ldp q12, q13, [%[d], #0x00]")
781 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
782 __ASM_EMIT("fmul v17.4s, v1.4s, v28.4s")
783 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
784 __ASM_EMIT("fmla v17.4s, v5.4s, v29.4s")
785 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
786 __ASM_EMIT("fmla v17.4s, v9.4s, v30.4s")
787 __ASM_EMIT("fmla v16.4s, v12.4s, v31.4s")
788 __ASM_EMIT("fmla v17.4s, v13.4s, v31.4s")
789 __ASM_EMIT("stp q16, q17, [%[dst], #0x00]")
790 __ASM_EMIT("sub %[count], %[count], #8")
791 __ASM_EMIT("add %[a], %[a], #0x20")
792 __ASM_EMIT("add %[b], %[b], #0x20")
793 __ASM_EMIT("add %[c], %[c], #0x20")
794 __ASM_EMIT("add %[d], %[d], #0x20")
795 __ASM_EMIT("add %[dst], %[dst], #0x20")
796 // x4 block
797 __ASM_EMIT("4:")
798 __ASM_EMIT("adds %[count], %[count], #4")
799 __ASM_EMIT("b.lt 6f")
800 __ASM_EMIT("ldr q0, [%[a], #0x00]")
801 __ASM_EMIT("ldr q4, [%[b], #0x00]")
802 __ASM_EMIT("ldr q8, [%[c], #0x00]")
803 __ASM_EMIT("ldr q12, [%[d], #0x00]")
804 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
805 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
806 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
807 __ASM_EMIT("fmla v16.4s, v12.4s, v31.4s")
808 __ASM_EMIT("str q16, [%[dst], #0x00]")
809 __ASM_EMIT("sub %[count], %[count], #4")
810 __ASM_EMIT("add %[a], %[a], #0x10")
811 __ASM_EMIT("add %[b], %[b], #0x10")
812 __ASM_EMIT("add %[c], %[c], #0x10")
813 __ASM_EMIT("add %[d], %[d], #0x10")
814 __ASM_EMIT("add %[dst], %[dst], #0x10")
815 // x1 blocks
816 __ASM_EMIT("6:")
817 __ASM_EMIT("adds %[count], %[count], #3")
818 __ASM_EMIT("b.lt 8f")
819 __ASM_EMIT("7:")
820 __ASM_EMIT("ld1r {v0.4s}, [%[a]]")
821 __ASM_EMIT("ld1r {v4.4s}, [%[b]]")
822 __ASM_EMIT("ld1r {v8.4s}, [%[c]]")
823 __ASM_EMIT("ld1r {v12.4s}, [%[d]]")
824 __ASM_EMIT("fmul v16.4s, v0.4s, v28.4s")
825 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
826 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
827 __ASM_EMIT("fmla v16.4s, v12.4s, v31.4s")
828 __ASM_EMIT("st1 {v16.s}[0], [%[dst]]")
829 __ASM_EMIT("subs %[count], %[count], #1")
830 __ASM_EMIT("add %[a], %[a], #0x04")
831 __ASM_EMIT("add %[b], %[b], #0x04")
832 __ASM_EMIT("add %[c], %[c], #0x04")
833 __ASM_EMIT("add %[d], %[d], #0x04")
834 __ASM_EMIT("add %[dst], %[dst], #0x04")
835 __ASM_EMIT("b.ge 7b")
836 // End
837 __ASM_EMIT("8:")
838
839 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c), [d] "+r" (d),
840 [count] "+r" (count),
841 [k1] "+w" (k1), [k2] "+w" (k2), [k3] "+w" (k3), [k4] "+w" (k4)
842 :
843 : "cc", "memory",
844 "v4", "v5", "v6", "v7",
845 "v8", "v9", "v10", "v11",
846 "v12", "v13", "v14", "v15",
847 "v16", "v17", "v18", "v19",
848 "v28", "v29", "v30", "v31"
849 );
850 }
851
852 void mix_add4(float *dst, const float *a, const float *b, const float *c, const float *d,
853 float k1, float k2, float k3, float k4, size_t count)
854 {
855 ARCH_AARCH64_ASM(
856 __ASM_EMIT("dup v28.4s, %[k1].s[0]")
857 __ASM_EMIT("dup v29.4s, %[k2].s[0]")
858 __ASM_EMIT("dup v30.4s, %[k3].s[0]")
859 __ASM_EMIT("dup v31.4s, %[k4].s[0]")
860 __ASM_EMIT("subs %[count], %[count], #16")
861 __ASM_EMIT("b.lt 2f")
862 // x16 block
863 __ASM_EMIT("1:")
864 __ASM_EMIT("ldp q16, q17, [%[dst], #0x00]")
865 __ASM_EMIT("ldp q18, q19, [%[dst], #0x20]")
866 __ASM_EMIT("ldp q0, q1, [%[a], #0x00]")
867 __ASM_EMIT("ldp q2, q3, [%[a], #0x20]")
868 __ASM_EMIT("ldp q4, q5, [%[b], #0x00]")
869 __ASM_EMIT("ldp q6, q7, [%[b], #0x20]")
870 __ASM_EMIT("ldp q8, q9, [%[c], #0x00]")
871 __ASM_EMIT("ldp q10, q11, [%[c], #0x20]")
872 __ASM_EMIT("ldp q12, q13, [%[d], #0x00]")
873 __ASM_EMIT("ldp q14, q15, [%[d], #0x20]")
874 __ASM_EMIT("fmla v16.4s, v0.4s, v28.4s")
875 __ASM_EMIT("fmla v17.4s, v1.4s, v28.4s")
876 __ASM_EMIT("fmla v18.4s, v2.4s, v28.4s")
877 __ASM_EMIT("fmla v19.4s, v3.4s, v28.4s")
878 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
879 __ASM_EMIT("fmla v17.4s, v5.4s, v29.4s")
880 __ASM_EMIT("fmla v18.4s, v6.4s, v29.4s")
881 __ASM_EMIT("fmla v19.4s, v7.4s, v29.4s")
882 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
883 __ASM_EMIT("fmla v17.4s, v9.4s, v30.4s")
884 __ASM_EMIT("fmla v18.4s, v10.4s, v30.4s")
885 __ASM_EMIT("fmla v19.4s, v11.4s, v30.4s")
886 __ASM_EMIT("fmla v16.4s, v12.4s, v31.4s")
887 __ASM_EMIT("fmla v17.4s, v13.4s, v31.4s")
888 __ASM_EMIT("fmla v18.4s, v14.4s, v31.4s")
889 __ASM_EMIT("fmla v19.4s, v15.4s, v31.4s")
890 __ASM_EMIT("stp q16, q17, [%[dst], #0x00]")
891 __ASM_EMIT("stp q18, q19, [%[dst], #0x20]")
892 __ASM_EMIT("subs %[count], %[count], #16")
893 __ASM_EMIT("add %[a], %[a], #0x40")
894 __ASM_EMIT("add %[b], %[b], #0x40")
895 __ASM_EMIT("add %[c], %[c], #0x40")
896 __ASM_EMIT("add %[d], %[d], #0x40")
897 __ASM_EMIT("add %[dst], %[dst], #0x40")
898 __ASM_EMIT("b.hs 1b")
899 // x8 block
900 __ASM_EMIT("2:")
901 __ASM_EMIT("adds %[count], %[count], #8")
902 __ASM_EMIT("b.lt 4f")
903 __ASM_EMIT("ldp q16, q17, [%[dst], #0x00]")
904 __ASM_EMIT("ldp q0, q1, [%[a], #0x00]")
905 __ASM_EMIT("ldp q4, q5, [%[b], #0x00]")
906 __ASM_EMIT("ldp q8, q9, [%[c], #0x00]")
907 __ASM_EMIT("ldp q12, q13, [%[d], #0x00]")
908 __ASM_EMIT("fmla v16.4s, v0.4s, v28.4s")
909 __ASM_EMIT("fmla v17.4s, v1.4s, v28.4s")
910 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
911 __ASM_EMIT("fmla v17.4s, v5.4s, v29.4s")
912 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
913 __ASM_EMIT("fmla v17.4s, v9.4s, v30.4s")
914 __ASM_EMIT("fmla v16.4s, v12.4s, v31.4s")
915 __ASM_EMIT("fmla v17.4s, v13.4s, v31.4s")
916 __ASM_EMIT("stp q16, q17, [%[dst], #0x00]")
917 __ASM_EMIT("sub %[count], %[count], #8")
918 __ASM_EMIT("add %[a], %[a], #0x20")
919 __ASM_EMIT("add %[b], %[b], #0x20")
920 __ASM_EMIT("add %[c], %[c], #0x20")
921 __ASM_EMIT("add %[d], %[d], #0x20")
922 __ASM_EMIT("add %[dst], %[dst], #0x20")
923 // x4 block
924 __ASM_EMIT("4:")
925 __ASM_EMIT("adds %[count], %[count], #4")
926 __ASM_EMIT("b.lt 6f")
927 __ASM_EMIT("ldr q16, [%[dst], #0x00]")
928 __ASM_EMIT("ldr q0, [%[a], #0x00]")
929 __ASM_EMIT("ldr q4, [%[b], #0x00]")
930 __ASM_EMIT("ldr q8, [%[c], #0x00]")
931 __ASM_EMIT("ldr q12, [%[d], #0x00]")
932 __ASM_EMIT("fmla v16.4s, v0.4s, v28.4s")
933 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
934 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
935 __ASM_EMIT("fmla v16.4s, v12.4s, v31.4s")
936 __ASM_EMIT("str q16, [%[dst], #0x00]")
937 __ASM_EMIT("sub %[count], %[count], #4")
938 __ASM_EMIT("add %[a], %[a], #0x10")
939 __ASM_EMIT("add %[b], %[b], #0x10")
940 __ASM_EMIT("add %[c], %[c], #0x10")
941 __ASM_EMIT("add %[d], %[d], #0x10")
942 __ASM_EMIT("add %[dst], %[dst], #0x10")
943 // x1 blocks
944 __ASM_EMIT("6:")
945 __ASM_EMIT("adds %[count], %[count], #3")
946 __ASM_EMIT("b.lt 8f")
947 __ASM_EMIT("7:")
948 __ASM_EMIT("ld1r {v16.4s}, [%[dst]]")
949 __ASM_EMIT("ld1r {v0.4s}, [%[a]]")
950 __ASM_EMIT("ld1r {v4.4s}, [%[b]]")
951 __ASM_EMIT("ld1r {v8.4s}, [%[c]]")
952 __ASM_EMIT("ld1r {v12.4s}, [%[d]]")
953 __ASM_EMIT("fmla v16.4s, v0.4s, v28.4s")
954 __ASM_EMIT("fmla v16.4s, v4.4s, v29.4s")
955 __ASM_EMIT("fmla v16.4s, v8.4s, v30.4s")
956 __ASM_EMIT("fmla v16.4s, v12.4s, v31.4s")
957 __ASM_EMIT("st1 {v16.s}[0], [%[dst]]")
958 __ASM_EMIT("subs %[count], %[count], #1")
959 __ASM_EMIT("add %[a], %[a], #0x04")
960 __ASM_EMIT("add %[b], %[b], #0x04")
961 __ASM_EMIT("add %[c], %[c], #0x04")
962 __ASM_EMIT("add %[d], %[d], #0x04")
963 __ASM_EMIT("add %[dst], %[dst], #0x04")
964 __ASM_EMIT("b.ge 7b")
965 // End
966 __ASM_EMIT("8:")
967
968 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c), [d] "+r" (d),
969 [count] "+r" (count),
970 [k1] "+w" (k1), [k2] "+w" (k2), [k3] "+w" (k3), [k4] "+w" (k4)
971 :
972 : "cc", "memory",
973 "v4", "v5", "v6", "v7",
974 "v8", "v9", "v10", "v11",
975 "v12", "v13", "v14", "v15",
976 "v16", "v17", "v18", "v19",
977 "v28", "v29", "v30", "v31"
978 );
979 }
980 }
981 }
982
983 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_MIX_H_ */