Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/mix.h

raw
1 /*
2 * Copyright (C) 2024 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2024 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_MIX_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_MIX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 void mix2(float *a, const float *b, float k1, float k2, size_t count)
34 {
35 ARCH_ARM_ASM(
36 __ASM_EMIT("vdup.32 q13, %y[k1]")
37 __ASM_EMIT("vdup.32 q15, %y[k2]")
38 __ASM_EMIT("vmov q14, q15")
39 __ASM_EMIT("vmov q12, q13")
40 __ASM_EMIT("subs %[count], #16")
41 __ASM_EMIT("blo 2f")
42 /* 16x blocks */
43 __ASM_EMIT("1:")
44 __ASM_EMIT("vldm %[a], {q0-q3}")
45 __ASM_EMIT("vldm %[b]!, {q4-q7}")
46 __ASM_EMIT("vmul.f32 q0, q12")
47 __ASM_EMIT("vmul.f32 q1, q13")
48 __ASM_EMIT("vmul.f32 q2, q12")
49 __ASM_EMIT("vmul.f32 q3, q13")
50 __ASM_EMIT("vmla.f32 q0, q4, q14")
51 __ASM_EMIT("vmla.f32 q1, q5, q15")
52 __ASM_EMIT("vmla.f32 q2, q6, q14")
53 __ASM_EMIT("vmla.f32 q3, q7, q15")
54 __ASM_EMIT("subs %[count], #16")
55 __ASM_EMIT("vstm %[a]!, {q0-q3}")
56 __ASM_EMIT("bhs 1b")
57 /* 8x block */
58 __ASM_EMIT("2:")
59 __ASM_EMIT("adds %[count], #8")
60 __ASM_EMIT("blt 4f")
61 __ASM_EMIT("vldm %[a], {q0-q1}")
62 __ASM_EMIT("vldm %[b]!, {q4-q5}")
63 __ASM_EMIT("vmul.f32 q0, q12")
64 __ASM_EMIT("vmul.f32 q1, q13")
65 __ASM_EMIT("vmla.f32 q0, q4, q14")
66 __ASM_EMIT("vmla.f32 q1, q5, q15")
67 __ASM_EMIT("sub %[count], #8")
68 __ASM_EMIT("vstm %[a]!, {q0-q1}")
69 /* 4x block */
70 __ASM_EMIT("4:")
71 __ASM_EMIT("adds %[count], #4")
72 __ASM_EMIT("blt 6f")
73 __ASM_EMIT("vldm %[a], {q0}")
74 __ASM_EMIT("vldm %[b]!, {q4}")
75 __ASM_EMIT("vmul.f32 q0, q12")
76 __ASM_EMIT("vmla.f32 q0, q4, q14")
77 __ASM_EMIT("sub %[count], #4")
78 __ASM_EMIT("vstm %[a]!, {q0}")
79 /* 1x blocks */
80 __ASM_EMIT("6:")
81 __ASM_EMIT("adds %[count], #3")
82 __ASM_EMIT("blt 8f")
83 __ASM_EMIT("7:")
84 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[a]]")
85 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[b]]!")
86 __ASM_EMIT("vmul.f32 q0, q12")
87 __ASM_EMIT("vmla.f32 q0, q4, q14")
88 __ASM_EMIT("subs %[count], #1")
89 __ASM_EMIT("vst1.32 {d0[0]}, [%[a]]!")
90 __ASM_EMIT("bge 7b")
91 /* End */
92 __ASM_EMIT("8:")
93 : [a] "+r" (a), [b] "+r" (b),
94 [count] "+r" (count),
95 [k1] "+t" (k1), [k2] "+t" (k2)
96 :
97 : "cc", "memory",
98 "q2", "q3",
99 "q4", "q5", "q6", "q7",
100 "q8", "q9", "q10", "q11",
101 "q12", "q13", "q14", "q15"
102 );
103 }
104
105 void mix_copy2(float *dst, const float *a, const float *b, float k1, float k2, size_t count)
106 {
107 ARCH_ARM_ASM(
108 __ASM_EMIT("vdup.32 q13, %y[k1]")
109 __ASM_EMIT("vdup.32 q15, %y[k2]")
110 __ASM_EMIT("vmov q14, q15")
111 __ASM_EMIT("vmov q12, q13")
112 __ASM_EMIT("subs %[count], #16")
113 __ASM_EMIT("blo 2f")
114 /* 16x blocks */
115 __ASM_EMIT("1:")
116 __ASM_EMIT("vldm %[a]!, {q0-q3}")
117 __ASM_EMIT("vldm %[b]!, {q4-q7}")
118 __ASM_EMIT("vmul.f32 q0, q12")
119 __ASM_EMIT("vmul.f32 q1, q13")
120 __ASM_EMIT("vmul.f32 q2, q12")
121 __ASM_EMIT("vmul.f32 q3, q13")
122 __ASM_EMIT("vmla.f32 q0, q4, q14")
123 __ASM_EMIT("vmla.f32 q1, q5, q15")
124 __ASM_EMIT("vmla.f32 q2, q6, q14")
125 __ASM_EMIT("vmla.f32 q3, q7, q15")
126 __ASM_EMIT("subs %[count], #16")
127 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
128 __ASM_EMIT("bhs 1b")
129 /* 8x block */
130 __ASM_EMIT("2:")
131 __ASM_EMIT("adds %[count], #8")
132 __ASM_EMIT("blt 4f")
133 __ASM_EMIT("vldm %[a]!, {q0-q1}")
134 __ASM_EMIT("vldm %[b]!, {q4-q5}")
135 __ASM_EMIT("vmul.f32 q0, q12")
136 __ASM_EMIT("vmul.f32 q1, q13")
137 __ASM_EMIT("vmla.f32 q0, q4, q14")
138 __ASM_EMIT("vmla.f32 q1, q5, q15")
139 __ASM_EMIT("sub %[count], #8")
140 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
141 /* 4x block */
142 __ASM_EMIT("4:")
143 __ASM_EMIT("adds %[count], #4")
144 __ASM_EMIT("blt 6f")
145 __ASM_EMIT("vldm %[a]!, {q0}")
146 __ASM_EMIT("vldm %[b]!, {q4}")
147 __ASM_EMIT("vmul.f32 q0, q12")
148 __ASM_EMIT("vmla.f32 q0, q4, q14")
149 __ASM_EMIT("sub %[count], #4")
150 __ASM_EMIT("vstm %[dst]!, {q0}")
151 /* 1x blocks */
152 __ASM_EMIT("6:")
153 __ASM_EMIT("adds %[count], #3")
154 __ASM_EMIT("blt 8f")
155 __ASM_EMIT("7:")
156 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[a]]!")
157 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[b]]!")
158 __ASM_EMIT("vmul.f32 q0, q12")
159 __ASM_EMIT("vmla.f32 q0, q4, q14")
160 __ASM_EMIT("subs %[count], #1")
161 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
162 __ASM_EMIT("bge 7b")
163 /* end */
164 __ASM_EMIT("8:")
165 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
166 [count] "+r" (count),
167 [k1] "+t" (k1), [k2] "+t" (k2)
168 :
169 : "cc", "memory",
170 "q2", "q3",
171 "q4", "q5", "q6", "q7",
172 "q8", "q9", "q10", "q11",
173 "q12", "q13", "q14", "q15"
174 );
175 }
176
177 void mix_add2(float *dst, const float *a, const float *b, float k1, float k2, size_t count)
178 {
179 ARCH_ARM_ASM(
180 __ASM_EMIT("vdup.32 q13, %y[k1]")
181 __ASM_EMIT("vdup.32 q15, %y[k2]")
182 __ASM_EMIT("vmov q14, q15")
183 __ASM_EMIT("vmov q12, q13")
184 __ASM_EMIT("subs %[count], #16")
185 __ASM_EMIT("blo 2f")
186 /* 16x blocks */
187 __ASM_EMIT("1:")
188 __ASM_EMIT("vldm %[dst], {q8-q11}")
189 __ASM_EMIT("vldm %[a]!, {q0-q3}")
190 __ASM_EMIT("vldm %[b]!, {q4-q7}")
191 __ASM_EMIT("vmla.f32 q8, q0, q12")
192 __ASM_EMIT("vmla.f32 q9, q1, q13")
193 __ASM_EMIT("vmla.f32 q10, q2, q12")
194 __ASM_EMIT("vmla.f32 q11, q3, q13")
195 __ASM_EMIT("vmla.f32 q8, q4, q14")
196 __ASM_EMIT("vmla.f32 q9, q5, q15")
197 __ASM_EMIT("vmla.f32 q10, q6, q14")
198 __ASM_EMIT("vmla.f32 q11, q7, q15")
199 __ASM_EMIT("subs %[count], #16")
200 __ASM_EMIT("vstm %[dst]!, {q8-q11}")
201 __ASM_EMIT("bhs 1b")
202 /* 8x block */
203 __ASM_EMIT("2:")
204 __ASM_EMIT("adds %[count], #8")
205 __ASM_EMIT("blt 4f")
206 __ASM_EMIT("vldm %[dst], {q8-q9}")
207 __ASM_EMIT("vldm %[a]!, {q0-q1}")
208 __ASM_EMIT("vldm %[b]!, {q4-q5}")
209 __ASM_EMIT("vmla.f32 q8, q0, q12")
210 __ASM_EMIT("vmla.f32 q9, q1, q13")
211 __ASM_EMIT("vmla.f32 q8, q4, q14")
212 __ASM_EMIT("vmla.f32 q9, q5, q15")
213 __ASM_EMIT("sub %[count], #8")
214 __ASM_EMIT("vstm %[dst]!, {q8-q9}")
215 /* 4x block */
216 __ASM_EMIT("4:")
217 __ASM_EMIT("adds %[count], #4")
218 __ASM_EMIT("blt 6f")
219 __ASM_EMIT("vldm %[dst], {q8}")
220 __ASM_EMIT("vldm %[a]!, {q0}")
221 __ASM_EMIT("vldm %[b]!, {q4}")
222 __ASM_EMIT("vmla.f32 q8, q0, q12")
223 __ASM_EMIT("vmla.f32 q8, q4, q14")
224 __ASM_EMIT("sub %[count], #4")
225 __ASM_EMIT("vstm %[dst]!, {q8}")
226 /* 1x blocks */
227 __ASM_EMIT("6:")
228 __ASM_EMIT("adds %[count], #3")
229 __ASM_EMIT("blt 8f")
230 __ASM_EMIT("7:")
231 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[dst]]")
232 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[a]]!")
233 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[b]]!")
234 __ASM_EMIT("vmla.f32 q8, q0, q12")
235 __ASM_EMIT("vmla.f32 q8, q4, q14")
236 __ASM_EMIT("subs %[count], #1")
237 __ASM_EMIT("vst1.32 {d16[0]}, [%[dst]]!")
238 __ASM_EMIT("bge 7b")
239 /* end */
240 __ASM_EMIT("8:")
241 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
242 [count] "+r" (count),
243 [k1] "+t" (k1), [k2] "+t" (k2)
244 :
245 : "cc", "memory",
246 "q2", "q3",
247 "q4", "q5", "q6", "q7",
248 "q8", "q9", "q10", "q11",
249 "q12", "q13", "q14", "q15"
250 );
251 }
252
253 void mix3(float *a, const float *b, const float *c, float k1, float k2, float k3, size_t count)
254 {
255 ARCH_ARM_ASM(
256 __ASM_EMIT("vdup.32 q13, %y[k1]")
257 __ASM_EMIT("vdup.32 q14, %y[k2]")
258 __ASM_EMIT("vdup.32 q15, %y[k3]")
259 __ASM_EMIT("subs %[count], #16")
260 __ASM_EMIT("blo 2f")
261 /* 16x blocks */
262 __ASM_EMIT("1:")
263 __ASM_EMIT("vldm %[a], {q0-q3}")
264 __ASM_EMIT("vldm %[b]!, {q4-q7}")
265 __ASM_EMIT("vldm %[c]!, {q8-q11}")
266 __ASM_EMIT("vmul.f32 q0, q0, q13")
267 __ASM_EMIT("vmul.f32 q1, q1, q13")
268 __ASM_EMIT("vmul.f32 q2, q2, q13")
269 __ASM_EMIT("vmul.f32 q3, q3, q13")
270 __ASM_EMIT("vmla.f32 q0, q4, q14")
271 __ASM_EMIT("vmla.f32 q1, q5, q14")
272 __ASM_EMIT("vmla.f32 q2, q6, q14")
273 __ASM_EMIT("vmla.f32 q3, q7, q14")
274 __ASM_EMIT("vmla.f32 q0, q8, q15")
275 __ASM_EMIT("vmla.f32 q1, q9, q15")
276 __ASM_EMIT("vmla.f32 q2, q10, q15")
277 __ASM_EMIT("vmla.f32 q3, q11, q15")
278 __ASM_EMIT("subs %[count], #16")
279 __ASM_EMIT("vstm %[a]!, {q0-q3}")
280 __ASM_EMIT("bhs 1b")
281 /* 8x block */
282 __ASM_EMIT("2:")
283 __ASM_EMIT("adds %[count], #8")
284 __ASM_EMIT("blt 4f")
285 __ASM_EMIT("vldm %[a], {q0-q1}")
286 __ASM_EMIT("vldm %[b]!, {q4-q5}")
287 __ASM_EMIT("vldm %[c]!, {q8-q9}")
288 __ASM_EMIT("vmul.f32 q0, q0, q13")
289 __ASM_EMIT("vmul.f32 q1, q1, q13")
290 __ASM_EMIT("vmla.f32 q0, q4, q14")
291 __ASM_EMIT("vmla.f32 q1, q5, q14")
292 __ASM_EMIT("vmla.f32 q0, q8, q15")
293 __ASM_EMIT("vmla.f32 q1, q9, q15")
294 __ASM_EMIT("sub %[count], #8")
295 __ASM_EMIT("vstm %[a]!, {q0-q1}")
296 /* 4x block */
297 __ASM_EMIT("4:")
298 __ASM_EMIT("adds %[count], #4")
299 __ASM_EMIT("blt 6f")
300 __ASM_EMIT("vldm %[a], {q0}")
301 __ASM_EMIT("vldm %[b]!, {q4}")
302 __ASM_EMIT("vldm %[c]!, {q8}")
303 __ASM_EMIT("vmul.f32 q0, q0, q13")
304 __ASM_EMIT("vmla.f32 q0, q4, q14")
305 __ASM_EMIT("vmla.f32 q0, q8, q15")
306 __ASM_EMIT("sub %[count], #4")
307 __ASM_EMIT("vstm %[a]!, {q0}")
308 /* 1x blocks */
309 __ASM_EMIT("6:")
310 __ASM_EMIT("adds %[count], #3")
311 __ASM_EMIT("blt 8f")
312 __ASM_EMIT("7:")
313 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[a]]")
314 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[b]]!")
315 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[c]]!")
316 __ASM_EMIT("vmul.f32 q0, q0, q13")
317 __ASM_EMIT("vmla.f32 q0, q4, q14")
318 __ASM_EMIT("vmla.f32 q0, q8, q15")
319 __ASM_EMIT("subs %[count], #1")
320 __ASM_EMIT("vst1.32 {d0[0]}, [%[a]]!")
321 __ASM_EMIT("bge 7b")
322 /* end */
323 __ASM_EMIT("8:")
324 : [a] "+r" (a), [b] "+r" (b), [c] "+r" (c),
325 [count] "+r" (count),
326 [k1] "+t" (k1), [k2] "+t" (k2), [k3] "+t" (k3)
327 :
328 : "cc", "memory",
329 "q3",
330 "q4", "q5", "q6", "q7",
331 "q8", "q9", "q10", "q11",
332 "q12", "q13", "q14", "q15"
333 );
334 }
335
336 void mix_copy3(float *dst, const float *a, const float *b, const float *c, float k1, float k2, float k3, size_t count)
337 {
338 ARCH_ARM_ASM(
339 __ASM_EMIT("vdup.32 q13, %y[k1]")
340 __ASM_EMIT("vdup.32 q14, %y[k2]")
341 __ASM_EMIT("vdup.32 q15, %y[k3]")
342 __ASM_EMIT("subs %[count], #16")
343 __ASM_EMIT("blo 2f")
344 /* 16x blocks */
345 __ASM_EMIT("1:")
346 __ASM_EMIT("vldm %[a]!, {q0-q3}")
347 __ASM_EMIT("vldm %[b]!, {q4-q7}")
348 __ASM_EMIT("vldm %[c]!, {q8-q11}")
349 __ASM_EMIT("vmul.f32 q0, q0, q13")
350 __ASM_EMIT("vmul.f32 q1, q1, q13")
351 __ASM_EMIT("vmul.f32 q2, q2, q13")
352 __ASM_EMIT("vmul.f32 q3, q3, q13")
353 __ASM_EMIT("vmla.f32 q0, q4, q14")
354 __ASM_EMIT("vmla.f32 q1, q5, q14")
355 __ASM_EMIT("vmla.f32 q2, q6, q14")
356 __ASM_EMIT("vmla.f32 q3, q7, q14")
357 __ASM_EMIT("vmla.f32 q0, q8, q15")
358 __ASM_EMIT("vmla.f32 q1, q9, q15")
359 __ASM_EMIT("vmla.f32 q2, q10, q15")
360 __ASM_EMIT("vmla.f32 q3, q11, q15")
361 __ASM_EMIT("subs %[count], #16")
362 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
363 __ASM_EMIT("bhs 1b")
364 /* 8x block */
365 __ASM_EMIT("2:")
366 __ASM_EMIT("adds %[count], #8")
367 __ASM_EMIT("blt 4f")
368 __ASM_EMIT("vldm %[a]!, {q0-q1}")
369 __ASM_EMIT("vldm %[b]!, {q4-q5}")
370 __ASM_EMIT("vldm %[c]!, {q8-q9}")
371 __ASM_EMIT("vmul.f32 q0, q0, q13")
372 __ASM_EMIT("vmul.f32 q1, q1, q13")
373 __ASM_EMIT("vmla.f32 q0, q4, q14")
374 __ASM_EMIT("vmla.f32 q1, q5, q14")
375 __ASM_EMIT("vmla.f32 q0, q8, q15")
376 __ASM_EMIT("vmla.f32 q1, q9, q15")
377 __ASM_EMIT("sub %[count], #8")
378 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
379 /* 4x block */
380 __ASM_EMIT("4:")
381 __ASM_EMIT("adds %[count], #4")
382 __ASM_EMIT("blt 6f")
383 __ASM_EMIT("vldm %[a]!, {q0}")
384 __ASM_EMIT("vldm %[b]!, {q4}")
385 __ASM_EMIT("vldm %[c]!, {q8}")
386 __ASM_EMIT("vmul.f32 q0, q0, q13")
387 __ASM_EMIT("vmla.f32 q0, q4, q14")
388 __ASM_EMIT("vmla.f32 q0, q8, q15")
389 __ASM_EMIT("sub %[count], #4")
390 __ASM_EMIT("vstm %[dst]!, {q0}")
391 /* 1x blocks */
392 __ASM_EMIT("6:")
393 __ASM_EMIT("adds %[count], #3")
394 __ASM_EMIT("blt 8f")
395 __ASM_EMIT("7:")
396 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[a]]!")
397 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[b]]!")
398 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[c]]!")
399 __ASM_EMIT("vmul.f32 q0, q0, q13")
400 __ASM_EMIT("vmla.f32 q0, q4, q14")
401 __ASM_EMIT("vmla.f32 q0, q8, q15")
402 __ASM_EMIT("subs %[count], #1")
403 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
404 __ASM_EMIT("bge 7b")
405 /* end */
406 __ASM_EMIT("8:")
407 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c),
408 [count] "+r" (count),
409 [k1] "+t" (k1), [k2] "+t" (k2), [k3] "+t" (k3)
410 :
411 : "cc", "memory",
412 "q3",
413 "q4", "q5", "q6", "q7",
414 "q8", "q9", "q10", "q11",
415 "q12", "q13", "q14", "q15"
416 );
417 }
418
419 void mix_add3(float *dst, const float *a, const float *b, const float *c, float k1, float k2, float k3, size_t count)
420 {
421 ARCH_ARM_ASM(
422 __ASM_EMIT("vdup.32 q13, %y[k1]")
423 __ASM_EMIT("vdup.32 q14, %y[k2]")
424 __ASM_EMIT("vdup.32 q15, %y[k3]")
425 __ASM_EMIT("subs %[count], #16")
426 __ASM_EMIT("blo 2f")
427 /* 16x blocks */
428 __ASM_EMIT("1:")
429 __ASM_EMIT("vldm %[dst], {q0-q3}")
430 __ASM_EMIT("vldm %[a]!, {q4-q7}")
431 __ASM_EMIT("vldm %[b]!, {q8-q11}")
432 __ASM_EMIT("vmla.f32 q0, q4, q13")
433 __ASM_EMIT("vmla.f32 q1, q5, q13")
434 __ASM_EMIT("vmla.f32 q2, q6, q13")
435 __ASM_EMIT("vmla.f32 q3, q7, q13")
436 __ASM_EMIT("vmla.f32 q0, q8, q14")
437 __ASM_EMIT("vmla.f32 q1, q9, q14")
438 __ASM_EMIT("vldm %[c]!, {q4-q7}")
439 __ASM_EMIT("vmla.f32 q2, q10, q14")
440 __ASM_EMIT("vmla.f32 q3, q11, q14")
441 __ASM_EMIT("vmla.f32 q0, q4, q15")
442 __ASM_EMIT("vmla.f32 q1, q5, q15")
443 __ASM_EMIT("vmla.f32 q2, q6, q15")
444 __ASM_EMIT("vmla.f32 q3, q7, q15")
445 __ASM_EMIT("subs %[count], #16")
446 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
447 __ASM_EMIT("bhs 1b")
448 /* 8x block */
449 __ASM_EMIT("2:")
450 __ASM_EMIT("adds %[count], #8")
451 __ASM_EMIT("blt 4f")
452 __ASM_EMIT("vldm %[dst], {q0-q1}")
453 __ASM_EMIT("vldm %[a]!, {q2-q3}")
454 __ASM_EMIT("vldm %[b]!, {q4-q5}")
455 __ASM_EMIT("vldm %[c]!, {q6-q7}")
456 __ASM_EMIT("vmla.f32 q0, q2, q13")
457 __ASM_EMIT("vmla.f32 q1, q3, q13")
458 __ASM_EMIT("vmla.f32 q0, q4, q14")
459 __ASM_EMIT("vmla.f32 q1, q5, q14")
460 __ASM_EMIT("vmla.f32 q0, q6, q15")
461 __ASM_EMIT("vmla.f32 q1, q7, q15")
462 __ASM_EMIT("sub %[count], #8")
463 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
464 /* 4x block */
465 __ASM_EMIT("4:")
466 __ASM_EMIT("adds %[count], #4")
467 __ASM_EMIT("blt 6f")
468 __ASM_EMIT("vldm %[dst], {q0}")
469 __ASM_EMIT("vldm %[a]!, {q2}")
470 __ASM_EMIT("vldm %[b]!, {q4}")
471 __ASM_EMIT("vldm %[c]!, {q6}")
472 __ASM_EMIT("vmla.f32 q0, q2, q13")
473 __ASM_EMIT("vmla.f32 q0, q4, q14")
474 __ASM_EMIT("vmla.f32 q0, q6, q15")
475 __ASM_EMIT("sub %[count], #4")
476 __ASM_EMIT("vstm %[dst]!, {q0}")
477 /* 1x blocks */
478 __ASM_EMIT("6:")
479 __ASM_EMIT("adds %[count], #3")
480 __ASM_EMIT("blt 8f")
481 __ASM_EMIT("7:")
482 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[dst]]")
483 __ASM_EMIT("vld1.32 {d2[], d3[]}, [%[a]]!")
484 __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[b]]!")
485 __ASM_EMIT("vld1.32 {d6[], d7[]}, [%[c]]!")
486 __ASM_EMIT("vmla.f32 q0, q1, q13")
487 __ASM_EMIT("vmla.f32 q0, q2, q14")
488 __ASM_EMIT("vmla.f32 q0, q3, q15")
489 __ASM_EMIT("subs %[count], #1")
490 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
491 __ASM_EMIT("bge 7b")
492 /* end */
493 __ASM_EMIT("8:")
494 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c),
495 [count] "+r" (count),
496 [k1] "+t" (k1), [k2] "+t" (k2), [k3] "+t" (k3)
497 :
498 : "cc", "memory",
499 "q3", "q4", "q5", "q6", "q7",
500 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
501 );
502 }
503
504 void mix4(float *a, const float *b, const float *c, const float *d, float k1, float k2, float k3, float k4, size_t count)
505 {
506 ARCH_ARM_ASM(
507 __ASM_EMIT("vdup.32 q12, %y[k1]")
508 __ASM_EMIT("vdup.32 q13, %y[k2]")
509 __ASM_EMIT("vdup.32 q14, %y[k3]")
510 __ASM_EMIT("vdup.32 q15, %y[k4]")
511 __ASM_EMIT("subs %[count], #16")
512 __ASM_EMIT("blo 2f")
513 /* 16x blocks */
514 __ASM_EMIT("1:")
515 __ASM_EMIT("vldm %[a], {q0-q3}")
516 __ASM_EMIT("vldm %[b]!, {q4-q7}")
517 __ASM_EMIT("vldm %[c]!, {q8-q11}")
518 __ASM_EMIT("vmul.f32 q0, q0, q12")
519 __ASM_EMIT("vmul.f32 q1, q1, q12")
520 __ASM_EMIT("vmul.f32 q2, q2, q12")
521 __ASM_EMIT("vmul.f32 q3, q3, q12")
522 __ASM_EMIT("vmla.f32 q0, q4, q13")
523 __ASM_EMIT("vmla.f32 q1, q5, q13")
524 __ASM_EMIT("vmla.f32 q2, q6, q13")
525 __ASM_EMIT("vmla.f32 q3, q7, q13")
526 __ASM_EMIT("vmla.f32 q0, q8, q14")
527 __ASM_EMIT("vmla.f32 q1, q9, q14")
528 __ASM_EMIT("vldm %[d]!, {q4-q7}")
529 __ASM_EMIT("vmla.f32 q2, q10, q14")
530 __ASM_EMIT("vmla.f32 q3, q11, q14")
531 __ASM_EMIT("vmla.f32 q0, q4, q15")
532 __ASM_EMIT("vmla.f32 q1, q5, q15")
533 __ASM_EMIT("vmla.f32 q2, q6, q15")
534 __ASM_EMIT("vmla.f32 q3, q7, q15")
535 __ASM_EMIT("subs %[count], #16")
536 __ASM_EMIT("vstm %[a]!, {q0-q3}")
537 __ASM_EMIT("bhs 1b")
538 /* 8x block */
539 __ASM_EMIT("2:")
540 __ASM_EMIT("adds %[count], #8")
541 __ASM_EMIT("blt 4f")
542 __ASM_EMIT("vldm %[a], {q0-q1}")
543 __ASM_EMIT("vldm %[b]!, {q2-q3}")
544 __ASM_EMIT("vldm %[c]!, {q4-q5}")
545 __ASM_EMIT("vldm %[d]!, {q6-q7}")
546 __ASM_EMIT("vmul.f32 q0, q0, q12")
547 __ASM_EMIT("vmul.f32 q1, q1, q12")
548 __ASM_EMIT("vmla.f32 q0, q2, q13")
549 __ASM_EMIT("vmla.f32 q1, q3, q13")
550 __ASM_EMIT("vmla.f32 q0, q4, q14")
551 __ASM_EMIT("vmla.f32 q1, q5, q14")
552 __ASM_EMIT("vmla.f32 q0, q6, q15")
553 __ASM_EMIT("vmla.f32 q1, q7, q15")
554 __ASM_EMIT("sub %[count], #8")
555 __ASM_EMIT("vstm %[a]!, {q0-q1}")
556 /* 4x block */
557 __ASM_EMIT("4:")
558 __ASM_EMIT("adds %[count], #4")
559 __ASM_EMIT("blt 6f")
560 __ASM_EMIT("vldm %[a], {q0}")
561 __ASM_EMIT("vldm %[b]!, {q2}")
562 __ASM_EMIT("vldm %[c]!, {q4}")
563 __ASM_EMIT("vldm %[d]!, {q6}")
564 __ASM_EMIT("vmul.f32 q0, q0, q12")
565 __ASM_EMIT("vmla.f32 q0, q2, q13")
566 __ASM_EMIT("vmla.f32 q0, q4, q14")
567 __ASM_EMIT("vmla.f32 q0, q6, q15")
568 __ASM_EMIT("sub %[count], #4")
569 __ASM_EMIT("vstm %[a]!, {q0}")
570 /* 1x blocks */
571 __ASM_EMIT("6:")
572 __ASM_EMIT("adds %[count], #3")
573 __ASM_EMIT("blt 8f")
574 __ASM_EMIT("7:")
575 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[a]]")
576 __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[b]]!")
577 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[c]]!")
578 __ASM_EMIT("vld1.32 {d12[], d13[]}, [%[d]]!")
579 __ASM_EMIT("vmul.f32 q0, q0, q12")
580 __ASM_EMIT("vmla.f32 q0, q2, q13")
581 __ASM_EMIT("vmla.f32 q0, q4, q14")
582 __ASM_EMIT("vmla.f32 q0, q6, q15")
583 __ASM_EMIT("subs %[count], #1")
584 __ASM_EMIT("vst1.32 {d0[0]}, [%[a]]!")
585 __ASM_EMIT("bge 7b")
586 /* end */
587 __ASM_EMIT("8:")
588 : [a] "+r" (a), [b] "+r" (b), [c] "+r" (c), [d] "+r" (d),
589 [count] "+r" (count),
590 [k1] "+t" (k1), [k2] "+t" (k2), [k3] "+t" (k3), [k4] "+t" (k4)
591 :
592 : "cc", "memory",
593 "q4", "q5", "q6", "q7",
594 "q8", "q9", "q10", "q11",
595 "q12", "q13", "q14", "q15"
596 );
597 }
598
599 void mix_copy4(float *dst, const float *a, const float *b, const float *c, const float *d,
600 float k1, float k2, float k3, float k4, size_t count)
601 {
602 ARCH_ARM_ASM(
603 __ASM_EMIT("vdup.32 q12, %y[k1]")
604 __ASM_EMIT("vdup.32 q13, %y[k2]")
605 __ASM_EMIT("vdup.32 q14, %y[k3]")
606 __ASM_EMIT("vdup.32 q15, %y[k4]")
607 __ASM_EMIT("subs %[count], #16")
608 __ASM_EMIT("blo 2f")
609 /* 16x blocks */
610 __ASM_EMIT("1:")
611 __ASM_EMIT("vldm %[a]!, {q0-q3}")
612 __ASM_EMIT("vldm %[b]!, {q4-q7}")
613 __ASM_EMIT("vldm %[c]!, {q8-q11}")
614 __ASM_EMIT("vmul.f32 q0, q0, q12")
615 __ASM_EMIT("vmul.f32 q1, q1, q12")
616 __ASM_EMIT("vmul.f32 q2, q2, q12")
617 __ASM_EMIT("vmul.f32 q3, q3, q12")
618 __ASM_EMIT("vmla.f32 q0, q4, q13")
619 __ASM_EMIT("vmla.f32 q1, q5, q13")
620 __ASM_EMIT("vmla.f32 q2, q6, q13")
621 __ASM_EMIT("vmla.f32 q3, q7, q13")
622 __ASM_EMIT("vmla.f32 q0, q8, q14")
623 __ASM_EMIT("vmla.f32 q1, q9, q14")
624 __ASM_EMIT("vldm %[d]!, {q4-q7}")
625 __ASM_EMIT("vmla.f32 q2, q10, q14")
626 __ASM_EMIT("vmla.f32 q3, q11, q14")
627 __ASM_EMIT("vmla.f32 q0, q4, q15")
628 __ASM_EMIT("vmla.f32 q1, q5, q15")
629 __ASM_EMIT("vmla.f32 q2, q6, q15")
630 __ASM_EMIT("vmla.f32 q3, q7, q15")
631 __ASM_EMIT("subs %[count], #16")
632 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
633 __ASM_EMIT("bhs 1b")
634 /* 8x block */
635 __ASM_EMIT("2:")
636 __ASM_EMIT("adds %[count], #8")
637 __ASM_EMIT("blt 4f")
638 __ASM_EMIT("vldm %[a]!, {q0-q1}")
639 __ASM_EMIT("vldm %[b]!, {q2-q3}")
640 __ASM_EMIT("vldm %[c]!, {q4-q5}")
641 __ASM_EMIT("vldm %[d]!, {q6-q7}")
642 __ASM_EMIT("vmul.f32 q0, q0, q12")
643 __ASM_EMIT("vmul.f32 q1, q1, q12")
644 __ASM_EMIT("vmla.f32 q0, q2, q13")
645 __ASM_EMIT("vmla.f32 q1, q3, q13")
646 __ASM_EMIT("vmla.f32 q0, q4, q14")
647 __ASM_EMIT("vmla.f32 q1, q5, q14")
648 __ASM_EMIT("vmla.f32 q0, q6, q15")
649 __ASM_EMIT("vmla.f32 q1, q7, q15")
650 __ASM_EMIT("sub %[count], #8")
651 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
652 /* 4x block */
653 __ASM_EMIT("4:")
654 __ASM_EMIT("adds %[count], #4")
655 __ASM_EMIT("blt 6f")
656 __ASM_EMIT("vldm %[a]!, {q0}")
657 __ASM_EMIT("vldm %[b]!, {q2}")
658 __ASM_EMIT("vldm %[c]!, {q4}")
659 __ASM_EMIT("vldm %[d]!, {q6}")
660 __ASM_EMIT("vmul.f32 q0, q0, q12")
661 __ASM_EMIT("vmla.f32 q0, q2, q13")
662 __ASM_EMIT("vmla.f32 q0, q4, q14")
663 __ASM_EMIT("vmla.f32 q0, q6, q15")
664 __ASM_EMIT("sub %[count], #4")
665 __ASM_EMIT("vstm %[dst]!, {q0}")
666 /* 1x blocks */
667 __ASM_EMIT("6:")
668 __ASM_EMIT("adds %[count], #3")
669 __ASM_EMIT("blt 8f")
670 __ASM_EMIT("7:")
671 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[a]]!")
672 __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[b]]!")
673 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[c]]!")
674 __ASM_EMIT("vld1.32 {d12[], d13[]}, [%[d]]!")
675 __ASM_EMIT("vmul.f32 q0, q0, q12")
676 __ASM_EMIT("vmla.f32 q0, q2, q13")
677 __ASM_EMIT("vmla.f32 q0, q4, q14")
678 __ASM_EMIT("vmla.f32 q0, q6, q15")
679 __ASM_EMIT("subs %[count], #1")
680 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
681 __ASM_EMIT("bge 7b")
682 /* end */
683 __ASM_EMIT("8:")
684 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c), [d] "+r" (d),
685 [count] "+r" (count),
686 [k1] "+t" (k1), [k2] "+t" (k2), [k3] "+t" (k3), [k4] "+t" (k4)
687 :
688 : "cc", "memory",
689 "q4", "q5", "q6", "q7",
690 "q8", "q9", "q10", "q11",
691 "q12", "q13", "q14", "q15"
692 );
693 }
694
695 void mix_add4(float *dst, const float *a, const float *b, const float *c, const float *d,
696 float k1, float k2, float k3, float k4, size_t count)
697 {
698 ARCH_ARM_ASM(
699 __ASM_EMIT("vdup.32 q12, %y[k1]")
700 __ASM_EMIT("vdup.32 q13, %y[k2]")
701 __ASM_EMIT("vdup.32 q14, %y[k3]")
702 __ASM_EMIT("vdup.32 q15, %y[k4]")
703 __ASM_EMIT("subs %[count], #16")
704 __ASM_EMIT("blo 2f")
705 /* 16x blocks */
706 __ASM_EMIT("1:")
707 __ASM_EMIT("vldm %[dst], {q0-q3}")
708 __ASM_EMIT("vldm %[a]!, {q4-q7}")
709 __ASM_EMIT("vldm %[b]!, {q8-q11}")
710 __ASM_EMIT("vmla.f32 q0, q4, q12")
711 __ASM_EMIT("vmla.f32 q1, q5, q12")
712 __ASM_EMIT("vmla.f32 q2, q6, q12")
713 __ASM_EMIT("vmla.f32 q3, q7, q12")
714 __ASM_EMIT("vmla.f32 q0, q8, q13")
715 __ASM_EMIT("vmla.f32 q1, q9, q13")
716 __ASM_EMIT("vldm %[c]!, {q4-q7}")
717 __ASM_EMIT("vmla.f32 q2, q10, q13")
718 __ASM_EMIT("vmla.f32 q3, q11, q13")
719 __ASM_EMIT("vmla.f32 q0, q4, q14")
720 __ASM_EMIT("vmla.f32 q1, q5, q14")
721 __ASM_EMIT("vldm %[d]!, {q8-q11}")
722 __ASM_EMIT("vmla.f32 q2, q6, q14")
723 __ASM_EMIT("vmla.f32 q3, q7, q14")
724 __ASM_EMIT("vmla.f32 q0, q8, q15")
725 __ASM_EMIT("vmla.f32 q1, q9, q15")
726 __ASM_EMIT("vmla.f32 q2, q10, q15")
727 __ASM_EMIT("vmla.f32 q3, q11, q15")
728 __ASM_EMIT("subs %[count], #16")
729 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
730 __ASM_EMIT("bhs 1b")
731 /* 8x block */
732 __ASM_EMIT("2:")
733 __ASM_EMIT("adds %[count], #8")
734 __ASM_EMIT("blt 4f")
735 __ASM_EMIT("vldm %[dst], {q0-q1}")
736 __ASM_EMIT("vldm %[a]!, {q2-q3}")
737 __ASM_EMIT("vldm %[b]!, {q4-q5}")
738 __ASM_EMIT("vldm %[c]!, {q6-q7}")
739 __ASM_EMIT("vldm %[d]!, {q8-q9}")
740 __ASM_EMIT("vmla.f32 q0, q2, q12")
741 __ASM_EMIT("vmla.f32 q1, q3, q12")
742 __ASM_EMIT("vmla.f32 q0, q4, q13")
743 __ASM_EMIT("vmla.f32 q1, q5, q13")
744 __ASM_EMIT("vmla.f32 q0, q6, q14")
745 __ASM_EMIT("vmla.f32 q1, q7, q14")
746 __ASM_EMIT("vmla.f32 q0, q8, q15")
747 __ASM_EMIT("vmla.f32 q1, q9, q15")
748 __ASM_EMIT("sub %[count], #8")
749 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
750 /* 4x block */
751 __ASM_EMIT("4:")
752 __ASM_EMIT("adds %[count], #4")
753 __ASM_EMIT("blt 6f")
754 __ASM_EMIT("vldm %[dst], {q0}")
755 __ASM_EMIT("vldm %[a]!, {q2}")
756 __ASM_EMIT("vldm %[b]!, {q4}")
757 __ASM_EMIT("vldm %[c]!, {q6}")
758 __ASM_EMIT("vldm %[d]!, {q8}")
759 __ASM_EMIT("vmla.f32 q0, q2, q12")
760 __ASM_EMIT("vmla.f32 q0, q4, q13")
761 __ASM_EMIT("vmla.f32 q0, q6, q14")
762 __ASM_EMIT("vmla.f32 q0, q8, q15")
763 __ASM_EMIT("sub %[count], #4")
764 __ASM_EMIT("vstm %[dst]!, {q0}")
765 /* 1x blocks */
766 __ASM_EMIT("6:")
767 __ASM_EMIT("adds %[count], #3")
768 __ASM_EMIT("blt 8f")
769 __ASM_EMIT("7:")
770 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[dst]]")
771 __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[a]]!")
772 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[b]]!")
773 __ASM_EMIT("vld1.32 {d12[], d13[]}, [%[c]]!")
774 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[d]]!")
775 __ASM_EMIT("vmla.f32 q0, q2, q12")
776 __ASM_EMIT("vmla.f32 q0, q4, q13")
777 __ASM_EMIT("vmla.f32 q0, q6, q14")
778 __ASM_EMIT("vmla.f32 q0, q8, q15")
779 __ASM_EMIT("subs %[count], #1")
780 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
781 __ASM_EMIT("bge 7b")
782 /* end */
783 __ASM_EMIT("8:")
784 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c), [d] "+r" (d),
785 [count] "+r" (count),
786 [k1] "+t" (k1), [k2] "+t" (k2), [k3] "+t" (k3), [k4] "+t" (k4)
787 :
788 : "cc", "memory",
789 "q4", "q5", "q6", "q7",
790 "q8", "q9", "q10", "q11",
791 "q12", "q13", "q14", "q15"
792 );
793 }
794 } /* namespace neon_d32 */
795 } /* namespace lsp */
796
797 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_MIX_H_ */