Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/aarch64/asimd/pmath/pmix.h

raw
1 /*
2 * Copyright (C) 2026 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2026 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 27 нояб. 2025 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_PMATH_PMIX_H_
23 #define PRIVATE_DSP_ARCH_AARCH64_ASIMD_PMATH_PMIX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL */
28
29 #include <private/dsp/arch/aarch64/asimd/pmath/sin.h>
30
31 namespace lsp
32 {
33 namespace asimd
34 {
35 void pmix_v1(float *dst, const float *src, const float *k, size_t count)
36 {
37 ARCH_AARCH64_ASM
38 (
39 // x32 blocks
40 __ASM_EMIT("subs %[count], %[count], #32")
41 __ASM_EMIT("b.lo 2f")
42 __ASM_EMIT("1:")
43 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") // v0 = d
44 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
45 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
46 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
47 __ASM_EMIT("ldp q16, q17, [%[src], #0x00]") // v16 = s
48 __ASM_EMIT("ldp q18, q19, [%[src], #0x20]")
49 __ASM_EMIT("ldp q20, q21, [%[src], #0x40]")
50 __ASM_EMIT("ldp q22, q23, [%[src], #0x60]")
51 __ASM_EMIT("ldp q24, q25, [%[k], #0x00]") // v24 = k
52 __ASM_EMIT("ldp q26, q27, [%[k], #0x20]")
53 __ASM_EMIT("ldp q28, q29, [%[k], #0x40]")
54 __ASM_EMIT("ldp q30, q31, [%[k], #0x60]")
55 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = s - d
56 __ASM_EMIT("fsub v17.4s, v17.4s, v1.4s")
57 __ASM_EMIT("fsub v18.4s, v18.4s, v2.4s")
58 __ASM_EMIT("fsub v19.4s, v19.4s, v3.4s")
59 __ASM_EMIT("fsub v20.4s, v20.4s, v4.4s")
60 __ASM_EMIT("fsub v21.4s, v21.4s, v5.4s")
61 __ASM_EMIT("fsub v22.4s, v22.4s, v6.4s")
62 __ASM_EMIT("fsub v23.4s, v23.4s, v7.4s")
63 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = d + (s-d)*k
64 __ASM_EMIT("fmla v1.4s, v17.4s, v25.4s")
65 __ASM_EMIT("fmla v2.4s, v18.4s, v26.4s")
66 __ASM_EMIT("fmla v3.4s, v19.4s, v27.4s")
67 __ASM_EMIT("fmla v4.4s, v20.4s, v28.4s")
68 __ASM_EMIT("fmla v5.4s, v21.4s, v29.4s")
69 __ASM_EMIT("fmla v6.4s, v22.4s, v30.4s")
70 __ASM_EMIT("fmla v7.4s, v23.4s, v31.4s")
71 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
72 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
73 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
74 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
75 __ASM_EMIT("subs %[count], %[count], #32")
76 __ASM_EMIT("add %[src], %[src], #0x80")
77 __ASM_EMIT("add %[k], %[k], #0x80")
78 __ASM_EMIT("add %[dst], %[dst], #0x80")
79 __ASM_EMIT("b.hs 1b")
80 // x16 block
81 __ASM_EMIT("2:")
82 __ASM_EMIT("adds %[count], %[count], #16")
83 __ASM_EMIT("b.lt 4f")
84 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") // v0 = d
85 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
86 __ASM_EMIT("ldp q16, q17, [%[src], #0x00]") // v16 = s
87 __ASM_EMIT("ldp q18, q19, [%[src], #0x20]")
88 __ASM_EMIT("ldp q24, q25, [%[k], #0x00]") // v24 = k
89 __ASM_EMIT("ldp q26, q27, [%[k], #0x20]")
90 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = s - d
91 __ASM_EMIT("fsub v17.4s, v17.4s, v1.4s")
92 __ASM_EMIT("fsub v18.4s, v18.4s, v2.4s")
93 __ASM_EMIT("fsub v19.4s, v19.4s, v3.4s")
94 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = d + (s-d)*k
95 __ASM_EMIT("fmla v1.4s, v17.4s, v25.4s")
96 __ASM_EMIT("fmla v2.4s, v18.4s, v26.4s")
97 __ASM_EMIT("fmla v3.4s, v19.4s, v27.4s")
98 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
99 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
100 __ASM_EMIT("sub %[count], %[count], #16")
101 __ASM_EMIT("add %[src], %[src], #0x40")
102 __ASM_EMIT("add %[k], %[k], #0x40")
103 __ASM_EMIT("add %[dst], %[dst], #0x40")
104 // x8 block
105 __ASM_EMIT("4:")
106 __ASM_EMIT("adds %[count], %[count], #8")
107 __ASM_EMIT("b.lt 6f")
108 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") // v0 = d
109 __ASM_EMIT("ldp q16, q17, [%[src], #0x00]") // v16 = s
110 __ASM_EMIT("ldp q24, q25, [%[k], #0x00]") // v24 = k
111 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = s - d
112 __ASM_EMIT("fsub v17.4s, v17.4s, v1.4s")
113 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = d + (s-d)*k
114 __ASM_EMIT("fmla v1.4s, v17.4s, v25.4s")
115 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
116 __ASM_EMIT("sub %[count], %[count], #8")
117 __ASM_EMIT("add %[src], %[src], #0x20")
118 __ASM_EMIT("add %[k], %[k], #0x20")
119 __ASM_EMIT("add %[dst], %[dst], #0x20")
120 // x4 blocks
121 __ASM_EMIT("6:")
122 __ASM_EMIT("adds %[count], %[count], #4")
123 __ASM_EMIT("b.lt 8f")
124 __ASM_EMIT("ldr q0, [%[dst], #0x00]") // v0 = d
125 __ASM_EMIT("ldr q16, [%[src], #0x00]") // v16 = s
126 __ASM_EMIT("ldr q24, [%[k], #0x00]") // v24 = k
127 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = s - d
128 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = d + (s-d)*k
129 __ASM_EMIT("str q0, [%[dst], #0x00]")
130 __ASM_EMIT("sub %[count], %[count], #4")
131 __ASM_EMIT("add %[src], %[src], #0x10")
132 __ASM_EMIT("add %[k], %[k], #0x10")
133 __ASM_EMIT("add %[dst], %[dst], #0x10")
134 // x1 blocks
135 __ASM_EMIT("8:")
136 __ASM_EMIT("adds %[count], %[count], #3")
137 __ASM_EMIT("b.lt 10f")
138 __ASM_EMIT("9:")
139 __ASM_EMIT("ld1r {v0.4s}, [%[dst]]") // v0 = d
140 __ASM_EMIT("ld1r {v16.4s}, [%[src]]") // v16 = s
141 __ASM_EMIT("ld1r {v24.4s}, [%[k]]") // v24 = k
142 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = s - d
143 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = d + (s-d)*k
144 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
145 __ASM_EMIT("subs %[count], %[count], #1")
146 __ASM_EMIT("add %[src], %[src], #0x04")
147 __ASM_EMIT("add %[k], %[k], #0x04")
148 __ASM_EMIT("add %[dst], %[dst], #0x04")
149 __ASM_EMIT("b.ge 9b")
150 // end
151 __ASM_EMIT("10:")
152
153 : [dst] "+r" (dst), [src] "+r" (src), [k] "+r" (k),
154 [count] "+r" (count)
155 :
156 : "cc", "memory",
157 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
158 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
159 "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31"
160 );
161 }
162
163 void pmix_k1(float *dst, const float *src, float k, size_t count)
164 {
165 ARCH_AARCH64_ASM
166 (
167 // x32 blocks
168 __ASM_EMIT("subs %[count], %[count], #32")
169 __ASM_EMIT("ld1r {v24.4s}, [%[k]]")
170 __ASM_EMIT("b.lo 2f")
171 __ASM_EMIT("1:")
172 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") // v0 = d
173 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
174 __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]")
175 __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]")
176 __ASM_EMIT("ldp q16, q17, [%[src], #0x00]") // v16 = s
177 __ASM_EMIT("ldp q18, q19, [%[src], #0x20]")
178 __ASM_EMIT("ldp q20, q21, [%[src], #0x40]")
179 __ASM_EMIT("ldp q22, q23, [%[src], #0x60]")
180 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = s - d
181 __ASM_EMIT("fsub v17.4s, v17.4s, v1.4s")
182 __ASM_EMIT("fsub v18.4s, v18.4s, v2.4s")
183 __ASM_EMIT("fsub v19.4s, v19.4s, v3.4s")
184 __ASM_EMIT("fsub v20.4s, v20.4s, v4.4s")
185 __ASM_EMIT("fsub v21.4s, v21.4s, v5.4s")
186 __ASM_EMIT("fsub v22.4s, v22.4s, v6.4s")
187 __ASM_EMIT("fsub v23.4s, v23.4s, v7.4s")
188 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = d + (s-d)*k
189 __ASM_EMIT("fmla v1.4s, v17.4s, v24.4s")
190 __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s")
191 __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s")
192 __ASM_EMIT("fmla v4.4s, v20.4s, v24.4s")
193 __ASM_EMIT("fmla v5.4s, v21.4s, v24.4s")
194 __ASM_EMIT("fmla v6.4s, v22.4s, v24.4s")
195 __ASM_EMIT("fmla v7.4s, v23.4s, v24.4s")
196 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
197 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
198 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
199 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
200 __ASM_EMIT("subs %[count], %[count], #32")
201 __ASM_EMIT("add %[src], %[src], #0x80")
202 __ASM_EMIT("add %[dst], %[dst], #0x80")
203 __ASM_EMIT("b.hs 1b")
204 // x16 block
205 __ASM_EMIT("2:")
206 __ASM_EMIT("adds %[count], %[count], #16")
207 __ASM_EMIT("b.lt 4f")
208 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") // v0 = d
209 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
210 __ASM_EMIT("ldp q16, q17, [%[src], #0x00]") // v16 = s
211 __ASM_EMIT("ldp q18, q19, [%[src], #0x20]")
212 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = s - d
213 __ASM_EMIT("fsub v17.4s, v17.4s, v1.4s")
214 __ASM_EMIT("fsub v18.4s, v18.4s, v2.4s")
215 __ASM_EMIT("fsub v19.4s, v19.4s, v3.4s")
216 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = d + (s-d)*k
217 __ASM_EMIT("fmla v1.4s, v17.4s, v24.4s")
218 __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s")
219 __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s")
220 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
221 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
222 __ASM_EMIT("sub %[count], %[count], #16")
223 __ASM_EMIT("add %[src], %[src], #0x40")
224 __ASM_EMIT("add %[dst], %[dst], #0x40")
225 // x8 block
226 __ASM_EMIT("4:")
227 __ASM_EMIT("adds %[count], %[count], #8")
228 __ASM_EMIT("b.lt 6f")
229 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") // v0 = d
230 __ASM_EMIT("ldp q16, q17, [%[src], #0x00]") // v16 = s
231 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = s - d
232 __ASM_EMIT("fsub v17.4s, v17.4s, v1.4s")
233 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = d + (s-d)*k
234 __ASM_EMIT("fmla v1.4s, v17.4s, v24.4s")
235 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
236 __ASM_EMIT("sub %[count], %[count], #8")
237 __ASM_EMIT("add %[src], %[src], #0x20")
238 __ASM_EMIT("add %[dst], %[dst], #0x20")
239 // x4 blocks
240 __ASM_EMIT("6:")
241 __ASM_EMIT("adds %[count], %[count], #4")
242 __ASM_EMIT("b.lt 8f")
243 __ASM_EMIT("ldr q0, [%[dst], #0x00]") // v0 = d
244 __ASM_EMIT("ldr q16, [%[src], #0x00]") // v16 = s
245 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = s - d
246 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = d + (s-d)*k
247 __ASM_EMIT("str q0, [%[dst], #0x00]")
248 __ASM_EMIT("sub %[count], %[count], #4")
249 __ASM_EMIT("add %[src], %[src], #0x10")
250 __ASM_EMIT("add %[dst], %[dst], #0x10")
251 // x1 blocks
252 __ASM_EMIT("8:")
253 __ASM_EMIT("adds %[count], %[count], #3")
254 __ASM_EMIT("b.lt 10f")
255 __ASM_EMIT("9:")
256 __ASM_EMIT("ld1r {v0.4s}, [%[dst]]") // v0 = d
257 __ASM_EMIT("ld1r {v16.4s}, [%[src]]") // v16 = s
258 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = s - d
259 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = d + (s-d)*k
260 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
261 __ASM_EMIT("subs %[count], %[count], #1")
262 __ASM_EMIT("add %[src], %[src], #0x04")
263 __ASM_EMIT("add %[dst], %[dst], #0x04")
264 __ASM_EMIT("b.ge 9b")
265 // end
266 __ASM_EMIT("10:")
267
268 : [dst] "+r" (dst), [src] "+r" (src),
269 [count] "+r" (count)
270 : [k] "r" (&k)
271 : "cc", "memory",
272 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7",
273 "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23",
274 "v24"
275 );
276 }
277
278 } /* namespace asimd */
279 } /* namespace lsp */
280
281
282
283 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_PMATH_PMIX_H_ */