Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/msmatrix.h

raw
1 /*
2 * Copyright (C) 2025 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2025 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_MSMATRIX_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_MSMATRIX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 IF_ARCH_ARM(
34 static const float msmatrix_const[] __lsp_aligned16 =
35 {
36 LSP_DSP_VEC4(0.5f)
37 };
38 );
39
40 void lr_to_ms(float *m, float *s, const float *l, const float *r, size_t count)
41 {
42 ARCH_ARM_ASM
43 (
44 __ASM_EMIT("subs %[count], #16")
45 __ASM_EMIT("vld1.32 {q12}, [%[X_HALF]]") // q12 = 0.5
46 __ASM_EMIT("blo 2f")
47 // x16 blocks
48 __ASM_EMIT("1:")
49 __ASM_EMIT("vldm %[left]!, {q0-q3}") // q0 = l
50 __ASM_EMIT("vldm %[right]!, {q4-q7}") // q4 = r
51 __ASM_EMIT("vsub.f32 q8, q0, q4") // q8 = l - r
52 __ASM_EMIT("vsub.f32 q9, q1, q5")
53 __ASM_EMIT("vsub.f32 q10, q2, q6")
54 __ASM_EMIT("vsub.f32 q11, q3, q7")
55 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = l + r
56 __ASM_EMIT("vadd.f32 q1, q1, q5")
57 __ASM_EMIT("vadd.f32 q2, q2, q6")
58 __ASM_EMIT("vadd.f32 q3, q3, q7")
59 __ASM_EMIT("vmul.f32 q4, q8, q12") // q4 = (l - r) * 0.5f
60 __ASM_EMIT("vmul.f32 q5, q9, q12")
61 __ASM_EMIT("vmul.f32 q6, q10, q12")
62 __ASM_EMIT("vmul.f32 q7, q11, q12")
63 __ASM_EMIT("vmul.f32 q0, q0, q12") // q0 = (l + r) * 0.5f
64 __ASM_EMIT("vmul.f32 q1, q1, q12")
65 __ASM_EMIT("vmul.f32 q2, q2, q12")
66 __ASM_EMIT("vmul.f32 q3, q3, q12")
67 __ASM_EMIT("vstm %[mid]!, {q0-q3}")
68 __ASM_EMIT("vstm %[side]!, {q4-q7}")
69 __ASM_EMIT("subs %[count], #16")
70 __ASM_EMIT("bhs 1b")
71 // x8 block
72 __ASM_EMIT("2:")
73 __ASM_EMIT("adds %[count], #8") // 16 - 8
74 __ASM_EMIT("blt 4f")
75 __ASM_EMIT("vldm %[left]!, {q0-q1}") // q0 = l
76 __ASM_EMIT("vldm %[right]!, {q4-q5}") // q4 = r
77 __ASM_EMIT("vsub.f32 q8, q0, q4") // q8 = l - r
78 __ASM_EMIT("vsub.f32 q9, q1, q5")
79 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = l + r
80 __ASM_EMIT("vadd.f32 q1, q1, q5")
81 __ASM_EMIT("vmul.f32 q4, q8, q12") // q4 = (l - r) * 0.5f
82 __ASM_EMIT("vmul.f32 q5, q9, q12")
83 __ASM_EMIT("vmul.f32 q0, q0, q12") // q0 = (l + r) * 0.5f
84 __ASM_EMIT("vmul.f32 q1, q1, q12")
85 __ASM_EMIT("vstm %[mid]!, {q0-q1}")
86 __ASM_EMIT("vstm %[side]!, {q4-q5}")
87 __ASM_EMIT("sub %[count], #8")
88 // x4 block
89 __ASM_EMIT("4:")
90 __ASM_EMIT("adds %[count], #4") // 8 - 4
91 __ASM_EMIT("blt 6f")
92 __ASM_EMIT("vldm %[left]!, {q0}") // q0 = l
93 __ASM_EMIT("vldm %[right]!, {q4}") // q4 = r
94 __ASM_EMIT("vsub.f32 q8, q0, q4") // q8 = l - r
95 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = l + r
96 __ASM_EMIT("vmul.f32 q4, q8, q12") // q4 = (l - r) * 0.5f
97 __ASM_EMIT("vmul.f32 q0, q0, q12") // q0 = (l + r) * 0.5f
98 __ASM_EMIT("vstm %[mid]!, {q0}")
99 __ASM_EMIT("vstm %[side]!, {q4}")
100 __ASM_EMIT("sub %[count], #4")
101 // x1 blocks
102 __ASM_EMIT("6:")
103 __ASM_EMIT("adds %[count], #3") // 4 - 1
104 __ASM_EMIT("blt 8f")
105 __ASM_EMIT("7:")
106 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[left]]!")
107 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[right]]!")
108 __ASM_EMIT("vsub.f32 q8, q0, q4") // q8 = l - r
109 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = l + r
110 __ASM_EMIT("vmul.f32 q4, q8, q12") // q4 = (l - r) * 0.5f
111 __ASM_EMIT("vmul.f32 q0, q0, q12") // q0 = (l + r) * 0.5f
112 __ASM_EMIT("vst1.32 {d0[0]}, [%[mid]]!")
113 __ASM_EMIT("vst1.32 {d8[0]}, [%[side]]!")
114 __ASM_EMIT("subs %[count], #1")
115 __ASM_EMIT("bge 7b")
116 __ASM_EMIT("8:")
117
118 : [mid] "+r" (m), [side] "+r" (s),
119 [left] "+r" (l), [right] "+r" (r),
120 [count] "+r" (count)
121 : [X_HALF] "r" (&msmatrix_const[0])
122 : "cc", "memory",
123 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
124 "q8", "q9", "q10", "q11", "q12"
125 );
126 }
127
128 void ms_to_lr(float *l, float *r, const float *m, const float *s, size_t count)
129 {
130 ARCH_ARM_ASM
131 (
132 __ASM_EMIT("subs %[count], #16")
133 __ASM_EMIT("blo 2f")
134 // x16 blocks
135 __ASM_EMIT("1:")
136 __ASM_EMIT("vldm %[mid]!, {q0-q3}") // q0 = m
137 __ASM_EMIT("vldm %[side]!, {q4-q7}") // q4 = s
138 __ASM_EMIT("vsub.f32 q8, q0, q4") // q8 = r = m - s
139 __ASM_EMIT("vsub.f32 q9, q1, q5")
140 __ASM_EMIT("vsub.f32 q10, q2, q6")
141 __ASM_EMIT("vsub.f32 q11, q3, q7")
142 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = l = m + s
143 __ASM_EMIT("vadd.f32 q1, q1, q5")
144 __ASM_EMIT("vadd.f32 q2, q2, q6")
145 __ASM_EMIT("vadd.f32 q3, q3, q7")
146 __ASM_EMIT("vstm %[left]!, {q0-q3}")
147 __ASM_EMIT("vstm %[right]!, {q8-q11}")
148 __ASM_EMIT("subs %[count], #16")
149 __ASM_EMIT("bhs 1b")
150 // x8 block
151 __ASM_EMIT("2:")
152 __ASM_EMIT("adds %[count], #8") // 16 - 8
153 __ASM_EMIT("blt 4f")
154 __ASM_EMIT("vldm %[mid]!, {q0-q1}") // q0 = m
155 __ASM_EMIT("vldm %[side]!, {q4-q5}") // q4 = s
156 __ASM_EMIT("vsub.f32 q8, q0, q4") // q8 = r = m - s
157 __ASM_EMIT("vsub.f32 q9, q1, q5")
158 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = l = m + s
159 __ASM_EMIT("vadd.f32 q1, q1, q5")
160 __ASM_EMIT("vstm %[left]!, {q0-q1}")
161 __ASM_EMIT("vstm %[right]!, {q8-q9}")
162 __ASM_EMIT("sub %[count], #8")
163 // x4 block
164 __ASM_EMIT("4:")
165 __ASM_EMIT("adds %[count], #4") // 8 - 4
166 __ASM_EMIT("blt 6f")
167 __ASM_EMIT("vldm %[mid]!, {q0}") // q0 = m
168 __ASM_EMIT("vldm %[side]!, {q4}") // q4 = s
169 __ASM_EMIT("vsub.f32 q8, q0, q4") // q8 = r = m - s
170 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = l = m + s
171 __ASM_EMIT("vstm %[left]!, {q0}")
172 __ASM_EMIT("vstm %[right]!, {q8}")
173 __ASM_EMIT("sub %[count], #4")
174 // x1 blocks
175 __ASM_EMIT("6:")
176 __ASM_EMIT("adds %[count], #3") // 4 - 1
177 __ASM_EMIT("blt 8f")
178 __ASM_EMIT("7:")
179 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[mid]]!")
180 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[side]]!")
181 __ASM_EMIT("vsub.f32 q8, q0, q4") // q8 = r = m - s
182 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = l = m + s
183 __ASM_EMIT("vst1.32 {d0[0]}, [%[left]]!")
184 __ASM_EMIT("vst1.32 {d16[0]}, [%[right]]!")
185 __ASM_EMIT("subs %[count], #1")
186 __ASM_EMIT("bge 7b")
187 __ASM_EMIT("8:")
188
189 : [mid] "+r" (m), [side] "+r" (s),
190 [left] "+r" (l), [right] "+r" (r),
191 [count] "+r" (count)
192 :
193 : "cc", "memory",
194 "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7",
195 "q8", "q9", "q10", "q11"
196 );
197 }
198
199 #define LR_CVT_BODY(d, l, r, op) \
200 __ASM_EMIT("subs %[count], #16") \
201 __ASM_EMIT("vld1.32 {q8}, [%[X_HALF]]") /* q8 = 0.5 */ \
202 __ASM_EMIT("blo 2f") \
203 /* x16 blocks */ \
204 __ASM_EMIT("1:") \
205 __ASM_EMIT("vldm %[" l "]!, {q0-q3}") /* q0 = l */ \
206 __ASM_EMIT("vldm %[" r "]!, {q4-q7}") /* q4 = r */ \
207 __ASM_EMIT(op ".f32 q0, q0, q4") /* q0 = l <+-> r */ \
208 __ASM_EMIT(op ".f32 q1, q1, q5") \
209 __ASM_EMIT(op ".f32 q2, q2, q6") \
210 __ASM_EMIT(op ".f32 q3, q3, q7") \
211 __ASM_EMIT("vmul.f32 q0, q0, q8") /* q0 = (l <+-> r) * 0.5f */ \
212 __ASM_EMIT("vmul.f32 q1, q1, q8") \
213 __ASM_EMIT("vmul.f32 q2, q2, q8") \
214 __ASM_EMIT("vmul.f32 q3, q3, q8") \
215 __ASM_EMIT("vstm %[" d "]!, {q0-q3}") \
216 __ASM_EMIT("subs %[count], #16") \
217 __ASM_EMIT("bhs 1b") \
218 /* x8 block */ \
219 __ASM_EMIT("2:") \
220 __ASM_EMIT("adds %[count], #8") /* 16 - 8 */ \
221 __ASM_EMIT("blt 4f") \
222 __ASM_EMIT("vldm %[" l "]!, {q0-q1}") /* q0 = l */ \
223 __ASM_EMIT("vldm %[" r "]!, {q4-q5}") /* q4 = r */ \
224 __ASM_EMIT(op ".f32 q0, q0, q4") /* q0 = l <+-> r */ \
225 __ASM_EMIT(op ".f32 q1, q1, q5") \
226 __ASM_EMIT("vmul.f32 q0, q0, q8") /* q0 = (l <+-> r) * 0.5f */ \
227 __ASM_EMIT("vmul.f32 q1, q1, q8") \
228 __ASM_EMIT("vstm %[" d "]!, {q0-q1}") \
229 __ASM_EMIT("sub %[count], #8") \
230 /* x4 block */ \
231 __ASM_EMIT("4:") \
232 __ASM_EMIT("adds %[count], #4") /* 8 - 4 */ \
233 __ASM_EMIT("blt 6f") \
234 __ASM_EMIT("vldm %[" l "]!, {q0}") /* q0 = l */ \
235 __ASM_EMIT("vldm %[" r "]!, {q4}") /* q4 = r */ \
236 __ASM_EMIT(op ".f32 q0, q0, q4") /* q0 = l <+-> r */ \
237 __ASM_EMIT("vmul.f32 q0, q0, q8") /* q0 = (l <+-> r) * 0.5f */ \
238 __ASM_EMIT("vstm %[" d "]!, {q0}") \
239 __ASM_EMIT("sub %[count], #4") \
240 /* x1 blocks */ \
241 __ASM_EMIT("6:") \
242 __ASM_EMIT("adds %[count], #3") /* 4 - 1 */ \
243 __ASM_EMIT("blt 8f") \
244 __ASM_EMIT("7:") \
245 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" l "]]!") \
246 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" r "]]!") \
247 __ASM_EMIT(op ".f32 q0, q0, q4") /* q0 = l <+-> r */ \
248 __ASM_EMIT("vmul.f32 q0, q0, q8") /* q0 = (l <+-> r) * 0.5f */ \
249 __ASM_EMIT("vst1.32 {d0[0]}, [%[" d "]]!") \
250 __ASM_EMIT("subs %[count], #1") \
251 __ASM_EMIT("bge 7b") \
252 __ASM_EMIT("8:")
253
254
255 void lr_to_mid(float *m, const float *l, const float *r, size_t count)
256 {
257 ARCH_ARM_ASM
258 (
259 LR_CVT_BODY("mid", "left", "right", "vadd")
260 : [mid] "+r" (m),
261 [left] "+r" (l), [right] "+r" (r),
262 [count] "+r" (count)
263 : [X_HALF] "r" (&msmatrix_const[0])
264 : "cc", "memory",
265 "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7",
266 "q8"
267 );
268 }
269
270 void lr_to_side(float *s, const float *l, const float *r, size_t count)
271 {
272 ARCH_ARM_ASM
273 (
274 LR_CVT_BODY("side", "left", "right", "vsub")
275 : [side] "+r" (s),
276 [left] "+r" (l), [right] "+r" (r),
277 [count] "+r" (count)
278 : [X_HALF] "r" (&msmatrix_const[0])
279 : "cc", "memory",
280 "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7",
281 "q8"
282 );
283 }
284
285 #undef LR_CVT_BODY
286
287 #define MS_CVT_BODY(d, m, s, op) \
288 __ASM_EMIT("subs %[count], #16") \
289 __ASM_EMIT("blo 2f") \
290 /* x16 blocks */ \
291 __ASM_EMIT("1:") \
292 __ASM_EMIT("vldm %[" m "]!, {q0-q3}") /* q0 = m */ \
293 __ASM_EMIT("vldm %[" s "]!, {q4-q7}") /* q4 = s */ \
294 __ASM_EMIT(op ".f32 q0, q0, q4") /* q0 = m <+-> s */ \
295 __ASM_EMIT(op ".f32 q1, q1, q5") \
296 __ASM_EMIT(op ".f32 q2, q2, q6") \
297 __ASM_EMIT(op ".f32 q3, q3, q7") \
298 __ASM_EMIT("vstm %[" d "]!, {q0-q3}") \
299 __ASM_EMIT("subs %[count], #16") \
300 __ASM_EMIT("bhs 1b") \
301 /* x8 block */ \
302 __ASM_EMIT("2:") \
303 __ASM_EMIT("adds %[count], #8") /* 16 - 8 */ \
304 __ASM_EMIT("blt 4f") \
305 __ASM_EMIT("vldm %[" m "]!, {q0-q1}") /* q0 = m */ \
306 __ASM_EMIT("vldm %[" s "]!, {q4-q5}") /* q4 = s */ \
307 __ASM_EMIT(op ".f32 q0, q0, q4") /* q0 = m <+-> s */ \
308 __ASM_EMIT(op ".f32 q1, q1, q5") \
309 __ASM_EMIT("vstm %[" d "]!, {q0-q1}") \
310 __ASM_EMIT("sub %[count], #8") \
311 /* x4 block */ \
312 __ASM_EMIT("4:") \
313 __ASM_EMIT("adds %[count], #4") /* 8 - 4 */ \
314 __ASM_EMIT("blt 6f") \
315 __ASM_EMIT("vldm %[" m "]!, {q0}") /* q0 = l */ \
316 __ASM_EMIT("vldm %[" s "]!, {q4}") /* q4 = r */ \
317 __ASM_EMIT(op ".f32 q0, q0, q4") /* q0 = l <+-> r */ \
318 __ASM_EMIT("vstm %[" d "]!, {q0}") \
319 __ASM_EMIT("sub %[count], #4") \
320 /* x1 blocks */ \
321 __ASM_EMIT("6:") \
322 __ASM_EMIT("adds %[count], #3") /* 4 - 1 */ \
323 __ASM_EMIT("blt 8f") \
324 __ASM_EMIT("7:") \
325 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" m "]]!") \
326 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[" s "]]!") \
327 __ASM_EMIT(op ".f32 q0, q0, q4") /* q0 = l <+-> r */ \
328 __ASM_EMIT("vst1.32 {d0[0]}, [%[" d "]]!") \
329 __ASM_EMIT("subs %[count], #1") \
330 __ASM_EMIT("bge 7b") \
331 __ASM_EMIT("8:")
332
333 void ms_to_left(float *l, const float *m, const float *s, size_t count)
334 {
335 ARCH_ARM_ASM
336 (
337 MS_CVT_BODY("left", "mid", "side", "vadd")
338 : [left] "+r" (l),
339 [mid] "+r" (m), [side] "+r" (s),
340 [count] "+r" (count)
341 :
342 : "cc", "memory",
343 "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7"
344 );
345 }
346
347 void ms_to_right(float *r, const float *m, const float *s, size_t count)
348 {
349 ARCH_ARM_ASM
350 (
351 MS_CVT_BODY("right", "mid", "side", "vsub")
352 : [right] "+r" (r),
353 [mid] "+r" (m), [side] "+r" (s),
354 [count] "+r" (count)
355 :
356 : "cc", "memory",
357 "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7"
358 );
359 }
360
361 #undef MS_CVT_BODY
362 } /* namespace neon_d32 */
363 } /* namespace lsp */
364
365 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_MSMATRIX_H_ */