Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/dynamics/compressor.h

raw
1 /*
2 * Copyright (C) 2023 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2023 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 7 окт. 2023 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_DYNAMICS_COMPRESSOR_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_DYNAMICS_COMPRESSOR_H_
24
25 #include <private/dsp/arch/arm/neon-d32/pmath/exp.h>
26 #include <private/dsp/arch/arm/neon-d32/pmath/log.h>
27
28 namespace lsp
29 {
30 namespace neon_d32
31 {
32 #define PROCESS_KNEE_SINGLE_X8 \
33 /* in: q0 = lx0, q1 = lx1 */ \
34 __ASM_EMIT("add %[off], %[comp], #0x0c") \
35 __ASM_EMIT("vld3.f32 {d16[], d18[], d20[]}, [%[off]]") /* q8 = herm[0] q9=herm[1] q10=herm[2] */ \
36 __ASM_EMIT("vld3.f32 {d17[], d19[], d21[]}, [%[off]]") /* q8 = herm[0] q9=herm[1] q10=herm[2] */ \
37 __ASM_EMIT("add %[off], %[comp], #0x18") \
38 __ASM_EMIT("vld2.f32 {d22[], d24[]}, [%[off]]") /* q11= tilt[0] q12=tilt[1] */ \
39 __ASM_EMIT("vld2.f32 {d23[], d25[]}, [%[off]]") /* q11= tilt[0] q12=tilt[1] */ \
40 __ASM_EMIT("vmul.f32 q2, q0, q8") /* q2 = herm[0]*lx0 */ \
41 __ASM_EMIT("vmul.f32 q3, q1, q8") \
42 __ASM_EMIT("vadd.f32 q2, q2, q9") /* q2 = herm[0]*lx0+herm[1] */ \
43 __ASM_EMIT("vadd.f32 q3, q3, q9") \
44 __ASM_EMIT("vmul.f32 q2, q2, q0") /* q2 = (herm[0]*lx0+herm[1])*lx0 */ \
45 __ASM_EMIT("vmul.f32 q3, q3, q1") \
46 __ASM_EMIT("add %[off], %[comp], #0x04") \
47 __ASM_EMIT("vld1.f32 {d26[], d27[]}, [%[off]]") /* q13= end */ \
48 __ASM_EMIT("vmul.f32 q4, q0, q11") /* q4 = tilt[0]*lx0 */ \
49 __ASM_EMIT("vmul.f32 q5, q1, q11") \
50 __ASM_EMIT("vadd.f32 q2, q2, q10") /* q2 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
51 __ASM_EMIT("vadd.f32 q3, q3, q10") \
52 __ASM_EMIT("vadd.f32 q0, q4, q12") /* q0 = TV = tilt[0]*lx0+tilt[1] */ \
53 __ASM_EMIT("vadd.f32 q1, q5, q12") \
54 __ASM_EMIT("vldm %[mem], {q6-q7}") /* q6 = x0 */ \
55 __ASM_EMIT("vcge.f32 q6, q6, q13") /* q6 = [x0 >= end] */ \
56 __ASM_EMIT("vcge.f32 q7, q7, q13") \
57 __ASM_EMIT("vldm %[LOG2E], {q15}") \
58 __ASM_EMIT("vbif q0, q2, q6") /* q0 = [x0 >= end] ? TV : KV */ \
59 __ASM_EMIT("vbif q1, q3, q7") \
60 EXP_CORE_X8 /* q0 = EV = expf([x0 >= end] ? TV : KV) */ \
61 __ASM_EMIT("add %[off], %[comp], #0x08") \
62 __ASM_EMIT("vldm %[mem], {q6-q7}") /* q6 = x0 */ \
63 __ASM_EMIT("vld1.f32 {d26[], d27[]}, [%[comp]]") /* q8 = start */ \
64 __ASM_EMIT("vld1.f32 {d22[], d23[]}, [%[off]]") /* q11= gain */ \
65 __ASM_EMIT("vcle.f32 q6, q6, q13") /* q6 = [x0 <= start] */ \
66 __ASM_EMIT("vcle.f32 q7, q7, q13") \
67 __ASM_EMIT("vbit q0, q11, q6") /* q0 = G = [x0 <= start] ? gain : EV */ \
68 __ASM_EMIT("vbit q1, q11, q7")
69 /* out: q0 = g0, q1 = g1 */
70
71 #define PROCESS_KNEE_SINGLE_X4 \
72 /* in: q0 = lx0 */ \
73 __ASM_EMIT("add %[off], %[comp], #0x0c") \
74 __ASM_EMIT("vld3.f32 {d16[], d18[], d20[]}, [%[off]]") /* q8 = herm[0] q9=herm[1] q10=herm[2] */ \
75 __ASM_EMIT("vld3.f32 {d17[], d19[], d21[]}, [%[off]]") /* q8 = herm[0] q9=herm[1] q10=herm[2] */ \
76 __ASM_EMIT("add %[off], %[comp], #0x18") \
77 __ASM_EMIT("vld2.f32 {d22[], d24[]}, [%[off]]") /* q11= tilt[0] q12=tilt[1] */ \
78 __ASM_EMIT("vld2.f32 {d23[], d25[]}, [%[off]]") /* q11= tilt[0] q12=tilt[1] */ \
79 __ASM_EMIT("vmul.f32 q2, q0, q8") /* q2 = herm[0]*lx0 */ \
80 __ASM_EMIT("vadd.f32 q2, q2, q9") /* q2 = herm[0]*lx0+herm[1] */ \
81 __ASM_EMIT("vmul.f32 q2, q2, q0") /* q2 = (herm[0]*lx0+herm[1])*lx0 */ \
82 __ASM_EMIT("add %[off], %[comp], #0x04") \
83 __ASM_EMIT("vld1.f32 {d26[], d27[]}, [%[off]]") /* q13= end */ \
84 __ASM_EMIT("vmul.f32 q4, q0, q11") /* q4 = tilt[0]*lx0 */ \
85 __ASM_EMIT("vadd.f32 q2, q2, q10") /* q2 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
86 __ASM_EMIT("vadd.f32 q0, q4, q12") /* q0 = TV = tilt[0]*lx0+tilt[1] */ \
87 __ASM_EMIT("vldm %[mem], {q6}") /* q6 = x0 */ \
88 __ASM_EMIT("vcge.f32 q6, q6, q13") /* q6 = [x0 >= end] */ \
89 __ASM_EMIT("vldm %[LOG2E], {q15}") \
90 __ASM_EMIT("vbif q0, q2, q6") /* q0 = [x0 >= end] ? TV : KV */ \
91 EXP_CORE_X4 /* q0 = EV = expf([x0 >= end] ? TV : KV) */ \
92 __ASM_EMIT("add %[off], %[comp], #0x08") \
93 __ASM_EMIT("vldm %[mem], {q6}") /* q6 = x0 */ \
94 __ASM_EMIT("vld1.f32 {d26[], d27[]}, [%[comp]]") /* q8 = start */ \
95 __ASM_EMIT("vld1.f32 {d22[], d23[]}, [%[off]]") /* q11= gain */ \
96 __ASM_EMIT("vcle.f32 q6, q6, q13") /* q6 = [x0 <= start] */ \
97 __ASM_EMIT("vbit q0, q11, q6") /* q0 = G = [x0 <= start] ? gain : EV */ \
98 /* out: q0 = g0 */
99
100 #define PROCESS_COMP_FULL_X8 \
101 /* in: q0 = x0, q1 = x1 */ \
102 __ASM_EMIT("add %[off], %[comp], #0x08") \
103 __ASM_EMIT("vld1.f32 {d26[], d27[]}, [%[comp]]") /* q13 = start[0] */ \
104 __ASM_EMIT("vld1.f32 {d28[], d29[]}, [%[off]]") /* q14 = start[1] */ \
105 __ASM_EMIT("vabs.f32 q0, q0") /* q0 = fabsf(x0) */ \
106 __ASM_EMIT("vabs.f32 q1, q1") \
107 __ASM_EMIT("vcgt.f32 q2, q0, q13") /* q13 = [fabs(x0) > start[0]] */ \
108 __ASM_EMIT("vcgt.f32 q3, q1, q13") \
109 __ASM_EMIT("vcgt.f32 q4, q0, q14") /* q14 = [fabs(x0) > start[1]] */ \
110 __ASM_EMIT("vcgt.f32 q5, q1, q14") \
111 __ASM_EMIT("vorr q2, q2, q3") \
112 __ASM_EMIT("vorr q4, q4, q5") \
113 __ASM_EMIT("vorr q2, q2, q4") \
114 __ASM_EMIT("vext.32 q4, q2, q2, #2") \
115 __ASM_EMIT("vorr q2, q2, q4") \
116 __ASM_EMIT("vext.32 q4, q2, q2, #1") \
117 __ASM_EMIT("vorr q2, q2, q4") \
118 __ASM_EMIT("vmov.32 %[off], d4[0]") \
119 __ASM_EMIT("cmp %[off], #0") \
120 __ASM_EMIT("bne 100f") \
121 __ASM_EMIT("add %[off], %[comp], #0x08") \
122 __ASM_EMIT("vld1.f32 {d22[], d23[]}, [%[off]]") /* q11= g1*/ \
123 __ASM_EMIT("add %[off], %[comp], #0x28") \
124 __ASM_EMIT("vld1.f32 {d24[], d25[]}, [%[off]]") /* q12= g2 */ \
125 __ASM_EMIT("vmul.f32 q0, q11, q12") /* q0 = g1*g2 */ \
126 __ASM_EMIT("vmul.f32 q1, q11, q12") \
127 __ASM_EMIT("b 200f") \
128 __ASM_EMIT("100:") \
129 __ASM_EMIT("vstm %[mem], {q0-q1}") /* mem[0x00] = fabfs(x0) */ \
130 __ASM_EMIT("vldm %[LOGC], {q14-q15}") \
131 LOGE_CORE_X8 /* q0 = lx0 = logf(fabsf(x0)) */ \
132 __ASM_EMIT("add %[off], %[mem], #0x20") \
133 __ASM_EMIT("vstm %[off], {q0-q1}") /* mem[0x20] = lx0 */ \
134 PROCESS_KNEE_SINGLE_X8 /* apply knee 0 */ \
135 __ASM_EMIT("add %[off], %[mem], #0x40") \
136 __ASM_EMIT("vstm %[off], {q0-q1}") /* mem[0x40] = g0 */ \
137 __ASM_EMIT("add %[off], %[mem], #0x20") \
138 __ASM_EMIT("vldm %[off], {q0-q1}") /* q0 = lx0 */ \
139 __ASM_EMIT("add %[comp], %[comp], #0x20") \
140 PROCESS_KNEE_SINGLE_X8 /* apply knee 1 */ \
141 __ASM_EMIT("add %[off], %[mem], #0x40") \
142 __ASM_EMIT("vldm %[off], {q2-q3}") /* q2 = g0 */ \
143 __ASM_EMIT("sub %[comp], %[comp], #0x20") \
144 __ASM_EMIT("vmul.f32 q0, q0, q2") /* q0 = G = */ \
145 __ASM_EMIT("vmul.f32 q1, q1, q3") \
146 __ASM_EMIT("200:") \
147 /* out: q0 = G0, q1= G1 */
148
149 #define PROCESS_COMP_FULL_X4 \
150 /* in: v0 = x0 */ \
151 __ASM_EMIT("vabs.f32 q0, q0") /* q0 = fabsf(x0) */ \
152 __ASM_EMIT("vstm %[mem], {q0}") /* mem[0x00] = fabfs(x0) */ \
153 __ASM_EMIT("vldm %[LOGC], {q14-q15}") \
154 LOGE_CORE_X4 /* q0 = lx0 = logf(fabsf(x0)) */ \
155 __ASM_EMIT("add %[off], %[mem], #0x10") \
156 __ASM_EMIT("vstm %[off], {q0}") /* mem[0x10] = lx0 */ \
157 PROCESS_KNEE_SINGLE_X4 /* apply knee 0 */ \
158 __ASM_EMIT("add %[off], %[mem], #0x20") \
159 __ASM_EMIT("vstm %[off], {q0-q1}") /* mem[0x20] = g0 */ \
160 __ASM_EMIT("add %[off], %[mem], #0x10") \
161 __ASM_EMIT("vldm %[off], {q0}") /* q0 = lx0 */ \
162 __ASM_EMIT("add %[comp], %[comp], #0x20") \
163 PROCESS_KNEE_SINGLE_X4 /* apply knee 1 */ \
164 __ASM_EMIT("add %[off], %[mem], #0x20") \
165 __ASM_EMIT("vldm %[off], {q2}") /* q2 = g0 */ \
166 __ASM_EMIT("sub %[comp], %[comp], #0x20") \
167 __ASM_EMIT("vmul.f32 q0, q0, q2") /* q0 = G = */ \
168 /* out: v0 = G0 */
169
170 void compressor_x2_gain(float *dst, const float *src, const dsp::compressor_x2_t *c, size_t count)
171 {
172 IF_ARCH_ARM(
173 float mem[24] __lsp_aligned16;
174 size_t off;
175 );
176
177 ARCH_ARM_ASM(
178 // x8 blocks
179 __ASM_EMIT("subs %[count], #8")
180 __ASM_EMIT("blo 2f")
181 __ASM_EMIT("1:")
182 __ASM_EMIT("vld1.32 {q0-q1}, [%[src]]!")
183 PROCESS_COMP_FULL_X8
184 __ASM_EMIT("subs %[count], #8")
185 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
186 __ASM_EMIT("bhs 1b")
187 __ASM_EMIT("2:")
188 // x4 block
189 __ASM_EMIT("adds %[count], #4")
190 __ASM_EMIT("blt 4f")
191 __ASM_EMIT("vld1.32 {q0}, [%[src]]!")
192 PROCESS_COMP_FULL_X4
193 __ASM_EMIT("sub %[count], #4")
194 __ASM_EMIT("vst1.32 {q0}, [%[dst]]!")
195 __ASM_EMIT("4:")
196 // Tail: 1x-3x block
197 __ASM_EMIT("adds %[count], #4")
198 __ASM_EMIT("bls 12f")
199 __ASM_EMIT("tst %[count], #1")
200 __ASM_EMIT("beq 6f")
201 __ASM_EMIT("vld1.32 {d0[0]}, [%[src]]!")
202 __ASM_EMIT("6:")
203 __ASM_EMIT("tst %[count], #2")
204 __ASM_EMIT("beq 8f")
205 __ASM_EMIT("vld1.32 {d1}, [%[src]]")
206 __ASM_EMIT("8:")
207 PROCESS_COMP_FULL_X4
208 __ASM_EMIT("tst %[count], #1")
209 __ASM_EMIT("beq 10f")
210 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
211 __ASM_EMIT("10:")
212 __ASM_EMIT("tst %[count], #2")
213 __ASM_EMIT("beq 12f")
214 __ASM_EMIT("vst1.32 {d1}, [%[dst]]")
215 __ASM_EMIT("12:")
216
217 : [dst] "+r" (dst), [src] "+r" (src),
218 [count] "+r" (count),
219 [off] "=&r" (off)
220 : [comp] "r" (c),
221 [L2C] "r" (&LOG2_CONST[0]),
222 [LOGC] "r" (&LOGE_C[0]),
223 [mem] "r" (&mem[0]),
224 [E2C] "r" (&EXP2_CONST[0]),
225 [LOG2E] "r" (&EXP_LOG2E[0])
226 : "cc", "memory",
227 "q0", "q1", "q2", "q3",
228 "q4", "q5", "q6", "q7",
229 "q8", "q9", "q10", "q11",
230 "q12", "q13", "q14", "q15"
231 );
232 }
233
234 void compressor_x2_curve(float *dst, const float *src, const dsp::compressor_x2_t *c, size_t count)
235 {
236 IF_ARCH_ARM(
237 float mem[24] __lsp_aligned16;
238 size_t off;
239 );
240
241 ARCH_ARM_ASM(
242 // x8 blocks
243 __ASM_EMIT("subs %[count], #8")
244 __ASM_EMIT("blo 2f")
245 __ASM_EMIT("1:")
246 __ASM_EMIT("vld1.32 {q0-q1}, [%[src]]")
247 PROCESS_COMP_FULL_X8
248 __ASM_EMIT("vld1.32 {q2-q3}, [%[src]]!")
249 __ASM_EMIT("subs %[count], #8")
250 __ASM_EMIT("vmul.f32 q0, q0, q2")
251 __ASM_EMIT("vmul.f32 q1, q1, q3")
252 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
253 __ASM_EMIT("bhs 1b")
254 __ASM_EMIT("2:")
255 // x4 block
256 __ASM_EMIT("adds %[count], #4")
257 __ASM_EMIT("blt 4f")
258 __ASM_EMIT("vld1.32 {q0}, [%[src]]")
259 PROCESS_COMP_FULL_X4
260 __ASM_EMIT("vld1.32 {q2}, [%[src]]!")
261 __ASM_EMIT("sub %[count], #4")
262 __ASM_EMIT("vmul.f32 q0, q0, q2")
263 __ASM_EMIT("vst1.32 {q0}, [%[dst]]!")
264 __ASM_EMIT("4:")
265 // Tail: 1x-3x block
266 __ASM_EMIT("adds %[count], #4")
267 __ASM_EMIT("bls 12f")
268 __ASM_EMIT("tst %[count], #1")
269 __ASM_EMIT("beq 6f")
270 __ASM_EMIT("vld1.32 {d0[0]}, [%[src]]!")
271 __ASM_EMIT("6:")
272 __ASM_EMIT("tst %[count], #2")
273 __ASM_EMIT("beq 8f")
274 __ASM_EMIT("vld1.32 {d1}, [%[src]]")
275 __ASM_EMIT("8:")
276 __ASM_EMIT("vmov q1, q0")
277 PROCESS_COMP_FULL_X4
278 __ASM_EMIT("vmul.f32 q0, q0, q1")
279 __ASM_EMIT("tst %[count], #1")
280 __ASM_EMIT("beq 10f")
281 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
282 __ASM_EMIT("10:")
283 __ASM_EMIT("tst %[count], #2")
284 __ASM_EMIT("beq 12f")
285 __ASM_EMIT("vst1.32 {d1}, [%[dst]]")
286 __ASM_EMIT("12:")
287
288 : [dst] "+r" (dst), [src] "+r" (src),
289 [count] "+r" (count),
290 [off] "=&r" (off)
291 : [comp] "r" (c),
292 [L2C] "r" (&LOG2_CONST[0]),
293 [LOGC] "r" (&LOGE_C[0]),
294 [mem] "r" (&mem[0]),
295 [E2C] "r" (&EXP2_CONST[0]),
296 [LOG2E] "r" (&EXP_LOG2E[0])
297 : "cc", "memory",
298 "q0", "q1", "q2", "q3",
299 "q4", "q5", "q6", "q7",
300 "q8", "q9", "q10", "q11",
301 "q12", "q13", "q14", "q15"
302 );
303 }
304
305 #undef PROCESS_COMP_FULL_X4
306 #undef PROCESS_COMP_FULL_X8
307 #undef PROCESS_KNEE_SINGLE_X4
308 #undef PROCESS_KNEE_SINGLE_X8
309
310 } /* namespace neon_d32 */
311 } /* namespace lsp */
312
313
314
315
316 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_DYNAMICS_COMPRESSOR_H_ */