Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/pmath/pmix.h

raw
1 /*
2 * Copyright (C) 2025 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2025 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 27 нояб. 2025 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_PMIX_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_PMIX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 void pmix_v1(float *dst, const float *src, const float *k, size_t count)
34 {
35 ARCH_ARM_ASM
36 (
37 // x16 blocks
38 __ASM_EMIT("subs %[count], #16")
39 __ASM_EMIT("blo 2f")
40 __ASM_EMIT("1:")
41 __ASM_EMIT("vldm %[dst], {q0-q3}") // q0 = d
42 __ASM_EMIT("vldm %[src]!, {q4-q7}") // q4 = s
43 __ASM_EMIT("vldm %[k]!, {q8-q11}") // q8 = k
44 __ASM_EMIT("vsub.f32 q4, q4, q0") // q4 = s - d
45 __ASM_EMIT("vsub.f32 q5, q5, q1")
46 __ASM_EMIT("vsub.f32 q6, q6, q2")
47 __ASM_EMIT("vsub.f32 q7, q7, q3")
48 __ASM_EMIT("vmla.f32 q0, q4, q8") // q0 = d + (s-d)*k
49 __ASM_EMIT("vmla.f32 q1, q5, q9")
50 __ASM_EMIT("vmla.f32 q2, q6, q10")
51 __ASM_EMIT("vmla.f32 q3, q7, q11")
52 __ASM_EMIT("subs %[count], #16")
53 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
54 __ASM_EMIT("bhs 1b")
55 // x8 block
56 __ASM_EMIT("2:")
57 __ASM_EMIT("adds %[count], #8")
58 __ASM_EMIT("blt 4f")
59 __ASM_EMIT("vldm %[dst], {q0-q1}") // q0 = d
60 __ASM_EMIT("vldm %[src]!, {q4-q5}") // q4 = s
61 __ASM_EMIT("vldm %[k]!, {q8-q9}") // q8 = k
62 __ASM_EMIT("vsub.f32 q4, q4, q0") // q4 = s - d
63 __ASM_EMIT("vsub.f32 q5, q5, q1")
64 __ASM_EMIT("vmla.f32 q0, q4, q8") // q0 = d + (s-d)*k
65 __ASM_EMIT("vmla.f32 q1, q5, q9")
66 __ASM_EMIT("sub %[count], #8")
67 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
68 // x4 blocks
69 __ASM_EMIT("4:")
70 __ASM_EMIT("adds %[count], #4")
71 __ASM_EMIT("blt 6f")
72 __ASM_EMIT("vldm %[dst], {q0}") // q0 = d
73 __ASM_EMIT("vldm %[src]!, {q4}") // q4 = s
74 __ASM_EMIT("vldm %[k]!, {q8}") // q8 = k
75 __ASM_EMIT("vsub.f32 q4, q4, q0") // q4 = s - d
76 __ASM_EMIT("vmla.f32 q0, q4, q8") // q0 = d + (s-d)*k
77 __ASM_EMIT("sub %[count], #4")
78 __ASM_EMIT("vstm %[dst]!, {q0}")
79 // x1 blocks
80 __ASM_EMIT("6:")
81 __ASM_EMIT("adds %[count], #3")
82 __ASM_EMIT("blt 8f")
83 __ASM_EMIT("7:")
84 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[dst]]") // q0 = d
85 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[src]]!") // q4 = s
86 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[k]]!") // q8 = k
87 __ASM_EMIT("vsub.f32 q4, q4, q0") // q4 = s - d
88 __ASM_EMIT("vmla.f32 q0, q4, q8") // q0 = d + (s-d)*k
89 __ASM_EMIT("subs %[count], #1")
90 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
91 __ASM_EMIT("bge 7b")
92 // end
93 __ASM_EMIT("8:")
94
95 : [dst] "+r" (dst), [src] "+r" (src), [k] "+r" (k),
96 [count] "+r" (count)
97 :
98 : "cc", "memory",
99 "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7",
100 "q8", "q9", "q10", "q11"
101 );
102 }
103
104 void pmix_k1(float *dst, const float *src, float k, size_t count)
105 {
106 ARCH_ARM_ASM
107 (
108 // x16 blocks
109 __ASM_EMIT("subs %[count], #16")
110 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[k]]") // q8 = k
111 __ASM_EMIT("blo 2f")
112 __ASM_EMIT("1:")
113 __ASM_EMIT("vldm %[dst], {q0-q3}") // q0 = d
114 __ASM_EMIT("vldm %[src]!, {q4-q7}") // q4 = s
115 __ASM_EMIT("vsub.f32 q4, q4, q0") // q4 = s - d
116 __ASM_EMIT("vsub.f32 q5, q5, q1")
117 __ASM_EMIT("vsub.f32 q6, q6, q2")
118 __ASM_EMIT("vsub.f32 q7, q7, q3")
119 __ASM_EMIT("vmla.f32 q0, q4, q8") // q0 = d + (s-d)*k
120 __ASM_EMIT("vmla.f32 q1, q5, q8")
121 __ASM_EMIT("vmla.f32 q2, q6, q8")
122 __ASM_EMIT("vmla.f32 q3, q7, q8")
123 __ASM_EMIT("subs %[count], #16")
124 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
125 __ASM_EMIT("bhs 1b")
126 // x8 block
127 __ASM_EMIT("2:")
128 __ASM_EMIT("adds %[count], #8")
129 __ASM_EMIT("blt 4f")
130 __ASM_EMIT("vldm %[dst], {q0-q1}") // q0 = d
131 __ASM_EMIT("vldm %[src]!, {q4-q5}") // q4 = s
132 __ASM_EMIT("vsub.f32 q4, q4, q0") // q4 = s - d
133 __ASM_EMIT("vsub.f32 q5, q5, q1")
134 __ASM_EMIT("vmla.f32 q0, q4, q8") // q0 = d + (s-d)*k
135 __ASM_EMIT("vmla.f32 q1, q5, q8")
136 __ASM_EMIT("sub %[count], #8")
137 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
138 // x4 blocks
139 __ASM_EMIT("4:")
140 __ASM_EMIT("adds %[count], #4")
141 __ASM_EMIT("blt 6f")
142 __ASM_EMIT("vldm %[dst], {q0}") // q0 = d
143 __ASM_EMIT("vldm %[src]!, {q4}") // q4 = s
144 __ASM_EMIT("vsub.f32 q4, q4, q0") // q4 = s - d
145 __ASM_EMIT("vmla.f32 q0, q4, q8") // q0 = d + (s-d)*k
146 __ASM_EMIT("sub %[count], #4")
147 __ASM_EMIT("vstm %[dst]!, {q0}")
148 // x1 blocks
149 __ASM_EMIT("6:")
150 __ASM_EMIT("adds %[count], #3")
151 __ASM_EMIT("blt 8f")
152 __ASM_EMIT("7:")
153 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[dst]]") // q0 = d
154 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[src]]!") // q4 = s
155 __ASM_EMIT("vsub.f32 q4, q4, q0") // q4 = s - d
156 __ASM_EMIT("vmla.f32 q0, q4, q8") // q0 = d + (s-d)*k
157 __ASM_EMIT("subs %[count], #1")
158 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
159 __ASM_EMIT("bge 7b")
160 // end
161 __ASM_EMIT("8:")
162
163 : [dst] "+r" (dst), [src] "+r" (src),
164 [count] "+r" (count)
165 : [k] "r" (&k)
166 : "cc", "memory",
167 "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7",
168 "q8"
169 );
170 }
171
172 } /* namespace neon_d32 */
173 } /* namespace lsp */
174
175
176
177
178 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_PMIX_H_ */