Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/hmath/hsum.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_HMATH_HSUM_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_HMATH_HSUM_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 float h_sum(const float *src, size_t count)
34 {
35 IF_ARCH_ARM(float result);
36 ARCH_ARM_ASM
37 (
38 __ASM_EMIT("veor q0, q0")
39 __ASM_EMIT("veor q1, q1")
40 __ASM_EMIT("subs %[count], #24") // 6*4 floats
41 __ASM_EMIT("blo 2f")
42
43 /* x24 Blocks */
44 __ASM_EMIT("1:")
45 __ASM_EMIT("vldm %[src]!, {q2-q7}")
46 __ASM_EMIT("vadd.f32 q0, q2")
47 __ASM_EMIT("vadd.f32 q1, q3")
48 __ASM_EMIT("vadd.f32 q0, q4")
49 __ASM_EMIT("vadd.f32 q1, q5")
50 __ASM_EMIT("vadd.f32 q0, q6")
51 __ASM_EMIT("vadd.f32 q1, q7")
52 __ASM_EMIT("subs %[count], #24")
53 __ASM_EMIT("bhs 1b")
54 /* x16 Block */
55 __ASM_EMIT("2:")
56 __ASM_EMIT("adds %[count], #8")
57 __ASM_EMIT("blt 4f")
58 __ASM_EMIT("vldm %[src]!, {q2-q5}")
59 __ASM_EMIT("vadd.f32 q0, q2")
60 __ASM_EMIT("vadd.f32 q1, q3")
61 __ASM_EMIT("vadd.f32 q0, q4")
62 __ASM_EMIT("vadd.f32 q1, q5")
63 __ASM_EMIT("sub %[count], #16")
64 /* x8 Block */
65 __ASM_EMIT("4:")
66 __ASM_EMIT("adds %[count], #8")
67 __ASM_EMIT("blt 6f")
68 __ASM_EMIT("vldm %[src]!, {q2-q3}")
69 __ASM_EMIT("vadd.f32 q0, q2")
70 __ASM_EMIT("vadd.f32 q1, q3")
71 __ASM_EMIT("sub %[count], #8")
72 /* x4 Block */
73 __ASM_EMIT("6:")
74 __ASM_EMIT("vadd.f32 q0, q1")
75 __ASM_EMIT("adds %[count], #4")
76 __ASM_EMIT("blt 8f")
77 __ASM_EMIT("vldm %[src]!, {q2}")
78 __ASM_EMIT("vadd.f32 q0, q2")
79 __ASM_EMIT("sub %[count], #4")
80 /* x1 Blocks */
81 __ASM_EMIT("8:")
82 __ASM_EMIT("adds %[count], #3")
83 __ASM_EMIT("blt 10f")
84 __ASM_EMIT("9:")
85 __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[src]]!")
86 __ASM_EMIT("vadd.f32 s0, s8")
87 __ASM_EMIT("subs %[count], #1")
88 __ASM_EMIT("bge 9b")
89 /* end */
90 __ASM_EMIT("10:")
91 __ASM_EMIT("vadd.f32 d0, d1")
92 __ASM_EMIT("vadd.f32 %[res], s0, s1")
93
94 : [res] "=t" (result),
95 [src] "+r" (src), [count] "+r" (count)
96 :
97 : "cc", "memory",
98 "q1", "q2", "q3", "q4", "q5", "q6", "q7"
99 );
100
101 return result;
102 }
103
104 float h_sqr_sum(const float *src, size_t count)
105 {
106 IF_ARCH_ARM(float result);
107 ARCH_ARM_ASM
108 (
109 __ASM_EMIT("veor q0, q0")
110 __ASM_EMIT("veor q1, q1")
111 __ASM_EMIT("subs %[count], #24") // 6*4 floats
112 __ASM_EMIT("blo 2f")
113
114 /* x24 Blocks */
115 __ASM_EMIT("1:")
116 __ASM_EMIT("vldm %[src]!, {q2-q7}")
117 __ASM_EMIT("vfma.f32 q0, q2, q2")
118 __ASM_EMIT("vfma.f32 q1, q3, q3")
119 __ASM_EMIT("vfma.f32 q0, q4, q4")
120 __ASM_EMIT("vfma.f32 q1, q5, q5")
121 __ASM_EMIT("vfma.f32 q0, q6, q6")
122 __ASM_EMIT("vfma.f32 q1, q7, q7")
123 __ASM_EMIT("subs %[count], #24")
124 __ASM_EMIT("bhs 1b")
125 /* x16 Block */
126 __ASM_EMIT("2:")
127 __ASM_EMIT("adds %[count], #8")
128 __ASM_EMIT("blt 4f")
129 __ASM_EMIT("vldm %[src]!, {q2-q5}")
130 __ASM_EMIT("vfma.f32 q0, q2, q2")
131 __ASM_EMIT("vfma.f32 q1, q3, q3")
132 __ASM_EMIT("vfma.f32 q0, q4, q4")
133 __ASM_EMIT("vfma.f32 q1, q5, q5")
134 __ASM_EMIT("sub %[count], #16")
135 /* x8 Block */
136 __ASM_EMIT("4:")
137 __ASM_EMIT("adds %[count], #8")
138 __ASM_EMIT("blt 6f")
139 __ASM_EMIT("vldm %[src]!, {q2-q3}")
140 __ASM_EMIT("vfma.f32 q0, q2, q2")
141 __ASM_EMIT("vfma.f32 q1, q3, q3")
142 __ASM_EMIT("sub %[count], #8")
143 /* x4 Block */
144 __ASM_EMIT("6:")
145 __ASM_EMIT("vadd.f32 q0, q1")
146 __ASM_EMIT("adds %[count], #4")
147 __ASM_EMIT("blt 8f")
148 __ASM_EMIT("vldm %[src]!, {q2}")
149 __ASM_EMIT("vfma.f32 q0, q2, q2")
150 __ASM_EMIT("sub %[count], #4")
151 /* x1 Blocks */
152 __ASM_EMIT("8:")
153 __ASM_EMIT("adds %[count], #3")
154 __ASM_EMIT("blt 10f")
155 __ASM_EMIT("9:")
156 __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[src]]!")
157 __ASM_EMIT("vfma.f32 s0, s8, s8")
158 __ASM_EMIT("subs %[count], #1")
159 __ASM_EMIT("bge 9b")
160 /* end */
161 __ASM_EMIT("10:")
162 __ASM_EMIT("vadd.f32 d0, d1")
163 __ASM_EMIT("vadd.f32 %[res], s0, s1")
164
165 : [res] "=t" (result),
166 [src] "+r" (src), [count] "+r" (count)
167 :
168 : "cc", "memory",
169 "q1", "q2", "q3", "q4", "q5", "q6", "q7"
170 );
171
172 return result;
173 }
174
175 float h_abs_sum(const float *src, size_t count)
176 {
177 IF_ARCH_ARM(float result);
178 ARCH_ARM_ASM
179 (
180 __ASM_EMIT("veor q0, q0")
181 __ASM_EMIT("veor q1, q1")
182 __ASM_EMIT("subs %[count], #24") // 6*4 floats
183 __ASM_EMIT("blo 2f")
184
185 /* x24 Blocks */
186 __ASM_EMIT("1:")
187 __ASM_EMIT("vldm %[src]!, {q2-q7}")
188 __ASM_EMIT("vabs.f32 q2, q2")
189 __ASM_EMIT("vabs.f32 q3, q3")
190 __ASM_EMIT("vabs.f32 q4, q4")
191 __ASM_EMIT("vabs.f32 q5, q5")
192 __ASM_EMIT("vabs.f32 q6, q6")
193 __ASM_EMIT("vabs.f32 q7, q7")
194 __ASM_EMIT("vadd.f32 q0, q2")
195 __ASM_EMIT("vadd.f32 q1, q3")
196 __ASM_EMIT("vadd.f32 q0, q4")
197 __ASM_EMIT("vadd.f32 q1, q5")
198 __ASM_EMIT("vadd.f32 q0, q6")
199 __ASM_EMIT("vadd.f32 q1, q7")
200 __ASM_EMIT("subs %[count], #24")
201 __ASM_EMIT("bhs 1b")
202 /* x16 Block */
203 __ASM_EMIT("2:")
204 __ASM_EMIT("adds %[count], #8")
205 __ASM_EMIT("blt 4f")
206 __ASM_EMIT("vldm %[src]!, {q2-q5}")
207 __ASM_EMIT("vabs.f32 q2, q2")
208 __ASM_EMIT("vabs.f32 q3, q3")
209 __ASM_EMIT("vabs.f32 q4, q4")
210 __ASM_EMIT("vabs.f32 q5, q5")
211 __ASM_EMIT("vadd.f32 q0, q2")
212 __ASM_EMIT("vadd.f32 q1, q3")
213 __ASM_EMIT("vadd.f32 q0, q4")
214 __ASM_EMIT("vadd.f32 q1, q5")
215 __ASM_EMIT("sub %[count], #16")
216 /* x8 Block */
217 __ASM_EMIT("4:")
218 __ASM_EMIT("adds %[count], #8")
219 __ASM_EMIT("blt 6f")
220 __ASM_EMIT("vldm %[src]!, {q2-q3}")
221 __ASM_EMIT("vabs.f32 q2, q2")
222 __ASM_EMIT("vabs.f32 q3, q3")
223 __ASM_EMIT("vadd.f32 q0, q2")
224 __ASM_EMIT("vadd.f32 q1, q3")
225 __ASM_EMIT("sub %[count], #8")
226 /* x4 Block */
227 __ASM_EMIT("6:")
228 __ASM_EMIT("vadd.f32 q0, q1")
229 __ASM_EMIT("adds %[count], #4")
230 __ASM_EMIT("blt 8f")
231 __ASM_EMIT("vldm %[src]!, {q2}")
232 __ASM_EMIT("vabs.f32 q2, q2")
233 __ASM_EMIT("vadd.f32 q0, q2")
234 __ASM_EMIT("sub %[count], #4")
235 /* x1 Blocks */
236 __ASM_EMIT("8:")
237 __ASM_EMIT("adds %[count], #3")
238 __ASM_EMIT("blt 10f")
239 __ASM_EMIT("9:")
240 __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[src]]!")
241 __ASM_EMIT("vabs.f32 q2, q2")
242 __ASM_EMIT("vadd.f32 s0, s8")
243 __ASM_EMIT("subs %[count], #1")
244 __ASM_EMIT("bge 9b")
245 /* end */
246 __ASM_EMIT("10:")
247 __ASM_EMIT("vadd.f32 d0, d1")
248 __ASM_EMIT("vadd.f32 %[res], s0, s1")
249
250 : [res] "=t" (result),
251 [src] "+r" (src), [count] "+r" (count)
252 :
253 : "cc", "memory",
254 "q1", "q2", "q3", "q4", "q5", "q6", "q7"
255 );
256
257 return result;
258 }
259 }
260 }
261
262 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_HMATH_HSUM_H_ */