Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/aarch64/asimd/hmath/hsum.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_HMATH_HSUM_H_
23 #define PRIVATE_DSP_ARCH_AARCH64_ASIMD_HMATH_HSUM_H_
24
25 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL */
28
29 namespace lsp
30 {
31 namespace asimd
32 {
33 float h_sum(const float *src, size_t count)
34 {
35 IF_ARCH_AARCH64(float res);
36 ARCH_AARCH64_ASM
37 (
38 __ASM_EMIT("eor v0.16b, v0.16b, v0.16b")
39 __ASM_EMIT("eor v1.16b, v1.16b, v1.16b")
40 __ASM_EMIT("subs %[count], %[count], #24")
41 __ASM_EMIT("b.lt 2f")
42 /* 24x block */
43 __ASM_EMIT("1:")
44 __ASM_EMIT("ldp q2, q3, [%[src], #0x00]")
45 __ASM_EMIT("ldp q4, q5, [%[src], #0x20]")
46 __ASM_EMIT("ldp q6, q7, [%[src], #0x40]")
47 __ASM_EMIT("fadd v0.4s, v0.4s, v2.4s")
48 __ASM_EMIT("fadd v1.4s, v1.4s, v3.4s")
49 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s")
50 __ASM_EMIT("fadd v1.4s, v1.4s, v5.4s")
51 __ASM_EMIT("fadd v0.4s, v0.4s, v6.4s")
52 __ASM_EMIT("fadd v1.4s, v1.4s, v7.4s")
53 __ASM_EMIT("subs %[count], %[count], #24")
54 __ASM_EMIT("add %[src], %[src], #0x60")
55 __ASM_EMIT("b.hs 1b")
56 /* 16x block */
57 __ASM_EMIT("2:")
58 __ASM_EMIT("adds %[count], %[count], #8")
59 __ASM_EMIT("b.lt 4f")
60 __ASM_EMIT("ldp q2, q3, [%[src], #0x00]")
61 __ASM_EMIT("ldp q4, q5, [%[src], #0x20]")
62 __ASM_EMIT("fadd v0.4s, v0.4s, v2.4s")
63 __ASM_EMIT("fadd v1.4s, v1.4s, v3.4s")
64 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s")
65 __ASM_EMIT("fadd v1.4s, v1.4s, v5.4s")
66 __ASM_EMIT("sub %[count], %[count], #16")
67 __ASM_EMIT("add %[src], %[src], #0x40")
68 /* 8x block */
69 __ASM_EMIT("4:")
70 __ASM_EMIT("adds %[count], %[count], #8")
71 __ASM_EMIT("b.lt 6f")
72 __ASM_EMIT("ldp q2, q3, [%[src], #0x00]")
73 __ASM_EMIT("fadd v0.4s, v0.4s, v2.4s")
74 __ASM_EMIT("fadd v1.4s, v1.4s, v3.4s")
75 __ASM_EMIT("sub %[count], %[count], #8")
76 __ASM_EMIT("add %[src], %[src], #0x20")
77 /* 4x block */
78 __ASM_EMIT("6:")
79 __ASM_EMIT("adds %[count], %[count], #4")
80 __ASM_EMIT("fadd v0.4s, v0.4s, v1.4s")
81 __ASM_EMIT("b.lt 8f")
82 __ASM_EMIT("ldr q2, [%[src], #0x00]")
83 __ASM_EMIT("fadd v0.4s, v0.4s, v2.4s")
84 __ASM_EMIT("sub %[count], %[count], #4")
85 __ASM_EMIT("add %[src], %[src], #0x10")
86 /* 1x block */
87 __ASM_EMIT("8:")
88 __ASM_EMIT("adds %[count], %[count], #3")
89 __ASM_EMIT("b.lt 10f")
90 __ASM_EMIT("eor v2.16b, v2.16b, v2.16b")
91 __ASM_EMIT("9:")
92 __ASM_EMIT("ld1 {v2.s}[0], [%[src]]")
93 __ASM_EMIT("fadd v0.4s, v0.4s, v2.4s")
94 __ASM_EMIT("subs %[count], %[count], #1")
95 __ASM_EMIT("add %[src], %[src], #0x04")
96 __ASM_EMIT("b.ge 9b")
97 /* end of sum */
98 __ASM_EMIT("10:")
99 __ASM_EMIT("ext v1.16b, v0.16b, v0.16b, #8") /* v0 = a0 a1 a2 a3, v1 = a2 a3 a0 a1 */
100 __ASM_EMIT("fadd v0.4s, v0.4s, v1.4s") /* v0 = a0+a2 a1+a3 a0+a2 a1+a3 */
101 __ASM_EMIT("ext v1.16b, v0.16b, v0.16b, #4") /* v1 = a1+a3 a0+a2 a1+a3 a0+a2 */
102 __ASM_EMIT("fadd %[res].4s, v0.4s, v1.4s") /* v0 = a0+a1+a2+a3 */
103 : [res] "=w" (res),
104 [src] "+r" (src), [count] "+r" (count)
105 :
106 : "cc", "memory",
107 "v1", "v2", "v3", "v4", "v5", "v6", "v7"
108 );
109
110 return res;
111 }
112
113 float h_sqr_sum(const float *src, size_t count)
114 {
115 IF_ARCH_AARCH64(float res);
116 ARCH_AARCH64_ASM
117 (
118 __ASM_EMIT("eor v0.16b, v0.16b, v0.16b")
119 __ASM_EMIT("eor v1.16b, v1.16b, v1.16b")
120 __ASM_EMIT("subs %[count], %[count], #24")
121 __ASM_EMIT("b.lt 2f")
122 /* 24x block */
123 __ASM_EMIT("1:")
124 __ASM_EMIT("ldp q2, q3, [%[src], #0x00]")
125 __ASM_EMIT("ldp q4, q5, [%[src], #0x20]")
126 __ASM_EMIT("ldp q6, q7, [%[src], #0x40]")
127 __ASM_EMIT("fmla v0.4s, v2.4s, v2.4s")
128 __ASM_EMIT("fmla v1.4s, v3.4s, v3.4s")
129 __ASM_EMIT("fmla v0.4s, v4.4s, v4.4s")
130 __ASM_EMIT("fmla v1.4s, v5.4s, v5.4s")
131 __ASM_EMIT("fmla v0.4s, v6.4s, v6.4s")
132 __ASM_EMIT("fmla v1.4s, v7.4s, v7.4s")
133 __ASM_EMIT("subs %[count], %[count], #24")
134 __ASM_EMIT("add %[src], %[src], #0x60")
135 __ASM_EMIT("b.hs 1b")
136 /* 16x block */
137 __ASM_EMIT("2:")
138 __ASM_EMIT("adds %[count], %[count], #8")
139 __ASM_EMIT("b.lt 4f")
140 __ASM_EMIT("ldp q2, q3, [%[src], #0x00]")
141 __ASM_EMIT("ldp q4, q5, [%[src], #0x20]")
142 __ASM_EMIT("fmla v0.4s, v2.4s, v2.4s")
143 __ASM_EMIT("fmla v1.4s, v3.4s, v3.4s")
144 __ASM_EMIT("fmla v0.4s, v4.4s, v4.4s")
145 __ASM_EMIT("fmla v1.4s, v5.4s, v5.4s")
146 __ASM_EMIT("sub %[count], %[count], #16")
147 __ASM_EMIT("add %[src], %[src], #0x40")
148 /* 8x block */
149 __ASM_EMIT("4:")
150 __ASM_EMIT("adds %[count], %[count], #8")
151 __ASM_EMIT("b.lt 6f")
152 __ASM_EMIT("ldp q2, q3, [%[src], #0x00]")
153 __ASM_EMIT("fmla v0.4s, v2.4s, v2.4s")
154 __ASM_EMIT("fmla v1.4s, v3.4s, v3.4s")
155 __ASM_EMIT("sub %[count], %[count], #8")
156 __ASM_EMIT("add %[src], %[src], #0x20")
157 /* 4x block */
158 __ASM_EMIT("6:")
159 __ASM_EMIT("adds %[count], %[count], #4")
160 __ASM_EMIT("fadd v0.4s, v0.4s, v1.4s")
161 __ASM_EMIT("b.lt 8f")
162 __ASM_EMIT("ldr q2, [%[src], #0x00]")
163 __ASM_EMIT("fmla v0.4s, v2.4s, v2.4s")
164 __ASM_EMIT("sub %[count], %[count], #4")
165 __ASM_EMIT("add %[src], %[src], #0x10")
166 /* 1x block */
167 __ASM_EMIT("8:")
168 __ASM_EMIT("adds %[count], %[count], #3")
169 __ASM_EMIT("b.lt 10f")
170 __ASM_EMIT("eor v2.16b, v2.16b, v2.16b")
171 __ASM_EMIT("9:")
172 __ASM_EMIT("ld1 {v2.s}[0], [%[src]]")
173 __ASM_EMIT("fmla v0.4s, v2.4s, v2.4s")
174 __ASM_EMIT("subs %[count], %[count], #1")
175 __ASM_EMIT("add %[src], %[src], #0x04")
176 __ASM_EMIT("b.ge 9b")
177 /* end of sum */
178 __ASM_EMIT("10:")
179 __ASM_EMIT("ext v1.16b, v0.16b, v0.16b, #8") /* v0 = a0 a1 a2 a3, v1 = a2 a3 a0 a1 */
180 __ASM_EMIT("fadd v0.4s, v0.4s, v1.4s") /* v0 = a0+a2 a1+a3 a0+a2 a1+a3 */
181 __ASM_EMIT("ext v1.16b, v0.16b, v0.16b, #4") /* v1 = a1+a3 a0+a2 a1+a3 a0+a2 */
182 __ASM_EMIT("fadd %[res].4s, v0.4s, v1.4s") /* v0 = a0+a1+a2+a3 */
183 : [res] "=w" (res),
184 [src] "+r" (src), [count] "+r" (count)
185 :
186 : "cc", "memory",
187 "v1", "v2", "v3", "v4", "v5", "v6", "v7"
188 );
189
190 return res;
191 }
192
193 float h_abs_sum(const float *src, size_t count)
194 {
195 IF_ARCH_AARCH64(float res);
196 ARCH_AARCH64_ASM
197 (
198 __ASM_EMIT("eor v0.16b, v0.16b, v0.16b")
199 __ASM_EMIT("eor v1.16b, v1.16b, v1.16b")
200 __ASM_EMIT("subs %[count], %[count], #24")
201 __ASM_EMIT("b.lt 2f")
202 /* 24x block */
203 __ASM_EMIT("1:")
204 __ASM_EMIT("ldp q2, q3, [%[src], #0x00]")
205 __ASM_EMIT("ldp q4, q5, [%[src], #0x20]")
206 __ASM_EMIT("ldp q6, q7, [%[src], #0x40]")
207 __ASM_EMIT("fabs v2.4s, v2.4s")
208 __ASM_EMIT("fabs v3.4s, v3.4s")
209 __ASM_EMIT("fabs v4.4s, v4.4s")
210 __ASM_EMIT("fabs v5.4s, v5.4s")
211 __ASM_EMIT("fabs v6.4s, v6.4s")
212 __ASM_EMIT("fabs v7.4s, v7.4s")
213 __ASM_EMIT("fadd v0.4s, v0.4s, v2.4s")
214 __ASM_EMIT("fadd v1.4s, v1.4s, v3.4s")
215 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s")
216 __ASM_EMIT("fadd v1.4s, v1.4s, v5.4s")
217 __ASM_EMIT("fadd v0.4s, v0.4s, v6.4s")
218 __ASM_EMIT("fadd v1.4s, v1.4s, v7.4s")
219 __ASM_EMIT("subs %[count], %[count], #24")
220 __ASM_EMIT("add %[src], %[src], #0x60")
221 __ASM_EMIT("b.hs 1b")
222 /* 16x block */
223 __ASM_EMIT("2:")
224 __ASM_EMIT("adds %[count], %[count], #8")
225 __ASM_EMIT("b.lt 4f")
226 __ASM_EMIT("ldp q2, q3, [%[src], #0x00]")
227 __ASM_EMIT("ldp q4, q5, [%[src], #0x20]")
228 __ASM_EMIT("fabs v2.4s, v2.4s")
229 __ASM_EMIT("fabs v3.4s, v3.4s")
230 __ASM_EMIT("fabs v4.4s, v4.4s")
231 __ASM_EMIT("fabs v5.4s, v5.4s")
232 __ASM_EMIT("fadd v0.4s, v0.4s, v2.4s")
233 __ASM_EMIT("fadd v1.4s, v1.4s, v3.4s")
234 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s")
235 __ASM_EMIT("fadd v1.4s, v1.4s, v5.4s")
236 __ASM_EMIT("sub %[count], %[count], #16")
237 __ASM_EMIT("add %[src], %[src], #0x40")
238 /* 8x block */
239 __ASM_EMIT("4:")
240 __ASM_EMIT("adds %[count], %[count], #8")
241 __ASM_EMIT("b.lt 6f")
242 __ASM_EMIT("ldp q2, q3, [%[src], #0x00]")
243 __ASM_EMIT("fabs v2.4s, v2.4s")
244 __ASM_EMIT("fabs v3.4s, v3.4s")
245 __ASM_EMIT("fadd v0.4s, v0.4s, v2.4s")
246 __ASM_EMIT("fadd v1.4s, v1.4s, v3.4s")
247 __ASM_EMIT("sub %[count], %[count], #8")
248 __ASM_EMIT("add %[src], %[src], #0x20")
249 /* 4x block */
250 __ASM_EMIT("6:")
251 __ASM_EMIT("adds %[count], %[count], #4")
252 __ASM_EMIT("fadd v0.4s, v0.4s, v1.4s")
253 __ASM_EMIT("b.lt 8f")
254 __ASM_EMIT("ldr q2, [%[src], #0x00]")
255 __ASM_EMIT("fabs v2.4s, v2.4s")
256 __ASM_EMIT("fadd v0.4s, v0.4s, v2.4s")
257 __ASM_EMIT("sub %[count], %[count], #4")
258 __ASM_EMIT("add %[src], %[src], #0x10")
259 /* 1x block */
260 __ASM_EMIT("8:")
261 __ASM_EMIT("adds %[count], %[count], #3")
262 __ASM_EMIT("b.lt 10f")
263 __ASM_EMIT("eor v2.16b, v2.16b, v2.16b")
264 __ASM_EMIT("9:")
265 __ASM_EMIT("ld1 {v2.s}[0], [%[src]]")
266 __ASM_EMIT("fabs v2.4s, v2.4s")
267 __ASM_EMIT("fadd v0.4s, v0.4s, v2.4s")
268 __ASM_EMIT("subs %[count], %[count], #1")
269 __ASM_EMIT("add %[src], %[src], #0x04")
270 __ASM_EMIT("b.ge 9b")
271 /* end of sum */
272 __ASM_EMIT("10:")
273 __ASM_EMIT("ext v1.16b, v0.16b, v0.16b, #8") /* v0 = a0 a1 a2 a3, v1 = a2 a3 a0 a1 */
274 __ASM_EMIT("fadd v0.4s, v0.4s, v1.4s") /* v0 = a0+a2 a1+a3 a0+a2 a1+a3 */
275 __ASM_EMIT("ext v1.16b, v0.16b, v0.16b, #4") /* v1 = a1+a3 a0+a2 a1+a3 a0+a2 */
276 __ASM_EMIT("fadd %[res].4s, v0.4s, v1.4s") /* v0 = a0+a1+a2+a3 */
277 : [res] "=w" (res),
278 [src] "+r" (src), [count] "+r" (count)
279 :
280 : "cc", "memory",
281 "v1", "v2", "v3", "v4", "v5", "v6", "v7"
282 );
283
284 return res;
285 }
286 }
287 }
288
289 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_HMATH_HSUM_H_ */