Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx512/hmath/hsum.h

raw
1 /*
2 * Copyright (C) 2024 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2024 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 11 дек. 2024 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_HMATH_HSUM_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX512_HMATH_HSUM_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_IMPL */
28
29 namespace lsp
30 {
31 namespace avx512
32 {
33
34 float h_sum(const float *src, size_t count)
35 {
36 IF_ARCH_X86(float result);
37 ARCH_X86_ASM
38 (
39 __ASM_EMIT("vxorps %%zmm0, %%zmm0, %%zmm0")
40 __ASM_EMIT("vxorps %%zmm1, %%zmm1, %%zmm1")
41 /* x128 blocks */
42 __ASM_EMIT("sub $128, %[count]")
43 __ASM_EMIT("jb 2f")
44 __ASM_EMIT("1:")
45 __ASM_EMIT("vaddps 0x000(%[src]), %%zmm0, %%zmm0")
46 __ASM_EMIT("vaddps 0x040(%[src]), %%zmm1, %%zmm1")
47 __ASM_EMIT("vaddps 0x080(%[src]), %%zmm0, %%zmm0")
48 __ASM_EMIT("vaddps 0x0c0(%[src]), %%zmm1, %%zmm1")
49 __ASM_EMIT("vaddps 0x100(%[src]), %%zmm0, %%zmm0")
50 __ASM_EMIT("vaddps 0x140(%[src]), %%zmm1, %%zmm1")
51 __ASM_EMIT("vaddps 0x180(%[src]), %%zmm0, %%zmm0")
52 __ASM_EMIT("vaddps 0x1c0(%[src]), %%zmm1, %%zmm1")
53 __ASM_EMIT("add $0x200, %[src]")
54 __ASM_EMIT("sub $128, %[count]")
55 __ASM_EMIT("jae 1b")
56 __ASM_EMIT("2:")
57 /* x32 blocks */
58 __ASM_EMIT("add $96, %[count]")
59 __ASM_EMIT("jl 4f")
60 __ASM_EMIT("3:")
61 __ASM_EMIT("vaddps 0x000(%[src]), %%zmm0, %%zmm0")
62 __ASM_EMIT("vaddps 0x040(%[src]), %%zmm1, %%zmm1")
63 __ASM_EMIT("add $0x80, %[src]")
64 __ASM_EMIT("sub $32, %[count]")
65 __ASM_EMIT("jge 3b")
66 __ASM_EMIT("4:")
67 __ASM_EMIT("vaddps %%zmm1, %%zmm0, %%zmm0")
68 /* x16 block */
69 __ASM_EMIT("add $16, %[count]")
70 __ASM_EMIT("jl 6f")
71 __ASM_EMIT("vaddps 0x000(%[src]), %%zmm0, %%zmm0")
72 __ASM_EMIT("add $0x40, %[src]")
73 __ASM_EMIT("sub $16, %[count]")
74 __ASM_EMIT("6:")
75 __ASM_EMIT("vextractf64x4 $1, %%zmm0, %%ymm2")
76 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
77 /* x8 block */
78 __ASM_EMIT("add $8, %[count]")
79 __ASM_EMIT("jl 8f")
80 __ASM_EMIT("vaddps 0x000(%[src]), %%ymm0, %%ymm0")
81 __ASM_EMIT("add $0x20, %[src]")
82 __ASM_EMIT("sub $8, %[count]")
83 __ASM_EMIT("8:")
84 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm2")
85 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
86 /* x4 block */
87 __ASM_EMIT("add $4, %[count]")
88 __ASM_EMIT("jl 10f")
89 __ASM_EMIT("vaddps 0x00(%[src]), %%xmm0, %%xmm0")
90 __ASM_EMIT("add $0x10, %[src]")
91 __ASM_EMIT("sub $4, %[count]")
92 __ASM_EMIT("10:")
93 /* x1 blocks */
94 __ASM_EMIT("vhaddps %%xmm0, %%xmm0, %%xmm0")
95 __ASM_EMIT("add $3, %[count]")
96 __ASM_EMIT("vhaddps %%xmm0, %%xmm0, %%xmm0")
97 __ASM_EMIT("jl 12f")
98 __ASM_EMIT("11:")
99 __ASM_EMIT("vaddss 0x00(%[src]), %%xmm0, %%xmm0")
100 __ASM_EMIT("add $0x04, %[src]")
101 __ASM_EMIT("dec %[count]")
102 __ASM_EMIT("jge 11b")
103 __ASM_EMIT("12:")
104 /* end */
105 : [src] "+r" (src), [count] "+r" (count),
106 [res] "=Yz" (result)
107 :
108 : "cc", "memory",
109 "%xmm1"
110 );
111
112 return result;
113 }
114
115 float h_sqr_sum(const float *src, size_t count)
116 {
117 IF_ARCH_X86(float result);
118 ARCH_X86_ASM
119 (
120 __ASM_EMIT("vxorps %%zmm0, %%zmm0, %%zmm0")
121 __ASM_EMIT("vxorps %%zmm1, %%zmm1, %%zmm1")
122 /* x128 blocks */
123 __ASM_EMIT("sub $128, %[count]")
124 __ASM_EMIT("jb 2f")
125 __ASM_EMIT("vxorps %%zmm2, %%zmm2, %%zmm2")
126 __ASM_EMIT("vxorps %%zmm3, %%zmm3, %%zmm3")
127 __ASM_EMIT("1:")
128 __ASM_EMIT("vmovups 0x000(%[src]), %%zmm4")
129 __ASM_EMIT("vmovups 0x040(%[src]), %%zmm5")
130 __ASM_EMIT("vmovups 0x080(%[src]), %%zmm6")
131 __ASM_EMIT("vmovups 0x0c0(%[src]), %%zmm7")
132 __ASM_EMIT("vfmadd231ps %%zmm4, %%zmm4, %%zmm0")
133 __ASM_EMIT("vfmadd231ps %%zmm5, %%zmm5, %%zmm1")
134 __ASM_EMIT("vfmadd231ps %%zmm6, %%zmm6, %%zmm2")
135 __ASM_EMIT("vfmadd231ps %%zmm7, %%zmm7, %%zmm3")
136 __ASM_EMIT("vmovups 0x100(%[src]), %%zmm4")
137 __ASM_EMIT("vmovups 0x140(%[src]), %%zmm5")
138 __ASM_EMIT("vmovups 0x180(%[src]), %%zmm6")
139 __ASM_EMIT("vmovups 0x1c0(%[src]), %%zmm7")
140 __ASM_EMIT("vfmadd231ps %%zmm4, %%zmm4, %%zmm0")
141 __ASM_EMIT("vfmadd231ps %%zmm5, %%zmm5, %%zmm1")
142 __ASM_EMIT("vfmadd231ps %%zmm6, %%zmm6, %%zmm2")
143 __ASM_EMIT("vfmadd231ps %%zmm7, %%zmm7, %%zmm3")
144 __ASM_EMIT("add $0x200, %[src]")
145 __ASM_EMIT("sub $128, %[count]")
146 __ASM_EMIT("jae 1b")
147 __ASM_EMIT("vaddps %%zmm2, %%zmm0, %%zmm0")
148 __ASM_EMIT("vaddps %%zmm3, %%zmm1, %%zmm1")
149 __ASM_EMIT("2:")
150 /* x32 blocks */
151 __ASM_EMIT("add $96, %[count]")
152 __ASM_EMIT("jl 4f")
153 __ASM_EMIT("3:")
154 __ASM_EMIT("vmovups 0x000(%[src]), %%zmm4")
155 __ASM_EMIT("vmovups 0x040(%[src]), %%zmm5")
156 __ASM_EMIT("vfmadd231ps %%zmm4, %%zmm4, %%zmm0")
157 __ASM_EMIT("vfmadd231ps %%zmm5, %%zmm5, %%zmm1")
158 __ASM_EMIT("add $0x80, %[src]")
159 __ASM_EMIT("sub $32, %[count]")
160 __ASM_EMIT("jge 3b")
161 __ASM_EMIT("4:")
162 __ASM_EMIT("vaddps %%zmm1, %%zmm0, %%zmm0")
163 /* x16 block */
164 __ASM_EMIT("add $16, %[count]")
165 __ASM_EMIT("jl 6f")
166 __ASM_EMIT("vmovups 0x000(%[src]), %%zmm4")
167 __ASM_EMIT("vfmadd231ps %%zmm4, %%zmm4, %%zmm0")
168 __ASM_EMIT("add $0x40, %[src]")
169 __ASM_EMIT("sub $16, %[count]")
170 __ASM_EMIT("6:")
171 __ASM_EMIT("vextractf64x4 $1, %%zmm0, %%ymm2")
172 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
173 /* x8 block */
174 __ASM_EMIT("add $8, %[count]")
175 __ASM_EMIT("jl 8f")
176 __ASM_EMIT("vmovups 0x000(%[src]), %%ymm4")
177 __ASM_EMIT("vfmadd231ps %%ymm4, %%ymm4, %%ymm0")
178 __ASM_EMIT("add $0x20, %[src]")
179 __ASM_EMIT("sub $8, %[count]")
180 __ASM_EMIT("8:")
181 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm2")
182 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
183 /* x4 block */
184 __ASM_EMIT("add $4, %[count]")
185 __ASM_EMIT("jl 10f")
186 __ASM_EMIT("vmovups 0x000(%[src]), %%xmm4")
187 __ASM_EMIT("vfmadd231ps %%xmm4, %%xmm4, %%xmm0")
188 __ASM_EMIT("add $0x10, %[src]")
189 __ASM_EMIT("sub $4, %[count]")
190 __ASM_EMIT("10:")
191 /* x1 blocks */
192 __ASM_EMIT("vhaddps %%xmm0, %%xmm0, %%xmm0")
193 __ASM_EMIT("add $3, %[count]")
194 __ASM_EMIT("vhaddps %%xmm0, %%xmm0, %%xmm0")
195 __ASM_EMIT("jl 12f")
196 __ASM_EMIT("11:")
197 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm4")
198 __ASM_EMIT("vfmadd231ss %%xmm4, %%xmm4, %%xmm0")
199 __ASM_EMIT("add $0x04, %[src]")
200 __ASM_EMIT("dec %[count]")
201 __ASM_EMIT("jge 11b")
202 __ASM_EMIT("12:")
203 /* end */
204 : [src] "+r" (src), [count] "+r" (count),
205 [res] "=Yz" (result)
206 :
207 : "cc", "memory",
208 "%xmm1", "%xmm2", "%xmm3",
209 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
210 );
211
212 return result;
213 }
214
215 IF_ARCH_X86(
216 static const uint32_t h_abs_const[] __lsp_aligned64 =
217 {
218 LSP_DSP_VEC16(0x7fffffff)
219 };
220 )
221
222 float h_abs_sum(const float *src, size_t count)
223 {
224 IF_ARCH_X86(float result);
225 ARCH_X86_ASM
226 (
227 __ASM_EMIT("vxorps %%zmm0, %%zmm0, %%zmm0")
228 __ASM_EMIT("vmovaps %[CC], %%zmm6")
229 __ASM_EMIT("vmovaps %%zmm6, %%zmm7")
230 __ASM_EMIT("vxorps %%zmm1, %%zmm1, %%zmm1")
231 /* x128 blocks */
232 __ASM_EMIT("sub $128, %[count]")
233 __ASM_EMIT("jb 2f")
234 __ASM_EMIT("1:")
235 __ASM_EMIT("vandps 0x000(%[src]), %%zmm6, %%zmm2")
236 __ASM_EMIT("vandps 0x040(%[src]), %%zmm7, %%zmm3")
237 __ASM_EMIT("vandps 0x080(%[src]), %%zmm6, %%zmm4")
238 __ASM_EMIT("vandps 0x0c0(%[src]), %%zmm7, %%zmm5")
239 __ASM_EMIT("vaddps %%zmm3, %%zmm2, %%zmm2")
240 __ASM_EMIT("vaddps %%zmm5, %%zmm4, %%zmm4")
241 __ASM_EMIT("vaddps %%zmm2, %%zmm0, %%zmm0")
242 __ASM_EMIT("vaddps %%zmm4, %%zmm1, %%zmm1")
243 __ASM_EMIT("vandps 0x100(%[src]), %%zmm6, %%zmm2")
244 __ASM_EMIT("vandps 0x140(%[src]), %%zmm7, %%zmm3")
245 __ASM_EMIT("vandps 0x180(%[src]), %%zmm6, %%zmm4")
246 __ASM_EMIT("vandps 0x1c0(%[src]), %%zmm7, %%zmm5")
247 __ASM_EMIT("vaddps %%zmm3, %%zmm2, %%zmm2")
248 __ASM_EMIT("vaddps %%zmm5, %%zmm4, %%zmm4")
249 __ASM_EMIT("vaddps %%zmm2, %%zmm0, %%zmm0")
250 __ASM_EMIT("vaddps %%zmm4, %%zmm1, %%zmm1")
251 __ASM_EMIT("add $0x200, %[src]")
252 __ASM_EMIT("sub $128, %[count]")
253 __ASM_EMIT("jae 1b")
254 __ASM_EMIT("2:")
255 /* x32 blocks */
256 __ASM_EMIT("add $96, %[count]")
257 __ASM_EMIT("jl 4f")
258 __ASM_EMIT("3:")
259 __ASM_EMIT("vandps 0x000(%[src]), %%zmm6, %%zmm2")
260 __ASM_EMIT("vandps 0x040(%[src]), %%zmm7, %%zmm3")
261 __ASM_EMIT("vaddps %%zmm2, %%zmm0, %%zmm0")
262 __ASM_EMIT("vaddps %%zmm3, %%zmm1, %%zmm1")
263 __ASM_EMIT("add $0x80, %[src]")
264 __ASM_EMIT("sub $32, %[count]")
265 __ASM_EMIT("jge 3b")
266 __ASM_EMIT("4:")
267 __ASM_EMIT("vaddps %%zmm1, %%zmm0, %%zmm0")
268 /* x16 block */
269 __ASM_EMIT("add $16, %[count]")
270 __ASM_EMIT("jl 6f")
271 __ASM_EMIT("vandps 0x000(%[src]), %%zmm6, %%zmm2")
272 __ASM_EMIT("vaddps %%zmm2, %%zmm0, %%zmm0")
273 __ASM_EMIT("add $0x40, %[src]")
274 __ASM_EMIT("sub $16, %[count]")
275 __ASM_EMIT("6:")
276 __ASM_EMIT("vextractf64x4 $1, %%zmm0, %%ymm2")
277 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
278 /* x8 block */
279 __ASM_EMIT("add $8, %[count]")
280 __ASM_EMIT("jl 8f")
281 __ASM_EMIT("vandps 0x000(%[src]), %%ymm6, %%ymm2")
282 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
283 __ASM_EMIT("add $0x20, %[src]")
284 __ASM_EMIT("sub $8, %[count]")
285 __ASM_EMIT("8:")
286 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm2")
287 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
288 /* x4 block */
289 __ASM_EMIT("add $4, %[count]")
290 __ASM_EMIT("jl 10f")
291 __ASM_EMIT("vandps 0x000(%[src]), %%xmm6, %%xmm2")
292 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
293 __ASM_EMIT("add $0x10, %[src]")
294 __ASM_EMIT("sub $4, %[count]")
295 __ASM_EMIT("10:")
296 /* x1 blocks */
297 __ASM_EMIT("vhaddps %%xmm0, %%xmm0, %%xmm0")
298 __ASM_EMIT("add $3, %[count]")
299 __ASM_EMIT("vhaddps %%xmm0, %%xmm0, %%xmm0")
300 __ASM_EMIT("jl 12f")
301 __ASM_EMIT("11:")
302 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm2")
303 __ASM_EMIT("vandps %%xmm2, %%xmm6, %%xmm2")
304 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
305 __ASM_EMIT("add $0x04, %[src]")
306 __ASM_EMIT("dec %[count]")
307 __ASM_EMIT("jge 11b")
308 __ASM_EMIT("12:")
309 /* end */
310 : [src] "+r" (src), [count] "+r" (count),
311 [res] "=Yz" (result)
312 : [CC] "m" (h_abs_const)
313 : "cc", "memory",
314 "%xmm1", "%xmm2", "%xmm3",
315 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
316 );
317
318 return result;
319 }
320
321 } /* namespace avx512 */
322 } /* namespace lsp */
323
324
325 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_HMATH_HSUM_H_ */