Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx512/pmath/cos.h

raw
1 /*
2 * Copyright (C) 2025 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2025 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 14 апр. 2025 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef INCLUDE_PRIVATE_DSP_ARCH_X86_AVX512_PMATH_COS_H_
23 #define INCLUDE_PRIVATE_DSP_ARCH_X86_AVX512_PMATH_COS_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_IMPL */
28
29 #include <private/dsp/arch/x86/avx512/pmath/sin.h>
30
31 namespace lsp
32 {
33 namespace avx512
34 {
35 void cosf1(float *dst, size_t count)
36 {
37 IF_ARCH_X86(float *src);
38
39 ARCH_X86_ASM(
40 // x32 blocks
41 __ASM_EMIT("sub $32, %[count]")
42 __ASM_EMIT("jb 2f")
43 __ASM_EMIT("1:")
44 __ASM_EMIT("vmovaps 0x040 + %[S2C], %%zmm1") // zmm1 = PI
45 __ASM_EMIT("vsubps 0x00(%[dst]), %%zmm1, %%zmm0") // zmm0 = PI/2 - x1 + PI/2
46 __ASM_EMIT("vsubps 0x40(%[dst]), %%zmm1, %%zmm4") // zmm4 = PI/2 - x2 + PI/2
47 SINF_X_PLUS_PI_2_CORE_X32
48 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
49 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
50 __ASM_EMIT("add $0x80, %[dst]")
51 __ASM_EMIT("sub $32, %[count]")
52 __ASM_EMIT("jae 1b")
53 __ASM_EMIT("2:")
54 // x16 blocks
55 __ASM_EMIT("add $16, %[count]")
56 __ASM_EMIT("jl 4f")
57 __ASM_EMIT("1:")
58 __ASM_EMIT("vmovaps 0x040 + %[S2C], %%zmm1") // zmm1 = PI
59 __ASM_EMIT("vsubps 0x00(%[dst]), %%zmm1, %%zmm0") // zmm0 = PI/2 - x1 + PI/2
60 SINF_X_PLUS_PI_2_CORE_X16
61 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
62 __ASM_EMIT("add $0x40, %[dst]")
63 __ASM_EMIT("sub $16, %[count]")
64 __ASM_EMIT("4:")
65 // x8 block
66 __ASM_EMIT("add $8, %[count]")
67 __ASM_EMIT("jl 6f")
68 __ASM_EMIT("vmovaps 0x040 + %[S2C], %%ymm1") // ymm1 = PI
69 __ASM_EMIT("vsubps 0x00(%[dst]), %%ymm1, %%ymm0") // ymm0 = PI/2 - x1 + PI/2
70 SINF_X_PLUS_PI_2_CORE_X8
71 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
72 __ASM_EMIT("add $0x20, %[dst]")
73 __ASM_EMIT("sub $8, %[count]")
74 __ASM_EMIT("6:")
75 // x4 block
76 __ASM_EMIT("add $4, %[count]")
77 __ASM_EMIT("jl 8f")
78 __ASM_EMIT("vmovaps 0x040 + %[S2C], %%xmm1") // xmm1 = PI
79 __ASM_EMIT("vsubps 0x00(%[dst]), %%xmm1, %%xmm0") // xmm0 = PI/2 - x1 + PI/2
80 SINF_X_PLUS_PI_2_CORE_X4
81 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
82 __ASM_EMIT("add $0x10, %[dst]")
83 __ASM_EMIT("sub $4, %[count]")
84 __ASM_EMIT("8:")
85 // Tail: 1x-3x block
86 __ASM_EMIT("add $4, %[count]")
87 __ASM_EMIT("jle 16f")
88 __ASM_EMIT("vmovaps 0x040 + %[S2C], %%xmm1") // xmm1 = PI
89 __ASM_EMIT("mov %[dst], %[src]")
90 __ASM_EMIT("test $1, %[count]")
91 __ASM_EMIT("jz 10f")
92 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
93 __ASM_EMIT("add $4, %[src]")
94 __ASM_EMIT("10:")
95 __ASM_EMIT("test $2, %[count]")
96 __ASM_EMIT("jz 12f")
97 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
98 __ASM_EMIT("12:")
99 __ASM_EMIT("vsubps %%xmm0, %%xmm1, %%xmm0") // xmm0 = PI/2 - x1 + PI/2
100 SINF_X_PLUS_PI_2_CORE_X4
101 __ASM_EMIT("test $1, %[count]")
102 __ASM_EMIT("jz 14f")
103 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
104 __ASM_EMIT("add $4, %[dst]")
105 __ASM_EMIT("14:")
106 __ASM_EMIT("test $2, %[count]")
107 __ASM_EMIT("jz 16f")
108 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
109 // End
110 __ASM_EMIT("16:")
111
112 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
113 : [S2C] "o" (sinf_const)
114 : "cc", "memory",
115 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
116 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
117 "%k1", "%k2"
118 );
119 }
120
121 void cosf2(float *dst, const float *src, size_t count)
122 {
123 ARCH_X86_ASM(
124 // x32 blocks
125 __ASM_EMIT("sub $32, %[count]")
126 __ASM_EMIT("jb 2f")
127 __ASM_EMIT("1:")
128 __ASM_EMIT("vmovaps 0x040 + %[S2C], %%zmm1") // zmm1 = PI
129 __ASM_EMIT("vsubps 0x00(%[src]), %%zmm1, %%zmm0") // zmm0 = PI/2 - x1 + PI/2
130 __ASM_EMIT("vsubps 0x40(%[src]), %%zmm1, %%zmm4") // zmm4 = PI/2 - x2 + PI/2
131 SINF_X_PLUS_PI_2_CORE_X32
132 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
133 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
134 __ASM_EMIT("add $0x80, %[src]")
135 __ASM_EMIT("add $0x80, %[dst]")
136 __ASM_EMIT("sub $32, %[count]")
137 __ASM_EMIT("jae 1b")
138 __ASM_EMIT("2:")
139 // x16 block
140 __ASM_EMIT("add $16, %[count]")
141 __ASM_EMIT("jl 4f")
142 __ASM_EMIT("vmovaps 0x040 + %[S2C], %%zmm1") // zmm1 = PI
143 __ASM_EMIT("vsubps 0x00(%[src]), %%zmm1, %%zmm0") // zmm0 = x1 + PI/2
144 SINF_X_PLUS_PI_2_CORE_X16
145 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
146 __ASM_EMIT("add $0x40, %[src]")
147 __ASM_EMIT("add $0x40, %[dst]")
148 __ASM_EMIT("sub $16, %[count]")
149 __ASM_EMIT("4:")
150 // x8 block
151 __ASM_EMIT("add $8, %[count]")
152 __ASM_EMIT("jl 6f")
153 __ASM_EMIT("vmovaps 0x040 + %[S2C], %%ymm1") // ymm1 = PI
154 __ASM_EMIT("vsubps 0x00(%[src]), %%ymm1, %%ymm0") // ymm0 = x + PI/2
155 SINF_X_PLUS_PI_2_CORE_X8
156 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
157 __ASM_EMIT("add $0x20, %[src]")
158 __ASM_EMIT("add $0x20, %[dst]")
159 __ASM_EMIT("sub $8, %[count]")
160 __ASM_EMIT("6:")
161 // x4 block
162 __ASM_EMIT("add $4, %[count]")
163 __ASM_EMIT("jl 8f")
164 __ASM_EMIT("vmovaps 0x040 + %[S2C], %%xmm1") // xmm1 = PI
165 __ASM_EMIT("vsubps 0x00(%[src]), %%xmm1, %%xmm0") // xmm0 = x + PI/2
166 SINF_X_PLUS_PI_2_CORE_X4
167 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
168 __ASM_EMIT("add $0x10, %[src]")
169 __ASM_EMIT("add $0x10, %[dst]")
170 __ASM_EMIT("sub $4, %[count]")
171 __ASM_EMIT("8:")
172 // Tail: 1x-3x block
173 __ASM_EMIT("add $4, %[count]")
174 __ASM_EMIT("jle 16f")
175 __ASM_EMIT("vmovaps 0x040 + %[S2C], %%xmm1") // xmm1 = PI/2
176 __ASM_EMIT("test $1, %[count]")
177 __ASM_EMIT("jz 10f")
178 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
179 __ASM_EMIT("add $4, %[src]")
180 __ASM_EMIT("10:")
181 __ASM_EMIT("test $2, %[count]")
182 __ASM_EMIT("jz 12f")
183 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
184 __ASM_EMIT("12:")
185 __ASM_EMIT("vsubps %%xmm0, %%xmm1, %%xmm0") // xmm0 = x + PI/2
186 SINF_X_PLUS_PI_2_CORE_X4
187 __ASM_EMIT("test $1, %[count]")
188 __ASM_EMIT("jz 14f")
189 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
190 __ASM_EMIT("add $4, %[dst]")
191 __ASM_EMIT("14:")
192 __ASM_EMIT("test $2, %[count]")
193 __ASM_EMIT("jz 16f")
194 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
195 // End
196 __ASM_EMIT("16:")
197
198 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
199 : [S2C] "o" (sinf_const)
200 : "cc", "memory",
201 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
202 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
203 "%k1", "%k2"
204 );
205 }
206
207 void cosf_kp1(float *dst, float k, float p, size_t count)
208 {
209 ARCH_X86_ASM(
210 // Prepare
211 __ASM_EMIT("vbroadcastss %[k], %%zmm6") // zmm6 = k
212 __ASM_EMIT("vbroadcastss %[p], %%zmm7") // zmm7 = p
213 __ASM_EMIT("vmovaps 0x040 + %[S2C], %%zmm0") // zmm0 = PI
214 __ASM_EMIT("vmovaps 0x000 + %[S2KP], %%zmm4") // zmm4 = i = 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
215 __ASM_EMIT("vmovaps 0x0c0 + %[S2KP], %%zmm5") // zmm5 = step = 16 ...
216 __ASM_EMIT("vsubps %%zmm7, %%zmm0, %%zmm7") // zmm7 = PI/2 - p + PI/2 ...
217 // x16 blocks
218 __ASM_EMIT("sub $16, %[count]")
219 __ASM_EMIT("jb 2f")
220 __ASM_EMIT("1:")
221 __ASM_EMIT("vmulps %%zmm4, %%zmm6, %%zmm0") // zmm0 = k*i
222 __ASM_EMIT("vaddps %%zmm5, %%zmm4, %%zmm4") // zmm4 = i + step
223 __ASM_EMIT("vsubps %%zmm0, %%zmm7, %%zmm0") // zmm0 = PI/2 - (k*i + p) + PI/2
224 SINF_X_PLUS_PI_2_CORE_X16
225 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
226 __ASM_EMIT("add $0x40, %[dst]")
227 __ASM_EMIT("sub $16, %[count]")
228 __ASM_EMIT("jae 1b")
229 __ASM_EMIT("2:")
230 // x8 blocks
231 __ASM_EMIT("add $8, %[count]")
232 __ASM_EMIT("jl 4f")
233 __ASM_EMIT("vmulps %%ymm4, %%ymm6, %%ymm0") // ymm0 = k*i
234 __ASM_EMIT("vaddps 0x100 + %[S2KP], %%ymm4, %%ymm4") // ymm4 = i + step
235 __ASM_EMIT("vsubps %%ymm0, %%ymm7, %%ymm0") // ymm0 = PI/2 - (k*i + p) + PI/2
236 SINF_X_PLUS_PI_2_CORE_X8
237 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
238 __ASM_EMIT("add $0x20, %[dst]")
239 __ASM_EMIT("sub $8, %[count]")
240 __ASM_EMIT("4:")
241 // x4 block
242 __ASM_EMIT("add $4, %[count]")
243 __ASM_EMIT("jl 6f")
244 __ASM_EMIT("vmulps %%xmm4, %%xmm6, %%xmm0") // xmm0 = k*i
245 __ASM_EMIT("vaddps 0x120 + %[S2KP], %%xmm4, %%xmm4") // xmm4 = i + step
246 __ASM_EMIT("vsubps %%xmm0, %%xmm7, %%xmm0") // xmm0 = PI/2 - (k*i + p) + PI/2
247 SINF_X_PLUS_PI_2_CORE_X4
248 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
249 __ASM_EMIT("add $0x10, %[dst]")
250 __ASM_EMIT("sub $4, %[count]")
251 __ASM_EMIT("6:")
252 // Tail: 1x-3x block
253 __ASM_EMIT("add $4, %[count]")
254 __ASM_EMIT("jle 10f")
255 __ASM_EMIT("vmulps %%xmm4, %%xmm6, %%xmm0") // xmm0 = k*i
256 __ASM_EMIT("vsubps %%xmm0, %%xmm7, %%xmm0") // xmm0 = PI/2 - (k*i + p) + PI/2
257 SINF_X_PLUS_PI_2_CORE_X4
258 __ASM_EMIT("test $1, %[count]")
259 __ASM_EMIT("jz 8f")
260 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
261 __ASM_EMIT("vshufps $0x39, %%xmm0, %%xmm0, %%xmm0")
262 __ASM_EMIT("add $4, %[dst]")
263 __ASM_EMIT("8:")
264 __ASM_EMIT("test $2, %[count]")
265 __ASM_EMIT("jz 10f")
266 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst])")
267 // End
268 __ASM_EMIT("10:")
269
270 : [dst] "+r" (dst), [count] "+r" (count)
271 : [S2C] "o" (sinf_const),
272 [S2KP] "o" (kp_gen_const),
273 [k] "m" (k),
274 [p] "m" (p)
275 : "cc", "memory",
276 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
277 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
278 "%k1", "%k2"
279 );
280 }
281
282 void x64_cosf_kp1(float *dst, float k, float p, size_t count)
283 {
284 ARCH_X86_64_ASM(
285 // Prepare
286 __ASM_EMIT("vbroadcastss %[k], %%zmm11") // zmm11 = k
287 __ASM_EMIT("vbroadcastss %[p], %%zmm12") // zmm12 = p
288 __ASM_EMIT("vmovaps 0x040 + %[S2C], %%zmm0") // zmm0 = PI
289 __ASM_EMIT("vmovaps 0x000 + %[S2KP], %%zmm8") // zmm8 = i0 = 0 1 2 3 ...
290 __ASM_EMIT("vmovaps 0x040 + %[S2KP], %%zmm9") // zmm9 = i1 = 16 17 18 19 ...
291 __ASM_EMIT("vmovaps 0x080 + %[S2KP], %%zmm10") // zmm10 = step = 32 ...
292 __ASM_EMIT("vsubps %%zmm12, %%zmm0, %%zmm12") // zmm12 = PI/2 - p + PI/2 ...
293 // x32 blocks
294 __ASM_EMIT("sub $32, %[count]")
295 __ASM_EMIT("jb 2f")
296 __ASM_EMIT("1:")
297 __ASM_EMIT("vmulps %%zmm8, %%zmm11, %%zmm0") // zmm0 = k*i0
298 __ASM_EMIT("vmulps %%zmm9, %%zmm11, %%zmm4") // zmm4 = k*i1
299 __ASM_EMIT("vaddps %%zmm10, %%zmm8, %%zmm8") // zmm8 = i0 + step
300 __ASM_EMIT("vaddps %%zmm10, %%zmm9, %%zmm9") // zmm9 = i1 + step
301 __ASM_EMIT("vsubps %%zmm0, %%zmm12, %%zmm0") // zmm0 = PI/2 - (k*i0 + p) + PI/2
302 __ASM_EMIT("vsubps %%zmm4, %%zmm12, %%zmm4") // zmm4 = PI/2 - (k*i1 + p) + PI/2
303 SINF_X_PLUS_PI_2_CORE_X32
304 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
305 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
306 __ASM_EMIT("add $0x80, %[dst]")
307 __ASM_EMIT("sub $32, %[count]")
308 __ASM_EMIT("jae 1b")
309 __ASM_EMIT("2:")
310 // x16 blocks
311 __ASM_EMIT("add $16, %[count]")
312 __ASM_EMIT("jl 4f")
313 __ASM_EMIT("vmulps %%zmm8, %%zmm11, %%zmm0") // zmm0 = k*i0
314 __ASM_EMIT("vaddps 0x0c0 + %[S2KP], %%zmm8, %%zmm8") // zmm8 = i0 + step
315 __ASM_EMIT("vsubps %%zmm0, %%zmm12, %%zmm0") // zmm0 = PI/2 - (k*i0 + p) + PI/2
316 SINF_X_PLUS_PI_2_CORE_X16
317 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
318 __ASM_EMIT("add $0x40, %[dst]")
319 __ASM_EMIT("sub $16, %[count]")
320 __ASM_EMIT("4:")
321 // x8 block
322 __ASM_EMIT("add $8, %[count]")
323 __ASM_EMIT("jl 6f")
324 __ASM_EMIT("vmulps %%ymm8, %%ymm11, %%ymm0") // ymm0 = k*i0
325 __ASM_EMIT("vaddps 0x100 + %[S2KP], %%ymm8, %%ymm8") // ymm8 = i0 + step
326 __ASM_EMIT("vsubps %%ymm0, %%ymm12, %%ymm0") // ymm0 = PI/2 - (k*i0 + p) + PI/2
327 SINF_X_PLUS_PI_2_CORE_X8
328 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
329 __ASM_EMIT("add $0x20, %[dst]")
330 __ASM_EMIT("sub $8, %[count]")
331 __ASM_EMIT("6:")
332 // x4 block
333 __ASM_EMIT("add $4, %[count]")
334 __ASM_EMIT("jl 8f")
335 __ASM_EMIT("vmulps %%xmm8, %%xmm11, %%xmm0") // xmm0 = k*i0
336 __ASM_EMIT("vaddps 0x120 + %[S2KP], %%xmm8, %%xmm8") // xmm8 = i0 + step
337 __ASM_EMIT("vsubps %%xmm0, %%xmm12, %%xmm0") // xmm0 = PI/2 - (k*i0 + p) + PI/2
338 SINF_X_PLUS_PI_2_CORE_X4
339 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
340 __ASM_EMIT("add $0x10, %[dst]")
341 __ASM_EMIT("sub $4, %[count]")
342 __ASM_EMIT("8:")
343 // Tail: 1x-3x block
344 __ASM_EMIT("add $4, %[count]")
345 __ASM_EMIT("jle 12f")
346 __ASM_EMIT("vmulps %%xmm8, %%xmm11, %%xmm0") // xmm0 = k*i0
347 __ASM_EMIT("vsubps %%xmm0, %%xmm12, %%xmm0") // xmm0 = PI/2 - (k*i0 + p) + PI/2
348 SINF_X_PLUS_PI_2_CORE_X4
349 __ASM_EMIT("test $1, %[count]")
350 __ASM_EMIT("jz 10f")
351 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
352 __ASM_EMIT("vshufps $0x39, %%xmm0, %%xmm0, %%xmm0")
353 __ASM_EMIT("add $4, %[dst]")
354 __ASM_EMIT("10:")
355 __ASM_EMIT("test $2, %[count]")
356 __ASM_EMIT("jz 12f")
357 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst])")
358 // End
359 __ASM_EMIT("12:")
360
361 : [dst] "+r" (dst), [count] "+r" (count)
362 : [S2C] "o" (sinf_const),
363 [S2KP] "o" (kp_gen_const),
364 [k] "m" (k),
365 [p] "m" (p)
366 : "cc", "memory",
367 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
368 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
369 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
370 "%xmm12",
371 "%k1", "%k2"
372 );
373 }
374
375 } /* namespace avx512 */
376 } /* namespace lsp */
377
378
379
380
381 #endif /* INCLUDE_PRIVATE_DSP_ARCH_X86_AVX512_PMATH_COS_H_ */