Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx2/pmath/cos.h

raw
1 /*
2 * Copyright (C) 2025 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2025 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 14 апр. 2025 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX2_PMATH_COS_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX2_PMATH_COS_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX2_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX2_IMPL */
28
29 #include <private/dsp/arch/x86/avx2/pmath/sin.h>
30
31 namespace lsp
32 {
33 namespace avx2
34 {
35 void cosf1(float *dst, size_t count)
36 {
37 IF_ARCH_X86(float *src);
38
39 ARCH_X86_ASM(
40 // x16 blocks
41 __ASM_EMIT("sub $16, %[count]")
42 __ASM_EMIT("jb 2f")
43 __ASM_EMIT("1:")
44 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%ymm1") // ymm1 = PI
45 __ASM_EMIT("vsubps 0x00(%[dst]), %%ymm1, %%ymm0") // ymm0 = PI/2 - x1 + PI/2
46 __ASM_EMIT("vsubps 0x20(%[dst]), %%ymm1, %%ymm4") // ymm4 = PI/2 - x1 + PI/2
47 SINF_X_PLUS_PI_2_CORE_X16
48 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
49 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
50 __ASM_EMIT("add $0x40, %[dst]")
51 __ASM_EMIT("sub $16, %[count]")
52 __ASM_EMIT("jae 1b")
53 __ASM_EMIT("2:")
54 // x8 block
55 __ASM_EMIT("add $8, %[count]")
56 __ASM_EMIT("jl 4f")
57 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%ymm1") // ymm1 = PI
58 __ASM_EMIT("vsubps 0x00(%[dst]), %%ymm1, %%ymm0") // ymm0 = PI/2 - x + PI/2
59 SINF_X_PLUS_PI_2_CORE_X8
60 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
61 __ASM_EMIT("add $0x20, %[dst]")
62 __ASM_EMIT("sub $8, %[count]")
63 __ASM_EMIT("4:")
64 // x4 block
65 __ASM_EMIT("add $4, %[count]")
66 __ASM_EMIT("jl 6f")
67 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%xmm1") // xmm1 = PI
68 __ASM_EMIT("vsubps 0x00(%[dst]), %%xmm1, %%xmm0") // xmm0 = PI/2 - x + PI/2
69 SINF_X_PLUS_PI_2_CORE_X4
70 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
71 __ASM_EMIT("add $0x10, %[dst]")
72 __ASM_EMIT("sub $4, %[count]")
73 __ASM_EMIT("6:")
74 // Tail: 1x-3x block
75 __ASM_EMIT("add $4, %[count]")
76 __ASM_EMIT("jle 14f")
77 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%xmm1") // xmm1 = PI
78 __ASM_EMIT("mov %[dst], %[src]")
79 __ASM_EMIT("test $1, %[count]")
80 __ASM_EMIT("jz 8f")
81 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
82 __ASM_EMIT("add $4, %[src]")
83 __ASM_EMIT("8:")
84 __ASM_EMIT("test $2, %[count]")
85 __ASM_EMIT("jz 10f")
86 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
87 __ASM_EMIT("10:")
88 __ASM_EMIT("vsubps %%xmm0, %%xmm1, %%xmm0") // xmm0 = PI/2 - x + PI/2
89 SINF_X_PLUS_PI_2_CORE_X4
90 __ASM_EMIT("test $1, %[count]")
91 __ASM_EMIT("jz 12f")
92 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
93 __ASM_EMIT("add $4, %[dst]")
94 __ASM_EMIT("12:")
95 __ASM_EMIT("test $2, %[count]")
96 __ASM_EMIT("jz 14f")
97 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
98 __ASM_EMIT("14:")
99
100 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
101 : [S2C] "o" (sinf_const)
102 : "cc", "memory",
103 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
104 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
105 );
106 }
107
108 void cosf2(float *dst, const float *src, size_t count)
109 {
110 ARCH_X86_ASM(
111 // x16 blocks
112 __ASM_EMIT("sub $16, %[count]")
113 __ASM_EMIT("jb 2f")
114 __ASM_EMIT("1:")
115 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%ymm1") // ymm1 = PI
116 __ASM_EMIT("vsubps 0x00(%[src]), %%ymm1, %%ymm0") // ymm0 = PI/2 - x1 + PI/2
117 __ASM_EMIT("vsubps 0x20(%[src]), %%ymm1, %%ymm4") // ymm4 = PI/2 - x1 + PI/2
118 SINF_X_PLUS_PI_2_CORE_X16
119 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
120 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
121 __ASM_EMIT("add $0x40, %[src]")
122 __ASM_EMIT("add $0x40, %[dst]")
123 __ASM_EMIT("sub $16, %[count]")
124 __ASM_EMIT("jae 1b")
125 __ASM_EMIT("2:")
126 // x8 block
127 __ASM_EMIT("add $8, %[count]")
128 __ASM_EMIT("jl 4f")
129 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%ymm1") // ymm1 = PI
130 __ASM_EMIT("vsubps 0x00(%[src]), %%ymm1, %%ymm0") // ymm0 = PI/2 - x + PI/2
131 SINF_X_PLUS_PI_2_CORE_X8
132 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
133 __ASM_EMIT("add $0x20, %[src]")
134 __ASM_EMIT("add $0x20, %[dst]")
135 __ASM_EMIT("sub $8, %[count]")
136 __ASM_EMIT("4:")
137 // x4 block
138 __ASM_EMIT("add $4, %[count]")
139 __ASM_EMIT("jl 6f")
140 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%xmm1") // xmm1 = PI
141 __ASM_EMIT("vsubps 0x00(%[src]), %%xmm1, %%xmm0") // xmm0 = PI/2 - x + PI/2
142 SINF_X_PLUS_PI_2_CORE_X4
143 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
144 __ASM_EMIT("add $0x10, %[src]")
145 __ASM_EMIT("add $0x10, %[dst]")
146 __ASM_EMIT("sub $4, %[count]")
147 __ASM_EMIT("6:")
148 // Tail: 1x-3x block
149 __ASM_EMIT("add $4, %[count]")
150 __ASM_EMIT("jle 14f")
151 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%xmm1") // xmm1 = PI
152 __ASM_EMIT("test $1, %[count]")
153 __ASM_EMIT("jz 8f")
154 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
155 __ASM_EMIT("add $4, %[src]")
156 __ASM_EMIT("8:")
157 __ASM_EMIT("test $2, %[count]")
158 __ASM_EMIT("jz 10f")
159 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
160 __ASM_EMIT("10:")
161 __ASM_EMIT("vsubps %%xmm0, %%xmm1, %%xmm0") // xmm0 = PI/2 - x + PI/2
162 SINF_X_PLUS_PI_2_CORE_X4
163 __ASM_EMIT("test $1, %[count]")
164 __ASM_EMIT("jz 12f")
165 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
166 __ASM_EMIT("add $4, %[dst]")
167 __ASM_EMIT("12:")
168 __ASM_EMIT("test $2, %[count]")
169 __ASM_EMIT("jz 14f")
170 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
171 __ASM_EMIT("14:")
172
173 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
174 : [S2C] "o" (sinf_const)
175 : "cc", "memory",
176 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
177 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
178 );
179 }
180
181 void cosf_kp1(float *dst, float k, float p, size_t count)
182 {
183 ARCH_X86_ASM(
184 // Prepare
185 __ASM_EMIT("vbroadcastss %[k], %%ymm6") // ymm6 = k
186 __ASM_EMIT("vbroadcastss %[p], %%ymm7") // ymm7 = p
187 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%ymm0") // ymm0 = PI
188 __ASM_EMIT("vmovaps 0x00 + %[S2KP], %%ymm4") // ymm4 = i = 0 1 2 3 4 5 6 7
189 __ASM_EMIT("vmovaps 0x60 + %[S2KP], %%ymm5") // ymm5 = step = 8 8 8 8 8 8 8 8
190 __ASM_EMIT("vsubps %%ymm7, %%ymm0, %%ymm7") // ymm7 = PI/2 - p + PI/2
191 // x8 blocks
192 __ASM_EMIT("sub $8, %[count]")
193 __ASM_EMIT("jb 2f")
194 __ASM_EMIT("1:")
195 __ASM_EMIT("vmulps %%ymm4, %%ymm6, %%ymm0") // ymm0 = k*i
196 __ASM_EMIT("vaddps %%ymm5, %%ymm4, %%ymm4") // ymm4 = i + step
197 __ASM_EMIT("vsubps %%ymm0, %%ymm7, %%ymm0") // ymm0 = PI/2 - (k*i + p) + PI/2
198 SINF_X_PLUS_PI_2_CORE_X8
199 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
200 __ASM_EMIT("add $0x20, %[dst]")
201 __ASM_EMIT("sub $8, %[count]")
202 __ASM_EMIT("jae 1b")
203 __ASM_EMIT("2:")
204 // x4 block
205 __ASM_EMIT("add $4, %[count]")
206 __ASM_EMIT("jl 4f")
207 __ASM_EMIT("vmulps %%xmm4, %%xmm6, %%xmm0") // xmm0 = k*i
208 __ASM_EMIT("vaddps 0x80 + %[S2KP], %%xmm4, %%xmm4")// xmm4 = i + step
209 __ASM_EMIT("vsubps %%xmm0, %%xmm7, %%xmm0") // xmm0 = PI/2 - (k*i + p) + PI/2
210 SINF_X_PLUS_PI_2_CORE_X4
211 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
212 __ASM_EMIT("add $0x10, %[dst]")
213 __ASM_EMIT("sub $4, %[count]")
214 __ASM_EMIT("4:")
215 // Tail: 1x-3x block
216 __ASM_EMIT("add $4, %[count]")
217 __ASM_EMIT("jle 8f")
218 __ASM_EMIT("vmulps %%xmm4, %%xmm6, %%xmm0") // xmm0 = k*i
219 __ASM_EMIT("vsubps %%xmm0, %%xmm7, %%xmm0") // xmm0 = PI/2 - (k*i + p) + PI/2
220 SINF_X_PLUS_PI_2_CORE_X4
221 __ASM_EMIT("test $1, %[count]")
222 __ASM_EMIT("jz 6f")
223 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
224 __ASM_EMIT("vshufps $0x39, %%xmm0, %%xmm0, %%xmm0")
225 __ASM_EMIT("add $4, %[dst]")
226 __ASM_EMIT("6:")
227 __ASM_EMIT("test $2, %[count]")
228 __ASM_EMIT("jz 8f")
229 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst])")
230 // End
231 __ASM_EMIT("8:")
232
233 : [dst] "+r" (dst), [count] "+r" (count)
234 : [S2C] "o" (sinf_const),
235 [S2KP] "o" (kp_gen_const),
236 [k] "m" (k),
237 [p] "m" (p)
238 : "cc", "memory",
239 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
240 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
241 );
242 }
243
244 void x64_cosf_kp1(float *dst, float k, float p, size_t count)
245 {
246 ARCH_X86_64_ASM(
247 // Prepare
248 __ASM_EMIT("vbroadcastss %[k], %%ymm11") // ymm11 = k
249 __ASM_EMIT("vbroadcastss %[p], %%ymm12") // ymm12 = p
250 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%ymm0") // ymm0 = PI
251 __ASM_EMIT("vmovaps 0x00 + %[S2KP], %%ymm8") // ymm8 = i0 = 0 1 2 3 4 5 6 7
252 __ASM_EMIT("vmovaps 0x20 + %[S2KP], %%ymm9") // ymm9 = i1 = 8 9 10 11 12 13 14
253 __ASM_EMIT("vmovaps 0x40 + %[S2KP], %%ymm10") // ymm10 = step = 16 ...
254 __ASM_EMIT("vsubps %%ymm12, %%ymm0, %%ymm12") // ymm12 = PI/2 - p + PI/2
255 // x16 blocks
256 __ASM_EMIT("sub $16, %[count]")
257 __ASM_EMIT("jb 2f")
258 __ASM_EMIT("1:")
259 __ASM_EMIT("vmulps %%ymm8, %%ymm11, %%ymm0") // ymm0 = k*i0
260 __ASM_EMIT("vmulps %%ymm9, %%ymm11, %%ymm4") // ymm4 = k*i1
261 __ASM_EMIT("vaddps %%ymm10, %%ymm8, %%ymm8") // ymm8 = i0 + step
262 __ASM_EMIT("vaddps %%ymm10, %%ymm9, %%ymm9") // ymm9 = i1 + step
263 __ASM_EMIT("vsubps %%ymm0, %%ymm12, %%ymm0") // ymm0 = PI/2 - (k*i0 + p) + PI/2
264 __ASM_EMIT("vsubps %%ymm4, %%ymm12, %%ymm4") // ymm4 = PI/2 - (k*i1 + p) + PI/2
265 SINF_X_PLUS_PI_2_CORE_X16
266 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
267 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
268 __ASM_EMIT("add $0x40, %[dst]")
269 __ASM_EMIT("sub $16, %[count]")
270 __ASM_EMIT("jae 1b")
271 __ASM_EMIT("2:")
272 // x8 block
273 __ASM_EMIT("add $8, %[count]")
274 __ASM_EMIT("jl 4f")
275 __ASM_EMIT("vmulps %%ymm8, %%ymm11, %%ymm0") // ymm0 = k*i0
276 __ASM_EMIT("vaddps 0x60 + %[S2KP], %%ymm8, %%ymm8") // ymm8 = i0 + step
277 __ASM_EMIT("vsubps %%ymm0, %%ymm12, %%ymm0") // ymm0 = PI/2 - (k*i0 + p) + PI/2
278 SINF_X_PLUS_PI_2_CORE_X8
279 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
280 __ASM_EMIT("add $0x20, %[dst]")
281 __ASM_EMIT("sub $8, %[count]")
282 __ASM_EMIT("4:")
283 // x4 block
284 __ASM_EMIT("add $4, %[count]")
285 __ASM_EMIT("jl 6f")
286 __ASM_EMIT("vmulps %%xmm8, %%xmm11, %%xmm0") // xmm0 = k*i0
287 __ASM_EMIT("vaddps 0x80 + %[S2KP], %%xmm8, %%xmm8") // xmm8 = i0 + step
288 __ASM_EMIT("vsubps %%xmm0, %%xmm12, %%xmm0") // xmm0 = PI/2 - (k*i0 + p) + PI/2
289 SINF_X_PLUS_PI_2_CORE_X4
290 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
291 __ASM_EMIT("add $0x10, %[dst]")
292 __ASM_EMIT("sub $4, %[count]")
293 __ASM_EMIT("6:")
294 // Tail: 1x-3x block
295 __ASM_EMIT("add $4, %[count]")
296 __ASM_EMIT("jle 10f")
297 __ASM_EMIT("vmulps %%xmm8, %%xmm11, %%xmm0") // xmm0 = k*i0
298 __ASM_EMIT("vsubps %%xmm0, %%xmm12, %%xmm0") // xmm0 = PI/2 - (k*i0 + p) + PI/2
299 SINF_X_PLUS_PI_2_CORE_X4
300 __ASM_EMIT("test $1, %[count]")
301 __ASM_EMIT("jz 8f")
302 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
303 __ASM_EMIT("vshufps $0x39, %%xmm0, %%xmm0, %%xmm0")
304 __ASM_EMIT("add $4, %[dst]")
305 __ASM_EMIT("8:")
306 __ASM_EMIT("test $2, %[count]")
307 __ASM_EMIT("jz 10f")
308 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst])")
309 // End
310 __ASM_EMIT("10:")
311
312 : [dst] "+r" (dst), [count] "+r" (count)
313 : [S2C] "o" (sinf_const),
314 [S2KP] "o" (kp_gen_const),
315 [k] "m" (k),
316 [p] "m" (p)
317 : "cc", "memory",
318 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
319 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
320 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
321 "%xmm12"
322 );
323 }
324
325
326 void cosf1_fma3(float *dst, size_t count)
327 {
328 IF_ARCH_X86(float *src);
329
330 ARCH_X86_ASM(
331 // x16 blocks
332 __ASM_EMIT("sub $16, %[count]")
333 __ASM_EMIT("jb 2f")
334 __ASM_EMIT("1:")
335 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%ymm1") // ymm1 = PI
336 __ASM_EMIT("vsubps 0x00(%[dst]), %%ymm1, %%ymm0") // ymm0 = PI/2 - x1 + PI/2
337 __ASM_EMIT("vsubps 0x20(%[dst]), %%ymm1, %%ymm4") // ymm4 = PI/2 - x2 + PI/2
338 SINF_X_PLUS_PI_2_CORE_X16_FMA3
339 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
340 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
341 __ASM_EMIT("add $0x40, %[dst]")
342 __ASM_EMIT("sub $16, %[count]")
343 __ASM_EMIT("jae 1b")
344 __ASM_EMIT("2:")
345 // x8 block
346 __ASM_EMIT("add $8, %[count]")
347 __ASM_EMIT("jl 4f")
348 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%ymm1") // ymm1 = PI
349 __ASM_EMIT("vsubps 0x00(%[dst]), %%ymm1, %%ymm0") // ymm0 = PI/2 - x1 + PI/2
350 SINF_X_PLUS_PI_2_CORE_X8_FMA3
351 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
352 __ASM_EMIT("add $0x20, %[dst]")
353 __ASM_EMIT("sub $8, %[count]")
354 __ASM_EMIT("4:")
355 // x4 block
356 __ASM_EMIT("add $4, %[count]")
357 __ASM_EMIT("jl 6f")
358 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%xmm1") // xmm1 = PI
359 __ASM_EMIT("vsubps 0x00(%[dst]), %%xmm1, %%xmm0") // xmm0 = PI/2 - x1 + PI/2
360 SINF_X_PLUS_PI_2_CORE_X4_FMA3
361 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
362 __ASM_EMIT("add $0x10, %[dst]")
363 __ASM_EMIT("sub $4, %[count]")
364 __ASM_EMIT("6:")
365 // Tail: 1x-3x block
366 __ASM_EMIT("add $4, %[count]")
367 __ASM_EMIT("jle 14f")
368 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%xmm1") // xmm1 = PI
369 __ASM_EMIT("mov %[dst], %[src]")
370 __ASM_EMIT("test $1, %[count]")
371 __ASM_EMIT("jz 8f")
372 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
373 __ASM_EMIT("add $4, %[src]")
374 __ASM_EMIT("8:")
375 __ASM_EMIT("test $2, %[count]")
376 __ASM_EMIT("jz 10f")
377 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
378 __ASM_EMIT("10:")
379 __ASM_EMIT("vsubps %%xmm0, %%xmm1, %%xmm0") // xmm0 = PI/2 - x1 + PI/2
380 SINF_X_PLUS_PI_2_CORE_X4_FMA3
381 __ASM_EMIT("test $1, %[count]")
382 __ASM_EMIT("jz 12f")
383 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
384 __ASM_EMIT("add $4, %[dst]")
385 __ASM_EMIT("12:")
386 __ASM_EMIT("test $2, %[count]")
387 __ASM_EMIT("jz 14f")
388 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
389 __ASM_EMIT("14:")
390
391 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
392 : [S2C] "o" (sinf_const)
393 : "cc", "memory",
394 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
395 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
396 );
397 }
398
399 void cosf2_fma3(float *dst, const float *src, size_t count)
400 {
401 ARCH_X86_ASM(
402 // x16 blocks
403 __ASM_EMIT("sub $16, %[count]")
404 __ASM_EMIT("jb 2f")
405 __ASM_EMIT("1:")
406 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%ymm1") // ymm1 = PI
407 __ASM_EMIT("vsubps 0x00(%[src]), %%ymm1, %%ymm0") // ymm0 = PI/2 - x1 + PI/2
408 __ASM_EMIT("vsubps 0x20(%[src]), %%ymm1, %%ymm4") // ymm4 = PI/2 - x2 + PI/2
409 SINF_X_PLUS_PI_2_CORE_X16_FMA3
410 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
411 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
412 __ASM_EMIT("add $0x40, %[src]")
413 __ASM_EMIT("add $0x40, %[dst]")
414 __ASM_EMIT("sub $16, %[count]")
415 __ASM_EMIT("jae 1b")
416 __ASM_EMIT("2:")
417 // x8 block
418 __ASM_EMIT("add $8, %[count]")
419 __ASM_EMIT("jl 4f")
420 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%ymm1") // ymm1 = PI
421 __ASM_EMIT("vsubps 0x00(%[src]), %%ymm1, %%ymm0") // ymm0 = PI/2 - x2 + PI/2
422 SINF_X_PLUS_PI_2_CORE_X8_FMA3
423 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
424 __ASM_EMIT("add $0x20, %[src]")
425 __ASM_EMIT("add $0x20, %[dst]")
426 __ASM_EMIT("sub $8, %[count]")
427 __ASM_EMIT("4:")
428 // x4 block
429 __ASM_EMIT("add $4, %[count]")
430 __ASM_EMIT("jl 6f")
431 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%xmm1") // xmm1 = PI
432 __ASM_EMIT("vsubps 0x00(%[src]), %%xmm1, %%xmm0") // xmm0 = PI/2 - x2 + PI/2
433 SINF_X_PLUS_PI_2_CORE_X4_FMA3
434 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
435 __ASM_EMIT("add $0x10, %[src]")
436 __ASM_EMIT("add $0x10, %[dst]")
437 __ASM_EMIT("sub $4, %[count]")
438 __ASM_EMIT("6:")
439 // Tail: 1x-3x block
440 __ASM_EMIT("add $4, %[count]")
441 __ASM_EMIT("jle 14f")
442 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%xmm1") // xmm1 = PI
443 __ASM_EMIT("test $1, %[count]")
444 __ASM_EMIT("jz 8f")
445 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
446 __ASM_EMIT("add $4, %[src]")
447 __ASM_EMIT("8:")
448 __ASM_EMIT("test $2, %[count]")
449 __ASM_EMIT("jz 10f")
450 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
451 __ASM_EMIT("10:")
452 __ASM_EMIT("vsubps %%xmm0, %%xmm1, %%xmm0") // xmm0 = PI/2 - x2 + PI/2
453 SINF_X_PLUS_PI_2_CORE_X4_FMA3
454 __ASM_EMIT("test $1, %[count]")
455 __ASM_EMIT("jz 12f")
456 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
457 __ASM_EMIT("add $4, %[dst]")
458 __ASM_EMIT("12:")
459 __ASM_EMIT("test $2, %[count]")
460 __ASM_EMIT("jz 14f")
461 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
462 __ASM_EMIT("14:")
463
464 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
465 : [S2C] "o" (sinf_const)
466 : "cc", "memory",
467 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
468 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
469 );
470 }
471
472 void cosf_kp1_fma3(float *dst, float k, float p, size_t count)
473 {
474 ARCH_X86_ASM(
475 // Prepare
476 __ASM_EMIT("vbroadcastss %[k], %%ymm6") // ymm6 = k
477 __ASM_EMIT("vbroadcastss %[p], %%ymm7") // ymm7 = p
478 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%ymm0") // ymm0 = PI
479 __ASM_EMIT("vmovaps 0x00 + %[S2KP], %%ymm4") // ymm4 = i = 0 1 2 3 4 5 6 7
480 __ASM_EMIT("vmovaps 0x60 + %[S2KP], %%ymm5") // ymm5 = step = 8 8 8 8 8 8 8 8
481 __ASM_EMIT("vsubps %%ymm7, %%ymm0, %%ymm7") // ymm7 = PI/2 - p + PI/2
482 // x8 blocks
483 __ASM_EMIT("sub $8, %[count]")
484 __ASM_EMIT("jb 2f")
485 __ASM_EMIT("1:")
486 __ASM_EMIT("vmulps %%ymm4, %%ymm6, %%ymm0") // ymm0 = k*i
487 __ASM_EMIT("vaddps %%ymm5, %%ymm4, %%ymm4") // ymm4 = i + step
488 __ASM_EMIT("vsubps %%ymm0, %%ymm7, %%ymm0") // ymm0 = PI/2 - (k*i + p) + PI/2
489 SINF_X_PLUS_PI_2_CORE_X8_FMA3
490 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
491 __ASM_EMIT("add $0x20, %[dst]")
492 __ASM_EMIT("sub $8, %[count]")
493 __ASM_EMIT("jae 1b")
494 __ASM_EMIT("2:")
495 // x4 block
496 __ASM_EMIT("add $4, %[count]")
497 __ASM_EMIT("jl 4f")
498 __ASM_EMIT("vmulps %%xmm4, %%xmm6, %%xmm0") // xmm0 = k*i
499 __ASM_EMIT("vaddps 0x80 + %[S2KP], %%xmm4, %%xmm4")// xmm4 = i + step
500 __ASM_EMIT("vsubps %%xmm0, %%xmm7, %%xmm0") // xmm0 = PI/2 - (k*i + p) + PI/2
501 SINF_X_PLUS_PI_2_CORE_X4_FMA3
502 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
503 __ASM_EMIT("add $0x10, %[dst]")
504 __ASM_EMIT("sub $4, %[count]")
505 __ASM_EMIT("4:")
506 // Tail: 1x-3x block
507 __ASM_EMIT("add $4, %[count]")
508 __ASM_EMIT("jle 8f")
509 __ASM_EMIT("vmulps %%xmm4, %%xmm6, %%xmm0") // xmm0 = k*i
510 __ASM_EMIT("vsubps %%xmm0, %%xmm7, %%xmm0") // xmm0 = PI/2 - (k*i + p) + PI/2
511 SINF_X_PLUS_PI_2_CORE_X4_FMA3
512 __ASM_EMIT("test $1, %[count]")
513 __ASM_EMIT("jz 6f")
514 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
515 __ASM_EMIT("vshufps $0x39, %%xmm0, %%xmm0, %%xmm0")
516 __ASM_EMIT("add $4, %[dst]")
517 __ASM_EMIT("6:")
518 __ASM_EMIT("test $2, %[count]")
519 __ASM_EMIT("jz 8f")
520 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst])")
521 // End
522 __ASM_EMIT("8:")
523
524 : [dst] "+r" (dst), [count] "+r" (count)
525 : [S2C] "o" (sinf_const),
526 [S2KP] "o" (kp_gen_const),
527 [k] "m" (k),
528 [p] "m" (p)
529 : "cc", "memory",
530 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
531 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
532 );
533 }
534
535 void x64_cosf_kp1_fma3(float *dst, float k, float p, size_t count)
536 {
537 ARCH_X86_64_ASM(
538 // Prepare
539 __ASM_EMIT("vbroadcastss %[k], %%ymm11") // ymm11 = k
540 __ASM_EMIT("vbroadcastss %[p], %%ymm12") // ymm12 = p
541 __ASM_EMIT("vmovaps 0x020 + %[S2C], %%ymm0") // ymm0 = PI
542 __ASM_EMIT("vmovaps 0x00 + %[S2KP], %%ymm8") // ymm8 = i0 = 0 1 2 3 4 5 6 7
543 __ASM_EMIT("vmovaps 0x20 + %[S2KP], %%ymm9") // ymm9 = i1 = 8 9 10 11 12 13 14
544 __ASM_EMIT("vmovaps 0x40 + %[S2KP], %%ymm10") // ymm10 = step = 16 ...
545 __ASM_EMIT("vsubps %%ymm12, %%ymm0, %%ymm12") // ymm12 = PI/2 + p + PI/2 ...
546 // x16 blocks
547 __ASM_EMIT("sub $16, %[count]")
548 __ASM_EMIT("jb 2f")
549 __ASM_EMIT("1:")
550 __ASM_EMIT("vmulps %%ymm8, %%ymm11, %%ymm0") // ymm0 = k*i0
551 __ASM_EMIT("vmulps %%ymm9, %%ymm11, %%ymm4") // ymm4 = k*i1
552 __ASM_EMIT("vaddps %%ymm10, %%ymm8, %%ymm8") // ymm8 = i0 + step
553 __ASM_EMIT("vaddps %%ymm10, %%ymm9, %%ymm9") // ymm9 = i1 + step
554 __ASM_EMIT("vsubps %%ymm0, %%ymm12, %%ymm0") // ymm0 = PI/2 - (k*i0 + p) + PI/2
555 __ASM_EMIT("vsubps %%ymm4, %%ymm12, %%ymm4") // ymm4 = PI/2 - (k*i1 + p) + PI/2
556 SINF_X_PLUS_PI_2_CORE_X16_FMA3
557 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
558 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
559 __ASM_EMIT("add $0x40, %[dst]")
560 __ASM_EMIT("sub $16, %[count]")
561 __ASM_EMIT("jae 1b")
562 __ASM_EMIT("2:")
563 // x8 block
564 __ASM_EMIT("add $8, %[count]")
565 __ASM_EMIT("jl 4f")
566 __ASM_EMIT("vmulps %%ymm8, %%ymm11, %%ymm0") // ymm0 = k*i0
567 __ASM_EMIT("vaddps 0x60 + %[S2KP], %%ymm8, %%ymm8") // ymm8 = i0 + step
568 __ASM_EMIT("vsubps %%ymm0, %%ymm12, %%ymm0") // ymm0 = PI/2 - (k*i0 + p) + PI/2
569 SINF_X_PLUS_PI_2_CORE_X8_FMA3
570 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
571 __ASM_EMIT("add $0x20, %[dst]")
572 __ASM_EMIT("sub $8, %[count]")
573 __ASM_EMIT("4:")
574 // x4 block
575 __ASM_EMIT("add $4, %[count]")
576 __ASM_EMIT("jl 6f")
577 __ASM_EMIT("vmulps %%xmm8, %%xmm11, %%xmm0") // xmm0 = k*i0
578 __ASM_EMIT("vaddps 0x80 + %[S2KP], %%xmm8, %%xmm8") // xmm8 = i0 + step
579 __ASM_EMIT("vsubps %%xmm0, %%xmm12, %%xmm0") // xmm0 = PI/2 - (k*i0 + p) + PI/2
580 SINF_X_PLUS_PI_2_CORE_X4_FMA3
581 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
582 __ASM_EMIT("add $0x10, %[dst]")
583 __ASM_EMIT("sub $4, %[count]")
584 __ASM_EMIT("6:")
585 // Tail: 1x-3x block
586 __ASM_EMIT("add $4, %[count]")
587 __ASM_EMIT("jle 10f")
588 __ASM_EMIT("vmulps %%xmm8, %%xmm11, %%xmm0") // xmm0 = k*i0
589 __ASM_EMIT("vsubps %%xmm0, %%xmm12, %%xmm0") // xmm0 = PI/2 - (k*i0 + p) + PI/2
590 SINF_X_PLUS_PI_2_CORE_X4_FMA3
591 __ASM_EMIT("test $1, %[count]")
592 __ASM_EMIT("jz 8f")
593 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
594 __ASM_EMIT("vshufps $0x39, %%xmm0, %%xmm0, %%xmm0")
595 __ASM_EMIT("add $4, %[dst]")
596 __ASM_EMIT("8:")
597 __ASM_EMIT("test $2, %[count]")
598 __ASM_EMIT("jz 10f")
599 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst])")
600 // End
601 __ASM_EMIT("10:")
602
603 : [dst] "+r" (dst), [count] "+r" (count)
604 : [S2C] "o" (sinf_const),
605 [S2KP] "o" (kp_gen_const),
606 [k] "m" (k),
607 [p] "m" (p)
608 : "cc", "memory",
609 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
610 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
611 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
612 "%xmm12"
613 );
614 }
615
616 } /* namespace avx2 */
617 } /* namespace lsp */
618
619
620
621
622 #endif /* PRIVATE_DSP_ARCH_X86_AVX2_PMATH_COS_H_ */