Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx512/pmath/sin.h

raw
1 /*
2 * Copyright (C) 2025 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2025 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 12 апр. 2025 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_PMATH_SIN_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX512_PMATH_SIN_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_IMPL */
28
29 namespace lsp
30 {
31 namespace avx512
32 {
33 IF_ARCH_X86(
34 static const float kp_gen_const[] __lsp_aligned64 =
35 {
36 0.0f, 1.0f, 2.0f, 3.0f, 4.0f, 5.0f, 6.0f, 7.0f, // +0x000: Initial values register 1
37 8.0f, 9.0f, 10.0f, 11.0f, 12.0f, 13.0f, 14.0f, 15.0f,
38 16.0f, 17.0f, 18.0f, 19.0f, 20.0f, 21.0f, 22.0f, 23.0f, // +0x040: Initial values register 2
39 24.0f, 25.0f, 26.0f, 27.0f, 28.0f, 29.0f, 30.0f, 31.0f,
40 LSP_DSP_VEC16(32.0), // +0x080: Step x32
41 LSP_DSP_VEC16(16.0), // +0x0c0: Step x16
42 LSP_DSP_VEC8(8.0), // +0x100: Step x8
43 LSP_DSP_VEC4(4.0), // +0x120: Step x4
44 };
45 )
46
47 IF_ARCH_X86(
48 static const uint32_t sinf_const[] __lsp_aligned64 =
49 {
50 LSP_DSP_VEC16(0x3fc90fdb), // +0x000: PI/2
51 LSP_DSP_VEC16(0x40490fdb), // +0x040: PI
52 LSP_DSP_VEC16(0x3e22f983), // +0x080: 1/(2*PI)
53 LSP_DSP_VEC16(0x40c90fdb), // +0x0c0: 2*PI
54 LSP_DSP_VEC16(0x4096cbe4), // +0x100: 3*PI/2
55 LSP_DSP_VEC16(0xb2d7322b), // +0x140: C0 = -1/11! = -2.50521083854e-08
56 LSP_DSP_VEC16(0x3638ef1d), // +0x180: C1 = 1/9! = 2.7557319224e-06
57 LSP_DSP_VEC16(0xb9500d01), // +0x1c0: C2 = -1/7! = -0.000198412698413
58 LSP_DSP_VEC16(0x3c088889), // +0x200: C3 = 1/5! = 0.00833333333333
59 LSP_DSP_VEC16(0xbe2aaaab), // +0x240: C4 = -1/3! = -0.166666666667
60 LSP_DSP_VEC16(0x3f800000), // +0x280: 1.0
61 };
62 )
63
64 #define SINF_X_PLUS_PI_2_CORE_X32 \
65 /* zmm0 = X = x + PI/2 */ \
66 __ASM_EMIT("vmulps 0x080 + %[S2C], %%zmm0, %%zmm1") /* zmm1 = X / (2*PI) */ \
67 __ASM_EMIT("vmulps 0x080 + %[S2C], %%zmm4, %%zmm5") \
68 __ASM_EMIT("vpsrad $31, %%zmm0, %%zmm3") /* zmm3 = [ X < 0.0 ] ? -1 : 0 */ \
69 __ASM_EMIT("vpsrad $31, %%zmm4, %%zmm7") \
70 __ASM_EMIT("vcvttps2dq %%zmm1, %%zmm1") /* zmm1 = int(X / (2*PI)) */ \
71 __ASM_EMIT("vcvttps2dq %%zmm5, %%zmm5") \
72 __ASM_EMIT("vpaddd %%zmm3, %%zmm1, %%zmm1") /* zmm1 = int(X / (2*PI)) + [ X < 0.0 ] ? -1 : 0 */ \
73 __ASM_EMIT("vpaddd %%zmm7, %%zmm5, %%zmm5") \
74 __ASM_EMIT("vcvtdq2ps %%zmm1, %%zmm1") /* zmm1 = period = int(X / (2*PI)) [ X < 0.0 ] ? -1 : 0 */ \
75 __ASM_EMIT("vcvtdq2ps %%zmm5, %%zmm5") \
76 __ASM_EMIT("vfnmadd231ps 0x0c0 + %[S2C], %%zmm1, %%zmm0") /* zmm0 = Y = X - period * 2 * PI */ \
77 __ASM_EMIT("vfnmadd231ps 0x0c0 + %[S2C], %%zmm5, %%zmm4") \
78 __ASM_EMIT("vmovaps 0x100 + %[S2C], %%zmm1") /* zmm1 = 3*PI/2 */ \
79 __ASM_EMIT("vmovaps 0x100 + %[S2C], %%zmm5") \
80 __ASM_EMIT("vcmpps $1, 0x040 + %[S2C], %%zmm0, %%k1") /* k1 = [ Y < PI ] */ \
81 __ASM_EMIT("vcmpps $1, 0x040 + %[S2C], %%zmm4, %%k2") \
82 __ASM_EMIT("vsubps 0x000 + %[S2C], %%zmm0, %%zmm2") /* zmm2 = Y - PI/2 */ \
83 __ASM_EMIT("vsubps 0x000 + %[S2C], %%zmm4, %%zmm6") \
84 __ASM_EMIT("vsubps %%zmm0, %%zmm1, %%zmm0") /* zmm0 = 3*PI/2 - Y */ \
85 __ASM_EMIT("vsubps %%zmm4, %%zmm5, %%zmm4") \
86 __ASM_EMIT("vmovaps %%zmm2, %%zmm0 %{%%k1%}") /* zmm0 = XX = [ Y < PI ] ? (Y - PI/2) : (3*PI/2 - Y) */ \
87 __ASM_EMIT("vmovaps %%zmm6, %%zmm4 %{%%k2%}") \
88 /* zmm0 = XX */ \
89 __ASM_EMIT("vmovaps 0x140 + %[S2C], %%zmm1") /* zmm3 = C0 */ \
90 __ASM_EMIT("vmovaps 0x140 + %[S2C], %%zmm5") \
91 __ASM_EMIT("vmulps %%zmm0, %%zmm0, %%zmm2") /* zmm2 = X2 = XX*XX */ \
92 __ASM_EMIT("vmulps %%zmm4, %%zmm4, %%zmm6") \
93 __ASM_EMIT("vfmadd213ps 0x180 + %[S2C], %%zmm2, %%zmm1") /* zmm1 = C1 + X2*C0 */ \
94 __ASM_EMIT("vfmadd213ps 0x180 + %[S2C], %%zmm6, %%zmm5") \
95 __ASM_EMIT("vfmadd213ps 0x1c0 + %[S2C], %%zmm2, %%zmm1") /* zmm1 = C2 + X2*(C1 + X2*C0) */ \
96 __ASM_EMIT("vfmadd213ps 0x1c0 + %[S2C], %%zmm6, %%zmm5") \
97 __ASM_EMIT("vfmadd213ps 0x200 + %[S2C], %%zmm2, %%zmm1") /* zmm1 = C3 + X2*(C2 + X2*(C1 + X2*C0)) */ \
98 __ASM_EMIT("vfmadd213ps 0x200 + %[S2C], %%zmm6, %%zmm5") \
99 __ASM_EMIT("vfmadd213ps 0x240 + %[S2C], %%zmm2, %%zmm1") /* zmm1 = C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0))) */ \
100 __ASM_EMIT("vfmadd213ps 0x240 + %[S2C], %%zmm6, %%zmm5") \
101 __ASM_EMIT("vfmadd213ps 0x280 + %[S2C], %%zmm2, %%zmm1") /* zmm1 = 1.0 + X2*(C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0)))) */ \
102 __ASM_EMIT("vfmadd213ps 0x280 + %[S2C], %%zmm6, %%zmm5") \
103 __ASM_EMIT("vmulps %%zmm1, %%zmm0, %%zmm0") /* zmm0 = sinf(x) = XX * (1.0 + X2*(C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0))))) */ \
104 __ASM_EMIT("vmulps %%zmm5, %%zmm4, %%zmm4")
105
106 #define SINF_X_PLUS_PI_2_CORE_X16 \
107 /* zmm0 = X = x + PI/2 */ \
108 __ASM_EMIT("vmulps 0x080 + %[S2C], %%zmm0, %%zmm1") /* zmm1 = X / (2*PI) */ \
109 __ASM_EMIT("vpsrad $31, %%zmm0, %%zmm3") /* zmm3 = [ X < 0.0 ] ? -1 : 0 */ \
110 __ASM_EMIT("vcvttps2dq %%zmm1, %%zmm1") /* zmm1 = int(X / (2*PI)) */ \
111 __ASM_EMIT("vpaddd %%zmm3, %%zmm1, %%zmm1") /* zmm1 = int(X / (2*PI)) + [ X < 0.0 ] ? -1 : 0 */ \
112 __ASM_EMIT("vcvtdq2ps %%zmm1, %%zmm1") /* zmm1 = period = int(X / (2*PI)) [ X < 0.0 ] ? -1 : 0 */ \
113 __ASM_EMIT("vfnmadd231ps 0x0c0 + %[S2C], %%zmm1, %%zmm0") /* zmm0 = Y = X - period * 2 * PI */ \
114 __ASM_EMIT("vmovaps 0x100 + %[S2C], %%zmm1") /* zmm1 = 3*PI/2 */ \
115 __ASM_EMIT("vcmpps $1, 0x040 + %[S2C], %%zmm0, %%k1") /* k1 = [ Y < PI ] */ \
116 __ASM_EMIT("vsubps 0x000 + %[S2C], %%zmm0, %%zmm2") /* zmm2 = Y - PI/2 */ \
117 __ASM_EMIT("vsubps %%zmm0, %%zmm1, %%zmm0") /* zmm0 = 3*PI/2 - Y */ \
118 __ASM_EMIT("vmovaps %%zmm2, %%zmm0 %{%%k1%}") /* zmm0 = XX = [ Y < PI ] ? (Y - PI/2) : (3*PI/2 - Y) */ \
119 /* zmm0 = XX */ \
120 __ASM_EMIT("vmovaps 0x140 + %[S2C], %%zmm1") /* zmm3 = C0 */ \
121 __ASM_EMIT("vmulps %%zmm0, %%zmm0, %%zmm2") /* zmm2 = X2 = XX*XX */ \
122 __ASM_EMIT("vfmadd213ps 0x180 + %[S2C], %%zmm2, %%zmm1") /* zmm1 = C1 + X2*C0 */ \
123 __ASM_EMIT("vfmadd213ps 0x1c0 + %[S2C], %%zmm2, %%zmm1") /* zmm1 = C2 + X2*(C1 + X2*C0) */ \
124 __ASM_EMIT("vfmadd213ps 0x200 + %[S2C], %%zmm2, %%zmm1") /* zmm1 = C3 + X2*(C2 + X2*(C1 + X2*C0)) */ \
125 __ASM_EMIT("vfmadd213ps 0x240 + %[S2C], %%zmm2, %%zmm1") /* zmm1 = C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0))) */ \
126 __ASM_EMIT("vfmadd213ps 0x280 + %[S2C], %%zmm2, %%zmm1") /* zmm1 = 1.0 + X2*(C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0)))) */ \
127 __ASM_EMIT("vmulps %%zmm1, %%zmm0, %%zmm0") /* zmm0 = sinf(x) = XX * (1.0 + X2*(C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0))))) */
128
129 #define SINF_X_PLUS_PI_2_CORE_X8 \
130 /* ymm0 = X = x + PI/2 */ \
131 __ASM_EMIT("vmulps 0x080 + %[S2C], %%ymm0, %%ymm1") /* ymm1 = X / (2*PI) */ \
132 __ASM_EMIT("vpsrad $31, %%ymm0, %%ymm3") /* ymm3 = [ X < 0.0 ] ? -1 : 0 */ \
133 __ASM_EMIT("vcvttps2dq %%ymm1, %%ymm1") /* ymm1 = int(X / (2*PI)) */ \
134 __ASM_EMIT("vpaddd %%ymm3, %%ymm1, %%ymm1") /* ymm1 = int(X / (2*PI)) + [ X < 0.0 ] ? -1 : 0 */ \
135 __ASM_EMIT("vcvtdq2ps %%ymm1, %%ymm1") /* ymm1 = period = int(X / (2*PI)) [ X < 0.0 ] ? -1 : 0 */ \
136 __ASM_EMIT("vfnmadd231ps 0x0c0 + %[S2C], %%ymm1, %%ymm0") /* ymm0 = Y = X - period * 2 * PI */ \
137 __ASM_EMIT("vmovaps 0x100 + %[S2C], %%ymm1") /* ymm1 = 3*PI/2 */ \
138 __ASM_EMIT("vcmpps $1, 0x040 + %[S2C], %%ymm0, %%ymm2") /* ymm2 = [ Y < PI ] */ \
139 __ASM_EMIT("vsubps %%ymm0, %%ymm1, %%ymm1") /* ymm1 = 3*PI/2 - Y */ \
140 __ASM_EMIT("vsubps 0x000 + %[S2C], %%ymm0, %%ymm0") /* ymm0 = Y - PI/2 */ \
141 __ASM_EMIT("vblendvps %%ymm2, %%ymm0, %%ymm1, %%ymm0") /* ymm0 = XX = [ Y < PI ] ? (Y - PI/2) : (3*PI/2 - Y) */ \
142 /* ymm0 = XX */ \
143 __ASM_EMIT("vmovaps 0x140 + %[S2C], %%ymm1") /* ymm3 = C0 */ \
144 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm2") /* ymm2 = X2 = XX*XX */ \
145 __ASM_EMIT("vfmadd213ps 0x180 + %[S2C], %%ymm2, %%ymm1") /* ymm1 = C1 + X2*C0 */ \
146 __ASM_EMIT("vfmadd213ps 0x1c0 + %[S2C], %%ymm2, %%ymm1") /* ymm1 = C2 + X2*(C1 + X2*C0) */ \
147 __ASM_EMIT("vfmadd213ps 0x200 + %[S2C], %%ymm2, %%ymm1") /* ymm1 = C3 + X2*(C2 + X2*(C1 + X2*C0)) */ \
148 __ASM_EMIT("vfmadd213ps 0x240 + %[S2C], %%ymm2, %%ymm1") /* ymm1 = C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0))) */ \
149 __ASM_EMIT("vfmadd213ps 0x280 + %[S2C], %%ymm2, %%ymm1") /* ymm1 = 1.0 + X2*(C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0)))) */ \
150 __ASM_EMIT("vmulps %%ymm1, %%ymm0, %%ymm0") /* ymm0 = sinf(x) = XX * (1.0 + X2*(C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0))))) */
151
152 #define SINF_X_PLUS_PI_2_CORE_X4 \
153 /* xmm0 = X = x + PI/2 */ \
154 __ASM_EMIT("vmulps 0x080 + %[S2C], %%xmm0, %%xmm1") /* xmm1 = X / (2*PI) */ \
155 __ASM_EMIT("vpsrad $31, %%xmm0, %%xmm3") /* xmm3 = [ X < 0.0 ] ? -1 : 0 */ \
156 __ASM_EMIT("vcvttps2dq %%xmm1, %%xmm1") /* xmm1 = int(X / (2*PI)) */ \
157 __ASM_EMIT("vpaddd %%xmm3, %%xmm1, %%xmm1") /* xmm1 = int(X / (2*PI)) + [ X < 0.0 ] ? -1 : 0 */ \
158 __ASM_EMIT("vcvtdq2ps %%xmm1, %%xmm1") /* xmm1 = period = int(X / (2*PI)) [ X < 0.0 ] ? -1 : 0 */ \
159 __ASM_EMIT("vfnmadd231ps 0x0c0 + %[S2C], %%xmm1, %%xmm0") /* xmm0 = Y = X - period * 2 * PI */ \
160 __ASM_EMIT("vmovaps 0x100 + %[S2C], %%xmm1") /* xmm1 = 3*PI/2 */ \
161 __ASM_EMIT("vcmpps $1, 0x040 + %[S2C], %%xmm0, %%xmm2") /* xmm2 = [ Y < PI ] */ \
162 __ASM_EMIT("vsubps %%xmm0, %%xmm1, %%xmm1") /* xmm1 = 3*PI/2 - Y */ \
163 __ASM_EMIT("vsubps 0x000 + %[S2C], %%xmm0, %%xmm0") /* xmm0 = Y - PI/2 */ \
164 __ASM_EMIT("vblendvps %%xmm2, %%xmm0, %%xmm1, %%xmm0") /* xmm0 = XX = [ Y < PI ] ? (Y - PI/2) : (3*PI/2 - Y) */ \
165 /* xmm0 = XX */ \
166 __ASM_EMIT("vmovaps 0x140 + %[S2C], %%xmm1") /* xmm3 = C0 */ \
167 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm2") /* xmm2 = X2 = XX*XX */ \
168 __ASM_EMIT("vfmadd213ps 0x180 + %[S2C], %%xmm2, %%xmm1") /* xmm1 = C1 + X2*C0 */ \
169 __ASM_EMIT("vfmadd213ps 0x1c0 + %[S2C], %%xmm2, %%xmm1") /* xmm1 = C2 + X2*(C1 + X2*C0) */ \
170 __ASM_EMIT("vfmadd213ps 0x200 + %[S2C], %%xmm2, %%xmm1") /* xmm1 = C3 + X2*(C2 + X2*(C1 + X2*C0)) */ \
171 __ASM_EMIT("vfmadd213ps 0x240 + %[S2C], %%xmm2, %%xmm1") /* xmm1 = C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0))) */ \
172 __ASM_EMIT("vfmadd213ps 0x280 + %[S2C], %%xmm2, %%xmm1") /* xmm1 = 1.0 + X2*(C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0)))) */ \
173 __ASM_EMIT("vmulps %%xmm1, %%xmm0, %%xmm0") /* xmm0 = sinf(x) = XX * (1.0 + X2*(C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0))))) */
174
175 void sinf1(float *dst, size_t count)
176 {
177 IF_ARCH_X86(float *src);
178
179 ARCH_X86_ASM(
180 // x32 blocks
181 __ASM_EMIT("sub $32, %[count]")
182 __ASM_EMIT("jb 2f")
183 __ASM_EMIT("1:")
184 __ASM_EMIT("vmovaps 0x000 + %[S2C], %%zmm1") // zmm1 = PI/2
185 __ASM_EMIT("vaddps 0x00(%[dst]), %%zmm1, %%zmm0") // zmm0 = x1 + PI/2
186 __ASM_EMIT("vaddps 0x40(%[dst]), %%zmm1, %%zmm4") // zmm4 = x1 + PI/2
187 SINF_X_PLUS_PI_2_CORE_X32
188 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
189 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
190 __ASM_EMIT("add $0x80, %[dst]")
191 __ASM_EMIT("sub $32, %[count]")
192 __ASM_EMIT("jae 1b")
193 __ASM_EMIT("2:")
194 // x16 blocks
195 __ASM_EMIT("add $16, %[count]")
196 __ASM_EMIT("jl 4f")
197 __ASM_EMIT("1:")
198 __ASM_EMIT("vmovaps 0x000 + %[S2C], %%zmm1") // zmm1 = PI/2
199 __ASM_EMIT("vaddps 0x00(%[dst]), %%zmm1, %%zmm0") // zmm0 = x1 + PI/2
200 SINF_X_PLUS_PI_2_CORE_X16
201 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
202 __ASM_EMIT("add $0x40, %[dst]")
203 __ASM_EMIT("sub $16, %[count]")
204 __ASM_EMIT("4:")
205 // x8 block
206 __ASM_EMIT("add $8, %[count]")
207 __ASM_EMIT("jl 6f")
208 __ASM_EMIT("vmovaps 0x000 + %[S2C], %%ymm1") // ymm1 = PI/2
209 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm1, %%ymm0") // ymm0 = x + PI/2
210 SINF_X_PLUS_PI_2_CORE_X8
211 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
212 __ASM_EMIT("add $0x20, %[dst]")
213 __ASM_EMIT("sub $8, %[count]")
214 __ASM_EMIT("6:")
215 // x4 block
216 __ASM_EMIT("add $4, %[count]")
217 __ASM_EMIT("jl 8f")
218 __ASM_EMIT("vmovaps 0x000 + %[S2C], %%xmm1") // xmm1 = PI/2
219 __ASM_EMIT("vaddps 0x00(%[dst]), %%xmm1, %%xmm0") // xmm0 = x + PI/2
220 SINF_X_PLUS_PI_2_CORE_X4
221 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
222 __ASM_EMIT("add $0x10, %[dst]")
223 __ASM_EMIT("sub $4, %[count]")
224 __ASM_EMIT("8:")
225 // Tail: 1x-3x block
226 __ASM_EMIT("add $4, %[count]")
227 __ASM_EMIT("jle 16f")
228 __ASM_EMIT("mov %[dst], %[src]")
229 __ASM_EMIT("test $1, %[count]")
230 __ASM_EMIT("jz 10f")
231 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
232 __ASM_EMIT("add $4, %[src]")
233 __ASM_EMIT("10:")
234 __ASM_EMIT("test $2, %[count]")
235 __ASM_EMIT("jz 12f")
236 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
237 __ASM_EMIT("12:")
238 __ASM_EMIT("vmovaps 0x000 + %[S2C], %%xmm1") // xmm1 = PI/2
239 __ASM_EMIT("vaddps %%xmm0, %%xmm1, %%xmm0") // xmm0 = x + PI/2
240 SINF_X_PLUS_PI_2_CORE_X4
241 __ASM_EMIT("test $1, %[count]")
242 __ASM_EMIT("jz 14f")
243 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
244 __ASM_EMIT("add $4, %[dst]")
245 __ASM_EMIT("14:")
246 __ASM_EMIT("test $2, %[count]")
247 __ASM_EMIT("jz 16f")
248 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
249 // End
250 __ASM_EMIT("16:")
251
252 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
253 : [S2C] "o" (sinf_const)
254 : "cc", "memory",
255 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
256 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
257 "%k1", "%k2"
258 );
259 }
260
261 void sinf2(float *dst, const float *src, size_t count)
262 {
263 ARCH_X86_ASM(
264 // x32 blocks
265 __ASM_EMIT("sub $32, %[count]")
266 __ASM_EMIT("jb 2f")
267 __ASM_EMIT("1:")
268 __ASM_EMIT("vmovaps 0x000 + %[S2C], %%zmm1") // zmm1 = PI/2
269 __ASM_EMIT("vaddps 0x00(%[src]), %%zmm1, %%zmm0") // zmm0 = x1 + PI/2
270 __ASM_EMIT("vaddps 0x40(%[src]), %%zmm1, %%zmm4") // zmm4 = x1 + PI/2
271 SINF_X_PLUS_PI_2_CORE_X32
272 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
273 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
274 __ASM_EMIT("add $0x80, %[src]")
275 __ASM_EMIT("add $0x80, %[dst]")
276 __ASM_EMIT("sub $32, %[count]")
277 __ASM_EMIT("jae 1b")
278 __ASM_EMIT("2:")
279 // x16 block
280 __ASM_EMIT("add $16, %[count]")
281 __ASM_EMIT("jl 4f")
282 __ASM_EMIT("vmovaps 0x000 + %[S2C], %%zmm1") // zmm1 = PI/2
283 __ASM_EMIT("vaddps 0x00(%[src]), %%zmm1, %%zmm0") // zmm0 = x1 + PI/2
284 SINF_X_PLUS_PI_2_CORE_X16
285 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
286 __ASM_EMIT("add $0x40, %[src]")
287 __ASM_EMIT("add $0x40, %[dst]")
288 __ASM_EMIT("sub $16, %[count]")
289 __ASM_EMIT("4:")
290 // x8 block
291 __ASM_EMIT("add $8, %[count]")
292 __ASM_EMIT("jl 6f")
293 __ASM_EMIT("vmovaps 0x000 + %[S2C], %%ymm1") // ymm1 = PI/2
294 __ASM_EMIT("vaddps 0x00(%[src]), %%ymm1, %%ymm0") // ymm0 = x + PI/2
295 SINF_X_PLUS_PI_2_CORE_X8
296 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
297 __ASM_EMIT("add $0x20, %[src]")
298 __ASM_EMIT("add $0x20, %[dst]")
299 __ASM_EMIT("sub $8, %[count]")
300 __ASM_EMIT("6:")
301 // x4 block
302 __ASM_EMIT("add $4, %[count]")
303 __ASM_EMIT("jl 8f")
304 __ASM_EMIT("vmovaps 0x000 + %[S2C], %%xmm1") // xmm1 = PI/2
305 __ASM_EMIT("vaddps 0x00(%[src]), %%xmm1, %%xmm0") // xmm0 = x + PI/2
306 SINF_X_PLUS_PI_2_CORE_X4
307 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
308 __ASM_EMIT("add $0x10, %[src]")
309 __ASM_EMIT("add $0x10, %[dst]")
310 __ASM_EMIT("sub $4, %[count]")
311 __ASM_EMIT("8:")
312 // Tail: 1x-3x block
313 __ASM_EMIT("add $4, %[count]")
314 __ASM_EMIT("jle 16f")
315 __ASM_EMIT("test $1, %[count]")
316 __ASM_EMIT("jz 10f")
317 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
318 __ASM_EMIT("add $4, %[src]")
319 __ASM_EMIT("10:")
320 __ASM_EMIT("test $2, %[count]")
321 __ASM_EMIT("jz 12f")
322 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
323 __ASM_EMIT("12:")
324 __ASM_EMIT("vmovaps 0x000 + %[S2C], %%xmm1") // xmm1 = PI/2
325 __ASM_EMIT("vaddps %%xmm0, %%xmm1, %%xmm0") // xmm0 = x + PI/2
326 SINF_X_PLUS_PI_2_CORE_X4
327 __ASM_EMIT("test $1, %[count]")
328 __ASM_EMIT("jz 14f")
329 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
330 __ASM_EMIT("add $4, %[dst]")
331 __ASM_EMIT("14:")
332 __ASM_EMIT("test $2, %[count]")
333 __ASM_EMIT("jz 16f")
334 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
335 // End
336 __ASM_EMIT("16:")
337
338 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
339 : [S2C] "o" (sinf_const)
340 : "cc", "memory",
341 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
342 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
343 "%k1", "%k2"
344 );
345 }
346
347 void sinf_kp1(float *dst, float k, float p, size_t count)
348 {
349 ARCH_X86_ASM(
350 // Prepare
351 __ASM_EMIT("vbroadcastss %[k], %%zmm6") // zmm6 = k
352 __ASM_EMIT("vbroadcastss %[p], %%zmm7") // zmm7 = p
353 __ASM_EMIT("vmovaps 0x000 + %[S2KP], %%zmm4") // zmm4 = i = 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
354 __ASM_EMIT("vmovaps 0x0c0 + %[S2KP], %%zmm5") // zmm5 = step = 16 ...
355 __ASM_EMIT("vaddps 0x000 + %[S2C], %%zmm7, %%zmm7") // zmm7 = p+PI/2 ...
356 // x16 blocks
357 __ASM_EMIT("sub $16, %[count]")
358 __ASM_EMIT("jb 2f")
359 __ASM_EMIT("1:")
360 __ASM_EMIT("vmulps %%zmm4, %%zmm6, %%zmm0") // zmm0 = k*i
361 __ASM_EMIT("vaddps %%zmm5, %%zmm4, %%zmm4") // zmm4 = i + step
362 __ASM_EMIT("vaddps %%zmm7, %%zmm0, %%zmm0") // zmm0 = k*i + p + PI/2
363 SINF_X_PLUS_PI_2_CORE_X16
364 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
365 __ASM_EMIT("add $0x40, %[dst]")
366 __ASM_EMIT("sub $16, %[count]")
367 __ASM_EMIT("jae 1b")
368 __ASM_EMIT("2:")
369 // x8 blocks
370 __ASM_EMIT("add $8, %[count]")
371 __ASM_EMIT("jl 4f")
372 __ASM_EMIT("vmulps %%ymm4, %%ymm6, %%ymm0") // ymm0 = k*i
373 __ASM_EMIT("vaddps 0x100 + %[S2KP], %%ymm4, %%ymm4") // ymm4 = i + step
374 __ASM_EMIT("vaddps %%ymm7, %%ymm0, %%ymm0") // ymm0 = k*i + p + PI/2
375 SINF_X_PLUS_PI_2_CORE_X8
376 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
377 __ASM_EMIT("add $0x20, %[dst]")
378 __ASM_EMIT("sub $8, %[count]")
379 __ASM_EMIT("4:")
380 // x4 block
381 __ASM_EMIT("add $4, %[count]")
382 __ASM_EMIT("jl 6f")
383 __ASM_EMIT("vmulps %%xmm4, %%xmm6, %%xmm0") // xmm0 = k*i
384 __ASM_EMIT("vaddps 0x120 + %[S2KP], %%xmm4, %%xmm4") // xmm4 = i + step
385 __ASM_EMIT("vaddps %%xmm7, %%xmm0, %%xmm0") // xmm0 = k*i + p + PI/2
386 SINF_X_PLUS_PI_2_CORE_X4
387 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
388 __ASM_EMIT("add $0x10, %[dst]")
389 __ASM_EMIT("sub $4, %[count]")
390 __ASM_EMIT("6:")
391 // Tail: 1x-3x block
392 __ASM_EMIT("add $4, %[count]")
393 __ASM_EMIT("jle 10f")
394 __ASM_EMIT("vmulps %%xmm4, %%xmm6, %%xmm0") // xmm0 = k*i
395 __ASM_EMIT("vaddps %%xmm7, %%xmm0, %%xmm0") // xmm0 = k*i + p + PI/2
396 SINF_X_PLUS_PI_2_CORE_X4
397 __ASM_EMIT("test $1, %[count]")
398 __ASM_EMIT("jz 8f")
399 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
400 __ASM_EMIT("vshufps $0x39, %%xmm0, %%xmm0, %%xmm0")
401 __ASM_EMIT("add $4, %[dst]")
402 __ASM_EMIT("8:")
403 __ASM_EMIT("test $2, %[count]")
404 __ASM_EMIT("jz 10f")
405 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst])")
406 // End
407 __ASM_EMIT("10:")
408
409 : [dst] "+r" (dst), [count] "+r" (count)
410 : [S2C] "o" (sinf_const),
411 [S2KP] "o" (kp_gen_const),
412 [k] "m" (k),
413 [p] "m" (p)
414 : "cc", "memory",
415 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
416 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
417 "%k1", "%k2"
418 );
419 }
420
421 void x64_sinf_kp1(float *dst, float k, float p, size_t count)
422 {
423 ARCH_X86_64_ASM(
424 // Prepare
425 __ASM_EMIT("vbroadcastss %[k], %%zmm11") // zmm11 = k
426 __ASM_EMIT("vbroadcastss %[p], %%zmm12") // zmm12 = p
427 __ASM_EMIT("vmovaps 0x000 + %[S2KP], %%zmm8") // zmm8 = i0 = 0 1 2 3 ...
428 __ASM_EMIT("vmovaps 0x040 + %[S2KP], %%zmm9") // zmm9 = i1 = 16 17 18 19 ...
429 __ASM_EMIT("vmovaps 0x080 + %[S2KP], %%zmm10") // zmm10 = step = 32 ...
430 __ASM_EMIT("vaddps 0x000 + %[S2C], %%zmm12, %%zmm12") // zmm12 = p+PI/2 ...
431 // x32 blocks
432 __ASM_EMIT("sub $32, %[count]")
433 __ASM_EMIT("jb 2f")
434 __ASM_EMIT("1:")
435 __ASM_EMIT("vmulps %%zmm8, %%zmm11, %%zmm0") // zmm0 = k*i0
436 __ASM_EMIT("vmulps %%zmm9, %%zmm11, %%zmm4") // zmm4 = k*i1
437 __ASM_EMIT("vaddps %%zmm10, %%zmm8, %%zmm8") // zmm8 = i0 + step
438 __ASM_EMIT("vaddps %%zmm10, %%zmm9, %%zmm9") // zmm9 = i1 + step
439 __ASM_EMIT("vaddps %%zmm12, %%zmm0, %%zmm0") // zmm0 = k*i0 + p + PI/2
440 __ASM_EMIT("vaddps %%zmm12, %%zmm4, %%zmm4") // zmm4 = k*i1 + p + PI/2
441 SINF_X_PLUS_PI_2_CORE_X32
442 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
443 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
444 __ASM_EMIT("add $0x80, %[dst]")
445 __ASM_EMIT("sub $32, %[count]")
446 __ASM_EMIT("jae 1b")
447 __ASM_EMIT("2:")
448 // x16 blocks
449 __ASM_EMIT("add $16, %[count]")
450 __ASM_EMIT("jl 4f")
451 __ASM_EMIT("vmulps %%zmm8, %%zmm11, %%zmm0") // zmm0 = k*i0
452 __ASM_EMIT("vaddps 0x0c0 + %[S2KP], %%zmm8, %%zmm8") // zmm8 = i0 + step
453 __ASM_EMIT("vaddps %%zmm12, %%zmm0, %%zmm0") // zmm0 = k*i0 + p + PI/2
454 SINF_X_PLUS_PI_2_CORE_X16
455 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
456 __ASM_EMIT("add $0x40, %[dst]")
457 __ASM_EMIT("sub $16, %[count]")
458 __ASM_EMIT("4:")
459 // x8 block
460 __ASM_EMIT("add $8, %[count]")
461 __ASM_EMIT("jl 6f")
462 __ASM_EMIT("vmulps %%ymm8, %%ymm11, %%ymm0") // ymm0 = k*i0
463 __ASM_EMIT("vaddps 0x100 + %[S2KP], %%ymm8, %%ymm8") // ymm8 = i0 + step
464 __ASM_EMIT("vaddps %%ymm12, %%ymm0, %%ymm0") // ymm0 = k*i0 + p + PI/2
465 SINF_X_PLUS_PI_2_CORE_X8
466 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
467 __ASM_EMIT("add $0x20, %[dst]")
468 __ASM_EMIT("sub $8, %[count]")
469 __ASM_EMIT("6:")
470 // x4 block
471 __ASM_EMIT("add $4, %[count]")
472 __ASM_EMIT("jl 8f")
473 __ASM_EMIT("vmulps %%xmm8, %%xmm11, %%xmm0") // xmm0 = k*i0
474 __ASM_EMIT("vaddps 0x120 + %[S2KP], %%xmm8, %%xmm8") // xmm8 = i0 + step
475 __ASM_EMIT("vaddps %%xmm12, %%xmm0, %%xmm0") // xmm0 = k*i0 + p + PI/2
476 SINF_X_PLUS_PI_2_CORE_X4
477 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
478 __ASM_EMIT("add $0x10, %[dst]")
479 __ASM_EMIT("sub $4, %[count]")
480 __ASM_EMIT("8:")
481 // Tail: 1x-3x block
482 __ASM_EMIT("add $4, %[count]")
483 __ASM_EMIT("jle 12f")
484 __ASM_EMIT("vmulps %%xmm8, %%xmm11, %%xmm0") // xmm0 = k*i0
485 __ASM_EMIT("vaddps %%xmm12, %%xmm0, %%xmm0") // xmm0 = k*i0 + p + PI/2
486 SINF_X_PLUS_PI_2_CORE_X4
487 __ASM_EMIT("test $1, %[count]")
488 __ASM_EMIT("jz 10f")
489 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
490 __ASM_EMIT("vshufps $0x39, %%xmm0, %%xmm0, %%xmm0")
491 __ASM_EMIT("add $4, %[dst]")
492 __ASM_EMIT("10:")
493 __ASM_EMIT("test $2, %[count]")
494 __ASM_EMIT("jz 12f")
495 __ASM_EMIT("vmovlps %%xmm0, 0x00(%[dst])")
496 // End
497 __ASM_EMIT("12:")
498
499 : [dst] "+r" (dst), [count] "+r" (count)
500 : [S2C] "o" (sinf_const),
501 [S2KP] "o" (kp_gen_const),
502 [k] "m" (k),
503 [p] "m" (p)
504 : "cc", "memory",
505 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
506 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
507 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
508 "%xmm12",
509 "%k1", "%k2"
510 );
511 }
512
513 } /* namespace avx512 */
514 } /* namespace lsp */
515
516 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_PMATH_SIN_H_ */