Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx512/pmath/exp.h

raw
1 /*
2 * Copyright (C) 2023 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2023 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 25 окт. 2023 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_PMATH_EXP_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX512_PMATH_EXP_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_IMPL */
28
29 namespace lsp
30 {
31 namespace avx512
32 {
33 IF_ARCH_X86(
34 static const uint32_t EXP2_CONST[] __lsp_aligned64 =
35 {
36 LSP_DSP_VEC16(0x7fffffff), // sign
37 LSP_DSP_VEC16(0x7f), // 0x7f
38 LSP_DSP_VEC16(0x3f317218), // ln(2)
39 LSP_DSP_VEC16(0x40e00000), // C5 = 7!/6! = 7.0000000000000000
40 LSP_DSP_VEC16(0x42280000), // C4 = 7!/5! = 42.0000000000000000
41 LSP_DSP_VEC16(0x43520000), // C3 = 7!/4! = 210.0000000000000000
42 LSP_DSP_VEC16(0x44520000), // C2 = 7!/3! = 840.0000000000000000
43 LSP_DSP_VEC16(0x451d8000), // C1 = 7!/2! = 2520.0000000000000000
44 LSP_DSP_VEC16(0x459d8000), // C0 = 7!/1! = 5040.0000000000000000
45 LSP_DSP_VEC16(0x39500d01), // 1/7! = 0.0001984127011383
46 LSP_DSP_VEC16(0x3f800000), // 1.0
47 };
48
49 static const float EXP_LOG2E[] __lsp_aligned64 =
50 {
51 LSP_DSP_VEC16(M_LOG2E)
52 };
53 )
54
55 #define POW2_CORE_X64 \
56 /* zmm0 = x */ \
57 __ASM_EMIT("vxorps %%zmm3, %%zmm3, %%zmm3") /* zmm3 = 0 */ \
58 __ASM_EMIT("vandps 0x000 + %[E2C], %%zmm0, %%zmm2") /* zmm2 = XP = fabs(x) */ \
59 __ASM_EMIT("vandps 0x000 + %[E2C], %%zmm4, %%zmm6") \
60 __ASM_EMIT("vandps 0x000 + %[E2C], %%zmm8, %%zmm10") \
61 __ASM_EMIT("vandps 0x000 + %[E2C], %%zmm12, %%zmm14") \
62 __ASM_EMIT("vcmpps $1, %%zmm3, %%zmm0, %%k4") /* k4 = x < 0 */ \
63 __ASM_EMIT("vcmpps $1, %%zmm3, %%zmm4, %%k5") \
64 __ASM_EMIT("vcmpps $1, %%zmm3, %%zmm8, %%k6") \
65 __ASM_EMIT("vcmpps $1, %%zmm3, %%zmm12, %%k7") \
66 __ASM_EMIT("vcvttps2dq %%zmm2, %%zmm1") /* zmm1 = R = int(XP) */ \
67 __ASM_EMIT("vcvttps2dq %%zmm6, %%zmm5") \
68 __ASM_EMIT("vcvttps2dq %%zmm10, %%zmm9") \
69 __ASM_EMIT("vcvttps2dq %%zmm14, %%zmm13") \
70 __ASM_EMIT("vcvtdq2ps %%zmm1, %%zmm3") /* zmm3 = float(R) */ \
71 __ASM_EMIT("vcvtdq2ps %%zmm5, %%zmm7") \
72 __ASM_EMIT("vcvtdq2ps %%zmm9, %%zmm11") \
73 __ASM_EMIT("vcvtdq2ps %%zmm13, %%zmm15") \
74 __ASM_EMIT("vpaddd 0x040 + %[E2C], %%zmm1, %%zmm1") /* zmm1 = R + 127 */ \
75 __ASM_EMIT("vpaddd 0x040 + %[E2C], %%zmm5, %%zmm5") \
76 __ASM_EMIT("vpaddd 0x040 + %[E2C], %%zmm9, %%zmm9") \
77 __ASM_EMIT("vpaddd 0x040 + %[E2C], %%zmm13, %%zmm13") \
78 __ASM_EMIT("vsubps %%zmm3, %%zmm2, %%zmm2") /* zmm2 = XP - float(R) */ \
79 __ASM_EMIT("vsubps %%zmm7, %%zmm6, %%zmm6") \
80 __ASM_EMIT("vsubps %%zmm11, %%zmm10, %%zmm10") \
81 __ASM_EMIT("vsubps %%zmm15, %%zmm14, %%zmm14") \
82 __ASM_EMIT("vpslld $23, %%zmm1, %%zmm1") /* zmm1 = 1 << (R+127) */ \
83 __ASM_EMIT("vpslld $23, %%zmm5, %%zmm5") \
84 __ASM_EMIT("vpslld $23, %%zmm9, %%zmm9") \
85 __ASM_EMIT("vpslld $23, %%zmm13, %%zmm13") \
86 __ASM_EMIT("vmulps 0x080 + %[E2C], %%zmm2, %%zmm2") /* zmm2 = X = ln(2) * (XP - float(R)) */ \
87 __ASM_EMIT("vmulps 0x080 + %[E2C], %%zmm6, %%zmm6") \
88 __ASM_EMIT("vmulps 0x080 + %[E2C], %%zmm10, %%zmm10") \
89 __ASM_EMIT("vmulps 0x080 + %[E2C], %%zmm14, %%zmm14") \
90 /* zmm0 = [x<0], zmm1 = 1 << R, zmm2 = X */ \
91 __ASM_EMIT("vaddps 0x0c0 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = C5+X */ \
92 __ASM_EMIT("vaddps 0x0c0 + %[E2C], %%zmm6, %%zmm7") \
93 __ASM_EMIT("vaddps 0x0c0 + %[E2C], %%zmm10, %%zmm11") \
94 __ASM_EMIT("vaddps 0x0c0 + %[E2C], %%zmm14, %%zmm15") \
95 __ASM_EMIT("vfmadd213ps 0x100 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = C4+X*(C5+X) */ \
96 __ASM_EMIT("vfmadd213ps 0x100 + %[E2C], %%zmm6, %%zmm7") \
97 __ASM_EMIT("vfmadd213ps 0x100 + %[E2C], %%zmm10, %%zmm11") \
98 __ASM_EMIT("vfmadd213ps 0x100 + %[E2C], %%zmm14, %%zmm15") \
99 __ASM_EMIT("vfmadd213ps 0x140 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = C3+X*(C4+X*(C5+X)) */ \
100 __ASM_EMIT("vfmadd213ps 0x140 + %[E2C], %%zmm6, %%zmm7") \
101 __ASM_EMIT("vfmadd213ps 0x140 + %[E2C], %%zmm10, %%zmm11") \
102 __ASM_EMIT("vfmadd213ps 0x140 + %[E2C], %%zmm14, %%zmm15") \
103 __ASM_EMIT("vfmadd213ps 0x180 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = C2+X*(C3+X*(C4+X*(C5+X))) */ \
104 __ASM_EMIT("vfmadd213ps 0x180 + %[E2C], %%zmm6, %%zmm7") \
105 __ASM_EMIT("vfmadd213ps 0x180 + %[E2C], %%zmm10, %%zmm11") \
106 __ASM_EMIT("vfmadd213ps 0x180 + %[E2C], %%zmm14, %%zmm15") \
107 __ASM_EMIT("vfmadd213ps 0x1c0 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))) */ \
108 __ASM_EMIT("vfmadd213ps 0x1c0 + %[E2C], %%zmm6, %%zmm7") \
109 __ASM_EMIT("vfmadd213ps 0x1c0 + %[E2C], %%zmm10, %%zmm11") \
110 __ASM_EMIT("vfmadd213ps 0x1c0 + %[E2C], %%zmm14, %%zmm15") \
111 __ASM_EMIT("vfmadd213ps 0x200 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))) */ \
112 __ASM_EMIT("vfmadd213ps 0x200 + %[E2C], %%zmm6, %%zmm7") \
113 __ASM_EMIT("vfmadd213ps 0x200 + %[E2C], %%zmm10, %%zmm11") \
114 __ASM_EMIT("vfmadd213ps 0x200 + %[E2C], %%zmm14, %%zmm15") \
115 __ASM_EMIT("vmulps %%zmm2, %%zmm3, %%zmm3") /* zmm3 = X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
116 __ASM_EMIT("vmulps %%zmm6, %%zmm7, %%zmm7") \
117 __ASM_EMIT("vmulps %%zmm10, %%zmm11, %%zmm11") \
118 __ASM_EMIT("vmulps %%zmm14, %%zmm15, %%zmm15") \
119 __ASM_EMIT("vmovaps 0x280 + %[E2C], %%zmm2") /* zmm2 = 1 */ \
120 __ASM_EMIT("vmovaps 0x280 + %[E2C], %%zmm6") \
121 __ASM_EMIT("vmovaps 0x280 + %[E2C], %%zmm10") \
122 __ASM_EMIT("vmovaps 0x280 + %[E2C], %%zmm14") \
123 __ASM_EMIT("vfmadd132ps 0x240 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = 1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
124 __ASM_EMIT("vfmadd132ps 0x240 + %[E2C], %%zmm6, %%zmm7") \
125 __ASM_EMIT("vfmadd132ps 0x240 + %[E2C], %%zmm10, %%zmm11") \
126 __ASM_EMIT("vfmadd132ps 0x240 + %[E2C], %%zmm14, %%zmm15") \
127 __ASM_EMIT("vmulps %%zmm1, %%zmm3, %%zmm0") /* zmm0 = p = (1<<R)*(1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))))) */ \
128 __ASM_EMIT("vmulps %%zmm5, %%zmm7, %%zmm4") \
129 __ASM_EMIT("vmulps %%zmm9, %%zmm11, %%zmm8") \
130 __ASM_EMIT("vmulps %%zmm13, %%zmm15, %%zmm12") \
131 __ASM_EMIT("vdivps %%zmm0, %%zmm2, %%zmm0 %{%%k4%}") /* zmm0 = [x<0] ? 1/p : p */ \
132 __ASM_EMIT("vdivps %%zmm4, %%zmm6, %%zmm4 %{%%k5%}") \
133 __ASM_EMIT("vdivps %%zmm8, %%zmm10, %%zmm8 %{%%k6%}") \
134 __ASM_EMIT("vdivps %%zmm12, %%zmm14, %%zmm12 %{%%k7%}")
135
136 #define POW2_CORE_X32 \
137 /* zmm0 = x */ \
138 __ASM_EMIT("vxorps %%zmm3, %%zmm3, %%zmm3") /* zmm3 = 0 */ \
139 __ASM_EMIT("vandps 0x000 + %[E2C], %%zmm0, %%zmm2") /* zmm2 = XP = fabs(x) */ \
140 __ASM_EMIT("vandps 0x000 + %[E2C], %%zmm4, %%zmm6") \
141 __ASM_EMIT("vcmpps $1, %%zmm3, %%zmm0, %%k4") /* k4 = x < 0 */ \
142 __ASM_EMIT("vcmpps $1, %%zmm3, %%zmm4, %%k5") \
143 __ASM_EMIT("vcvttps2dq %%zmm2, %%zmm1") /* zmm1 = R = int(XP) */ \
144 __ASM_EMIT("vcvttps2dq %%zmm6, %%zmm5") \
145 __ASM_EMIT("vcvtdq2ps %%zmm1, %%zmm3") /* zmm3 = float(R) */ \
146 __ASM_EMIT("vcvtdq2ps %%zmm5, %%zmm7") \
147 __ASM_EMIT("vpaddd 0x040 + %[E2C], %%zmm1, %%zmm1") /* zmm1 = R + 127 */ \
148 __ASM_EMIT("vpaddd 0x040 + %[E2C], %%zmm5, %%zmm5") \
149 __ASM_EMIT("vsubps %%zmm3, %%zmm2, %%zmm2") /* zmm2 = XP - float(R) */ \
150 __ASM_EMIT("vsubps %%zmm7, %%zmm6, %%zmm6") \
151 __ASM_EMIT("vpslld $23, %%zmm1, %%zmm1") /* zmm1 = 1 << (R+127) */ \
152 __ASM_EMIT("vpslld $23, %%zmm5, %%zmm5") \
153 __ASM_EMIT("vmulps 0x080 + %[E2C], %%zmm2, %%zmm2") /* zmm2 = X = ln(2) * (XP - float(R)) */ \
154 __ASM_EMIT("vmulps 0x080 + %[E2C], %%zmm6, %%zmm6") \
155 /* zmm0 = [x<0], zmm1 = 1 << R, zmm2 = X */ \
156 __ASM_EMIT("vaddps 0x0c0 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = C5+X */ \
157 __ASM_EMIT("vaddps 0x0c0 + %[E2C], %%zmm6, %%zmm7") \
158 __ASM_EMIT("vfmadd213ps 0x100 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = C4+X*(C5+X) */ \
159 __ASM_EMIT("vfmadd213ps 0x100 + %[E2C], %%zmm6, %%zmm7") \
160 __ASM_EMIT("vfmadd213ps 0x140 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = C3+X*(C4+X*(C5+X)) */ \
161 __ASM_EMIT("vfmadd213ps 0x140 + %[E2C], %%zmm6, %%zmm7") \
162 __ASM_EMIT("vfmadd213ps 0x180 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = C2+X*(C3+X*(C4+X*(C5+X))) */ \
163 __ASM_EMIT("vfmadd213ps 0x180 + %[E2C], %%zmm6, %%zmm7") \
164 __ASM_EMIT("vfmadd213ps 0x1c0 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))) */ \
165 __ASM_EMIT("vfmadd213ps 0x1c0 + %[E2C], %%zmm6, %%zmm7") \
166 __ASM_EMIT("vfmadd213ps 0x200 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))) */ \
167 __ASM_EMIT("vfmadd213ps 0x200 + %[E2C], %%zmm6, %%zmm7") \
168 __ASM_EMIT("vmulps %%zmm2, %%zmm3, %%zmm3") /* zmm3 = X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
169 __ASM_EMIT("vmulps %%zmm6, %%zmm7, %%zmm7") \
170 __ASM_EMIT("vmovaps 0x280 + %[E2C], %%zmm2") /* zmm2 = 1 */ \
171 __ASM_EMIT("vmovaps 0x280 + %[E2C], %%zmm6") \
172 __ASM_EMIT("vfmadd132ps 0x240 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = 1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
173 __ASM_EMIT("vfmadd132ps 0x240 + %[E2C], %%zmm6, %%zmm7") \
174 __ASM_EMIT("vmulps %%zmm1, %%zmm3, %%zmm0") /* zmm0 = p = (1<<R)*(1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))))) */ \
175 __ASM_EMIT("vmulps %%zmm5, %%zmm7, %%zmm4") \
176 __ASM_EMIT("vdivps %%zmm0, %%zmm2, %%zmm0 %{%%k4%}") /* zmm0 = [x<0] ? 1/p : p */ \
177 __ASM_EMIT("vdivps %%zmm4, %%zmm6, %%zmm4 %{%%k5%}")
178
179 #define POW2_CORE_X16 \
180 /* zmm0 = x */ \
181 __ASM_EMIT("vxorps %%zmm3, %%zmm3, %%zmm3") /* zmm3 = 0 */ \
182 __ASM_EMIT("vandps 0x000 + %[E2C], %%zmm0, %%zmm2") /* zmm2 = XP = fabs(x) */ \
183 __ASM_EMIT("vcmpps $1, %%zmm3, %%zmm0, %%k4") /* k4 = x < 0 */ \
184 __ASM_EMIT("vcvttps2dq %%zmm2, %%zmm1") /* zmm1 = R = int(XP) */ \
185 __ASM_EMIT("vcvtdq2ps %%zmm1, %%zmm3") /* zmm3 = float(R) */ \
186 __ASM_EMIT("vpaddd 0x040 + %[E2C], %%zmm1, %%zmm1") /* zmm1 = R + 127 */ \
187 __ASM_EMIT("vsubps %%zmm3, %%zmm2, %%zmm2") /* zmm2 = XP - float(R) */ \
188 __ASM_EMIT("vpslld $23, %%zmm1, %%zmm1") /* zmm1 = 1 << (R+127) */ \
189 __ASM_EMIT("vmulps 0x080 + %[E2C], %%zmm2, %%zmm2") /* zmm2 = X = ln(2) * (XP - float(R)) */ \
190 /* zmm0 = [x<0], zmm1 = 1 << R, zmm2 = X */ \
191 __ASM_EMIT("vaddps 0x0c0 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = C5+X */ \
192 __ASM_EMIT("vfmadd213ps 0x100 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = C4+X*(C5+X) */ \
193 __ASM_EMIT("vfmadd213ps 0x140 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = C3+X*(C4+X*(C5+X)) */ \
194 __ASM_EMIT("vfmadd213ps 0x180 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = C2+X*(C3+X*(C4+X*(C5+X))) */ \
195 __ASM_EMIT("vfmadd213ps 0x1c0 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))) */ \
196 __ASM_EMIT("vfmadd213ps 0x200 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))) */ \
197 __ASM_EMIT("vmulps %%zmm2, %%zmm3, %%zmm3") /* zmm3 = X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
198 __ASM_EMIT("vmovaps 0x280 + %[E2C], %%zmm2") /* zmm2 = 1 */ \
199 __ASM_EMIT("vfmadd132ps 0x240 + %[E2C], %%zmm2, %%zmm3") /* zmm3 = 1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
200 __ASM_EMIT("vmulps %%zmm1, %%zmm3, %%zmm0") /* zmm0 = p = (1<<R)*(1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))))) */ \
201 __ASM_EMIT("vdivps %%zmm0, %%zmm2, %%zmm0 %{%%k4%}") /* zmm0 = [x<0] ? 1/p : p */
202
203 #define POW2_CORE_X8 \
204 /* ymm0 = x */ \
205 __ASM_EMIT("vandps 0x000 + %[E2C], %%ymm0, %%ymm2") /* ymm2 = XP = fabs(x) */ \
206 __ASM_EMIT("vcvttps2dq %%ymm2, %%ymm1") /* ymm1 = R = int(XP) */ \
207 __ASM_EMIT("vcvtdq2ps %%ymm1, %%ymm3") /* ymm3 = float(R) */ \
208 __ASM_EMIT("vpaddd 0x040 + %[E2C], %%ymm1, %%ymm1") /* ymm1 = R + 127 */ \
209 __ASM_EMIT("vsubps %%ymm3, %%ymm2, %%ymm2") /* ymm2 = XP - float(R) */ \
210 __ASM_EMIT("vpslld $23, %%ymm1, %%ymm1") /* ymm1 = 1 << (R+127) */ \
211 __ASM_EMIT("vmulps 0x080 + %[E2C], %%ymm2, %%ymm2") /* ymm2 = X = ln(2) * (XP - float(R)) */ \
212 /* ymm0 = [x<0], ymm1 = 1 << R, ymm2 = X */ \
213 __ASM_EMIT("vaddps 0x0c0 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C5+X */ \
214 __ASM_EMIT("vfmadd213ps 0x100 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C4+X*(C5+X) */ \
215 __ASM_EMIT("vfmadd213ps 0x140 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C3+X*(C4+X*(C5+X)) */ \
216 __ASM_EMIT("vfmadd213ps 0x180 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C2+X*(C3+X*(C4+X*(C5+X))) */ \
217 __ASM_EMIT("vfmadd213ps 0x1c0 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))) */ \
218 __ASM_EMIT("vfmadd213ps 0x200 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))) */ \
219 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
220 __ASM_EMIT("vmovaps 0x280 + %[E2C], %%ymm2") /* ymm2 = 1 */ \
221 __ASM_EMIT("vfmadd132ps 0x240 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = 1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
222 __ASM_EMIT("vmulps %%ymm1, %%ymm3, %%ymm3") /* ymm3 = p = (1<<R)*(1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))))) */ \
223 __ASM_EMIT("vdivps %%ymm3, %%ymm2, %%ymm2") /* ymm2 = 1/p */ \
224 /* ymm0 = x, ymm2 = 1/p, ymm3 = p */ \
225 __ASM_EMIT("vblendvps %%ymm0, %%ymm2, %%ymm3, %%ymm0") /* ymm0 = ([x<0]&(1/p)) | ([x>=0]&p) */
226
227 #define POW2_CORE_X4 \
228 /* xmm0 = x */ \
229 __ASM_EMIT("vandps 0x000 + %[E2C], %%xmm0, %%xmm2") /* xmm2 = XP = fabs(x) */ \
230 __ASM_EMIT("vcvttps2dq %%xmm2, %%xmm1") /* xmm1 = R = int(XP) */ \
231 __ASM_EMIT("vcvtdq2ps %%xmm1, %%xmm3") /* xmm3 = float(R) */ \
232 __ASM_EMIT("vpaddd 0x040 + %[E2C], %%xmm1, %%xmm1") /* xmm1 = R + 127 */ \
233 __ASM_EMIT("vsubps %%xmm3, %%xmm2, %%xmm2") /* xmm2 = XP - float(R) */ \
234 __ASM_EMIT("vpslld $23, %%xmm1, %%xmm1") /* xmm1 = 1 << (R+127) */ \
235 __ASM_EMIT("vmulps 0x080 + %[E2C], %%xmm2, %%xmm2") /* xmm2 = X = ln(2) * (XP - float(R)) */ \
236 /* xmm0 = [x<0], xmm1 = 1 << R, xmm2 = X */ \
237 __ASM_EMIT("vaddps 0x0c0 + %[E2C], %%xmm2, %%xmm3") /* xmm3 = C5+X */ \
238 __ASM_EMIT("vfmadd213ps 0x100 + %[E2C], %%xmm2, %%xmm3") /* xmm3 = C4+X*(C5+X) */ \
239 __ASM_EMIT("vfmadd213ps 0x140 + %[E2C], %%xmm2, %%xmm3") /* xmm3 = C3+X*(C4+X*(C5+X)) */ \
240 __ASM_EMIT("vfmadd213ps 0x180 + %[E2C], %%xmm2, %%xmm3") /* xmm3 = C2+X*(C3+X*(C4+X*(C5+X))) */ \
241 __ASM_EMIT("vfmadd213ps 0x1c0 + %[E2C], %%xmm2, %%xmm3") /* xmm3 = C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))) */ \
242 __ASM_EMIT("vfmadd213ps 0x200 + %[E2C], %%xmm2, %%xmm3") /* xmm3 = C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))) */ \
243 __ASM_EMIT("vmulps %%xmm2, %%xmm3, %%xmm3") /* xmm3 = X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
244 __ASM_EMIT("vmovaps 0x280 + %[E2C], %%xmm2") /* xmm2 = 1 */ \
245 __ASM_EMIT("vfmadd132ps 0x240 + %[E2C], %%xmm2, %%xmm3") /* xmm3 = 1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
246 __ASM_EMIT("vmulps %%xmm1, %%xmm3, %%xmm3") /* xmm3 = p = (1<<R)*(1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))))) */ \
247 __ASM_EMIT("vdivps %%xmm3, %%xmm2, %%xmm2") /* xmm2 = 1/p */ \
248 /* xmm0 = x, xmm2 = 1/p, xmm3 = p */ \
249 __ASM_EMIT("vblendvps %%xmm0, %%xmm2, %%xmm3, %%xmm0") /* xmm0 = ([x<0]&(1/p)) | ([x>=0]&p) */
250
251 #define EXP_CORE_X64 \
252 __ASM_EMIT("vmulps %[LOG2E], %%zmm0, %%zmm0") \
253 __ASM_EMIT("vmulps %[LOG2E], %%zmm4, %%zmm4") \
254 __ASM_EMIT("vmulps %[LOG2E], %%zmm8, %%zmm8") \
255 __ASM_EMIT("vmulps %[LOG2E], %%zmm12, %%zmm12") \
256 POW2_CORE_X64
257
258 #define EXP_CORE_X32 \
259 __ASM_EMIT("vmulps %[LOG2E], %%zmm0, %%zmm0") \
260 __ASM_EMIT("vmulps %[LOG2E], %%zmm4, %%zmm4") \
261 POW2_CORE_X32
262
263 #define EXP_CORE_X16 \
264 __ASM_EMIT("vmulps %[LOG2E], %%zmm0, %%zmm0") \
265 POW2_CORE_X16
266
267 #define EXP_CORE_X8 \
268 __ASM_EMIT("vmulps %[LOG2E], %%ymm0, %%ymm0") \
269 POW2_CORE_X8
270
271 #define EXP_CORE_X4 \
272 __ASM_EMIT("vmulps %[LOG2E], %%xmm0, %%xmm0") \
273 POW2_CORE_X4
274
275 void exp1(float *dst, size_t count)
276 {
277 IF_ARCH_X86(float *src);
278 ARCH_X86_ASM(
279 // x32 blocks
280 __ASM_EMIT("sub $32, %[count]")
281 __ASM_EMIT("jb 2f")
282 __ASM_EMIT("1:")
283 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
284 __ASM_EMIT("vmovups 0x40(%[dst]), %%zmm4")
285 EXP_CORE_X32
286 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
287 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
288 __ASM_EMIT("add $0x80, %[dst]")
289 __ASM_EMIT("sub $32, %[count]")
290 __ASM_EMIT("jae 1b")
291 __ASM_EMIT("2:")
292 // x16 block
293 __ASM_EMIT("add $16, %[count]")
294 __ASM_EMIT("jl 4f")
295 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
296 EXP_CORE_X16
297 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
298 __ASM_EMIT("sub $16, %[count]")
299 __ASM_EMIT("add $0x40, %[dst]")
300 __ASM_EMIT("4:")
301 // x8 block
302 __ASM_EMIT("add $8, %[count]")
303 __ASM_EMIT("jl 6f")
304 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
305 EXP_CORE_X8
306 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
307 __ASM_EMIT("sub $8, %[count]")
308 __ASM_EMIT("add $0x20, %[dst]")
309 __ASM_EMIT("6:")
310 // x4 block
311 __ASM_EMIT("add $4, %[count]")
312 __ASM_EMIT("jl 8f")
313 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
314 EXP_CORE_X4
315 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
316 __ASM_EMIT("sub $4, %[count]")
317 __ASM_EMIT("add $0x10, %[dst]")
318 __ASM_EMIT("8:")
319 // Tail: 1x-3x block
320 __ASM_EMIT("add $4, %[count]")
321 __ASM_EMIT("jle 16f")
322 __ASM_EMIT("mov %[dst], %[src]")
323 __ASM_EMIT("test $1, %[count]")
324 __ASM_EMIT("jz 10f")
325 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
326 __ASM_EMIT("add $4, %[src]")
327 __ASM_EMIT("10:")
328 __ASM_EMIT("test $2, %[count]")
329 __ASM_EMIT("jz 12f")
330 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
331 __ASM_EMIT("12:")
332 EXP_CORE_X4
333 __ASM_EMIT("test $1, %[count]")
334 __ASM_EMIT("jz 14f")
335 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
336 __ASM_EMIT("add $4, %[dst]")
337 __ASM_EMIT("14:")
338 __ASM_EMIT("test $2, %[count]")
339 __ASM_EMIT("jz 16f")
340 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
341 __ASM_EMIT("16:")
342
343 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
344 : [E2C] "o" (EXP2_CONST),
345 [LOG2E] "m" (EXP_LOG2E)
346 : "cc", "memory",
347 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
348 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
349 "%k4", "%k5"
350 );
351 }
352
353 IF_ARCH_X86_64(
354 void x64_exp1(float *dst, size_t count)
355 {
356 IF_ARCH_X86(float *src);
357 ARCH_X86_64_ASM(
358 // x64 blocks
359 __ASM_EMIT("sub $64, %[count]")
360 __ASM_EMIT("jb 2f")
361 __ASM_EMIT("1:")
362 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
363 __ASM_EMIT("vmovups 0x40(%[dst]), %%zmm4")
364 __ASM_EMIT("vmovups 0x80(%[dst]), %%zmm8")
365 __ASM_EMIT("vmovups 0xc0(%[dst]), %%zmm12")
366 EXP_CORE_X64
367 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
368 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
369 __ASM_EMIT("vmovups %%zmm8, 0x80(%[dst])")
370 __ASM_EMIT("vmovups %%zmm12, 0xc0(%[dst])")
371 __ASM_EMIT("add $0x100, %[dst]")
372 __ASM_EMIT("sub $64, %[count]")
373 __ASM_EMIT("jae 1b")
374 __ASM_EMIT("2:")
375 // x32 blocks
376 __ASM_EMIT("add $32, %[count]")
377 __ASM_EMIT("jl 4f")
378 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
379 __ASM_EMIT("vmovups 0x40(%[dst]), %%zmm4")
380 EXP_CORE_X32
381 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
382 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
383 __ASM_EMIT("sub $32, %[count]")
384 __ASM_EMIT("add $0x80, %[dst]")
385 __ASM_EMIT("4:")
386 // x16 block
387 __ASM_EMIT("add $16, %[count]")
388 __ASM_EMIT("jl 6f")
389 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
390 EXP_CORE_X16
391 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
392 __ASM_EMIT("sub $16, %[count]")
393 __ASM_EMIT("add $0x40, %[dst]")
394 __ASM_EMIT("6:")
395 // x8 block
396 __ASM_EMIT("add $8, %[count]")
397 __ASM_EMIT("jl 8f")
398 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
399 EXP_CORE_X8
400 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
401 __ASM_EMIT("sub $8, %[count]")
402 __ASM_EMIT("add $0x20, %[dst]")
403 __ASM_EMIT("8:")
404 // x4 block
405 __ASM_EMIT("add $4, %[count]")
406 __ASM_EMIT("jl 10f")
407 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
408 EXP_CORE_X4
409 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
410 __ASM_EMIT("sub $4, %[count]")
411 __ASM_EMIT("add $0x10, %[dst]")
412 __ASM_EMIT("10:")
413 // Tail: 1x-3x block
414 __ASM_EMIT("add $4, %[count]")
415 __ASM_EMIT("jle 18f")
416 __ASM_EMIT("mov %[dst], %[src]")
417 __ASM_EMIT("test $1, %[count]")
418 __ASM_EMIT("jz 12f")
419 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
420 __ASM_EMIT("add $4, %[src]")
421 __ASM_EMIT("12:")
422 __ASM_EMIT("test $2, %[count]")
423 __ASM_EMIT("jz 14f")
424 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
425 __ASM_EMIT("14:")
426 EXP_CORE_X4
427 __ASM_EMIT("test $1, %[count]")
428 __ASM_EMIT("jz 16f")
429 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
430 __ASM_EMIT("add $4, %[dst]")
431 __ASM_EMIT("16:")
432 __ASM_EMIT("test $2, %[count]")
433 __ASM_EMIT("jz 18f")
434 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
435 __ASM_EMIT("18:")
436
437 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
438 : [E2C] "o" (EXP2_CONST),
439 [LOG2E] "m" (EXP_LOG2E)
440 : "cc", "memory",
441 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
442 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
443 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
444 "%xmm12", "%xmm13", "%xmm14", "%xmm15",
445 "%k4", "%k5", "%k6", "%k7"
446 );
447 }
448 )
449
450 void exp2(float *dst, const float *src, size_t count)
451 {
452 ARCH_X86_ASM(
453 // x32 blocks
454 __ASM_EMIT("sub $32, %[count]")
455 __ASM_EMIT("jb 2f")
456 __ASM_EMIT("1:")
457 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
458 __ASM_EMIT("vmovups 0x40(%[src]), %%zmm4")
459 EXP_CORE_X32
460 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
461 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
462 __ASM_EMIT("add $0x80, %[src]")
463 __ASM_EMIT("add $0x80, %[dst]")
464 __ASM_EMIT("sub $32, %[count]")
465 __ASM_EMIT("jae 1b")
466 __ASM_EMIT("2:")
467 // x16 block
468 __ASM_EMIT("add $16, %[count]")
469 __ASM_EMIT("jl 4f")
470 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
471 EXP_CORE_X16
472 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
473 __ASM_EMIT("sub $16, %[count]")
474 __ASM_EMIT("add $0x40, %[src]")
475 __ASM_EMIT("add $0x40, %[dst]")
476 __ASM_EMIT("4:")
477 // x8 block
478 __ASM_EMIT("add $8, %[count]")
479 __ASM_EMIT("jl 6f")
480 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
481 EXP_CORE_X8
482 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
483 __ASM_EMIT("sub $8, %[count]")
484 __ASM_EMIT("add $0x20, %[src]")
485 __ASM_EMIT("add $0x20, %[dst]")
486 __ASM_EMIT("6:")
487 // x4 block
488 __ASM_EMIT("add $4, %[count]")
489 __ASM_EMIT("jl 8f")
490 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
491 EXP_CORE_X4
492 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
493 __ASM_EMIT("sub $4, %[count]")
494 __ASM_EMIT("add $0x10, %[src]")
495 __ASM_EMIT("add $0x10, %[dst]")
496 __ASM_EMIT("8:")
497 // Tail: 1x-3x block
498 __ASM_EMIT("add $4, %[count]")
499 __ASM_EMIT("jle 16f")
500 __ASM_EMIT("test $1, %[count]")
501 __ASM_EMIT("jz 10f")
502 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
503 __ASM_EMIT("add $4, %[src]")
504 __ASM_EMIT("10:")
505 __ASM_EMIT("test $2, %[count]")
506 __ASM_EMIT("jz 12f")
507 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
508 __ASM_EMIT("12:")
509 EXP_CORE_X4
510 __ASM_EMIT("test $1, %[count]")
511 __ASM_EMIT("jz 14f")
512 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
513 __ASM_EMIT("add $4, %[dst]")
514 __ASM_EMIT("14:")
515 __ASM_EMIT("test $2, %[count]")
516 __ASM_EMIT("jz 16f")
517 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
518 __ASM_EMIT("16:")
519
520 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
521 : [E2C] "o" (EXP2_CONST),
522 [LOG2E] "m" (EXP_LOG2E)
523 : "cc", "memory",
524 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
525 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
526 "%k4", "%k5"
527 );
528 }
529
530 IF_ARCH_X86_64(
531 void x64_exp2(float *dst, const float *src, size_t count)
532 {
533 ARCH_X86_64_ASM(
534 // x64 blocks
535 __ASM_EMIT("sub $64, %[count]")
536 __ASM_EMIT("jb 2f")
537 __ASM_EMIT("1:")
538 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
539 __ASM_EMIT("vmovups 0x40(%[src]), %%zmm4")
540 __ASM_EMIT("vmovups 0x80(%[src]), %%zmm8")
541 __ASM_EMIT("vmovups 0xc0(%[src]), %%zmm12")
542 EXP_CORE_X64
543 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
544 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
545 __ASM_EMIT("vmovups %%zmm8, 0x80(%[dst])")
546 __ASM_EMIT("vmovups %%zmm12, 0xc0(%[dst])")
547 __ASM_EMIT("add $0x100, %[src]")
548 __ASM_EMIT("add $0x100, %[dst]")
549 __ASM_EMIT("sub $64, %[count]")
550 __ASM_EMIT("jae 1b")
551 __ASM_EMIT("2:")
552 // x32 blocks
553 __ASM_EMIT("add $32, %[count]")
554 __ASM_EMIT("jl 4f")
555 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
556 __ASM_EMIT("vmovups 0x40(%[src]), %%zmm4")
557 EXP_CORE_X32
558 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
559 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
560 __ASM_EMIT("sub $32, %[count]")
561 __ASM_EMIT("add $0x80, %[src]")
562 __ASM_EMIT("add $0x80, %[dst]")
563 __ASM_EMIT("4:")
564 // x16 block
565 __ASM_EMIT("add $16, %[count]")
566 __ASM_EMIT("jl 6f")
567 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
568 EXP_CORE_X16
569 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
570 __ASM_EMIT("sub $16, %[count]")
571 __ASM_EMIT("add $0x40, %[src]")
572 __ASM_EMIT("add $0x40, %[dst]")
573 __ASM_EMIT("6:")
574 // x8 block
575 __ASM_EMIT("add $8, %[count]")
576 __ASM_EMIT("jl 8f")
577 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
578 EXP_CORE_X8
579 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
580 __ASM_EMIT("sub $8, %[count]")
581 __ASM_EMIT("add $0x20, %[src]")
582 __ASM_EMIT("add $0x20, %[dst]")
583 __ASM_EMIT("8:")
584 // x4 block
585 __ASM_EMIT("add $4, %[count]")
586 __ASM_EMIT("jl 10f")
587 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
588 EXP_CORE_X4
589 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
590 __ASM_EMIT("sub $4, %[count]")
591 __ASM_EMIT("add $0x10, %[src]")
592 __ASM_EMIT("add $0x10, %[dst]")
593 __ASM_EMIT("10:")
594 // Tail: 1x-3x block
595 __ASM_EMIT("add $4, %[count]")
596 __ASM_EMIT("jle 18f")
597 __ASM_EMIT("test $1, %[count]")
598 __ASM_EMIT("jz 12f")
599 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
600 __ASM_EMIT("add $4, %[src]")
601 __ASM_EMIT("12:")
602 __ASM_EMIT("test $2, %[count]")
603 __ASM_EMIT("jz 14f")
604 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
605 __ASM_EMIT("14:")
606 EXP_CORE_X4
607 __ASM_EMIT("test $1, %[count]")
608 __ASM_EMIT("jz 16f")
609 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
610 __ASM_EMIT("add $4, %[dst]")
611 __ASM_EMIT("16:")
612 __ASM_EMIT("test $2, %[count]")
613 __ASM_EMIT("jz 18f")
614 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
615 __ASM_EMIT("18:")
616
617 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
618 : [E2C] "o" (EXP2_CONST),
619 [LOG2E] "m" (EXP_LOG2E)
620 : "cc", "memory",
621 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
622 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
623 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
624 "%xmm12", "%xmm13", "%xmm14", "%xmm15",
625 "%k4", "%k5", "%k6", "%k7"
626 );
627 }
628 )
629
630 } /* namespace avx512 */
631 } /* namespace lsp */
632
633
634
635 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_PMATH_EXP_H_ */