Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx2/pmath/exp.h

raw
1 /*
2 * Copyright (C) 2023 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2023 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX2_PMATH_EXP_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX2_PMATH_EXP_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX2_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX2_IMPL */
28
29 namespace lsp
30 {
31 namespace avx2
32 {
33 IF_ARCH_X86(
34 static const uint32_t EXP2_CONST[] __lsp_aligned32 =
35 {
36 LSP_DSP_VEC8(0x7fffffff), // sign
37 LSP_DSP_VEC8(0x7f), // 0x7f
38 LSP_DSP_VEC8(0x3f317218), // ln(2)
39 LSP_DSP_VEC8(0x40e00000), // C5 = 7!/6! = 7.0000000000000000
40 LSP_DSP_VEC8(0x42280000), // C4 = 7!/5! = 42.0000000000000000
41 LSP_DSP_VEC8(0x43520000), // C3 = 7!/4! = 210.0000000000000000
42 LSP_DSP_VEC8(0x44520000), // C2 = 7!/3! = 840.0000000000000000
43 LSP_DSP_VEC8(0x451d8000), // C1 = 7!/2! = 2520.0000000000000000
44 LSP_DSP_VEC8(0x459d8000), // C0 = 7!/1! = 5040.0000000000000000
45 LSP_DSP_VEC8(0x39500d01), // 1/7! = 0.0001984127011383
46 LSP_DSP_VEC8(0x3f800000), // 1.0
47 };
48
49 static const float EXP_LOG2E[] __lsp_aligned32 =
50 {
51 LSP_DSP_VEC8(M_LOG2E)
52 };
53 )
54
55 #define POW2_CORE_X32 \
56 /* ymm0 = x */ \
57 __ASM_EMIT("vandps 0x000 + %[E2C], %%ymm0, %%ymm2") /* ymm2 = XP = fabs(x) */ \
58 __ASM_EMIT("vandps 0x000 + %[E2C], %%ymm4, %%ymm6") \
59 __ASM_EMIT("vandps 0x000 + %[E2C], %%ymm8, %%ymm10") \
60 __ASM_EMIT("vandps 0x000 + %[E2C], %%ymm12, %%ymm14") \
61 __ASM_EMIT("vcvttps2dq %%ymm2, %%ymm1") /* ymm1 = R = int(XP) */ \
62 __ASM_EMIT("vcvttps2dq %%ymm6, %%ymm5") \
63 __ASM_EMIT("vcvttps2dq %%ymm10, %%ymm9") \
64 __ASM_EMIT("vcvttps2dq %%ymm14, %%ymm13") \
65 __ASM_EMIT("vcvtdq2ps %%ymm1, %%ymm3") /* ymm3 = float(R) */ \
66 __ASM_EMIT("vcvtdq2ps %%ymm5, %%ymm7") \
67 __ASM_EMIT("vcvtdq2ps %%ymm9, %%ymm11") \
68 __ASM_EMIT("vcvtdq2ps %%ymm13, %%ymm15") \
69 __ASM_EMIT("vpaddd 0x020 + %[E2C], %%ymm1, %%ymm1") /* ymm1 = R + 127 */ \
70 __ASM_EMIT("vpaddd 0x020 + %[E2C], %%ymm5, %%ymm5") \
71 __ASM_EMIT("vpaddd 0x020 + %[E2C], %%ymm9, %%ymm9") \
72 __ASM_EMIT("vpaddd 0x020 + %[E2C], %%ymm13, %%ymm13") \
73 __ASM_EMIT("vsubps %%ymm3, %%ymm2, %%ymm2") /* ymm2 = XP - float(R) */ \
74 __ASM_EMIT("vsubps %%ymm7, %%ymm6, %%ymm6") \
75 __ASM_EMIT("vsubps %%ymm11, %%ymm10, %%ymm10") \
76 __ASM_EMIT("vsubps %%ymm15, %%ymm14, %%ymm14") \
77 __ASM_EMIT("vpslld $23, %%ymm1, %%ymm1") /* ymm1 = 1 << (R+127) */ \
78 __ASM_EMIT("vpslld $23, %%ymm5, %%ymm5") \
79 __ASM_EMIT("vpslld $23, %%ymm9, %%ymm9") \
80 __ASM_EMIT("vpslld $23, %%ymm13, %%ymm13") \
81 __ASM_EMIT("vmulps 0x040 + %[E2C], %%ymm2, %%ymm2") /* ymm2 = X = ln(2) * (XP - float(R)) */ \
82 __ASM_EMIT("vmulps 0x040 + %[E2C], %%ymm6, %%ymm6") \
83 __ASM_EMIT("vmulps 0x040 + %[E2C], %%ymm10, %%ymm10") \
84 __ASM_EMIT("vmulps 0x040 + %[E2C], %%ymm14, %%ymm14") \
85 /* ymm0 = [x<0], ymm1 = 1 << R, ymm2 = X */ \
86 __ASM_EMIT("vaddps 0x060 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C5+X */ \
87 __ASM_EMIT("vaddps 0x060 + %[E2C], %%ymm6, %%ymm7") \
88 __ASM_EMIT("vaddps 0x060 + %[E2C], %%ymm10, %%ymm11") \
89 __ASM_EMIT("vaddps 0x060 + %[E2C], %%ymm14, %%ymm15") \
90 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C5+X) */ \
91 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
92 __ASM_EMIT("vmulps %%ymm10, %%ymm11, %%ymm11") \
93 __ASM_EMIT("vmulps %%ymm14, %%ymm15, %%ymm15") \
94 __ASM_EMIT("vaddps 0x080 + %[E2C], %%ymm3, %%ymm3") /* ymm3 = C4+X*(C5+X) */ \
95 __ASM_EMIT("vaddps 0x080 + %[E2C], %%ymm7, %%ymm7") \
96 __ASM_EMIT("vaddps 0x080 + %[E2C], %%ymm11, %%ymm11") \
97 __ASM_EMIT("vaddps 0x080 + %[E2C], %%ymm15, %%ymm15") \
98 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C4+X*(C5+X)) */ \
99 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
100 __ASM_EMIT("vmulps %%ymm10, %%ymm11, %%ymm11") \
101 __ASM_EMIT("vmulps %%ymm14, %%ymm15, %%ymm15") \
102 __ASM_EMIT("vaddps 0x0a0 + %[E2C], %%ymm3, %%ymm3") /* ymm3 = C3+X*(C4+X*(C5+X)) */ \
103 __ASM_EMIT("vaddps 0x0a0 + %[E2C], %%ymm7, %%ymm7") \
104 __ASM_EMIT("vaddps 0x0a0 + %[E2C], %%ymm11, %%ymm11") \
105 __ASM_EMIT("vaddps 0x0a0 + %[E2C], %%ymm15, %%ymm15") \
106 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C3+X*(C4+X*(C5+X))) */ \
107 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
108 __ASM_EMIT("vmulps %%ymm10, %%ymm11, %%ymm11") \
109 __ASM_EMIT("vmulps %%ymm14, %%ymm15, %%ymm15") \
110 __ASM_EMIT("vaddps 0x0c0 + %[E2C], %%ymm3, %%ymm3") /* ymm3 = C2+X*(C3+X*(C4+X*(C5+X))) */ \
111 __ASM_EMIT("vaddps 0x0c0 + %[E2C], %%ymm7, %%ymm7") \
112 __ASM_EMIT("vaddps 0x0c0 + %[E2C], %%ymm11, %%ymm11") \
113 __ASM_EMIT("vaddps 0x0c0 + %[E2C], %%ymm15, %%ymm15") \
114 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C2+X*(C3+X*(C4+X*(C5+X)))) */ \
115 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
116 __ASM_EMIT("vmulps %%ymm10, %%ymm11, %%ymm11") \
117 __ASM_EMIT("vmulps %%ymm14, %%ymm15, %%ymm15") \
118 __ASM_EMIT("vaddps 0x0e0 + %[E2C], %%ymm3, %%ymm3") /* ymm3 = C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))) */ \
119 __ASM_EMIT("vaddps 0x0e0 + %[E2C], %%ymm7, %%ymm7") \
120 __ASM_EMIT("vaddps 0x0e0 + %[E2C], %%ymm11, %%ymm11") \
121 __ASM_EMIT("vaddps 0x0e0 + %[E2C], %%ymm15, %%ymm15") \
122 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))) */ \
123 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
124 __ASM_EMIT("vmulps %%ymm10, %%ymm11, %%ymm11") \
125 __ASM_EMIT("vmulps %%ymm14, %%ymm15, %%ymm15") \
126 __ASM_EMIT("vaddps 0x100 + %[E2C], %%ymm3, %%ymm3") /* ymm3 = C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))) */ \
127 __ASM_EMIT("vaddps 0x100 + %[E2C], %%ymm7, %%ymm7") \
128 __ASM_EMIT("vaddps 0x100 + %[E2C], %%ymm11, %%ymm11") \
129 __ASM_EMIT("vaddps 0x100 + %[E2C], %%ymm15, %%ymm15") \
130 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
131 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
132 __ASM_EMIT("vmulps %%ymm10, %%ymm11, %%ymm11") \
133 __ASM_EMIT("vmulps %%ymm14, %%ymm15, %%ymm15") \
134 __ASM_EMIT("vmulps 0x120 + %[E2C], %%ymm3, %%ymm3") /* ymm3 = 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
135 __ASM_EMIT("vmulps 0x120 + %[E2C], %%ymm7, %%ymm7") \
136 __ASM_EMIT("vmulps 0x120 + %[E2C], %%ymm11, %%ymm11") \
137 __ASM_EMIT("vmulps 0x120 + %[E2C], %%ymm15, %%ymm15") \
138 __ASM_EMIT("vmovaps 0x140 + %[E2C], %%ymm2") /* ymm2 = 1 */ \
139 __ASM_EMIT("vmovaps 0x140 + %[E2C], %%ymm6") \
140 __ASM_EMIT("vmovaps 0x140 + %[E2C], %%ymm10") \
141 __ASM_EMIT("vmovaps 0x140 + %[E2C], %%ymm14") \
142 __ASM_EMIT("vaddps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = 1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
143 __ASM_EMIT("vaddps %%ymm6, %%ymm7, %%ymm7") \
144 __ASM_EMIT("vaddps %%ymm10, %%ymm11, %%ymm11") \
145 __ASM_EMIT("vaddps %%ymm14, %%ymm15, %%ymm15") \
146 __ASM_EMIT("vmulps %%ymm1, %%ymm3, %%ymm3") /* ymm3 = p = (1<<R)*(1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))))) */ \
147 __ASM_EMIT("vmulps %%ymm5, %%ymm7, %%ymm7") \
148 __ASM_EMIT("vmulps %%ymm9, %%ymm11, %%ymm11") \
149 __ASM_EMIT("vmulps %%ymm13, %%ymm15, %%ymm15") \
150 __ASM_EMIT("vdivps %%ymm3, %%ymm2, %%ymm2") /* ymm2 = 1/p */ \
151 __ASM_EMIT("vdivps %%ymm7, %%ymm6, %%ymm6") \
152 __ASM_EMIT("vdivps %%ymm11, %%ymm10, %%ymm10") \
153 __ASM_EMIT("vdivps %%ymm15, %%ymm14, %%ymm14") \
154 /* ymm0 = x, ymm2 = 1/p, ymm3 = p */ \
155 __ASM_EMIT("vblendvps %%ymm0, %%ymm2, %%ymm3, %%ymm0") /* ymm0 = ([x<0]&(1/p)) | ([x>=0]&p) */ \
156 __ASM_EMIT("vblendvps %%ymm4, %%ymm6, %%ymm7, %%ymm4") \
157 __ASM_EMIT("vblendvps %%ymm8, %%ymm10, %%ymm11, %%ymm8") \
158 __ASM_EMIT("vblendvps %%ymm12, %%ymm14, %%ymm15, %%ymm12")
159
160 #define POW2_CORE_X16 \
161 /* ymm0 = x */ \
162 __ASM_EMIT("vandps 0x000 + %[E2C], %%ymm0, %%ymm2") /* ymm2 = XP = fabs(x) */ \
163 __ASM_EMIT("vandps 0x000 + %[E2C], %%ymm4, %%ymm6") \
164 __ASM_EMIT("vcvttps2dq %%ymm2, %%ymm1") /* ymm1 = R = int(XP) */ \
165 __ASM_EMIT("vcvttps2dq %%ymm6, %%ymm5") \
166 __ASM_EMIT("vcvtdq2ps %%ymm1, %%ymm3") /* ymm3 = float(R) */ \
167 __ASM_EMIT("vcvtdq2ps %%ymm5, %%ymm7") \
168 __ASM_EMIT("vpaddd 0x020 + %[E2C], %%ymm1, %%ymm1") /* ymm1 = R + 127 */ \
169 __ASM_EMIT("vpaddd 0x020 + %[E2C], %%ymm5, %%ymm5") \
170 __ASM_EMIT("vsubps %%ymm3, %%ymm2, %%ymm2") /* ymm2 = XP - float(R) */ \
171 __ASM_EMIT("vsubps %%ymm7, %%ymm6, %%ymm6") \
172 __ASM_EMIT("vpslld $23, %%ymm1, %%ymm1") /* ymm1 = 1 << (R+127) */ \
173 __ASM_EMIT("vpslld $23, %%ymm5, %%ymm5") \
174 __ASM_EMIT("vmulps 0x040 + %[E2C], %%ymm2, %%ymm2") /* ymm2 = X = ln(2) * (XP - float(R)) */ \
175 __ASM_EMIT("vmulps 0x040 + %[E2C], %%ymm6, %%ymm6") \
176 /* ymm0 = [x<0], ymm1 = 1 << R, ymm2 = X */ \
177 __ASM_EMIT("vaddps 0x060 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C5+X */ \
178 __ASM_EMIT("vaddps 0x060 + %[E2C], %%ymm6, %%ymm7") \
179 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C5+X) */ \
180 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
181 __ASM_EMIT("vaddps 0x080 + %[E2C], %%ymm3, %%ymm3") /* ymm3 = C4+X*(C5+X) */ \
182 __ASM_EMIT("vaddps 0x080 + %[E2C], %%ymm7, %%ymm7") \
183 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C4+X*(C5+X)) */ \
184 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
185 __ASM_EMIT("vaddps 0x0a0 + %[E2C], %%ymm3, %%ymm3") /* ymm3 = C3+X*(C4+X*(C5+X)) */ \
186 __ASM_EMIT("vaddps 0x0a0 + %[E2C], %%ymm7, %%ymm7") \
187 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C3+X*(C4+X*(C5+X))) */ \
188 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
189 __ASM_EMIT("vaddps 0x0c0 + %[E2C], %%ymm3, %%ymm3") /* ymm3 = C2+X*(C3+X*(C4+X*(C5+X))) */ \
190 __ASM_EMIT("vaddps 0x0c0 + %[E2C], %%ymm7, %%ymm7") \
191 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C2+X*(C3+X*(C4+X*(C5+X)))) */ \
192 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
193 __ASM_EMIT("vaddps 0x0e0 + %[E2C], %%ymm3, %%ymm3") /* ymm3 = C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))) */ \
194 __ASM_EMIT("vaddps 0x0e0 + %[E2C], %%ymm7, %%ymm7") \
195 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))) */ \
196 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
197 __ASM_EMIT("vaddps 0x100 + %[E2C], %%ymm3, %%ymm3") /* ymm3 = C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))) */ \
198 __ASM_EMIT("vaddps 0x100 + %[E2C], %%ymm7, %%ymm7") \
199 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
200 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
201 __ASM_EMIT("vmulps 0x120 + %[E2C], %%ymm3, %%ymm3") /* ymm3 = 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
202 __ASM_EMIT("vmulps 0x120 + %[E2C], %%ymm7, %%ymm7") \
203 __ASM_EMIT("vmovaps 0x140 + %[E2C], %%ymm2") /* ymm2 = 1 */ \
204 __ASM_EMIT("vmovaps 0x140 + %[E2C], %%ymm6") \
205 __ASM_EMIT("vaddps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = 1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
206 __ASM_EMIT("vaddps %%ymm6, %%ymm7, %%ymm7") \
207 __ASM_EMIT("vmulps %%ymm1, %%ymm3, %%ymm3") /* ymm3 = p = (1<<R)*(1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))))) */ \
208 __ASM_EMIT("vmulps %%ymm5, %%ymm7, %%ymm7") \
209 __ASM_EMIT("vdivps %%ymm3, %%ymm2, %%ymm2") /* ymm2 = 1/p */ \
210 __ASM_EMIT("vdivps %%ymm7, %%ymm6, %%ymm6") \
211 /* ymm0 = x, ymm2 = 1/p, ymm3 = p */ \
212 __ASM_EMIT("vblendvps %%ymm0, %%ymm2, %%ymm3, %%ymm0") /* ymm0 = ([x<0]&(1/p)) | ([x>=0]&p) */ \
213 __ASM_EMIT("vblendvps %%ymm4, %%ymm6, %%ymm7, %%ymm4")
214
215
216 #define POW2_CORE_X8 \
217 /* ymm0 = x */ \
218 __ASM_EMIT("vandps 0x000 + %[E2C], %%ymm0, %%ymm2") /* ymm2 = XP = fabs(x) */ \
219 __ASM_EMIT("vcvttps2dq %%ymm2, %%ymm1") /* ymm1 = R = int(XP) */ \
220 __ASM_EMIT("vcvtdq2ps %%ymm1, %%ymm3") /* ymm3 = float(R) */ \
221 __ASM_EMIT("vpaddd 0x020 + %[E2C], %%ymm1, %%ymm1") /* ymm1 = R + 127 */ \
222 __ASM_EMIT("vsubps %%ymm3, %%ymm2, %%ymm2") /* ymm2 = XP - float(R) */ \
223 __ASM_EMIT("vpslld $23, %%ymm1, %%ymm1") /* ymm1 = 1 << (R+127) */ \
224 __ASM_EMIT("vmulps 0x040 + %[E2C], %%ymm2, %%ymm2") /* ymm2 = X = ln(2) * (XP - float(R)) */ \
225 /* ymm0 = [x<0], ymm1 = 1 << R, ymm2 = X */ \
226 __ASM_EMIT("vaddps 0x060 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C5+X */ \
227 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C5+X) */ \
228 __ASM_EMIT("vaddps 0x080 + %[E2C], %%ymm3, %%ymm3") /* ymm3 = C4+X*(C5+X) */ \
229 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C4+X*(C5+X)) */ \
230 __ASM_EMIT("vaddps 0x0a0 + %[E2C], %%ymm3, %%ymm3") /* ymm3 = C3+X*(C4+X*(C5+X)) */ \
231 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C3+X*(C4+X*(C5+X))) */ \
232 __ASM_EMIT("vaddps 0x0c0 + %[E2C], %%ymm3, %%ymm3") /* ymm3 = C2+X*(C3+X*(C4+X*(C5+X))) */ \
233 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C2+X*(C3+X*(C4+X*(C5+X)))) */ \
234 __ASM_EMIT("vaddps 0x0e0 + %[E2C], %%ymm3, %%ymm3") /* ymm3 = C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))) */ \
235 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))) */ \
236 __ASM_EMIT("vaddps 0x100 + %[E2C], %%ymm3, %%ymm3") /* ymm3 = C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))) */ \
237 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
238 __ASM_EMIT("vmulps 0x120 + %[E2C], %%ymm3, %%ymm3") /* ymm3 = 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
239 __ASM_EMIT("vmovaps 0x140 + %[E2C], %%ymm2") /* ymm2 = 1 */ \
240 __ASM_EMIT("vaddps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = 1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
241 __ASM_EMIT("vmulps %%ymm1, %%ymm3, %%ymm3") /* ymm3 = p = (1<<R)*(1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))))) */ \
242 __ASM_EMIT("vdivps %%ymm3, %%ymm2, %%ymm2") /* ymm2 = 1/p */ \
243 /* ymm0 = x, ymm2 = 1/p, ymm3 = p */ \
244 __ASM_EMIT("vblendvps %%ymm0, %%ymm2, %%ymm3, %%ymm0") /* ymm0 = ([x<0]&(1/p)) | ([x>=0]&p) */
245
246 #define POW2_CORE_X4 \
247 /* xmm0 = x */ \
248 __ASM_EMIT("vandps 0x000 + %[E2C], %%xmm0, %%xmm2") /* xmm2 = XP = fabs(x) */ \
249 __ASM_EMIT("vcvttps2dq %%xmm2, %%xmm1") /* xmm1 = R = int(XP) */ \
250 __ASM_EMIT("vcvtdq2ps %%xmm1, %%xmm3") /* xmm3 = float(R) */ \
251 __ASM_EMIT("vpaddd 0x020 + %[E2C], %%xmm1, %%xmm1") /* xmm1 = R + 127 */ \
252 __ASM_EMIT("vsubps %%xmm3, %%xmm2, %%xmm2") /* xmm2 = XP - float(R) */ \
253 __ASM_EMIT("vpslld $23, %%xmm1, %%xmm1") /* xmm1 = 1 << (R+127) */ \
254 __ASM_EMIT("vmulps 0x040 + %[E2C], %%xmm2, %%xmm2") /* xmm2 = X = ln(2) * (XP - float(R)) */ \
255 /* xmm0 = [x<0], xmm1 = 1 << R, xmm2 = X */ \
256 __ASM_EMIT("vaddps 0x060 + %[E2C], %%xmm2, %%xmm3") /* xmm3 = C5+X */ \
257 __ASM_EMIT("vmulps %%xmm2, %%xmm3, %%xmm3") /* xmm3 = X*(C5+X) */ \
258 __ASM_EMIT("vaddps 0x080 + %[E2C], %%xmm3, %%xmm3") /* xmm3 = C4+X*(C5+X) */ \
259 __ASM_EMIT("vmulps %%xmm2, %%xmm3, %%xmm3") /* xmm3 = X*(C4+X*(C5+X)) */ \
260 __ASM_EMIT("vaddps 0x0a0 + %[E2C], %%xmm3, %%xmm3") /* xmm3 = C3+X*(C4+X*(C5+X)) */ \
261 __ASM_EMIT("vmulps %%xmm2, %%xmm3, %%xmm3") /* xmm3 = X*(C3+X*(C4+X*(C5+X))) */ \
262 __ASM_EMIT("vaddps 0x0c0 + %[E2C], %%xmm3, %%xmm3") /* xmm3 = C2+X*(C3+X*(C4+X*(C5+X))) */ \
263 __ASM_EMIT("vmulps %%xmm2, %%xmm3, %%xmm3") /* xmm3 = X*(C2+X*(C3+X*(C4+X*(C5+X)))) */ \
264 __ASM_EMIT("vaddps 0x0e0 + %[E2C], %%xmm3, %%xmm3") /* xmm3 = C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))) */ \
265 __ASM_EMIT("vmulps %%xmm2, %%xmm3, %%xmm3") /* xmm3 = X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))) */ \
266 __ASM_EMIT("vaddps 0x100 + %[E2C], %%xmm3, %%xmm3") /* xmm3 = C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))) */ \
267 __ASM_EMIT("vmulps %%xmm2, %%xmm3, %%xmm3") /* xmm3 = X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
268 __ASM_EMIT("vmulps 0x120 + %[E2C], %%xmm3, %%xmm3") /* xmm3 = 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
269 __ASM_EMIT("vmovaps 0x140 + %[E2C], %%xmm2") /* xmm2 = 1 */ \
270 __ASM_EMIT("vaddps %%xmm2, %%xmm3, %%xmm3") /* xmm3 = 1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
271 __ASM_EMIT("vmulps %%xmm1, %%xmm3, %%xmm3") /* xmm3 = p = (1<<R)*(1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))))) */ \
272 __ASM_EMIT("vdivps %%xmm3, %%xmm2, %%xmm2") /* xmm2 = 1/p */ \
273 /* xmm0 = x, xmm2 = 1/p, xmm3 = p */ \
274 __ASM_EMIT("vblendvps %%xmm0, %%xmm2, %%xmm3, %%xmm0") /* xmm0 = ([x<0]&(1/p)) | ([x>=0]&p) */
275
276 #define EXP_CORE_X32 \
277 __ASM_EMIT("vmulps %[LOG2E], %%ymm0, %%ymm0") \
278 __ASM_EMIT("vmulps %[LOG2E], %%ymm4, %%ymm4") \
279 __ASM_EMIT("vmulps %[LOG2E], %%ymm8, %%ymm8") \
280 __ASM_EMIT("vmulps %[LOG2E], %%ymm12, %%ymm12") \
281 POW2_CORE_X32
282
283 #define EXP_CORE_X16 \
284 __ASM_EMIT("vmulps %[LOG2E], %%ymm0, %%ymm0") \
285 __ASM_EMIT("vmulps %[LOG2E], %%ymm4, %%ymm4") \
286 POW2_CORE_X16
287
288 #define EXP_CORE_X8 \
289 __ASM_EMIT("vmulps %[LOG2E], %%ymm0, %%ymm0") \
290 POW2_CORE_X8
291
292 #define EXP_CORE_X4 \
293 __ASM_EMIT("vmulps %[LOG2E], %%xmm0, %%xmm0") \
294 POW2_CORE_X4
295
296 void x64_exp1(float *dst, size_t count)
297 {
298 IF_ARCH_X86_64(float *src);
299
300 ARCH_X86_64_ASM(
301 // x32 blocks
302 __ASM_EMIT("sub $32, %[count]")
303 __ASM_EMIT("jb 2f")
304 __ASM_EMIT("1:")
305 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
306 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
307 __ASM_EMIT("vmovups 0x40(%[dst]), %%ymm8")
308 __ASM_EMIT("vmovups 0x60(%[dst]), %%ymm12")
309 EXP_CORE_X32
310 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
311 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
312 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
313 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
314 __ASM_EMIT("add $0x80, %[dst]")
315 __ASM_EMIT("sub $32, %[count]")
316 __ASM_EMIT("jae 1b")
317 __ASM_EMIT("2:")
318 // x16 block
319 __ASM_EMIT("add $16, %[count]")
320 __ASM_EMIT("jl 4f")
321 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
322 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
323 EXP_CORE_X16
324 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
325 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
326 __ASM_EMIT("sub $16, %[count]")
327 __ASM_EMIT("add $0x40, %[dst]")
328 __ASM_EMIT("4:")
329 // x8 block
330 __ASM_EMIT("add $8, %[count]")
331 __ASM_EMIT("jl 6f")
332 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
333 EXP_CORE_X8
334 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
335 __ASM_EMIT("sub $8, %[count]")
336 __ASM_EMIT("add $0x20, %[dst]")
337 __ASM_EMIT("6:")
338 // x4 block
339 __ASM_EMIT("add $4, %[count]")
340 __ASM_EMIT("jl 8f")
341 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
342 EXP_CORE_X4
343 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
344 __ASM_EMIT("sub $4, %[count]")
345 __ASM_EMIT("add $0x10, %[dst]")
346 __ASM_EMIT("8:")
347 // Tail: 1x-3x block
348 __ASM_EMIT("add $4, %[count]")
349 __ASM_EMIT("jle 16f")
350 __ASM_EMIT("mov %[dst], %[src]")
351 __ASM_EMIT("test $1, %[count]")
352 __ASM_EMIT("jz 10f")
353 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
354 __ASM_EMIT("add $4, %[src]")
355 __ASM_EMIT("10:")
356 __ASM_EMIT("test $2, %[count]")
357 __ASM_EMIT("jz 12f")
358 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
359 __ASM_EMIT("12:")
360 EXP_CORE_X4
361 __ASM_EMIT("test $1, %[count]")
362 __ASM_EMIT("jz 14f")
363 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
364 __ASM_EMIT("add $4, %[dst]")
365 __ASM_EMIT("14:")
366 __ASM_EMIT("test $2, %[count]")
367 __ASM_EMIT("jz 16f")
368 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
369 __ASM_EMIT("16:")
370
371 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
372 : [E2C] "o" (EXP2_CONST),
373 [LOG2E] "m" (EXP_LOG2E)
374 : "cc", "memory",
375 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
376 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
377 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
378 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
379 );
380 }
381
382 void exp1(float *dst, size_t count)
383 {
384 IF_ARCH_X86(float *src);
385
386 ARCH_X86_ASM(
387 // x16 blocks
388 __ASM_EMIT("sub $16, %[count]")
389 __ASM_EMIT("jb 2f")
390 __ASM_EMIT("1:")
391 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
392 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
393 EXP_CORE_X16
394 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
395 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
396 __ASM_EMIT("add $0x40, %[dst]")
397 __ASM_EMIT("sub $16, %[count]")
398 __ASM_EMIT("jae 1b")
399 __ASM_EMIT("2:")
400 // x8 block
401 __ASM_EMIT("add $8, %[count]")
402 __ASM_EMIT("jl 4f")
403 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
404 EXP_CORE_X8
405 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
406 __ASM_EMIT("sub $8, %[count]")
407 __ASM_EMIT("add $0x20, %[dst]")
408 __ASM_EMIT("4:")
409 // x4 block
410 __ASM_EMIT("add $4, %[count]")
411 __ASM_EMIT("jl 6f")
412 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
413 EXP_CORE_X4
414 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
415 __ASM_EMIT("sub $4, %[count]")
416 __ASM_EMIT("add $0x10, %[dst]")
417 __ASM_EMIT("6:")
418 // Tail: 1x-3x block
419 __ASM_EMIT("add $4, %[count]")
420 __ASM_EMIT("jle 14f")
421 __ASM_EMIT("mov %[dst], %[src]")
422 __ASM_EMIT("test $1, %[count]")
423 __ASM_EMIT("jz 8f")
424 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
425 __ASM_EMIT("add $4, %[src]")
426 __ASM_EMIT("8:")
427 __ASM_EMIT("test $2, %[count]")
428 __ASM_EMIT("jz 10f")
429 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
430 __ASM_EMIT("10:")
431 EXP_CORE_X4
432 __ASM_EMIT("test $1, %[count]")
433 __ASM_EMIT("jz 12f")
434 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
435 __ASM_EMIT("add $4, %[dst]")
436 __ASM_EMIT("12:")
437 __ASM_EMIT("test $2, %[count]")
438 __ASM_EMIT("jz 14f")
439 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
440 __ASM_EMIT("14:")
441
442 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
443 : [E2C] "o" (EXP2_CONST),
444 [LOG2E] "m" (EXP_LOG2E)
445 : "cc", "memory",
446 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
447 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
448 );
449 }
450
451 void x64_exp2(float *dst, const float *src, size_t count)
452 {
453 ARCH_X86_64_ASM(
454 // x32 blocks
455 __ASM_EMIT("sub $32, %[count]")
456 __ASM_EMIT("jb 2f")
457 __ASM_EMIT("1:")
458 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
459 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
460 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
461 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
462 EXP_CORE_X32
463 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
464 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
465 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
466 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
467 __ASM_EMIT("add $0x80, %[src]")
468 __ASM_EMIT("add $0x80, %[dst]")
469 __ASM_EMIT("sub $32, %[count]")
470 __ASM_EMIT("jae 1b")
471 __ASM_EMIT("2:")
472 // x16 block
473 __ASM_EMIT("add $16, %[count]")
474 __ASM_EMIT("jl 4f")
475 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
476 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
477 EXP_CORE_X16
478 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
479 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
480 __ASM_EMIT("sub $16, %[count]")
481 __ASM_EMIT("add $0x40, %[src]")
482 __ASM_EMIT("add $0x40, %[dst]")
483 __ASM_EMIT("4:")
484 // x8 block
485 __ASM_EMIT("add $8, %[count]")
486 __ASM_EMIT("jl 6f")
487 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
488 EXP_CORE_X8
489 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
490 __ASM_EMIT("sub $8, %[count]")
491 __ASM_EMIT("add $0x20, %[src]")
492 __ASM_EMIT("add $0x20, %[dst]")
493 __ASM_EMIT("6:")
494 // x4 block
495 __ASM_EMIT("add $4, %[count]")
496 __ASM_EMIT("jl 8f")
497 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
498 EXP_CORE_X4
499 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
500 __ASM_EMIT("sub $4, %[count]")
501 __ASM_EMIT("add $0x10, %[src]")
502 __ASM_EMIT("add $0x10, %[dst]")
503 __ASM_EMIT("8:")
504 // Tail: 1x-3x block
505 __ASM_EMIT("add $4, %[count]")
506 __ASM_EMIT("jle 16f")
507 __ASM_EMIT("test $1, %[count]")
508 __ASM_EMIT("jz 10f")
509 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
510 __ASM_EMIT("add $4, %[src]")
511 __ASM_EMIT("10:")
512 __ASM_EMIT("test $2, %[count]")
513 __ASM_EMIT("jz 12f")
514 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
515 __ASM_EMIT("12:")
516 EXP_CORE_X4
517 __ASM_EMIT("test $1, %[count]")
518 __ASM_EMIT("jz 14f")
519 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
520 __ASM_EMIT("add $4, %[dst]")
521 __ASM_EMIT("14:")
522 __ASM_EMIT("test $2, %[count]")
523 __ASM_EMIT("jz 16f")
524 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
525 __ASM_EMIT("16:")
526
527 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
528 : [E2C] "o" (EXP2_CONST),
529 [LOG2E] "m" (EXP_LOG2E)
530 : "cc", "memory",
531 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
532 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
533 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
534 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
535 );
536 }
537
538 void exp2(float *dst, const float *src, size_t count)
539 {
540 ARCH_X86_ASM(
541 // x16 blocks
542 __ASM_EMIT("sub $16, %[count]")
543 __ASM_EMIT("jb 2f")
544 __ASM_EMIT("1:")
545 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
546 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
547 EXP_CORE_X16
548 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
549 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
550 __ASM_EMIT("add $0x40, %[src]")
551 __ASM_EMIT("add $0x40, %[dst]")
552 __ASM_EMIT("sub $16, %[count]")
553 __ASM_EMIT("jae 1b")
554 __ASM_EMIT("2:")
555 // x8 block
556 __ASM_EMIT("add $8, %[count]")
557 __ASM_EMIT("jl 4f")
558 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
559 EXP_CORE_X8
560 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
561 __ASM_EMIT("sub $8, %[count]")
562 __ASM_EMIT("add $0x20, %[src]")
563 __ASM_EMIT("add $0x20, %[dst]")
564 __ASM_EMIT("4:")
565 // x4 block
566 __ASM_EMIT("add $4, %[count]")
567 __ASM_EMIT("jl 6f")
568 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
569 EXP_CORE_X4
570 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
571 __ASM_EMIT("sub $4, %[count]")
572 __ASM_EMIT("add $0x10, %[src]")
573 __ASM_EMIT("add $0x10, %[dst]")
574 __ASM_EMIT("6:")
575 // Tail: 1x-3x block
576 __ASM_EMIT("add $4, %[count]")
577 __ASM_EMIT("jle 14f")
578 __ASM_EMIT("test $1, %[count]")
579 __ASM_EMIT("jz 8f")
580 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
581 __ASM_EMIT("add $4, %[src]")
582 __ASM_EMIT("8:")
583 __ASM_EMIT("test $2, %[count]")
584 __ASM_EMIT("jz 10f")
585 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
586 __ASM_EMIT("10:")
587 EXP_CORE_X4
588 __ASM_EMIT("test $1, %[count]")
589 __ASM_EMIT("jz 12f")
590 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
591 __ASM_EMIT("add $4, %[dst]")
592 __ASM_EMIT("12:")
593 __ASM_EMIT("test $2, %[count]")
594 __ASM_EMIT("jz 14f")
595 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
596 __ASM_EMIT("14:")
597
598 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
599 : [E2C] "o" (EXP2_CONST),
600 [LOG2E] "m" (EXP_LOG2E)
601 : "cc", "memory",
602 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
603 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
604 );
605 }
606
607
608 #define POW2_CORE_X32_FMA3 \
609 /* ymm0 = x */ \
610 __ASM_EMIT("vandps 0x000 + %[E2C], %%ymm0, %%ymm2") /* ymm2 = XP = fabs(x) */ \
611 __ASM_EMIT("vandps 0x000 + %[E2C], %%ymm4, %%ymm6") \
612 __ASM_EMIT("vandps 0x000 + %[E2C], %%ymm8, %%ymm10") \
613 __ASM_EMIT("vandps 0x000 + %[E2C], %%ymm12, %%ymm14") \
614 __ASM_EMIT("vcvttps2dq %%ymm2, %%ymm1") /* ymm1 = R = int(XP) */ \
615 __ASM_EMIT("vcvttps2dq %%ymm6, %%ymm5") \
616 __ASM_EMIT("vcvttps2dq %%ymm10, %%ymm9") \
617 __ASM_EMIT("vcvttps2dq %%ymm14, %%ymm13") \
618 __ASM_EMIT("vcvtdq2ps %%ymm1, %%ymm3") /* ymm3 = float(R) */ \
619 __ASM_EMIT("vcvtdq2ps %%ymm5, %%ymm7") \
620 __ASM_EMIT("vcvtdq2ps %%ymm9, %%ymm11") \
621 __ASM_EMIT("vcvtdq2ps %%ymm13, %%ymm15") \
622 __ASM_EMIT("vpaddd 0x020 + %[E2C], %%ymm1, %%ymm1") /* ymm1 = R + 127 */ \
623 __ASM_EMIT("vpaddd 0x020 + %[E2C], %%ymm5, %%ymm5") \
624 __ASM_EMIT("vpaddd 0x020 + %[E2C], %%ymm9, %%ymm9") \
625 __ASM_EMIT("vpaddd 0x020 + %[E2C], %%ymm13, %%ymm13") \
626 __ASM_EMIT("vsubps %%ymm3, %%ymm2, %%ymm2") /* ymm2 = XP - float(R) */ \
627 __ASM_EMIT("vsubps %%ymm7, %%ymm6, %%ymm6") \
628 __ASM_EMIT("vsubps %%ymm11, %%ymm10, %%ymm10") \
629 __ASM_EMIT("vsubps %%ymm15, %%ymm14, %%ymm14") \
630 __ASM_EMIT("vpslld $23, %%ymm1, %%ymm1") /* ymm1 = 1 << (R+127) */ \
631 __ASM_EMIT("vpslld $23, %%ymm5, %%ymm5") \
632 __ASM_EMIT("vpslld $23, %%ymm9, %%ymm9") \
633 __ASM_EMIT("vpslld $23, %%ymm13, %%ymm13") \
634 __ASM_EMIT("vmulps 0x040 + %[E2C], %%ymm2, %%ymm2") /* ymm2 = X = ln(2) * (XP - float(R)) */ \
635 __ASM_EMIT("vmulps 0x040 + %[E2C], %%ymm6, %%ymm6") \
636 __ASM_EMIT("vmulps 0x040 + %[E2C], %%ymm10, %%ymm10") \
637 __ASM_EMIT("vmulps 0x040 + %[E2C], %%ymm14, %%ymm14") \
638 /* ymm0 = [x<0], ymm1 = 1 << R, ymm2 = X */ \
639 __ASM_EMIT("vaddps 0x060 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C5+X */ \
640 __ASM_EMIT("vaddps 0x060 + %[E2C], %%ymm6, %%ymm7") \
641 __ASM_EMIT("vaddps 0x060 + %[E2C], %%ymm10, %%ymm11") \
642 __ASM_EMIT("vaddps 0x060 + %[E2C], %%ymm14, %%ymm15") \
643 __ASM_EMIT("vfmadd213ps 0x080 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C4+X*(C5+X) */ \
644 __ASM_EMIT("vfmadd213ps 0x080 + %[E2C], %%ymm6, %%ymm7") \
645 __ASM_EMIT("vfmadd213ps 0x080 + %[E2C], %%ymm10, %%ymm11") \
646 __ASM_EMIT("vfmadd213ps 0x080 + %[E2C], %%ymm14, %%ymm15") \
647 __ASM_EMIT("vfmadd213ps 0x0a0 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C3+X*(C4+X*(C5+X)) */ \
648 __ASM_EMIT("vfmadd213ps 0x0a0 + %[E2C], %%ymm6, %%ymm7") \
649 __ASM_EMIT("vfmadd213ps 0x0a0 + %[E2C], %%ymm10, %%ymm11") \
650 __ASM_EMIT("vfmadd213ps 0x0a0 + %[E2C], %%ymm14, %%ymm15") \
651 __ASM_EMIT("vfmadd213ps 0x0c0 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C2+X*(C3+X*(C4+X*(C5+X))) */ \
652 __ASM_EMIT("vfmadd213ps 0x0c0 + %[E2C], %%ymm6, %%ymm7") \
653 __ASM_EMIT("vfmadd213ps 0x0c0 + %[E2C], %%ymm10, %%ymm11") \
654 __ASM_EMIT("vfmadd213ps 0x0c0 + %[E2C], %%ymm14, %%ymm15") \
655 __ASM_EMIT("vfmadd213ps 0x0e0 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))) */ \
656 __ASM_EMIT("vfmadd213ps 0x0e0 + %[E2C], %%ymm6, %%ymm7") \
657 __ASM_EMIT("vfmadd213ps 0x0e0 + %[E2C], %%ymm10, %%ymm11") \
658 __ASM_EMIT("vfmadd213ps 0x0e0 + %[E2C], %%ymm14, %%ymm15") \
659 __ASM_EMIT("vfmadd213ps 0x100 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))) */ \
660 __ASM_EMIT("vfmadd213ps 0x100 + %[E2C], %%ymm6, %%ymm7") \
661 __ASM_EMIT("vfmadd213ps 0x100 + %[E2C], %%ymm10, %%ymm11") \
662 __ASM_EMIT("vfmadd213ps 0x100 + %[E2C], %%ymm14, %%ymm15") \
663 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
664 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
665 __ASM_EMIT("vmulps %%ymm10, %%ymm11, %%ymm11") \
666 __ASM_EMIT("vmulps %%ymm14, %%ymm15, %%ymm15") \
667 __ASM_EMIT("vmovaps 0x140 + %[E2C], %%ymm2") /* ymm2 = 1 */ \
668 __ASM_EMIT("vmovaps 0x140 + %[E2C], %%ymm6") \
669 __ASM_EMIT("vmovaps 0x140 + %[E2C], %%ymm10") \
670 __ASM_EMIT("vmovaps 0x140 + %[E2C], %%ymm14") \
671 __ASM_EMIT("vfmadd132ps 0x120 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = 1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
672 __ASM_EMIT("vfmadd132ps 0x120 + %[E2C], %%ymm6, %%ymm7") \
673 __ASM_EMIT("vfmadd132ps 0x120 + %[E2C], %%ymm10, %%ymm11") \
674 __ASM_EMIT("vfmadd132ps 0x120 + %[E2C], %%ymm14, %%ymm15") \
675 __ASM_EMIT("vmulps %%ymm1, %%ymm3, %%ymm3") /* ymm3 = p = (1<<R)*(1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))))) */ \
676 __ASM_EMIT("vmulps %%ymm5, %%ymm7, %%ymm7") \
677 __ASM_EMIT("vmulps %%ymm9, %%ymm11, %%ymm11") \
678 __ASM_EMIT("vmulps %%ymm13, %%ymm15, %%ymm15") \
679 __ASM_EMIT("vdivps %%ymm3, %%ymm2, %%ymm2") /* ymm2 = 1/p */ \
680 __ASM_EMIT("vdivps %%ymm7, %%ymm6, %%ymm6") \
681 __ASM_EMIT("vdivps %%ymm11, %%ymm10, %%ymm10") \
682 __ASM_EMIT("vdivps %%ymm15, %%ymm14, %%ymm14") \
683 /* ymm0 = x, ymm2 = 1/p, ymm3 = p */ \
684 __ASM_EMIT("vblendvps %%ymm0, %%ymm2, %%ymm3, %%ymm0") /* ymm0 = ([x<0]&(1/p)) | ([x>=0]&p) */ \
685 __ASM_EMIT("vblendvps %%ymm4, %%ymm6, %%ymm7, %%ymm4") \
686 __ASM_EMIT("vblendvps %%ymm8, %%ymm10, %%ymm11, %%ymm8") \
687 __ASM_EMIT("vblendvps %%ymm12, %%ymm14, %%ymm15, %%ymm12")
688
689
690 #define POW2_CORE_X16_FMA3 \
691 /* ymm0 = x */ \
692 __ASM_EMIT("vandps 0x000 + %[E2C], %%ymm0, %%ymm2") /* ymm2 = XP = fabs(x) */ \
693 __ASM_EMIT("vandps 0x000 + %[E2C], %%ymm4, %%ymm6") \
694 __ASM_EMIT("vcvttps2dq %%ymm2, %%ymm1") /* ymm1 = R = int(XP) */ \
695 __ASM_EMIT("vcvttps2dq %%ymm6, %%ymm5") \
696 __ASM_EMIT("vcvtdq2ps %%ymm1, %%ymm3") /* ymm3 = float(R) */ \
697 __ASM_EMIT("vcvtdq2ps %%ymm5, %%ymm7") \
698 __ASM_EMIT("vpaddd 0x020 + %[E2C], %%ymm1, %%ymm1") /* ymm1 = R + 127 */ \
699 __ASM_EMIT("vpaddd 0x020 + %[E2C], %%ymm5, %%ymm5") \
700 __ASM_EMIT("vsubps %%ymm3, %%ymm2, %%ymm2") /* ymm2 = XP - float(R) */ \
701 __ASM_EMIT("vsubps %%ymm7, %%ymm6, %%ymm6") \
702 __ASM_EMIT("vpslld $23, %%ymm1, %%ymm1") /* ymm1 = 1 << (R+127) */ \
703 __ASM_EMIT("vpslld $23, %%ymm5, %%ymm5") \
704 __ASM_EMIT("vmulps 0x040 + %[E2C], %%ymm2, %%ymm2") /* ymm2 = X = ln(2) * (XP - float(R)) */ \
705 __ASM_EMIT("vmulps 0x040 + %[E2C], %%ymm6, %%ymm6") \
706 /* ymm0 = [x<0], ymm1 = 1 << R, ymm2 = X */ \
707 __ASM_EMIT("vaddps 0x060 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C5+X */ \
708 __ASM_EMIT("vaddps 0x060 + %[E2C], %%ymm6, %%ymm7") \
709 __ASM_EMIT("vfmadd213ps 0x080 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C4+X*(C5+X) */ \
710 __ASM_EMIT("vfmadd213ps 0x080 + %[E2C], %%ymm6, %%ymm7") \
711 __ASM_EMIT("vfmadd213ps 0x0a0 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C3+X*(C4+X*(C5+X)) */ \
712 __ASM_EMIT("vfmadd213ps 0x0a0 + %[E2C], %%ymm6, %%ymm7") \
713 __ASM_EMIT("vfmadd213ps 0x0c0 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C2+X*(C3+X*(C4+X*(C5+X))) */ \
714 __ASM_EMIT("vfmadd213ps 0x0c0 + %[E2C], %%ymm6, %%ymm7") \
715 __ASM_EMIT("vfmadd213ps 0x0e0 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))) */ \
716 __ASM_EMIT("vfmadd213ps 0x0e0 + %[E2C], %%ymm6, %%ymm7") \
717 __ASM_EMIT("vfmadd213ps 0x100 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))) */ \
718 __ASM_EMIT("vfmadd213ps 0x100 + %[E2C], %%ymm6, %%ymm7") \
719 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
720 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
721 __ASM_EMIT("vmovaps 0x140 + %[E2C], %%ymm2") /* ymm2 = 1 */ \
722 __ASM_EMIT("vmovaps 0x140 + %[E2C], %%ymm6") \
723 __ASM_EMIT("vfmadd132ps 0x120 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = 1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
724 __ASM_EMIT("vfmadd132ps 0x120 + %[E2C], %%ymm6, %%ymm7") \
725 __ASM_EMIT("vmulps %%ymm1, %%ymm3, %%ymm3") /* ymm3 = p = (1<<R)*(1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))))) */ \
726 __ASM_EMIT("vmulps %%ymm5, %%ymm7, %%ymm7") \
727 __ASM_EMIT("vdivps %%ymm3, %%ymm2, %%ymm2") /* ymm2 = 1/p */ \
728 __ASM_EMIT("vdivps %%ymm7, %%ymm6, %%ymm6") \
729 /* ymm0 = x, ymm2 = 1/p, ymm3 = p */ \
730 __ASM_EMIT("vblendvps %%ymm0, %%ymm2, %%ymm3, %%ymm0") /* ymm0 = ([x<0]&(1/p)) | ([x>=0]&p) */ \
731 __ASM_EMIT("vblendvps %%ymm4, %%ymm6, %%ymm7, %%ymm4")
732
733 #define POW2_CORE_X8_FMA3 \
734 /* ymm0 = x */ \
735 __ASM_EMIT("vandps 0x000 + %[E2C], %%ymm0, %%ymm2") /* ymm2 = XP = fabs(x) */ \
736 __ASM_EMIT("vcvttps2dq %%ymm2, %%ymm1") /* ymm1 = R = int(XP) */ \
737 __ASM_EMIT("vcvtdq2ps %%ymm1, %%ymm3") /* ymm3 = float(R) */ \
738 __ASM_EMIT("vpaddd 0x020 + %[E2C], %%ymm1, %%ymm1") /* ymm1 = R + 127 */ \
739 __ASM_EMIT("vsubps %%ymm3, %%ymm2, %%ymm2") /* ymm2 = XP - float(R) */ \
740 __ASM_EMIT("vpslld $23, %%ymm1, %%ymm1") /* ymm1 = 1 << (R+127) */ \
741 __ASM_EMIT("vmulps 0x040 + %[E2C], %%ymm2, %%ymm2") /* ymm2 = X = ln(2) * (XP - float(R)) */ \
742 /* ymm0 = [x<0], ymm1 = 1 << R, ymm2 = X */ \
743 __ASM_EMIT("vaddps 0x060 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C5+X */ \
744 __ASM_EMIT("vfmadd213ps 0x080 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C4+X*(C5+X) */ \
745 __ASM_EMIT("vfmadd213ps 0x0a0 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C3+X*(C4+X*(C5+X)) */ \
746 __ASM_EMIT("vfmadd213ps 0x0c0 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C2+X*(C3+X*(C4+X*(C5+X))) */ \
747 __ASM_EMIT("vfmadd213ps 0x0e0 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))) */ \
748 __ASM_EMIT("vfmadd213ps 0x100 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))) */ \
749 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
750 __ASM_EMIT("vmovaps 0x140 + %[E2C], %%ymm2") /* ymm2 = 1 */ \
751 __ASM_EMIT("vfmadd132ps 0x120 + %[E2C], %%ymm2, %%ymm3") /* ymm3 = 1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
752 __ASM_EMIT("vmulps %%ymm1, %%ymm3, %%ymm3") /* ymm3 = p = (1<<R)*(1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))))) */ \
753 __ASM_EMIT("vdivps %%ymm3, %%ymm2, %%ymm2") /* ymm2 = 1/p */ \
754 /* ymm0 = x, ymm2 = 1/p, ymm3 = p */ \
755 __ASM_EMIT("vblendvps %%ymm0, %%ymm2, %%ymm3, %%ymm0") /* ymm0 = ([x<0]&(1/p)) | ([x>=0]&p) */
756
757 #define POW2_CORE_X4_FMA3 \
758 /* xmm0 = x */ \
759 __ASM_EMIT("vandps 0x000 + %[E2C], %%xmm0, %%xmm2") /* xmm2 = XP = fabs(x) */ \
760 __ASM_EMIT("vcvttps2dq %%xmm2, %%xmm1") /* xmm1 = R = int(XP) */ \
761 __ASM_EMIT("vcvtdq2ps %%xmm1, %%xmm3") /* xmm3 = float(R) */ \
762 __ASM_EMIT("vpaddd 0x020 + %[E2C], %%xmm1, %%xmm1") /* xmm1 = R + 127 */ \
763 __ASM_EMIT("vsubps %%xmm3, %%xmm2, %%xmm2") /* xmm2 = XP - float(R) */ \
764 __ASM_EMIT("vpslld $23, %%xmm1, %%xmm1") /* xmm1 = 1 << (R+127) */ \
765 __ASM_EMIT("vmulps 0x040 + %[E2C], %%xmm2, %%xmm2") /* xmm2 = X = ln(2) * (XP - float(R)) */ \
766 /* xmm0 = [x<0], xmm1 = 1 << R, xmm2 = X */ \
767 __ASM_EMIT("vaddps 0x060 + %[E2C], %%xmm2, %%xmm3") /* xmm3 = C5+X */ \
768 __ASM_EMIT("vfmadd213ps 0x080 + %[E2C], %%xmm2, %%xmm3") /* xmm3 = C4+X*(C5+X) */ \
769 __ASM_EMIT("vfmadd213ps 0x0a0 + %[E2C], %%xmm2, %%xmm3") /* xmm3 = C3+X*(C4+X*(C5+X)) */ \
770 __ASM_EMIT("vfmadd213ps 0x0c0 + %[E2C], %%xmm2, %%xmm3") /* xmm3 = C2+X*(C3+X*(C4+X*(C5+X))) */ \
771 __ASM_EMIT("vfmadd213ps 0x0e0 + %[E2C], %%xmm2, %%xmm3") /* xmm3 = C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))) */ \
772 __ASM_EMIT("vfmadd213ps 0x100 + %[E2C], %%xmm2, %%xmm3") /* xmm3 = C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))) */ \
773 __ASM_EMIT("vmulps %%xmm2, %%xmm3, %%xmm3") /* xmm3 = X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
774 __ASM_EMIT("vmovaps 0x140 + %[E2C], %%xmm2") /* xmm2 = 1 */ \
775 __ASM_EMIT("vfmadd132ps 0x120 + %[E2C], %%xmm2, %%xmm3") /* xmm3 = 1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X)))))) */ \
776 __ASM_EMIT("vmulps %%xmm1, %%xmm3, %%xmm3") /* xmm3 = p = (1<<R)*(1 + 1/7!*X*(C0+X*(C1+X*(C2+X*(C3+X*(C4+X*(C5+X))))))) */ \
777 __ASM_EMIT("vdivps %%xmm3, %%xmm2, %%xmm2") /* xmm2 = 1/p */ \
778 /* xmm0 = x, xmm2 = 1/p, xmm3 = p */ \
779 __ASM_EMIT("vblendvps %%xmm0, %%xmm2, %%xmm3, %%xmm0") /* xmm0 = ([x<0]&(1/p)) | ([x>=0]&p) */
780
781 #define EXP_CORE_X32_FMA3 \
782 __ASM_EMIT("vmulps %[LOG2E], %%ymm0, %%ymm0") \
783 __ASM_EMIT("vmulps %[LOG2E], %%ymm4, %%ymm4") \
784 __ASM_EMIT("vmulps %[LOG2E], %%ymm8, %%ymm8") \
785 __ASM_EMIT("vmulps %[LOG2E], %%ymm12, %%ymm12") \
786 POW2_CORE_X32_FMA3
787
788 #define EXP_CORE_X16_FMA3 \
789 __ASM_EMIT("vmulps %[LOG2E], %%ymm0, %%ymm0") \
790 __ASM_EMIT("vmulps %[LOG2E], %%ymm4, %%ymm4") \
791 POW2_CORE_X16_FMA3
792
793 #define EXP_CORE_X8_FMA3 \
794 __ASM_EMIT("vmulps %[LOG2E], %%ymm0, %%ymm0") \
795 POW2_CORE_X8_FMA3
796
797 #define EXP_CORE_X4_FMA3 \
798 __ASM_EMIT("vmulps %[LOG2E], %%xmm0, %%xmm0") \
799 POW2_CORE_X4_FMA3
800
801
802 void x64_exp1_fma3(float *dst, size_t count)
803 {
804 IF_ARCH_X86_64(float *src);
805
806 ARCH_X86_64_ASM(
807 // x32 blocks
808 __ASM_EMIT("sub $32, %[count]")
809 __ASM_EMIT("jb 2f")
810 __ASM_EMIT("1:")
811 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
812 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
813 __ASM_EMIT("vmovups 0x40(%[dst]), %%ymm8")
814 __ASM_EMIT("vmovups 0x60(%[dst]), %%ymm12")
815 EXP_CORE_X32_FMA3
816 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
817 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
818 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
819 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
820 __ASM_EMIT("add $0x80, %[dst]")
821 __ASM_EMIT("sub $32, %[count]")
822 __ASM_EMIT("jae 1b")
823 __ASM_EMIT("2:")
824 // x16 block
825 __ASM_EMIT("add $16, %[count]")
826 __ASM_EMIT("jl 4f")
827 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
828 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
829 EXP_CORE_X16_FMA3
830 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
831 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
832 __ASM_EMIT("sub $16, %[count]")
833 __ASM_EMIT("add $0x40, %[dst]")
834 __ASM_EMIT("4:")
835 // x8 block
836 __ASM_EMIT("add $8, %[count]")
837 __ASM_EMIT("jl 6f")
838 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
839 EXP_CORE_X8_FMA3
840 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
841 __ASM_EMIT("sub $8, %[count]")
842 __ASM_EMIT("add $0x20, %[dst]")
843 __ASM_EMIT("6:")
844 // x4 block
845 __ASM_EMIT("add $4, %[count]")
846 __ASM_EMIT("jl 8f")
847 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
848 EXP_CORE_X4_FMA3
849 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
850 __ASM_EMIT("sub $4, %[count]")
851 __ASM_EMIT("add $0x10, %[dst]")
852 __ASM_EMIT("8:")
853 // Tail: 1x-3x block
854 __ASM_EMIT("add $4, %[count]")
855 __ASM_EMIT("jle 16f")
856 __ASM_EMIT("mov %[dst], %[src]")
857 __ASM_EMIT("test $1, %[count]")
858 __ASM_EMIT("jz 10f")
859 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
860 __ASM_EMIT("add $4, %[src]")
861 __ASM_EMIT("10:")
862 __ASM_EMIT("test $2, %[count]")
863 __ASM_EMIT("jz 12f")
864 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
865 __ASM_EMIT("12:")
866 EXP_CORE_X4_FMA3
867 __ASM_EMIT("test $1, %[count]")
868 __ASM_EMIT("jz 14f")
869 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
870 __ASM_EMIT("add $4, %[dst]")
871 __ASM_EMIT("14:")
872 __ASM_EMIT("test $2, %[count]")
873 __ASM_EMIT("jz 16f")
874 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
875 __ASM_EMIT("16:")
876
877 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
878 : [E2C] "o" (EXP2_CONST),
879 [LOG2E] "m" (EXP_LOG2E)
880 : "cc", "memory",
881 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
882 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
883 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
884 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
885 );
886 }
887
888 void exp1_fma3(float *dst, size_t count)
889 {
890 IF_ARCH_X86(float *src);
891
892 ARCH_X86_ASM(
893 // x16 blocks
894 __ASM_EMIT("sub $16, %[count]")
895 __ASM_EMIT("jb 2f")
896 __ASM_EMIT("1:")
897 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
898 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
899 EXP_CORE_X16_FMA3
900 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
901 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
902 __ASM_EMIT("add $0x40, %[dst]")
903 __ASM_EMIT("sub $16, %[count]")
904 __ASM_EMIT("jae 1b")
905 __ASM_EMIT("2:")
906 // x8 block
907 __ASM_EMIT("add $8, %[count]")
908 __ASM_EMIT("jl 4f")
909 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
910 EXP_CORE_X8_FMA3
911 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
912 __ASM_EMIT("sub $8, %[count]")
913 __ASM_EMIT("add $0x20, %[dst]")
914 __ASM_EMIT("4:")
915 // x4 block
916 __ASM_EMIT("add $4, %[count]")
917 __ASM_EMIT("jl 6f")
918 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
919 EXP_CORE_X4_FMA3
920 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
921 __ASM_EMIT("sub $4, %[count]")
922 __ASM_EMIT("add $0x10, %[dst]")
923 __ASM_EMIT("6:")
924 // Tail: 1x-3x block
925 __ASM_EMIT("add $4, %[count]")
926 __ASM_EMIT("jle 14f")
927 __ASM_EMIT("mov %[dst], %[src]")
928 __ASM_EMIT("test $1, %[count]")
929 __ASM_EMIT("jz 8f")
930 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
931 __ASM_EMIT("add $4, %[src]")
932 __ASM_EMIT("8:")
933 __ASM_EMIT("test $2, %[count]")
934 __ASM_EMIT("jz 10f")
935 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
936 __ASM_EMIT("10:")
937 EXP_CORE_X4_FMA3
938 __ASM_EMIT("test $1, %[count]")
939 __ASM_EMIT("jz 12f")
940 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
941 __ASM_EMIT("add $4, %[dst]")
942 __ASM_EMIT("12:")
943 __ASM_EMIT("test $2, %[count]")
944 __ASM_EMIT("jz 14f")
945 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
946 __ASM_EMIT("14:")
947
948 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
949 : [E2C] "o" (EXP2_CONST),
950 [LOG2E] "m" (EXP_LOG2E)
951 : "cc", "memory",
952 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
953 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
954 );
955 }
956
957 void x64_exp2_fma3(float *dst, const float *src, size_t count)
958 {
959 ARCH_X86_64_ASM(
960 // x32 blocks
961 __ASM_EMIT("sub $32, %[count]")
962 __ASM_EMIT("jb 2f")
963 __ASM_EMIT("1:")
964 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
965 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
966 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
967 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
968 EXP_CORE_X32_FMA3
969 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
970 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
971 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
972 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
973 __ASM_EMIT("add $0x80, %[src]")
974 __ASM_EMIT("add $0x80, %[dst]")
975 __ASM_EMIT("sub $32, %[count]")
976 __ASM_EMIT("jae 1b")
977 __ASM_EMIT("2:")
978 // x16 block
979 __ASM_EMIT("add $16, %[count]")
980 __ASM_EMIT("jl 4f")
981 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
982 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
983 EXP_CORE_X16_FMA3
984 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
985 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
986 __ASM_EMIT("sub $16, %[count]")
987 __ASM_EMIT("add $0x40, %[src]")
988 __ASM_EMIT("add $0x40, %[dst]")
989 __ASM_EMIT("4:")
990 // x8 block
991 __ASM_EMIT("add $8, %[count]")
992 __ASM_EMIT("jl 6f")
993 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
994 EXP_CORE_X8_FMA3
995 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
996 __ASM_EMIT("sub $8, %[count]")
997 __ASM_EMIT("add $0x20, %[src]")
998 __ASM_EMIT("add $0x20, %[dst]")
999 __ASM_EMIT("6:")
1000 // x4 block
1001 __ASM_EMIT("add $4, %[count]")
1002 __ASM_EMIT("jl 8f")
1003 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1004 EXP_CORE_X4_FMA3
1005 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1006 __ASM_EMIT("sub $4, %[count]")
1007 __ASM_EMIT("add $0x10, %[src]")
1008 __ASM_EMIT("add $0x10, %[dst]")
1009 __ASM_EMIT("8:")
1010 // Tail: 1x-3x block
1011 __ASM_EMIT("add $4, %[count]")
1012 __ASM_EMIT("jle 16f")
1013 __ASM_EMIT("test $1, %[count]")
1014 __ASM_EMIT("jz 10f")
1015 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1016 __ASM_EMIT("add $4, %[src]")
1017 __ASM_EMIT("10:")
1018 __ASM_EMIT("test $2, %[count]")
1019 __ASM_EMIT("jz 12f")
1020 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1021 __ASM_EMIT("12:")
1022 EXP_CORE_X4_FMA3
1023 __ASM_EMIT("test $1, %[count]")
1024 __ASM_EMIT("jz 14f")
1025 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1026 __ASM_EMIT("add $4, %[dst]")
1027 __ASM_EMIT("14:")
1028 __ASM_EMIT("test $2, %[count]")
1029 __ASM_EMIT("jz 16f")
1030 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1031 __ASM_EMIT("16:")
1032
1033 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1034 : [E2C] "o" (EXP2_CONST),
1035 [LOG2E] "m" (EXP_LOG2E)
1036 : "cc", "memory",
1037 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1038 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1039 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
1040 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1041 );
1042 }
1043
1044 void exp2_fma3(float *dst, const float *src, size_t count)
1045 {
1046 ARCH_X86_ASM(
1047 // x16 blocks
1048 __ASM_EMIT("sub $16, %[count]")
1049 __ASM_EMIT("jb 2f")
1050 __ASM_EMIT("1:")
1051 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1052 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1053 EXP_CORE_X16_FMA3
1054 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1055 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1056 __ASM_EMIT("add $0x40, %[src]")
1057 __ASM_EMIT("add $0x40, %[dst]")
1058 __ASM_EMIT("sub $16, %[count]")
1059 __ASM_EMIT("jae 1b")
1060 __ASM_EMIT("2:")
1061 // x8 block
1062 __ASM_EMIT("add $8, %[count]")
1063 __ASM_EMIT("jl 4f")
1064 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1065 EXP_CORE_X8_FMA3
1066 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1067 __ASM_EMIT("sub $8, %[count]")
1068 __ASM_EMIT("add $0x20, %[src]")
1069 __ASM_EMIT("add $0x20, %[dst]")
1070 __ASM_EMIT("4:")
1071 // x4 block
1072 __ASM_EMIT("add $4, %[count]")
1073 __ASM_EMIT("jl 6f")
1074 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1075 EXP_CORE_X4_FMA3
1076 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1077 __ASM_EMIT("sub $4, %[count]")
1078 __ASM_EMIT("add $0x10, %[src]")
1079 __ASM_EMIT("add $0x10, %[dst]")
1080 __ASM_EMIT("6:")
1081 // Tail: 1x-3x block
1082 __ASM_EMIT("add $4, %[count]")
1083 __ASM_EMIT("jle 14f")
1084 __ASM_EMIT("test $1, %[count]")
1085 __ASM_EMIT("jz 8f")
1086 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1087 __ASM_EMIT("add $4, %[src]")
1088 __ASM_EMIT("8:")
1089 __ASM_EMIT("test $2, %[count]")
1090 __ASM_EMIT("jz 10f")
1091 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1092 __ASM_EMIT("10:")
1093 EXP_CORE_X4_FMA3
1094 __ASM_EMIT("test $1, %[count]")
1095 __ASM_EMIT("jz 12f")
1096 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1097 __ASM_EMIT("add $4, %[dst]")
1098 __ASM_EMIT("12:")
1099 __ASM_EMIT("test $2, %[count]")
1100 __ASM_EMIT("jz 14f")
1101 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1102 __ASM_EMIT("14:")
1103
1104 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1105 : [E2C] "o" (EXP2_CONST),
1106 [LOG2E] "m" (EXP_LOG2E)
1107 : "cc", "memory",
1108 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1109 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1110 );
1111 }
1112
1113 } /* namespace avx2 */
1114 } /* namespace lsp */
1115
1116 #endif /* PRIVATE_DSP_ARCH_X86_AVX2_PMATH_EXP_H_ */