Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx2/pmath/log.h

raw
1 /*
2 * Copyright (C) 2025 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2025 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX2_PMATH_LOG_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX2_PMATH_LOG_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX2_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX2_IMPL */
28
29 namespace lsp
30 {
31 namespace avx2
32 {
33 IF_ARCH_X86(
34 static const uint32_t LOG2_CONST[] __lsp_aligned32 =
35 {
36 LSP_DSP_VEC8(0x007fffff), // frac
37 LSP_DSP_VEC8(0x0000007f), // 127
38 LSP_DSP_VEC8(0x3f800000), // 1.0f
39 LSP_DSP_VEC8(0x3dba2e8c), // C0 = 1/11 = 0.0909090936183929
40 LSP_DSP_VEC8(0x3de38e39), // C1 = 1/9 = 0.1111111119389534
41 LSP_DSP_VEC8(0x3e124925), // C2 = 1/7 = 0.1428571492433548
42 LSP_DSP_VEC8(0x3e4ccccd), // C3 = 1/5 = 0.2000000029802322
43 LSP_DSP_VEC8(0x3eaaaaab), // C4 = 1/3 = 0.3333333432674408
44 LSP_DSP_VEC8(0x3f800000) // C5 = 1/1 = 1.0000000000000000
45 };
46
47 static const float LOGB_C[] __lsp_aligned32 =
48 {
49 LSP_DSP_VEC8(2.0f * float(M_LOG2E))
50 };
51
52 static const float LOGE_C[] __lsp_aligned32 =
53 {
54 LSP_DSP_VEC8(1.0f / float(M_LOG2E))
55 };
56
57 static const float LOGD_C[] __lsp_aligned32 =
58 {
59 LSP_DSP_VEC8(2.0f * float(M_LOG10E)),
60 LSP_DSP_VEC8(0.301029995663981f) // 1/log2(10)
61 };
62 )
63
64
65 #define LOGN_CORE_X32 \
66 __ASM_EMIT("vpsrld $23, %%ymm0, %%ymm1") /* ymm1 = ilog2(x) + 127 */ \
67 __ASM_EMIT("vpsrld $23, %%ymm4, %%ymm5") \
68 __ASM_EMIT("vpsrld $23, %%ymm8, %%ymm9") \
69 __ASM_EMIT("vpsrld $23, %%ymm12, %%ymm13") \
70 __ASM_EMIT("vpand 0x000 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = x & F_MASK */ \
71 __ASM_EMIT("vpand 0x000 + %[L2C], %%ymm4, %%ymm4") \
72 __ASM_EMIT("vpand 0x000 + %[L2C], %%ymm8, %%ymm8") \
73 __ASM_EMIT("vpand 0x000 + %[L2C], %%ymm12, %%ymm12") \
74 __ASM_EMIT("vpsubd 0x020 + %[L2C], %%ymm1, %%ymm1") /* ymm1 = r = ilog2(x) */ \
75 __ASM_EMIT("vpsubd 0x020 + %[L2C], %%ymm5, %%ymm5") \
76 __ASM_EMIT("vpsubd 0x020 + %[L2C], %%ymm9, %%ymm9") \
77 __ASM_EMIT("vpsubd 0x020 + %[L2C], %%ymm13, %%ymm13") \
78 __ASM_EMIT("vpor 0x040 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = X = (x & F_MASK) | 1.0f */ \
79 __ASM_EMIT("vpor 0x040 + %[L2C], %%ymm4, %%ymm4") \
80 __ASM_EMIT("vpor 0x040 + %[L2C], %%ymm8, %%ymm8") \
81 __ASM_EMIT("vpor 0x040 + %[L2C], %%ymm12, %%ymm12") \
82 __ASM_EMIT("vcvtdq2ps %%ymm1, %%ymm1") /* ymm1 = R = float(r) */ \
83 __ASM_EMIT("vcvtdq2ps %%ymm5, %%ymm5") \
84 __ASM_EMIT("vcvtdq2ps %%ymm9, %%ymm9") \
85 __ASM_EMIT("vcvtdq2ps %%ymm13, %%ymm13") \
86 __ASM_EMIT("vaddps 0x040 + %[L2C], %%ymm0, %%ymm2") /* ymm2 = X + 1 */ \
87 __ASM_EMIT("vaddps 0x040 + %[L2C], %%ymm4, %%ymm6") \
88 __ASM_EMIT("vaddps 0x040 + %[L2C], %%ymm8, %%ymm10") \
89 __ASM_EMIT("vaddps 0x040 + %[L2C], %%ymm12, %%ymm14") \
90 __ASM_EMIT("vsubps 0x040 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = X - 1 */ \
91 __ASM_EMIT("vsubps 0x040 + %[L2C], %%ymm4, %%ymm4") \
92 __ASM_EMIT("vsubps 0x040 + %[L2C], %%ymm8, %%ymm8") \
93 __ASM_EMIT("vsubps 0x040 + %[L2C], %%ymm12, %%ymm12") \
94 __ASM_EMIT("vdivps %%ymm2, %%ymm0, %%ymm0") /* ymm0 = y = (X-1)/(X+1) */ \
95 __ASM_EMIT("vdivps %%ymm6, %%ymm4, %%ymm4") \
96 __ASM_EMIT("vdivps %%ymm10, %%ymm8, %%ymm8") \
97 __ASM_EMIT("vdivps %%ymm14, %%ymm12, %%ymm12") \
98 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm2") /* ymm2 = Y = y*y */ \
99 __ASM_EMIT("vmulps %%ymm4, %%ymm4, %%ymm6") \
100 __ASM_EMIT("vmulps %%ymm8, %%ymm8, %%ymm10") \
101 __ASM_EMIT("vmulps %%ymm12, %%ymm12, %%ymm14") \
102 /* ymm0 = y, ymm1 = R, ymm2 = Y */ \
103 __ASM_EMIT("vmulps 0x060 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C0*Y */ \
104 __ASM_EMIT("vmulps 0x060 + %[L2C], %%ymm6, %%ymm7") \
105 __ASM_EMIT("vmulps 0x060 + %[L2C], %%ymm10, %%ymm11") \
106 __ASM_EMIT("vmulps 0x060 + %[L2C], %%ymm14, %%ymm15") \
107 __ASM_EMIT("vaddps 0x080 + %[L2C], %%ymm3, %%ymm3") /* ymm3 = C1+C0*Y */ \
108 __ASM_EMIT("vaddps 0x080 + %[L2C], %%ymm7, %%ymm7") \
109 __ASM_EMIT("vaddps 0x080 + %[L2C], %%ymm11, %%ymm11") \
110 __ASM_EMIT("vaddps 0x080 + %[L2C], %%ymm15, %%ymm15") \
111 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = Y*(C1+C0*Y) */ \
112 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
113 __ASM_EMIT("vmulps %%ymm10, %%ymm11, %%ymm11") \
114 __ASM_EMIT("vmulps %%ymm14, %%ymm15, %%ymm15") \
115 __ASM_EMIT("vaddps 0x0a0 + %[L2C], %%ymm3, %%ymm3") /* ymm3 = C2+Y*(C1+C0*Y) */ \
116 __ASM_EMIT("vaddps 0x0a0 + %[L2C], %%ymm7, %%ymm7") \
117 __ASM_EMIT("vaddps 0x0a0 + %[L2C], %%ymm11, %%ymm11") \
118 __ASM_EMIT("vaddps 0x0a0 + %[L2C], %%ymm15, %%ymm15") \
119 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = Y*(C2+Y*(C1+C0*Y)) */ \
120 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
121 __ASM_EMIT("vmulps %%ymm10, %%ymm11, %%ymm11") \
122 __ASM_EMIT("vmulps %%ymm14, %%ymm15, %%ymm15") \
123 __ASM_EMIT("vaddps 0x0c0 + %[L2C], %%ymm3, %%ymm3") /* ymm3 = C3+Y*(C2+Y*(C1+C0*Y)) */ \
124 __ASM_EMIT("vaddps 0x0c0 + %[L2C], %%ymm7, %%ymm7") \
125 __ASM_EMIT("vaddps 0x0c0 + %[L2C], %%ymm11, %%ymm11") \
126 __ASM_EMIT("vaddps 0x0c0 + %[L2C], %%ymm15, %%ymm15") \
127 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = Y*(C3+Y*(C2+Y*(C1+C0*Y))) */ \
128 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
129 __ASM_EMIT("vmulps %%ymm10, %%ymm11, %%ymm11") \
130 __ASM_EMIT("vmulps %%ymm14, %%ymm15, %%ymm15") \
131 __ASM_EMIT("vaddps 0x0e0 + %[L2C], %%ymm3, %%ymm3") /* ymm3 = C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))) */ \
132 __ASM_EMIT("vaddps 0x0e0 + %[L2C], %%ymm7, %%ymm7") \
133 __ASM_EMIT("vaddps 0x0e0 + %[L2C], %%ymm11, %%ymm11") \
134 __ASM_EMIT("vaddps 0x0e0 + %[L2C], %%ymm15, %%ymm15") \
135 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y)))) */ \
136 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
137 __ASM_EMIT("vmulps %%ymm10, %%ymm11, %%ymm11") \
138 __ASM_EMIT("vmulps %%ymm14, %%ymm15, %%ymm15") \
139 __ASM_EMIT("vaddps 0x100 + %[L2C], %%ymm3, %%ymm3") /* ymm3 = C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y)))) */ \
140 __ASM_EMIT("vaddps 0x100 + %[L2C], %%ymm7, %%ymm7") \
141 __ASM_EMIT("vaddps 0x100 + %[L2C], %%ymm11, %%ymm11") \
142 __ASM_EMIT("vaddps 0x100 + %[L2C], %%ymm15, %%ymm15") \
143 __ASM_EMIT("vmulps %%ymm0, %%ymm3, %%ymm0") /* ymm0 = y*(C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))))) */ \
144 __ASM_EMIT("vmulps %%ymm4, %%ymm7, %%ymm4") \
145 __ASM_EMIT("vmulps %%ymm8, %%ymm11, %%ymm8") \
146 __ASM_EMIT("vmulps %%ymm12, %%ymm15, %%ymm12") \
147
148 #define LOGN_CORE_X16 \
149 __ASM_EMIT("vpsrld $23, %%ymm0, %%ymm1") /* ymm1 = ilog2(x) + 127 */ \
150 __ASM_EMIT("vpsrld $23, %%ymm4, %%ymm5") \
151 __ASM_EMIT("vpand 0x000 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = x & F_MASK */ \
152 __ASM_EMIT("vpand 0x000 + %[L2C], %%ymm4, %%ymm4") \
153 __ASM_EMIT("vpsubd 0x020 + %[L2C], %%ymm1, %%ymm1") /* ymm1 = r = ilog2(x) */ \
154 __ASM_EMIT("vpsubd 0x020 + %[L2C], %%ymm5, %%ymm5") \
155 __ASM_EMIT("vpor 0x040 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = X = (x & F_MASK) | 1.0f */ \
156 __ASM_EMIT("vpor 0x040 + %[L2C], %%ymm4, %%ymm4") \
157 __ASM_EMIT("vcvtdq2ps %%ymm1, %%ymm1") /* ymm1 = R = float(r) */ \
158 __ASM_EMIT("vcvtdq2ps %%ymm5, %%ymm5") \
159 __ASM_EMIT("vaddps 0x040 + %[L2C], %%ymm0, %%ymm2") /* ymm2 = X + 1 */ \
160 __ASM_EMIT("vaddps 0x040 + %[L2C], %%ymm4, %%ymm6") \
161 __ASM_EMIT("vsubps 0x040 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = X - 1 */ \
162 __ASM_EMIT("vsubps 0x040 + %[L2C], %%ymm4, %%ymm4") \
163 __ASM_EMIT("vdivps %%ymm2, %%ymm0, %%ymm0") /* ymm0 = y = (X-1)/(X+1) */ \
164 __ASM_EMIT("vdivps %%ymm6, %%ymm4, %%ymm4") \
165 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm2") /* ymm2 = Y = y*y */ \
166 __ASM_EMIT("vmulps %%ymm4, %%ymm4, %%ymm6") \
167 /* ymm0 = y, ymm1 = R, ymm2 = Y */ \
168 __ASM_EMIT("vmulps 0x060 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C0*Y */ \
169 __ASM_EMIT("vmulps 0x060 + %[L2C], %%ymm6, %%ymm7") \
170 __ASM_EMIT("vaddps 0x080 + %[L2C], %%ymm3, %%ymm3") /* ymm3 = C1+C0*Y */ \
171 __ASM_EMIT("vaddps 0x080 + %[L2C], %%ymm7, %%ymm7") \
172 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = Y*(C1+C0*Y) */ \
173 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
174 __ASM_EMIT("vaddps 0x0a0 + %[L2C], %%ymm3, %%ymm3") /* ymm3 = C2+Y*(C1+C0*Y) */ \
175 __ASM_EMIT("vaddps 0x0a0 + %[L2C], %%ymm7, %%ymm7") \
176 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = Y*(C2+Y*(C1+C0*Y)) */ \
177 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
178 __ASM_EMIT("vaddps 0x0c0 + %[L2C], %%ymm3, %%ymm3") /* ymm3 = C3+Y*(C2+Y*(C1+C0*Y)) */ \
179 __ASM_EMIT("vaddps 0x0c0 + %[L2C], %%ymm7, %%ymm7") \
180 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = Y*(C3+Y*(C2+Y*(C1+C0*Y))) */ \
181 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
182 __ASM_EMIT("vaddps 0x0e0 + %[L2C], %%ymm3, %%ymm3") /* ymm3 = C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))) */ \
183 __ASM_EMIT("vaddps 0x0e0 + %[L2C], %%ymm7, %%ymm7") \
184 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y)))) */ \
185 __ASM_EMIT("vmulps %%ymm6, %%ymm7, %%ymm7") \
186 __ASM_EMIT("vaddps 0x100 + %[L2C], %%ymm3, %%ymm3") /* ymm3 = C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y)))) */ \
187 __ASM_EMIT("vaddps 0x100 + %[L2C], %%ymm7, %%ymm7") \
188 __ASM_EMIT("vmulps %%ymm0, %%ymm3, %%ymm0") /* ymm0 = y*(C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))))) */ \
189 __ASM_EMIT("vmulps %%ymm4, %%ymm7, %%ymm4") \
190
191 #define LOGN_CORE_X8 \
192 __ASM_EMIT("vpsrld $23, %%ymm0, %%ymm1") /* ymm1 = ilog2(x) + 127 */ \
193 __ASM_EMIT("vpand 0x000 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = x & F_MASK */ \
194 __ASM_EMIT("vpsubd 0x020 + %[L2C], %%ymm1, %%ymm1") /* ymm1 = r = ilog2(x) */ \
195 __ASM_EMIT("vpor 0x040 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = X = (x & F_MASK) | 1.0f */ \
196 __ASM_EMIT("vcvtdq2ps %%ymm1, %%ymm1") /* ymm1 = R = float(r) */ \
197 __ASM_EMIT("vaddps 0x040 + %[L2C], %%ymm0, %%ymm2") /* ymm2 = X + 1 */ \
198 __ASM_EMIT("vsubps 0x040 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = X - 1 */ \
199 __ASM_EMIT("vdivps %%ymm2, %%ymm0, %%ymm0") /* ymm0 = y = (X-1)/(X+1) */ \
200 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm2") /* ymm2 = Y = y*y */ \
201 /* ymm0 = y, ymm1 = R, ymm2 = Y */ \
202 __ASM_EMIT("vmulps 0x060 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C0*Y */ \
203 __ASM_EMIT("vaddps 0x080 + %[L2C], %%ymm3, %%ymm3") /* ymm3 = C1+C0*Y */ \
204 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = Y*(C1+C0*Y) */ \
205 __ASM_EMIT("vaddps 0x0a0 + %[L2C], %%ymm3, %%ymm3") /* ymm3 = C2+Y*(C1+C0*Y) */ \
206 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = Y*(C2+Y*(C1+C0*Y)) */ \
207 __ASM_EMIT("vaddps 0x0c0 + %[L2C], %%ymm3, %%ymm3") /* ymm3 = C3+Y*(C2+Y*(C1+C0*Y)) */ \
208 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = Y*(C3+Y*(C2+Y*(C1+C0*Y))) */ \
209 __ASM_EMIT("vaddps 0x0e0 + %[L2C], %%ymm3, %%ymm3") /* ymm3 = C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))) */ \
210 __ASM_EMIT("vmulps %%ymm2, %%ymm3, %%ymm3") /* ymm3 = Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y)))) */ \
211 __ASM_EMIT("vaddps 0x100 + %[L2C], %%ymm3, %%ymm3") /* ymm3 = C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y)))) */ \
212 __ASM_EMIT("vmulps %%ymm0, %%ymm3, %%ymm0") /* ymm0 = y*(C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))))) */ \
213
214 #define LOGN_CORE_X4 \
215 __ASM_EMIT("vpsrld $23, %%xmm0, %%xmm1") /* xmm1 = ilog2(x) + 127 */ \
216 __ASM_EMIT("vpand 0x000 + %[L2C], %%xmm0, %%xmm0") /* xmm0 = x & F_MASK */ \
217 __ASM_EMIT("vpsubd 0x020 + %[L2C], %%xmm1, %%xmm1") /* xmm1 = r = ilog2(x) */ \
218 __ASM_EMIT("vpor 0x040 + %[L2C], %%xmm0, %%xmm0") /* xmm0 = X = (x & F_MASK) | 1.0f */ \
219 __ASM_EMIT("vcvtdq2ps %%xmm1, %%xmm1") /* xmm1 = R = float(r) */ \
220 __ASM_EMIT("vaddps 0x040 + %[L2C], %%xmm0, %%xmm2") /* xmm2 = X + 1 */ \
221 __ASM_EMIT("vsubps 0x040 + %[L2C], %%xmm0, %%xmm0") /* xmm0 = X - 1 */ \
222 __ASM_EMIT("vdivps %%xmm2, %%xmm0, %%xmm0") /* xmm0 = y = (X-1)/(X+1) */ \
223 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm2") /* xmm2 = Y = y*y */ \
224 /* xmm0 = y, xmm1 = R, xmm2 = Y */ \
225 __ASM_EMIT("vmulps 0x060 + %[L2C], %%xmm2, %%xmm3") /* xmm3 = C0*Y */ \
226 __ASM_EMIT("vaddps 0x080 + %[L2C], %%xmm3, %%xmm3") /* xmm3 = C1+C0*Y */ \
227 __ASM_EMIT("vmulps %%xmm2, %%xmm3, %%xmm3") /* xmm3 = Y*(C1+C0*Y) */ \
228 __ASM_EMIT("vaddps 0x0a0 + %[L2C], %%xmm3, %%xmm3") /* xmm3 = C2+Y*(C1+C0*Y) */ \
229 __ASM_EMIT("vmulps %%xmm2, %%xmm3, %%xmm3") /* xmm3 = Y*(C2+Y*(C1+C0*Y)) */ \
230 __ASM_EMIT("vaddps 0x0c0 + %[L2C], %%xmm3, %%xmm3") /* xmm3 = C3+Y*(C2+Y*(C1+C0*Y)) */ \
231 __ASM_EMIT("vmulps %%xmm2, %%xmm3, %%xmm3") /* xmm3 = Y*(C3+Y*(C2+Y*(C1+C0*Y))) */ \
232 __ASM_EMIT("vaddps 0x0e0 + %[L2C], %%xmm3, %%xmm3") /* xmm3 = C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))) */ \
233 __ASM_EMIT("vmulps %%xmm2, %%xmm3, %%xmm3") /* xmm3 = Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y)))) */ \
234 __ASM_EMIT("vaddps 0x100 + %[L2C], %%xmm3, %%xmm3") /* xmm3 = C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y)))) */ \
235 __ASM_EMIT("vmulps %%xmm0, %%xmm3, %%xmm0") /* xmm0 = y*(C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))))) */ \
236
237 #define LOGB_CORE_X32 \
238 LOGN_CORE_X32 \
239 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") \
240 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm4, %%ymm4") \
241 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm8, %%ymm8") \
242 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm12, %%ymm12") \
243 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") \
244 __ASM_EMIT("vaddps %%ymm5, %%ymm4, %%ymm4") \
245 __ASM_EMIT("vaddps %%ymm9, %%ymm8, %%ymm8") \
246 __ASM_EMIT("vaddps %%ymm13, %%ymm12, %%ymm12")
247
248 #define LOGB_CORE_X16 \
249 LOGN_CORE_X16 \
250 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") \
251 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm4, %%ymm4") \
252 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") \
253 __ASM_EMIT("vaddps %%ymm5, %%ymm4, %%ymm4")
254
255 #define LOGB_CORE_X8 \
256 LOGN_CORE_X8 \
257 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") \
258 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0")
259
260 #define LOGB_CORE_X4 \
261 LOGN_CORE_X8 \
262 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%xmm0, %%xmm0") \
263 __ASM_EMIT("vaddps %%xmm1, %%xmm0, %%xmm0")
264
265 #define LOGE_CORE_X32 \
266 LOGN_CORE_X32 \
267 __ASM_EMIT("vaddps %%ymm0, %%ymm0, %%ymm0") \
268 __ASM_EMIT("vaddps %%ymm4, %%ymm4, %%ymm4") \
269 __ASM_EMIT("vaddps %%ymm8, %%ymm8, %%ymm8") \
270 __ASM_EMIT("vaddps %%ymm12, %%ymm12, %%ymm12") \
271 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm1, %%ymm1") \
272 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm5, %%ymm5") \
273 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm9, %%ymm9") \
274 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm13, %%ymm13") \
275 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") \
276 __ASM_EMIT("vaddps %%ymm5, %%ymm4, %%ymm4") \
277 __ASM_EMIT("vaddps %%ymm9, %%ymm8, %%ymm8") \
278 __ASM_EMIT("vaddps %%ymm13, %%ymm12, %%ymm12") \
279
280 #define LOGE_CORE_X16 \
281 LOGN_CORE_X16 \
282 __ASM_EMIT("vaddps %%ymm0, %%ymm0, %%ymm0") \
283 __ASM_EMIT("vaddps %%ymm4, %%ymm4, %%ymm4") \
284 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm1, %%ymm1") \
285 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm5, %%ymm5") \
286 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") \
287 __ASM_EMIT("vaddps %%ymm5, %%ymm4, %%ymm4")
288
289 #define LOGE_CORE_X8 \
290 LOGN_CORE_X8 \
291 __ASM_EMIT("vaddps %%ymm0, %%ymm0, %%ymm0") \
292 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm1, %%ymm1") \
293 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0")
294
295 #define LOGE_CORE_X4 \
296 LOGN_CORE_X4 \
297 __ASM_EMIT("vaddps %%xmm0, %%xmm0, %%xmm0") \
298 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%xmm1, %%xmm1") \
299 __ASM_EMIT("vaddps %%xmm1, %%xmm0, %%xmm0")
300
301 #define LOGD_CORE_X32 \
302 LOGN_CORE_X32 \
303 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") \
304 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm4, %%ymm4") \
305 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm8, %%ymm8") \
306 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm12, %%ymm12") \
307 __ASM_EMIT("vmulps 0x20 + %[LOGC], %%ymm1, %%ymm1") \
308 __ASM_EMIT("vmulps 0x20 + %[LOGC], %%ymm5, %%ymm5") \
309 __ASM_EMIT("vmulps 0x20 + %[LOGC], %%ymm9, %%ymm9") \
310 __ASM_EMIT("vmulps 0x20 + %[LOGC], %%ymm13, %%ymm13") \
311 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") \
312 __ASM_EMIT("vaddps %%ymm5, %%ymm4, %%ymm4") \
313 __ASM_EMIT("vaddps %%ymm9, %%ymm8, %%ymm8") \
314 __ASM_EMIT("vaddps %%ymm13, %%ymm12, %%ymm12")
315
316 #define LOGD_CORE_X16 \
317 LOGN_CORE_X16 \
318 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") \
319 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm4, %%ymm4") \
320 __ASM_EMIT("vmulps 0x20 + %[LOGC], %%ymm1, %%ymm1") \
321 __ASM_EMIT("vmulps 0x20 + %[LOGC], %%ymm5, %%ymm5") \
322 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") \
323 __ASM_EMIT("vaddps %%ymm5, %%ymm4, %%ymm4")
324
325 #define LOGD_CORE_X8 \
326 LOGN_CORE_X8 \
327 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") \
328 __ASM_EMIT("vmulps 0x20 + %[LOGC], %%ymm1, %%ymm1") \
329 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0")
330
331 #define LOGD_CORE_X4 \
332 LOGN_CORE_X4 \
333 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%xmm0, %%xmm0") \
334 __ASM_EMIT("vmulps 0x20 + %[LOGC], %%xmm1, %%xmm1") \
335 __ASM_EMIT("vaddps %%xmm1, %%xmm0, %%xmm0")
336
337
338 void x64_logb2(float *dst, const float *src, size_t count)
339 {
340 ARCH_X86_64_ASM(
341 // x32 blocks
342 __ASM_EMIT("sub $32, %[count]")
343 __ASM_EMIT("jb 2f")
344 __ASM_EMIT("1:")
345 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
346 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
347 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
348 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
349 LOGB_CORE_X32
350 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
351 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
352 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
353 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
354 __ASM_EMIT("add $0x80, %[src]")
355 __ASM_EMIT("add $0x80, %[dst]")
356 __ASM_EMIT("sub $32, %[count]")
357 __ASM_EMIT("jae 1b")
358 __ASM_EMIT("2:")
359 // x16 block
360 __ASM_EMIT("add $16, %[count]")
361 __ASM_EMIT("jl 4f")
362 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
363 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
364 LOGB_CORE_X16
365 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
366 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
367 __ASM_EMIT("add $0x40, %[src]")
368 __ASM_EMIT("add $0x40, %[dst]")
369 __ASM_EMIT("sub $16, %[count]")
370 __ASM_EMIT("4:")
371 // x8 block
372 __ASM_EMIT("add $8, %[count]")
373 __ASM_EMIT("jl 6f")
374 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
375 LOGB_CORE_X8
376 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
377 __ASM_EMIT("add $0x20, %[src]")
378 __ASM_EMIT("add $0x20, %[dst]")
379 __ASM_EMIT("sub $8, %[count]")
380 __ASM_EMIT("6:")
381 // x4 block
382 __ASM_EMIT("add $4, %[count]")
383 __ASM_EMIT("jl 8f")
384 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
385 LOGB_CORE_X4
386 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
387 __ASM_EMIT("add $0x10, %[src]")
388 __ASM_EMIT("add $0x10, %[dst]")
389 __ASM_EMIT("sub $4, %[count]")
390 __ASM_EMIT("8:")
391 // Tail: 1x-3x block
392 __ASM_EMIT("add $4, %[count]")
393 __ASM_EMIT("jle 16f")
394 __ASM_EMIT("test $1, %[count]")
395 __ASM_EMIT("jz 10f")
396 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
397 __ASM_EMIT("add $4, %[src]")
398 __ASM_EMIT("10:")
399 __ASM_EMIT("test $2, %[count]")
400 __ASM_EMIT("jz 12f")
401 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
402 __ASM_EMIT("12:")
403 LOGB_CORE_X4
404 __ASM_EMIT("test $1, %[count]")
405 __ASM_EMIT("jz 14f")
406 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
407 __ASM_EMIT("add $4, %[dst]")
408 __ASM_EMIT("14:")
409 __ASM_EMIT("test $2, %[count]")
410 __ASM_EMIT("jz 16f")
411 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
412 __ASM_EMIT("16:")
413
414 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
415 : [L2C] "o" (LOG2_CONST),
416 [LOGC] "o" (LOGB_C)
417 : "cc", "memory",
418 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
419 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
420 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
421 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
422 );
423 }
424
425 void logb2(float *dst, const float *src, size_t count)
426 {
427 ARCH_X86_ASM(
428 // x16 blocks
429 __ASM_EMIT("sub $16, %[count]")
430 __ASM_EMIT("jb 2f")
431 __ASM_EMIT("1:")
432 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
433 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
434 LOGB_CORE_X16
435 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
436 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
437 __ASM_EMIT("add $0x40, %[src]")
438 __ASM_EMIT("add $0x40, %[dst]")
439 __ASM_EMIT("sub $16, %[count]")
440 __ASM_EMIT("jae 1b")
441 __ASM_EMIT("2:")
442 // x8 block
443 __ASM_EMIT("add $8, %[count]")
444 __ASM_EMIT("jl 4f")
445 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
446 LOGB_CORE_X8
447 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
448 __ASM_EMIT("add $0x20, %[src]")
449 __ASM_EMIT("add $0x20, %[dst]")
450 __ASM_EMIT("sub $8, %[count]")
451 __ASM_EMIT("4:")
452 // x4 block
453 __ASM_EMIT("add $4, %[count]")
454 __ASM_EMIT("jl 6f")
455 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
456 LOGB_CORE_X4
457 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
458 __ASM_EMIT("add $0x10, %[src]")
459 __ASM_EMIT("add $0x10, %[dst]")
460 __ASM_EMIT("sub $4, %[count]")
461 __ASM_EMIT("6:")
462 // Tail: 1x-3x block
463 __ASM_EMIT("add $4, %[count]")
464 __ASM_EMIT("jle 14f")
465 __ASM_EMIT("test $1, %[count]")
466 __ASM_EMIT("jz 8f")
467 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
468 __ASM_EMIT("add $4, %[src]")
469 __ASM_EMIT("8:")
470 __ASM_EMIT("test $2, %[count]")
471 __ASM_EMIT("jz 10f")
472 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
473 __ASM_EMIT("10:")
474 LOGB_CORE_X4
475 __ASM_EMIT("test $1, %[count]")
476 __ASM_EMIT("jz 12f")
477 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
478 __ASM_EMIT("add $4, %[dst]")
479 __ASM_EMIT("12:")
480 __ASM_EMIT("test $2, %[count]")
481 __ASM_EMIT("jz 14f")
482 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
483 __ASM_EMIT("14:")
484
485 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
486 : [L2C] "o" (LOG2_CONST),
487 [LOGC] "o" (LOGB_C)
488 : "cc", "memory",
489 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
490 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
491 );
492 }
493
494 void x64_logb1(float *dst, size_t count)
495 {
496 IF_ARCH_X86_64(float *src);
497
498 ARCH_X86_64_ASM(
499 // x32 blocks
500 __ASM_EMIT("sub $32, %[count]")
501 __ASM_EMIT("jb 2f")
502 __ASM_EMIT("1:")
503 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
504 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
505 __ASM_EMIT("vmovups 0x40(%[dst]), %%ymm8")
506 __ASM_EMIT("vmovups 0x60(%[dst]), %%ymm12")
507 LOGB_CORE_X32
508 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
509 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
510 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
511 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
512 __ASM_EMIT("add $0x80, %[dst]")
513 __ASM_EMIT("sub $32, %[count]")
514 __ASM_EMIT("jae 1b")
515 __ASM_EMIT("2:")
516 // x16 block
517 __ASM_EMIT("add $16, %[count]")
518 __ASM_EMIT("jl 4f")
519 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
520 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
521 LOGB_CORE_X16
522 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
523 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
524 __ASM_EMIT("add $0x40, %[dst]")
525 __ASM_EMIT("sub $16, %[count]")
526 __ASM_EMIT("4:")
527 // x8 block
528 __ASM_EMIT("add $8, %[count]")
529 __ASM_EMIT("jl 6f")
530 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
531 LOGB_CORE_X8
532 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
533 __ASM_EMIT("add $0x20, %[dst]")
534 __ASM_EMIT("sub $8, %[count]")
535 __ASM_EMIT("6:")
536 // x4 block
537 __ASM_EMIT("add $4, %[count]")
538 __ASM_EMIT("jl 8f")
539 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
540 LOGB_CORE_X4
541 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
542 __ASM_EMIT("add $0x10, %[dst]")
543 __ASM_EMIT("sub $4, %[count]")
544 __ASM_EMIT("8:")
545 // Tail: 1x-3x block
546 __ASM_EMIT("add $4, %[count]")
547 __ASM_EMIT("jle 16f")
548 __ASM_EMIT("mov %[dst], %[src]")
549 __ASM_EMIT("test $1, %[count]")
550 __ASM_EMIT("jz 10f")
551 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
552 __ASM_EMIT("add $4, %[src]")
553 __ASM_EMIT("10:")
554 __ASM_EMIT("test $2, %[count]")
555 __ASM_EMIT("jz 12f")
556 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
557 __ASM_EMIT("12:")
558 LOGB_CORE_X4
559 __ASM_EMIT("test $1, %[count]")
560 __ASM_EMIT("jz 14f")
561 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
562 __ASM_EMIT("add $4, %[dst]")
563 __ASM_EMIT("14:")
564 __ASM_EMIT("test $2, %[count]")
565 __ASM_EMIT("jz 16f")
566 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
567 __ASM_EMIT("16:")
568
569 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
570 : [L2C] "o" (LOG2_CONST),
571 [LOGC] "o" (LOGB_C)
572 : "cc", "memory",
573 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
574 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
575 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
576 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
577 );
578 }
579
580 void logb1(float *dst, size_t count)
581 {
582 IF_ARCH_X86(float *src);
583
584 ARCH_X86_ASM(
585 // x16 blocks
586 __ASM_EMIT("sub $16, %[count]")
587 __ASM_EMIT("jb 2f")
588 __ASM_EMIT("1:")
589 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
590 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
591 LOGB_CORE_X16
592 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
593 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
594 __ASM_EMIT("add $0x40, %[dst]")
595 __ASM_EMIT("sub $16, %[count]")
596 __ASM_EMIT("jae 1b")
597 __ASM_EMIT("2:")
598 // x8 block
599 __ASM_EMIT("add $8, %[count]")
600 __ASM_EMIT("jl 4f")
601 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
602 LOGB_CORE_X8
603 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
604 __ASM_EMIT("add $0x20, %[dst]")
605 __ASM_EMIT("sub $8, %[count]")
606 __ASM_EMIT("4:")
607 // x4 block
608 __ASM_EMIT("add $4, %[count]")
609 __ASM_EMIT("jl 6f")
610 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
611 LOGB_CORE_X4
612 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
613 __ASM_EMIT("add $0x10, %[dst]")
614 __ASM_EMIT("sub $4, %[count]")
615 __ASM_EMIT("6:")
616 // Tail: 1x-3x block
617 __ASM_EMIT("add $4, %[count]")
618 __ASM_EMIT("jle 14f")
619 __ASM_EMIT("mov %[dst], %[src]")
620 __ASM_EMIT("test $1, %[count]")
621 __ASM_EMIT("jz 8f")
622 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
623 __ASM_EMIT("add $4, %[src]")
624 __ASM_EMIT("8:")
625 __ASM_EMIT("test $2, %[count]")
626 __ASM_EMIT("jz 10f")
627 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
628 __ASM_EMIT("10:")
629 LOGB_CORE_X4
630 __ASM_EMIT("test $1, %[count]")
631 __ASM_EMIT("jz 12f")
632 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
633 __ASM_EMIT("add $4, %[dst]")
634 __ASM_EMIT("12:")
635 __ASM_EMIT("test $2, %[count]")
636 __ASM_EMIT("jz 14f")
637 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
638 __ASM_EMIT("14:")
639
640 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
641 : [L2C] "o" (LOG2_CONST),
642 [LOGC] "o" (LOGB_C)
643 : "cc", "memory",
644 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
645 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
646 );
647 }
648
649 void x64_loge2(float *dst, const float *src, size_t count)
650 {
651 ARCH_X86_64_ASM(
652 // x32 blocks
653 __ASM_EMIT("sub $32, %[count]")
654 __ASM_EMIT("jb 2f")
655 __ASM_EMIT("1:")
656 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
657 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
658 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
659 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
660 LOGE_CORE_X32
661 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
662 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
663 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
664 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
665 __ASM_EMIT("add $0x80, %[src]")
666 __ASM_EMIT("add $0x80, %[dst]")
667 __ASM_EMIT("sub $32, %[count]")
668 __ASM_EMIT("jae 1b")
669 __ASM_EMIT("2:")
670 // x16 block
671 __ASM_EMIT("add $16, %[count]")
672 __ASM_EMIT("jl 4f")
673 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
674 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
675 LOGE_CORE_X16
676 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
677 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
678 __ASM_EMIT("add $0x40, %[src]")
679 __ASM_EMIT("add $0x40, %[dst]")
680 __ASM_EMIT("sub $16, %[count]")
681 __ASM_EMIT("4:")
682 // x8 block
683 __ASM_EMIT("add $8, %[count]")
684 __ASM_EMIT("jl 6f")
685 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
686 LOGE_CORE_X8
687 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
688 __ASM_EMIT("add $0x20, %[src]")
689 __ASM_EMIT("add $0x20, %[dst]")
690 __ASM_EMIT("sub $8, %[count]")
691 __ASM_EMIT("6:")
692 // x4 block
693 __ASM_EMIT("add $4, %[count]")
694 __ASM_EMIT("jl 8f")
695 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
696 LOGE_CORE_X4
697 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
698 __ASM_EMIT("add $0x10, %[src]")
699 __ASM_EMIT("add $0x10, %[dst]")
700 __ASM_EMIT("sub $4, %[count]")
701 __ASM_EMIT("8:")
702 // Tail: 1x-3x block
703 __ASM_EMIT("add $4, %[count]")
704 __ASM_EMIT("jle 16f")
705 __ASM_EMIT("test $1, %[count]")
706 __ASM_EMIT("jz 10f")
707 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
708 __ASM_EMIT("add $4, %[src]")
709 __ASM_EMIT("10:")
710 __ASM_EMIT("test $2, %[count]")
711 __ASM_EMIT("jz 12f")
712 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
713 __ASM_EMIT("12:")
714 LOGE_CORE_X4
715 __ASM_EMIT("test $1, %[count]")
716 __ASM_EMIT("jz 14f")
717 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
718 __ASM_EMIT("add $4, %[dst]")
719 __ASM_EMIT("14:")
720 __ASM_EMIT("test $2, %[count]")
721 __ASM_EMIT("jz 16f")
722 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
723 __ASM_EMIT("16:")
724
725 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
726 : [L2C] "o" (LOG2_CONST),
727 [LOGC] "o" (LOGE_C)
728 : "cc", "memory",
729 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
730 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
731 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
732 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
733 );
734 }
735
736 void loge2(float *dst, const float *src, size_t count)
737 {
738 ARCH_X86_ASM(
739 // x16 block
740 __ASM_EMIT("sub $16, %[count]")
741 __ASM_EMIT("jb 2f")
742 __ASM_EMIT("1:")
743 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
744 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
745 LOGE_CORE_X16
746 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
747 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
748 __ASM_EMIT("add $0x40, %[src]")
749 __ASM_EMIT("add $0x40, %[dst]")
750 __ASM_EMIT("sub $16, %[count]")
751 __ASM_EMIT("jae 1b")
752 __ASM_EMIT("2:")
753 // x8 block
754 __ASM_EMIT("add $8, %[count]")
755 __ASM_EMIT("jl 4f")
756 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
757 LOGE_CORE_X8
758 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
759 __ASM_EMIT("add $0x20, %[src]")
760 __ASM_EMIT("add $0x20, %[dst]")
761 __ASM_EMIT("sub $8, %[count]")
762 __ASM_EMIT("4:")
763 // x4 block
764 __ASM_EMIT("add $4, %[count]")
765 __ASM_EMIT("jl 6f")
766 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
767 LOGE_CORE_X4
768 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
769 __ASM_EMIT("add $0x10, %[src]")
770 __ASM_EMIT("add $0x10, %[dst]")
771 __ASM_EMIT("sub $4, %[count]")
772 __ASM_EMIT("6:")
773 // Tail: 1x-3x block
774 __ASM_EMIT("add $4, %[count]")
775 __ASM_EMIT("jle 14f")
776 __ASM_EMIT("test $1, %[count]")
777 __ASM_EMIT("jz 8f")
778 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
779 __ASM_EMIT("add $4, %[src]")
780 __ASM_EMIT("8:")
781 __ASM_EMIT("test $2, %[count]")
782 __ASM_EMIT("jz 10f")
783 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
784 __ASM_EMIT("10:")
785 LOGE_CORE_X4
786 __ASM_EMIT("test $1, %[count]")
787 __ASM_EMIT("jz 12f")
788 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
789 __ASM_EMIT("add $4, %[dst]")
790 __ASM_EMIT("12:")
791 __ASM_EMIT("test $2, %[count]")
792 __ASM_EMIT("jz 14f")
793 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
794 __ASM_EMIT("14:")
795
796 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
797 : [L2C] "o" (LOG2_CONST),
798 [LOGC] "o" (LOGE_C)
799 : "cc", "memory",
800 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
801 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
802 );
803 }
804
805 void x64_loge1(float *dst, size_t count)
806 {
807 IF_ARCH_X86_64(float *src);
808
809 ARCH_X86_64_ASM(
810 // x32 blocks
811 __ASM_EMIT("sub $32, %[count]")
812 __ASM_EMIT("jb 2f")
813 __ASM_EMIT("1:")
814 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
815 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
816 __ASM_EMIT("vmovups 0x40(%[dst]), %%ymm8")
817 __ASM_EMIT("vmovups 0x60(%[dst]), %%ymm12")
818 LOGE_CORE_X32
819 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
820 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
821 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
822 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
823 __ASM_EMIT("add $0x80, %[dst]")
824 __ASM_EMIT("sub $32, %[count]")
825 __ASM_EMIT("jae 1b")
826 __ASM_EMIT("2:")
827 // x16 block
828 __ASM_EMIT("add $16, %[count]")
829 __ASM_EMIT("jl 4f")
830 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
831 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
832 LOGE_CORE_X16
833 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
834 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
835 __ASM_EMIT("add $0x40, %[dst]")
836 __ASM_EMIT("sub $16, %[count]")
837 __ASM_EMIT("4:")
838 // x8 block
839 __ASM_EMIT("add $8, %[count]")
840 __ASM_EMIT("jl 6f")
841 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
842 LOGE_CORE_X8
843 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
844 __ASM_EMIT("add $0x20, %[dst]")
845 __ASM_EMIT("sub $8, %[count]")
846 __ASM_EMIT("6:")
847 // x4 block
848 __ASM_EMIT("add $4, %[count]")
849 __ASM_EMIT("jl 8f")
850 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
851 LOGE_CORE_X4
852 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
853 __ASM_EMIT("add $0x10, %[dst]")
854 __ASM_EMIT("sub $4, %[count]")
855 __ASM_EMIT("8:")
856 // Tail: 1x-3x block
857 __ASM_EMIT("add $4, %[count]")
858 __ASM_EMIT("jle 16f")
859 __ASM_EMIT("mov %[dst], %[src]")
860 __ASM_EMIT("test $1, %[count]")
861 __ASM_EMIT("jz 10f")
862 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
863 __ASM_EMIT("add $4, %[src]")
864 __ASM_EMIT("10:")
865 __ASM_EMIT("test $2, %[count]")
866 __ASM_EMIT("jz 12f")
867 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
868 __ASM_EMIT("12:")
869 LOGE_CORE_X4
870 __ASM_EMIT("test $1, %[count]")
871 __ASM_EMIT("jz 14f")
872 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
873 __ASM_EMIT("add $4, %[dst]")
874 __ASM_EMIT("14:")
875 __ASM_EMIT("test $2, %[count]")
876 __ASM_EMIT("jz 16f")
877 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
878 __ASM_EMIT("16:")
879
880 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
881 : [L2C] "o" (LOG2_CONST),
882 [LOGC] "o" (LOGE_C)
883 : "cc", "memory",
884 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
885 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
886 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
887 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
888 );
889 }
890
891 void loge1(float *dst, size_t count)
892 {
893 IF_ARCH_X86(float *src);
894
895 ARCH_X86_ASM(
896 // x16 blocks
897 __ASM_EMIT("sub $16, %[count]")
898 __ASM_EMIT("jb 2f")
899 __ASM_EMIT("1:")
900 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
901 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
902 LOGE_CORE_X16
903 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
904 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
905 __ASM_EMIT("add $0x40, %[dst]")
906 __ASM_EMIT("sub $16, %[count]")
907 __ASM_EMIT("jae 1b")
908 __ASM_EMIT("2:")
909 // x8 block
910 __ASM_EMIT("add $8, %[count]")
911 __ASM_EMIT("jl 4f")
912 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
913 LOGE_CORE_X8
914 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
915 __ASM_EMIT("add $0x20, %[dst]")
916 __ASM_EMIT("sub $8, %[count]")
917 __ASM_EMIT("4:")
918 // x4 block
919 __ASM_EMIT("add $4, %[count]")
920 __ASM_EMIT("jl 6f")
921 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
922 LOGE_CORE_X4
923 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
924 __ASM_EMIT("add $0x10, %[dst]")
925 __ASM_EMIT("sub $4, %[count]")
926 __ASM_EMIT("6:")
927 // Tail: 1x-3x block
928 __ASM_EMIT("add $4, %[count]")
929 __ASM_EMIT("jle 14f")
930 __ASM_EMIT("mov %[dst], %[src]")
931 __ASM_EMIT("test $1, %[count]")
932 __ASM_EMIT("jz 8f")
933 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
934 __ASM_EMIT("add $4, %[src]")
935 __ASM_EMIT("8:")
936 __ASM_EMIT("test $2, %[count]")
937 __ASM_EMIT("jz 10f")
938 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
939 __ASM_EMIT("10:")
940 LOGE_CORE_X4
941 __ASM_EMIT("test $1, %[count]")
942 __ASM_EMIT("jz 12f")
943 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
944 __ASM_EMIT("add $4, %[dst]")
945 __ASM_EMIT("12:")
946 __ASM_EMIT("test $2, %[count]")
947 __ASM_EMIT("jz 14f")
948 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
949 __ASM_EMIT("14:")
950
951 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
952 : [L2C] "o" (LOG2_CONST),
953 [LOGC] "o" (LOGE_C)
954 : "cc", "memory",
955 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
956 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
957 );
958 }
959
960 void x64_logd2(float *dst, const float *src, size_t count)
961 {
962 ARCH_X86_64_ASM(
963 // x32 blocks
964 __ASM_EMIT("sub $32, %[count]")
965 __ASM_EMIT("jb 2f")
966 __ASM_EMIT("1:")
967 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
968 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
969 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
970 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
971 LOGD_CORE_X32
972 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
973 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
974 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
975 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
976 __ASM_EMIT("add $0x80, %[src]")
977 __ASM_EMIT("add $0x80, %[dst]")
978 __ASM_EMIT("sub $32, %[count]")
979 __ASM_EMIT("jae 1b")
980 __ASM_EMIT("2:")
981 // x16 block
982 __ASM_EMIT("add $16, %[count]")
983 __ASM_EMIT("jl 4f")
984 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
985 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
986 LOGD_CORE_X16
987 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
988 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
989 __ASM_EMIT("add $0x40, %[src]")
990 __ASM_EMIT("add $0x40, %[dst]")
991 __ASM_EMIT("sub $16, %[count]")
992 __ASM_EMIT("4:")
993 // x8 block
994 __ASM_EMIT("add $8, %[count]")
995 __ASM_EMIT("jl 6f")
996 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
997 LOGD_CORE_X8
998 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
999 __ASM_EMIT("add $0x20, %[src]")
1000 __ASM_EMIT("add $0x20, %[dst]")
1001 __ASM_EMIT("sub $8, %[count]")
1002 __ASM_EMIT("6:")
1003 // x4 block
1004 __ASM_EMIT("add $4, %[count]")
1005 __ASM_EMIT("jl 8f")
1006 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1007 LOGD_CORE_X4
1008 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1009 __ASM_EMIT("add $0x10, %[src]")
1010 __ASM_EMIT("add $0x10, %[dst]")
1011 __ASM_EMIT("sub $4, %[count]")
1012 __ASM_EMIT("8:")
1013 // Tail: 1x-3x block
1014 __ASM_EMIT("add $4, %[count]")
1015 __ASM_EMIT("jle 16f")
1016 __ASM_EMIT("test $1, %[count]")
1017 __ASM_EMIT("jz 10f")
1018 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1019 __ASM_EMIT("add $4, %[src]")
1020 __ASM_EMIT("10:")
1021 __ASM_EMIT("test $2, %[count]")
1022 __ASM_EMIT("jz 12f")
1023 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1024 __ASM_EMIT("12:")
1025 LOGD_CORE_X4
1026 __ASM_EMIT("test $1, %[count]")
1027 __ASM_EMIT("jz 14f")
1028 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1029 __ASM_EMIT("add $4, %[dst]")
1030 __ASM_EMIT("14:")
1031 __ASM_EMIT("test $2, %[count]")
1032 __ASM_EMIT("jz 16f")
1033 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1034 __ASM_EMIT("16:")
1035
1036 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1037 : [L2C] "o" (LOG2_CONST),
1038 [LOGC] "o" (LOGD_C)
1039 : "cc", "memory",
1040 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1041 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1042 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
1043 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1044 );
1045 }
1046
1047 void logd2(float *dst, const float *src, size_t count)
1048 {
1049 ARCH_X86_ASM(
1050 // x16 blocks
1051 __ASM_EMIT("sub $16, %[count]")
1052 __ASM_EMIT("jb 2f")
1053 __ASM_EMIT("1:")
1054 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1055 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1056 LOGD_CORE_X16
1057 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1058 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1059 __ASM_EMIT("add $0x40, %[src]")
1060 __ASM_EMIT("add $0x40, %[dst]")
1061 __ASM_EMIT("sub $16, %[count]")
1062 __ASM_EMIT("jae 1b")
1063 __ASM_EMIT("2:")
1064 // x8 block
1065 __ASM_EMIT("add $8, %[count]")
1066 __ASM_EMIT("jl 4f")
1067 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1068 LOGD_CORE_X8
1069 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1070 __ASM_EMIT("add $0x20, %[src]")
1071 __ASM_EMIT("add $0x20, %[dst]")
1072 __ASM_EMIT("sub $8, %[count]")
1073 __ASM_EMIT("4:")
1074 // x4 block
1075 __ASM_EMIT("add $4, %[count]")
1076 __ASM_EMIT("jl 6f")
1077 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1078 LOGD_CORE_X4
1079 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1080 __ASM_EMIT("add $0x10, %[src]")
1081 __ASM_EMIT("add $0x10, %[dst]")
1082 __ASM_EMIT("sub $4, %[count]")
1083 __ASM_EMIT("6:")
1084 // Tail: 1x-3x block
1085 __ASM_EMIT("add $4, %[count]")
1086 __ASM_EMIT("jle 14f")
1087 __ASM_EMIT("test $1, %[count]")
1088 __ASM_EMIT("jz 8f")
1089 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1090 __ASM_EMIT("add $4, %[src]")
1091 __ASM_EMIT("8:")
1092 __ASM_EMIT("test $2, %[count]")
1093 __ASM_EMIT("jz 10f")
1094 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1095 __ASM_EMIT("10:")
1096 LOGD_CORE_X4
1097 __ASM_EMIT("test $1, %[count]")
1098 __ASM_EMIT("jz 12f")
1099 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1100 __ASM_EMIT("add $4, %[dst]")
1101 __ASM_EMIT("12:")
1102 __ASM_EMIT("test $2, %[count]")
1103 __ASM_EMIT("jz 14f")
1104 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1105 __ASM_EMIT("14:")
1106
1107 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1108 : [L2C] "o" (LOG2_CONST),
1109 [LOGC] "o" (LOGD_C)
1110 : "cc", "memory",
1111 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1112 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1113 );
1114 }
1115
1116 void x64_logd1(float *dst, size_t count)
1117 {
1118 IF_ARCH_X86_64(float *src);
1119
1120 ARCH_X86_64_ASM(
1121 // x32 blocks
1122 __ASM_EMIT("sub $32, %[count]")
1123 __ASM_EMIT("jb 2f")
1124 __ASM_EMIT("1:")
1125 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1126 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
1127 __ASM_EMIT("vmovups 0x40(%[dst]), %%ymm8")
1128 __ASM_EMIT("vmovups 0x60(%[dst]), %%ymm12")
1129 LOGD_CORE_X32
1130 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1131 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1132 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
1133 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
1134 __ASM_EMIT("add $0x80, %[dst]")
1135 __ASM_EMIT("sub $32, %[count]")
1136 __ASM_EMIT("jae 1b")
1137 __ASM_EMIT("2:")
1138 // x16 block
1139 __ASM_EMIT("add $16, %[count]")
1140 __ASM_EMIT("jl 4f")
1141 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1142 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
1143 LOGD_CORE_X16
1144 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1145 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1146 __ASM_EMIT("add $0x40, %[dst]")
1147 __ASM_EMIT("sub $16, %[count]")
1148 __ASM_EMIT("4:")
1149 // x8 block
1150 __ASM_EMIT("add $8, %[count]")
1151 __ASM_EMIT("jl 6f")
1152 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1153 LOGD_CORE_X8
1154 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1155 __ASM_EMIT("add $0x20, %[dst]")
1156 __ASM_EMIT("sub $8, %[count]")
1157 __ASM_EMIT("6:")
1158 // x4 block
1159 __ASM_EMIT("add $4, %[count]")
1160 __ASM_EMIT("jl 8f")
1161 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
1162 LOGD_CORE_X4
1163 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1164 __ASM_EMIT("add $0x10, %[dst]")
1165 __ASM_EMIT("sub $4, %[count]")
1166 __ASM_EMIT("8:")
1167 // Tail: 1x-3x block
1168 __ASM_EMIT("add $4, %[count]")
1169 __ASM_EMIT("jle 16f")
1170 __ASM_EMIT("mov %[dst], %[src]")
1171 __ASM_EMIT("test $1, %[count]")
1172 __ASM_EMIT("jz 10f")
1173 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1174 __ASM_EMIT("add $4, %[src]")
1175 __ASM_EMIT("10:")
1176 __ASM_EMIT("test $2, %[count]")
1177 __ASM_EMIT("jz 12f")
1178 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1179 __ASM_EMIT("12:")
1180 LOGD_CORE_X4
1181 __ASM_EMIT("test $1, %[count]")
1182 __ASM_EMIT("jz 14f")
1183 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1184 __ASM_EMIT("add $4, %[dst]")
1185 __ASM_EMIT("14:")
1186 __ASM_EMIT("test $2, %[count]")
1187 __ASM_EMIT("jz 16f")
1188 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1189 __ASM_EMIT("16:")
1190
1191 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
1192 : [L2C] "o" (LOG2_CONST),
1193 [LOGC] "o" (LOGD_C)
1194 : "cc", "memory",
1195 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1196 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1197 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
1198 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1199 );
1200 }
1201
1202 void logd1(float *dst, size_t count)
1203 {
1204 IF_ARCH_X86(float *src);
1205
1206 ARCH_X86_ASM(
1207 // x16 blocks
1208 __ASM_EMIT("sub $16, %[count]")
1209 __ASM_EMIT("jb 2f")
1210 __ASM_EMIT("1:")
1211 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1212 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
1213 LOGD_CORE_X16
1214 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1215 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1216 __ASM_EMIT("add $0x40, %[dst]")
1217 __ASM_EMIT("sub $16, %[count]")
1218 __ASM_EMIT("jae 1b")
1219 __ASM_EMIT("2:")
1220 // x8 block
1221 __ASM_EMIT("add $8, %[count]")
1222 __ASM_EMIT("jl 4f")
1223 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1224 LOGD_CORE_X8
1225 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1226 __ASM_EMIT("add $0x20, %[dst]")
1227 __ASM_EMIT("sub $8, %[count]")
1228 __ASM_EMIT("4:")
1229 // x4 block
1230 __ASM_EMIT("add $4, %[count]")
1231 __ASM_EMIT("jl 6f")
1232 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
1233 LOGD_CORE_X4
1234 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1235 __ASM_EMIT("add $0x10, %[dst]")
1236 __ASM_EMIT("sub $4, %[count]")
1237 __ASM_EMIT("6:")
1238 // Tail: 1x-3x block
1239 __ASM_EMIT("add $4, %[count]")
1240 __ASM_EMIT("jle 14f")
1241 __ASM_EMIT("mov %[dst], %[src]")
1242 __ASM_EMIT("test $1, %[count]")
1243 __ASM_EMIT("jz 8f")
1244 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1245 __ASM_EMIT("add $4, %[src]")
1246 __ASM_EMIT("8:")
1247 __ASM_EMIT("test $2, %[count]")
1248 __ASM_EMIT("jz 10f")
1249 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1250 __ASM_EMIT("10:")
1251 LOGD_CORE_X4
1252 __ASM_EMIT("test $1, %[count]")
1253 __ASM_EMIT("jz 12f")
1254 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1255 __ASM_EMIT("add $4, %[dst]")
1256 __ASM_EMIT("12:")
1257 __ASM_EMIT("test $2, %[count]")
1258 __ASM_EMIT("jz 14f")
1259 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1260 __ASM_EMIT("14:")
1261
1262 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
1263 : [L2C] "o" (LOG2_CONST),
1264 [LOGC] "o" (LOGD_C)
1265 : "cc", "memory",
1266 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1267 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1268 );
1269 }
1270
1271 #define LOGN_CORE_X32_FMA3 \
1272 __ASM_EMIT("vpsrld $23, %%ymm0, %%ymm1") /* ymm1 = ilog2(x) + 127 */ \
1273 __ASM_EMIT("vpsrld $23, %%ymm4, %%ymm5") \
1274 __ASM_EMIT("vpsrld $23, %%ymm8, %%ymm9") \
1275 __ASM_EMIT("vpsrld $23, %%ymm12, %%ymm13") \
1276 __ASM_EMIT("vpand 0x000 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = x & F_MASK */ \
1277 __ASM_EMIT("vpand 0x000 + %[L2C], %%ymm4, %%ymm4") \
1278 __ASM_EMIT("vpand 0x000 + %[L2C], %%ymm8, %%ymm8") \
1279 __ASM_EMIT("vpand 0x000 + %[L2C], %%ymm12, %%ymm12") \
1280 __ASM_EMIT("vpsubd 0x020 + %[L2C], %%ymm1, %%ymm1") /* ymm1 = r = ilog2(x) */ \
1281 __ASM_EMIT("vpsubd 0x020 + %[L2C], %%ymm5, %%ymm5") \
1282 __ASM_EMIT("vpsubd 0x020 + %[L2C], %%ymm9, %%ymm9") \
1283 __ASM_EMIT("vpsubd 0x020 + %[L2C], %%ymm13, %%ymm13") \
1284 __ASM_EMIT("vpor 0x040 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = X = (x & F_MASK) | 1.0f */ \
1285 __ASM_EMIT("vpor 0x040 + %[L2C], %%ymm4, %%ymm4") \
1286 __ASM_EMIT("vpor 0x040 + %[L2C], %%ymm8, %%ymm8") \
1287 __ASM_EMIT("vpor 0x040 + %[L2C], %%ymm12, %%ymm12") \
1288 __ASM_EMIT("vcvtdq2ps %%ymm1, %%ymm1") /* ymm1 = R = float(r) */ \
1289 __ASM_EMIT("vcvtdq2ps %%ymm5, %%ymm5") \
1290 __ASM_EMIT("vcvtdq2ps %%ymm9, %%ymm9") \
1291 __ASM_EMIT("vcvtdq2ps %%ymm13, %%ymm13") \
1292 __ASM_EMIT("vaddps 0x040 + %[L2C], %%ymm0, %%ymm2") /* ymm2 = X + 1 */ \
1293 __ASM_EMIT("vaddps 0x040 + %[L2C], %%ymm4, %%ymm6") \
1294 __ASM_EMIT("vaddps 0x040 + %[L2C], %%ymm8, %%ymm10") \
1295 __ASM_EMIT("vaddps 0x040 + %[L2C], %%ymm12, %%ymm14") \
1296 __ASM_EMIT("vsubps 0x040 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = X - 1 */ \
1297 __ASM_EMIT("vsubps 0x040 + %[L2C], %%ymm4, %%ymm4") \
1298 __ASM_EMIT("vsubps 0x040 + %[L2C], %%ymm8, %%ymm8") \
1299 __ASM_EMIT("vsubps 0x040 + %[L2C], %%ymm12, %%ymm12") \
1300 __ASM_EMIT("vdivps %%ymm2, %%ymm0, %%ymm0") /* ymm0 = y = (X-1)/(X+1) */ \
1301 __ASM_EMIT("vdivps %%ymm6, %%ymm4, %%ymm4") \
1302 __ASM_EMIT("vdivps %%ymm10, %%ymm8, %%ymm8") \
1303 __ASM_EMIT("vdivps %%ymm14, %%ymm12, %%ymm12") \
1304 __ASM_EMIT("vmovaps 0x060 + %[L2C], %%ymm3") /* ymm3 = C0 */ \
1305 __ASM_EMIT("vmovaps 0x060 + %[L2C], %%ymm7") \
1306 __ASM_EMIT("vmovaps 0x060 + %[L2C], %%ymm11") \
1307 __ASM_EMIT("vmovaps 0x060 + %[L2C], %%ymm15") \
1308 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm2") /* ymm2 = Y = y*y */ \
1309 __ASM_EMIT("vmulps %%ymm4, %%ymm4, %%ymm6") \
1310 __ASM_EMIT("vmulps %%ymm8, %%ymm8, %%ymm10") \
1311 __ASM_EMIT("vmulps %%ymm12, %%ymm12, %%ymm14") \
1312 /* ymm0 = y, ymm1 = R, ymm2 = Y */ \
1313 __ASM_EMIT("vfmadd213ps 0x080 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C1+C0*Y */ \
1314 __ASM_EMIT("vfmadd213ps 0x080 + %[L2C], %%ymm6, %%ymm7") \
1315 __ASM_EMIT("vfmadd213ps 0x080 + %[L2C], %%ymm10, %%ymm11") \
1316 __ASM_EMIT("vfmadd213ps 0x080 + %[L2C], %%ymm14, %%ymm15") \
1317 __ASM_EMIT("vfmadd213ps 0x0a0 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C2+Y*(C1+C0*Y) */ \
1318 __ASM_EMIT("vfmadd213ps 0x0a0 + %[L2C], %%ymm6, %%ymm7") \
1319 __ASM_EMIT("vfmadd213ps 0x0a0 + %[L2C], %%ymm10, %%ymm11") \
1320 __ASM_EMIT("vfmadd213ps 0x0a0 + %[L2C], %%ymm14, %%ymm15") \
1321 __ASM_EMIT("vfmadd213ps 0x0c0 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C3+Y*(C2+Y*(C1+C0*Y)) */ \
1322 __ASM_EMIT("vfmadd213ps 0x0c0 + %[L2C], %%ymm6, %%ymm7") \
1323 __ASM_EMIT("vfmadd213ps 0x0c0 + %[L2C], %%ymm10, %%ymm11") \
1324 __ASM_EMIT("vfmadd213ps 0x0c0 + %[L2C], %%ymm14, %%ymm15") \
1325 __ASM_EMIT("vfmadd213ps 0x0e0 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))) */ \
1326 __ASM_EMIT("vfmadd213ps 0x0e0 + %[L2C], %%ymm6, %%ymm7") \
1327 __ASM_EMIT("vfmadd213ps 0x0e0 + %[L2C], %%ymm10, %%ymm11") \
1328 __ASM_EMIT("vfmadd213ps 0x0e0 + %[L2C], %%ymm14, %%ymm15") \
1329 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y)))) */ \
1330 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%ymm6, %%ymm7") \
1331 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%ymm10, %%ymm11") \
1332 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%ymm14, %%ymm15") \
1333 __ASM_EMIT("vmulps %%ymm0, %%ymm3, %%ymm0") /* ymm0 = y*(C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))))) */ \
1334 __ASM_EMIT("vmulps %%ymm4, %%ymm7, %%ymm4") \
1335 __ASM_EMIT("vmulps %%ymm8, %%ymm11, %%ymm8") \
1336 __ASM_EMIT("vmulps %%ymm12, %%ymm15, %%ymm12") \
1337
1338 #define LOGN_CORE_X16_FMA3 \
1339 __ASM_EMIT("vpsrld $23, %%ymm0, %%ymm1") /* ymm1 = ilog2(x) + 127 */ \
1340 __ASM_EMIT("vpsrld $23, %%ymm4, %%ymm5") \
1341 __ASM_EMIT("vpand 0x000 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = x & F_MASK */ \
1342 __ASM_EMIT("vpand 0x000 + %[L2C], %%ymm4, %%ymm4") \
1343 __ASM_EMIT("vpsubd 0x020 + %[L2C], %%ymm1, %%ymm1") /* ymm1 = r = ilog2(x) */ \
1344 __ASM_EMIT("vpsubd 0x020 + %[L2C], %%ymm5, %%ymm5") \
1345 __ASM_EMIT("vpor 0x040 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = X = (x & F_MASK) | 1.0f */ \
1346 __ASM_EMIT("vpor 0x040 + %[L2C], %%ymm4, %%ymm4") \
1347 __ASM_EMIT("vcvtdq2ps %%ymm1, %%ymm1") /* ymm1 = R = float(r) */ \
1348 __ASM_EMIT("vcvtdq2ps %%ymm5, %%ymm5") \
1349 __ASM_EMIT("vaddps 0x040 + %[L2C], %%ymm0, %%ymm2") /* ymm2 = X + 1 */ \
1350 __ASM_EMIT("vaddps 0x040 + %[L2C], %%ymm4, %%ymm6") \
1351 __ASM_EMIT("vsubps 0x040 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = X - 1 */ \
1352 __ASM_EMIT("vsubps 0x040 + %[L2C], %%ymm4, %%ymm4") \
1353 __ASM_EMIT("vdivps %%ymm2, %%ymm0, %%ymm0") /* ymm0 = y = (X-1)/(X+1) */ \
1354 __ASM_EMIT("vdivps %%ymm6, %%ymm4, %%ymm4") \
1355 __ASM_EMIT("vmovaps 0x060 + %[L2C], %%ymm3") /* ymm3 = C0 */ \
1356 __ASM_EMIT("vmovaps 0x060 + %[L2C], %%ymm7") \
1357 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm2") /* ymm2 = Y = y*y */ \
1358 __ASM_EMIT("vmulps %%ymm4, %%ymm4, %%ymm6") \
1359 /* ymm0 = y, ymm1 = R, ymm2 = Y */ \
1360 __ASM_EMIT("vfmadd213ps 0x080 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C1+C0*Y */ \
1361 __ASM_EMIT("vfmadd213ps 0x080 + %[L2C], %%ymm6, %%ymm7") \
1362 __ASM_EMIT("vfmadd213ps 0x0a0 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C2+Y*(C1+C0*Y) */ \
1363 __ASM_EMIT("vfmadd213ps 0x0a0 + %[L2C], %%ymm6, %%ymm7") \
1364 __ASM_EMIT("vfmadd213ps 0x0c0 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C3+Y*(C2+Y*(C1+C0*Y)) */ \
1365 __ASM_EMIT("vfmadd213ps 0x0c0 + %[L2C], %%ymm6, %%ymm7") \
1366 __ASM_EMIT("vfmadd213ps 0x0e0 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))) */ \
1367 __ASM_EMIT("vfmadd213ps 0x0e0 + %[L2C], %%ymm6, %%ymm7") \
1368 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y)))) */ \
1369 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%ymm6, %%ymm7") \
1370 __ASM_EMIT("vmulps %%ymm0, %%ymm3, %%ymm0") /* ymm0 = y*(C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))))) */ \
1371 __ASM_EMIT("vmulps %%ymm4, %%ymm7, %%ymm4") \
1372
1373 #define LOGN_CORE_X8_FMA3 \
1374 __ASM_EMIT("vpsrld $23, %%ymm0, %%ymm1") /* ymm1 = ilog2(x) + 127 */ \
1375 __ASM_EMIT("vpand 0x000 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = x & F_MASK */ \
1376 __ASM_EMIT("vpsubd 0x020 + %[L2C], %%ymm1, %%ymm1") /* ymm1 = r = ilog2(x) */ \
1377 __ASM_EMIT("vpor 0x040 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = X = (x & F_MASK) | 1.0f */ \
1378 __ASM_EMIT("vcvtdq2ps %%ymm1, %%ymm1") /* ymm1 = R = float(r) */ \
1379 __ASM_EMIT("vaddps 0x040 + %[L2C], %%ymm0, %%ymm2") /* ymm2 = X + 1 */ \
1380 __ASM_EMIT("vsubps 0x040 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = X - 1 */ \
1381 __ASM_EMIT("vdivps %%ymm2, %%ymm0, %%ymm0") /* ymm0 = y = (X-1)/(X+1) */ \
1382 __ASM_EMIT("vmovaps 0x060 + %[L2C], %%ymm3") /* ymm3 = C0 */ \
1383 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm2") /* ymm2 = Y = y*y */ \
1384 /* ymm0 = y, ymm1 = R, ymm2 = Y */ \
1385 __ASM_EMIT("vfmadd213ps 0x080 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C1+C0*Y */ \
1386 __ASM_EMIT("vfmadd213ps 0x0a0 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C2+Y*(C1+C0*Y) */ \
1387 __ASM_EMIT("vfmadd213ps 0x0c0 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C3+Y*(C2+Y*(C1+C0*Y)) */ \
1388 __ASM_EMIT("vfmadd213ps 0x0e0 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))) */ \
1389 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y)))) */ \
1390 __ASM_EMIT("vmulps %%ymm0, %%ymm3, %%ymm0") /* ymm0 = y*(C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))))) */ \
1391
1392 #define LOGN_CORE_X4_FMA3 \
1393 __ASM_EMIT("vpsrld $23, %%xmm0, %%xmm1") /* xmm1 = ilog2(x) + 127 */ \
1394 __ASM_EMIT("vpand 0x000 + %[L2C], %%xmm0, %%xmm0") /* xmm0 = x & F_MASK */ \
1395 __ASM_EMIT("vpsubd 0x020 + %[L2C], %%xmm1, %%xmm1") /* xmm1 = r = ilog2(x) */ \
1396 __ASM_EMIT("vpor 0x040 + %[L2C], %%xmm0, %%xmm0") /* xmm0 = X = (x & F_MASK) | 1.0f */ \
1397 __ASM_EMIT("vcvtdq2ps %%xmm1, %%xmm1") /* xmm1 = R = float(r) */ \
1398 __ASM_EMIT("vaddps 0x040 + %[L2C], %%xmm0, %%xmm2") /* xmm2 = X + 1 */ \
1399 __ASM_EMIT("vsubps 0x040 + %[L2C], %%xmm0, %%xmm0") /* xmm0 = X - 1 */ \
1400 __ASM_EMIT("vdivps %%xmm2, %%xmm0, %%xmm0") /* xmm0 = y = (X-1)/(X+1) */ \
1401 __ASM_EMIT("vmovaps 0x060 + %[L2C], %%xmm3") /* xmm3 = C0 */ \
1402 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm2") /* xmm2 = Y = y*y */ \
1403 /* xmm0 = y, xmm1 = R, xmm2 = Y */ \
1404 __ASM_EMIT("vfmadd213ps 0x080 + %[L2C], %%xmm2, %%xmm3") /* xmm3 = C1+C0*Y */ \
1405 __ASM_EMIT("vfmadd213ps 0x0a0 + %[L2C], %%xmm2, %%xmm3") /* xmm3 = C2+Y*(C1+C0*Y) */ \
1406 __ASM_EMIT("vfmadd213ps 0x0c0 + %[L2C], %%xmm2, %%xmm3") /* xmm3 = C3+Y*(C2+Y*(C1+C0*Y)) */ \
1407 __ASM_EMIT("vfmadd213ps 0x0e0 + %[L2C], %%xmm2, %%xmm3") /* xmm3 = C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))) */ \
1408 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%xmm2, %%xmm3") /* xmm3 = C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y)))) */ \
1409 __ASM_EMIT("vmulps %%xmm0, %%xmm3, %%xmm0") /* xmm0 = y*(C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))))) */ \
1410
1411
1412 #define LOGB_CORE_X32_FMA3 \
1413 LOGN_CORE_X32_FMA3 \
1414 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm1, %%ymm0") \
1415 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm5, %%ymm4") \
1416 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm9, %%ymm8") \
1417 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm13, %%ymm12")
1418
1419 #define LOGB_CORE_X16_FMA3 \
1420 LOGN_CORE_X16_FMA3 \
1421 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm1, %%ymm0") \
1422 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm5, %%ymm4")
1423
1424 #define LOGB_CORE_X8_FMA3 \
1425 LOGN_CORE_X8_FMA3 \
1426 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm1, %%ymm0")
1427
1428 #define LOGB_CORE_X4_FMA3 \
1429 LOGN_CORE_X4_FMA3 \
1430 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%xmm1, %%xmm0")
1431
1432
1433 #define LOGE_CORE_X32_FMA3 \
1434 LOGN_CORE_X32_FMA3 \
1435 __ASM_EMIT("vaddps %%ymm0, %%ymm0, %%ymm0") \
1436 __ASM_EMIT("vaddps %%ymm4, %%ymm4, %%ymm4") \
1437 __ASM_EMIT("vaddps %%ymm8, %%ymm8, %%ymm8") \
1438 __ASM_EMIT("vaddps %%ymm12, %%ymm12, %%ymm12") \
1439 __ASM_EMIT("vfmadd231ps 0x00 + %[LOGC], %%ymm1, %%ymm0") \
1440 __ASM_EMIT("vfmadd231ps 0x00 + %[LOGC], %%ymm5, %%ymm4") \
1441 __ASM_EMIT("vfmadd231ps 0x00 + %[LOGC], %%ymm9, %%ymm8") \
1442 __ASM_EMIT("vfmadd231ps 0x00 + %[LOGC], %%ymm13, %%ymm12")
1443
1444 #define LOGE_CORE_X16_FMA3 \
1445 LOGN_CORE_X16_FMA3 \
1446 __ASM_EMIT("vaddps %%ymm0, %%ymm0, %%ymm0") \
1447 __ASM_EMIT("vaddps %%ymm4, %%ymm4, %%ymm4") \
1448 __ASM_EMIT("vfmadd231ps 0x00 + %[LOGC], %%ymm1, %%ymm0") \
1449 __ASM_EMIT("vfmadd231ps 0x00 + %[LOGC], %%ymm5, %%ymm4")
1450
1451 #define LOGE_CORE_X8_FMA3 \
1452 LOGN_CORE_X8_FMA3 \
1453 __ASM_EMIT("vaddps %%ymm0, %%ymm0, %%ymm0") \
1454 __ASM_EMIT("vfmadd231ps 0x00 + %[LOGC], %%ymm1, %%ymm0")
1455
1456 #define LOGE_CORE_X4_FMA3 \
1457 LOGN_CORE_X4_FMA3 \
1458 __ASM_EMIT("vaddps %%xmm0, %%xmm0, %%xmm0") \
1459 __ASM_EMIT("vfmadd231ps 0x00 + %[LOGC], %%xmm1, %%xmm0")
1460
1461
1462 #define LOGD_CORE_X32_FMA3 \
1463 LOGN_CORE_X32_FMA3 \
1464 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") \
1465 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm4, %%ymm4") \
1466 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm8, %%ymm8") \
1467 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm12, %%ymm12") \
1468 __ASM_EMIT("vfmadd231ps 0x20 + %[LOGC], %%ymm1, %%ymm0") \
1469 __ASM_EMIT("vfmadd231ps 0x20 + %[LOGC], %%ymm5, %%ymm4") \
1470 __ASM_EMIT("vfmadd231ps 0x20 + %[LOGC], %%ymm9, %%ymm8") \
1471 __ASM_EMIT("vfmadd231ps 0x20 + %[LOGC], %%ymm13, %%ymm12")
1472
1473 #define LOGD_CORE_X16_FMA3 \
1474 LOGN_CORE_X16_FMA3 \
1475 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") \
1476 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm4, %%ymm4") \
1477 __ASM_EMIT("vfmadd231ps 0x20 + %[LOGC], %%ymm1, %%ymm0") \
1478 __ASM_EMIT("vfmadd231ps 0x20 + %[LOGC], %%ymm5, %%ymm4")
1479
1480 #define LOGD_CORE_X8_FMA3 \
1481 LOGN_CORE_X8_FMA3 \
1482 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") \
1483 __ASM_EMIT("vfmadd231ps 0x20 + %[LOGC], %%ymm1, %%ymm0")
1484
1485 #define LOGD_CORE_X4_FMA3 \
1486 LOGN_CORE_X4_FMA3 \
1487 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%xmm0, %%xmm0") \
1488 __ASM_EMIT("vfmadd231ps 0x20 + %[LOGC], %%xmm1, %%xmm0")
1489
1490
1491
1492 void x64_logb2_fma3(float *dst, const float *src, size_t count)
1493 {
1494 ARCH_X86_64_ASM(
1495 // x32 blocks
1496 __ASM_EMIT("sub $32, %[count]")
1497 __ASM_EMIT("jb 2f")
1498 __ASM_EMIT("1:")
1499 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1500 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1501 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
1502 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
1503 LOGB_CORE_X32_FMA3
1504 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1505 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1506 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
1507 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
1508 __ASM_EMIT("add $0x80, %[src]")
1509 __ASM_EMIT("add $0x80, %[dst]")
1510 __ASM_EMIT("sub $32, %[count]")
1511 __ASM_EMIT("jae 1b")
1512 __ASM_EMIT("2:")
1513 // x16 block
1514 __ASM_EMIT("add $16, %[count]")
1515 __ASM_EMIT("jl 4f")
1516 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1517 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1518 LOGB_CORE_X16_FMA3
1519 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1520 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1521 __ASM_EMIT("add $0x40, %[src]")
1522 __ASM_EMIT("add $0x40, %[dst]")
1523 __ASM_EMIT("sub $16, %[count]")
1524 __ASM_EMIT("4:")
1525 // x8 block
1526 __ASM_EMIT("add $8, %[count]")
1527 __ASM_EMIT("jl 6f")
1528 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1529 LOGB_CORE_X8_FMA3
1530 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1531 __ASM_EMIT("add $0x20, %[src]")
1532 __ASM_EMIT("add $0x20, %[dst]")
1533 __ASM_EMIT("sub $8, %[count]")
1534 __ASM_EMIT("6:")
1535 // x4 block
1536 __ASM_EMIT("add $4, %[count]")
1537 __ASM_EMIT("jl 8f")
1538 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1539 LOGB_CORE_X4_FMA3
1540 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1541 __ASM_EMIT("add $0x10, %[src]")
1542 __ASM_EMIT("add $0x10, %[dst]")
1543 __ASM_EMIT("sub $4, %[count]")
1544 __ASM_EMIT("8:")
1545 // Tail: 1x-3x block
1546 __ASM_EMIT("add $4, %[count]")
1547 __ASM_EMIT("jle 16f")
1548 __ASM_EMIT("test $1, %[count]")
1549 __ASM_EMIT("jz 10f")
1550 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1551 __ASM_EMIT("add $4, %[src]")
1552 __ASM_EMIT("10:")
1553 __ASM_EMIT("test $2, %[count]")
1554 __ASM_EMIT("jz 12f")
1555 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1556 __ASM_EMIT("12:")
1557 LOGB_CORE_X4_FMA3
1558 __ASM_EMIT("test $1, %[count]")
1559 __ASM_EMIT("jz 14f")
1560 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1561 __ASM_EMIT("add $4, %[dst]")
1562 __ASM_EMIT("14:")
1563 __ASM_EMIT("test $2, %[count]")
1564 __ASM_EMIT("jz 16f")
1565 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1566 __ASM_EMIT("16:")
1567
1568 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1569 : [L2C] "o" (LOG2_CONST),
1570 [LOGC] "o" (LOGB_C)
1571 : "cc", "memory",
1572 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1573 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1574 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
1575 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1576 );
1577 }
1578
1579 void logb2_fma3(float *dst, const float *src, size_t count)
1580 {
1581 ARCH_X86_ASM(
1582 // x16 blocks
1583 __ASM_EMIT("sub $16, %[count]")
1584 __ASM_EMIT("jb 2f")
1585 __ASM_EMIT("1:")
1586 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1587 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1588 LOGB_CORE_X16_FMA3
1589 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1590 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1591 __ASM_EMIT("add $0x40, %[src]")
1592 __ASM_EMIT("add $0x40, %[dst]")
1593 __ASM_EMIT("sub $16, %[count]")
1594 __ASM_EMIT("jae 1b")
1595 __ASM_EMIT("2:")
1596 // x8 block
1597 __ASM_EMIT("add $8, %[count]")
1598 __ASM_EMIT("jl 4f")
1599 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1600 LOGB_CORE_X8_FMA3
1601 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1602 __ASM_EMIT("add $0x20, %[src]")
1603 __ASM_EMIT("add $0x20, %[dst]")
1604 __ASM_EMIT("sub $8, %[count]")
1605 __ASM_EMIT("4:")
1606 // x4 block
1607 __ASM_EMIT("add $4, %[count]")
1608 __ASM_EMIT("jl 6f")
1609 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1610 LOGB_CORE_X4_FMA3
1611 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1612 __ASM_EMIT("add $0x10, %[src]")
1613 __ASM_EMIT("add $0x10, %[dst]")
1614 __ASM_EMIT("sub $4, %[count]")
1615 __ASM_EMIT("6:")
1616 // Tail: 1x-3x block
1617 __ASM_EMIT("add $4, %[count]")
1618 __ASM_EMIT("jle 14f")
1619 __ASM_EMIT("test $1, %[count]")
1620 __ASM_EMIT("jz 8f")
1621 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1622 __ASM_EMIT("add $4, %[src]")
1623 __ASM_EMIT("8:")
1624 __ASM_EMIT("test $2, %[count]")
1625 __ASM_EMIT("jz 10f")
1626 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1627 __ASM_EMIT("10:")
1628 LOGB_CORE_X4_FMA3
1629 __ASM_EMIT("test $1, %[count]")
1630 __ASM_EMIT("jz 12f")
1631 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1632 __ASM_EMIT("add $4, %[dst]")
1633 __ASM_EMIT("12:")
1634 __ASM_EMIT("test $2, %[count]")
1635 __ASM_EMIT("jz 14f")
1636 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1637 __ASM_EMIT("14:")
1638
1639 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1640 : [L2C] "o" (LOG2_CONST),
1641 [LOGC] "o" (LOGB_C)
1642 : "cc", "memory",
1643 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1644 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1645 );
1646 }
1647
1648 void x64_logb1_fma3(float *dst, size_t count)
1649 {
1650 IF_ARCH_X86_64(float *src);
1651
1652 ARCH_X86_64_ASM(
1653 // x32 blocks
1654 __ASM_EMIT("sub $32, %[count]")
1655 __ASM_EMIT("jb 2f")
1656 __ASM_EMIT("1:")
1657 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1658 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
1659 __ASM_EMIT("vmovups 0x40(%[dst]), %%ymm8")
1660 __ASM_EMIT("vmovups 0x60(%[dst]), %%ymm12")
1661 LOGB_CORE_X32_FMA3
1662 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1663 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1664 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
1665 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
1666 __ASM_EMIT("add $0x80, %[dst]")
1667 __ASM_EMIT("sub $32, %[count]")
1668 __ASM_EMIT("jae 1b")
1669 __ASM_EMIT("2:")
1670 // x16 block
1671 __ASM_EMIT("add $16, %[count]")
1672 __ASM_EMIT("jl 4f")
1673 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1674 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
1675 LOGB_CORE_X16_FMA3
1676 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1677 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1678 __ASM_EMIT("add $0x40, %[dst]")
1679 __ASM_EMIT("sub $16, %[count]")
1680 __ASM_EMIT("4:")
1681 // x8 block
1682 __ASM_EMIT("add $8, %[count]")
1683 __ASM_EMIT("jl 6f")
1684 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1685 LOGB_CORE_X8_FMA3
1686 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1687 __ASM_EMIT("add $0x20, %[dst]")
1688 __ASM_EMIT("sub $8, %[count]")
1689 __ASM_EMIT("6:")
1690 // x4 block
1691 __ASM_EMIT("add $4, %[count]")
1692 __ASM_EMIT("jl 8f")
1693 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
1694 LOGB_CORE_X4_FMA3
1695 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1696 __ASM_EMIT("add $0x10, %[dst]")
1697 __ASM_EMIT("sub $4, %[count]")
1698 __ASM_EMIT("8:")
1699 // Tail: 1x-3x block
1700 __ASM_EMIT("add $4, %[count]")
1701 __ASM_EMIT("jle 16f")
1702 __ASM_EMIT("mov %[dst], %[src]")
1703 __ASM_EMIT("test $1, %[count]")
1704 __ASM_EMIT("jz 10f")
1705 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1706 __ASM_EMIT("add $4, %[src]")
1707 __ASM_EMIT("10:")
1708 __ASM_EMIT("test $2, %[count]")
1709 __ASM_EMIT("jz 12f")
1710 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1711 __ASM_EMIT("12:")
1712 LOGB_CORE_X4_FMA3
1713 __ASM_EMIT("test $1, %[count]")
1714 __ASM_EMIT("jz 14f")
1715 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1716 __ASM_EMIT("add $4, %[dst]")
1717 __ASM_EMIT("14:")
1718 __ASM_EMIT("test $2, %[count]")
1719 __ASM_EMIT("jz 16f")
1720 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1721 __ASM_EMIT("16:")
1722
1723 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
1724 : [L2C] "o" (LOG2_CONST),
1725 [LOGC] "o" (LOGB_C)
1726 : "cc", "memory",
1727 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1728 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1729 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
1730 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1731 );
1732 }
1733
1734 void logb1_fma3(float *dst, size_t count)
1735 {
1736 IF_ARCH_X86(float *src);
1737
1738 ARCH_X86_ASM(
1739 // x32 blocks
1740 __ASM_EMIT("sub $16, %[count]")
1741 __ASM_EMIT("jb 2f")
1742 __ASM_EMIT("1:")
1743 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1744 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
1745 LOGB_CORE_X16_FMA3
1746 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1747 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1748 __ASM_EMIT("add $0x40, %[dst]")
1749 __ASM_EMIT("sub $16, %[count]")
1750 __ASM_EMIT("jae 1b")
1751 __ASM_EMIT("2:")
1752 // x8 block
1753 __ASM_EMIT("add $8, %[count]")
1754 __ASM_EMIT("jl 4f")
1755 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1756 LOGB_CORE_X8_FMA3
1757 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1758 __ASM_EMIT("add $0x20, %[dst]")
1759 __ASM_EMIT("sub $8, %[count]")
1760 __ASM_EMIT("4:")
1761 // x4 block
1762 __ASM_EMIT("add $4, %[count]")
1763 __ASM_EMIT("jl 6f")
1764 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
1765 LOGB_CORE_X4_FMA3
1766 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1767 __ASM_EMIT("add $0x10, %[dst]")
1768 __ASM_EMIT("sub $4, %[count]")
1769 __ASM_EMIT("6:")
1770 // Tail: 1x-3x block
1771 __ASM_EMIT("add $4, %[count]")
1772 __ASM_EMIT("jle 14f")
1773 __ASM_EMIT("mov %[dst], %[src]")
1774 __ASM_EMIT("test $1, %[count]")
1775 __ASM_EMIT("jz 8f")
1776 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1777 __ASM_EMIT("add $4, %[src]")
1778 __ASM_EMIT("8:")
1779 __ASM_EMIT("test $2, %[count]")
1780 __ASM_EMIT("jz 10f")
1781 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1782 __ASM_EMIT("10:")
1783 LOGB_CORE_X4_FMA3
1784 __ASM_EMIT("test $1, %[count]")
1785 __ASM_EMIT("jz 12f")
1786 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1787 __ASM_EMIT("add $4, %[dst]")
1788 __ASM_EMIT("12:")
1789 __ASM_EMIT("test $2, %[count]")
1790 __ASM_EMIT("jz 14f")
1791 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1792 __ASM_EMIT("14:")
1793
1794 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
1795 : [L2C] "o" (LOG2_CONST),
1796 [LOGC] "o" (LOGB_C)
1797 : "cc", "memory",
1798 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1799 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1800 );
1801 }
1802
1803 void x64_loge2_fma3(float *dst, const float *src, size_t count)
1804 {
1805 ARCH_X86_64_ASM(
1806 // x32 blocks
1807 __ASM_EMIT("sub $32, %[count]")
1808 __ASM_EMIT("jb 2f")
1809 __ASM_EMIT("1:")
1810 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1811 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1812 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
1813 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
1814 LOGE_CORE_X32_FMA3
1815 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1816 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1817 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
1818 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
1819 __ASM_EMIT("add $0x80, %[src]")
1820 __ASM_EMIT("add $0x80, %[dst]")
1821 __ASM_EMIT("sub $32, %[count]")
1822 __ASM_EMIT("jae 1b")
1823 __ASM_EMIT("2:")
1824 // x16 block
1825 __ASM_EMIT("add $16, %[count]")
1826 __ASM_EMIT("jl 4f")
1827 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1828 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1829 LOGE_CORE_X16_FMA3
1830 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1831 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1832 __ASM_EMIT("add $0x40, %[src]")
1833 __ASM_EMIT("add $0x40, %[dst]")
1834 __ASM_EMIT("sub $16, %[count]")
1835 __ASM_EMIT("4:")
1836 // x8 block
1837 __ASM_EMIT("add $8, %[count]")
1838 __ASM_EMIT("jl 6f")
1839 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1840 LOGE_CORE_X8_FMA3
1841 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1842 __ASM_EMIT("add $0x20, %[src]")
1843 __ASM_EMIT("add $0x20, %[dst]")
1844 __ASM_EMIT("sub $8, %[count]")
1845 __ASM_EMIT("6:")
1846 // x4 block
1847 __ASM_EMIT("add $4, %[count]")
1848 __ASM_EMIT("jl 8f")
1849 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1850 LOGE_CORE_X4_FMA3
1851 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1852 __ASM_EMIT("add $0x10, %[src]")
1853 __ASM_EMIT("add $0x10, %[dst]")
1854 __ASM_EMIT("sub $4, %[count]")
1855 __ASM_EMIT("8:")
1856 // Tail: 1x-3x block
1857 __ASM_EMIT("add $4, %[count]")
1858 __ASM_EMIT("jle 16f")
1859 __ASM_EMIT("test $1, %[count]")
1860 __ASM_EMIT("jz 10f")
1861 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1862 __ASM_EMIT("add $4, %[src]")
1863 __ASM_EMIT("10:")
1864 __ASM_EMIT("test $2, %[count]")
1865 __ASM_EMIT("jz 12f")
1866 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1867 __ASM_EMIT("12:")
1868 LOGE_CORE_X4_FMA3
1869 __ASM_EMIT("test $1, %[count]")
1870 __ASM_EMIT("jz 14f")
1871 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1872 __ASM_EMIT("add $4, %[dst]")
1873 __ASM_EMIT("14:")
1874 __ASM_EMIT("test $2, %[count]")
1875 __ASM_EMIT("jz 16f")
1876 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1877 __ASM_EMIT("16:")
1878
1879 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1880 : [L2C] "o" (LOG2_CONST),
1881 [LOGC] "o" (LOGE_C)
1882 : "cc", "memory",
1883 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1884 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1885 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
1886 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1887 );
1888 }
1889
1890 void loge2_fma3(float *dst, const float *src, size_t count)
1891 {
1892 ARCH_X86_ASM(
1893 // x16 blocks
1894 __ASM_EMIT("sub $16, %[count]")
1895 __ASM_EMIT("jb 2f")
1896 __ASM_EMIT("1:")
1897 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1898 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1899 LOGE_CORE_X16_FMA3
1900 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1901 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1902 __ASM_EMIT("add $0x40, %[src]")
1903 __ASM_EMIT("add $0x40, %[dst]")
1904 __ASM_EMIT("sub $16, %[count]")
1905 __ASM_EMIT("jae 1b")
1906 __ASM_EMIT("2:")
1907 // x8 block
1908 __ASM_EMIT("add $8, %[count]")
1909 __ASM_EMIT("jl 4f")
1910 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1911 LOGE_CORE_X8_FMA3
1912 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1913 __ASM_EMIT("add $0x20, %[src]")
1914 __ASM_EMIT("add $0x20, %[dst]")
1915 __ASM_EMIT("sub $8, %[count]")
1916 __ASM_EMIT("4:")
1917 // x4 block
1918 __ASM_EMIT("add $4, %[count]")
1919 __ASM_EMIT("jl 6f")
1920 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1921 LOGE_CORE_X4_FMA3
1922 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1923 __ASM_EMIT("add $0x10, %[src]")
1924 __ASM_EMIT("add $0x10, %[dst]")
1925 __ASM_EMIT("sub $4, %[count]")
1926 __ASM_EMIT("6:")
1927 // Tail: 1x-3x block
1928 __ASM_EMIT("add $4, %[count]")
1929 __ASM_EMIT("jle 14f")
1930 __ASM_EMIT("test $1, %[count]")
1931 __ASM_EMIT("jz 8f")
1932 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1933 __ASM_EMIT("add $4, %[src]")
1934 __ASM_EMIT("8:")
1935 __ASM_EMIT("test $2, %[count]")
1936 __ASM_EMIT("jz 10f")
1937 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1938 __ASM_EMIT("10:")
1939 LOGE_CORE_X4_FMA3
1940 __ASM_EMIT("test $1, %[count]")
1941 __ASM_EMIT("jz 12f")
1942 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1943 __ASM_EMIT("add $4, %[dst]")
1944 __ASM_EMIT("12:")
1945 __ASM_EMIT("test $2, %[count]")
1946 __ASM_EMIT("jz 14f")
1947 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1948 __ASM_EMIT("14:")
1949
1950 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1951 : [L2C] "o" (LOG2_CONST),
1952 [LOGC] "o" (LOGE_C)
1953 : "cc", "memory",
1954 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1955 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1956 );
1957 }
1958
1959 void x64_loge1_fma3(float *dst, size_t count)
1960 {
1961 IF_ARCH_X86_64(float *src);
1962
1963 ARCH_X86_64_ASM(
1964 // x32 blocks
1965 __ASM_EMIT("sub $32, %[count]")
1966 __ASM_EMIT("jb 2f")
1967 __ASM_EMIT("1:")
1968 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1969 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
1970 __ASM_EMIT("vmovups 0x40(%[dst]), %%ymm8")
1971 __ASM_EMIT("vmovups 0x60(%[dst]), %%ymm12")
1972 LOGE_CORE_X32_FMA3
1973 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1974 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1975 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
1976 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
1977 __ASM_EMIT("add $0x80, %[dst]")
1978 __ASM_EMIT("sub $32, %[count]")
1979 __ASM_EMIT("jae 1b")
1980 __ASM_EMIT("2:")
1981 // x16 block
1982 __ASM_EMIT("add $16, %[count]")
1983 __ASM_EMIT("jl 4f")
1984 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1985 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
1986 LOGE_CORE_X16_FMA3
1987 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1988 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1989 __ASM_EMIT("add $0x40, %[dst]")
1990 __ASM_EMIT("sub $16, %[count]")
1991 __ASM_EMIT("4:")
1992 // x8 block
1993 __ASM_EMIT("add $8, %[count]")
1994 __ASM_EMIT("jl 6f")
1995 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1996 LOGE_CORE_X8_FMA3
1997 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1998 __ASM_EMIT("add $0x20, %[dst]")
1999 __ASM_EMIT("sub $8, %[count]")
2000 __ASM_EMIT("6:")
2001 // x4 block
2002 __ASM_EMIT("add $4, %[count]")
2003 __ASM_EMIT("jl 8f")
2004 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
2005 LOGE_CORE_X4_FMA3
2006 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
2007 __ASM_EMIT("add $0x10, %[dst]")
2008 __ASM_EMIT("sub $4, %[count]")
2009 __ASM_EMIT("8:")
2010 // Tail: 1x-3x block
2011 __ASM_EMIT("add $4, %[count]")
2012 __ASM_EMIT("jle 16f")
2013 __ASM_EMIT("mov %[dst], %[src]")
2014 __ASM_EMIT("test $1, %[count]")
2015 __ASM_EMIT("jz 10f")
2016 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
2017 __ASM_EMIT("add $4, %[src]")
2018 __ASM_EMIT("10:")
2019 __ASM_EMIT("test $2, %[count]")
2020 __ASM_EMIT("jz 12f")
2021 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
2022 __ASM_EMIT("12:")
2023 LOGE_CORE_X4_FMA3
2024 __ASM_EMIT("test $1, %[count]")
2025 __ASM_EMIT("jz 14f")
2026 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
2027 __ASM_EMIT("add $4, %[dst]")
2028 __ASM_EMIT("14:")
2029 __ASM_EMIT("test $2, %[count]")
2030 __ASM_EMIT("jz 16f")
2031 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
2032 __ASM_EMIT("16:")
2033
2034 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
2035 : [L2C] "o" (LOG2_CONST),
2036 [LOGC] "o" (LOGE_C)
2037 : "cc", "memory",
2038 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
2039 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
2040 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
2041 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
2042 );
2043 }
2044
2045 void loge1_fma3(float *dst, size_t count)
2046 {
2047 IF_ARCH_X86(float *src);
2048
2049 ARCH_X86_ASM(
2050 // x16 blocks
2051 __ASM_EMIT("sub $16, %[count]")
2052 __ASM_EMIT("jb 2f")
2053 __ASM_EMIT("1:")
2054 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
2055 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
2056 LOGE_CORE_X16_FMA3
2057 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2058 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
2059 __ASM_EMIT("add $0x40, %[dst]")
2060 __ASM_EMIT("sub $16, %[count]")
2061 __ASM_EMIT("jae 1b")
2062 __ASM_EMIT("2:")
2063 // x8 block
2064 __ASM_EMIT("add $8, %[count]")
2065 __ASM_EMIT("jl 4f")
2066 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
2067 LOGE_CORE_X8_FMA3
2068 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2069 __ASM_EMIT("add $0x20, %[dst]")
2070 __ASM_EMIT("sub $8, %[count]")
2071 __ASM_EMIT("4:")
2072 // x4 block
2073 __ASM_EMIT("add $4, %[count]")
2074 __ASM_EMIT("jl 6f")
2075 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
2076 LOGE_CORE_X4_FMA3
2077 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
2078 __ASM_EMIT("add $0x10, %[dst]")
2079 __ASM_EMIT("sub $4, %[count]")
2080 __ASM_EMIT("6:")
2081 // Tail: 1x-3x block
2082 __ASM_EMIT("add $4, %[count]")
2083 __ASM_EMIT("jle 14f")
2084 __ASM_EMIT("mov %[dst], %[src]")
2085 __ASM_EMIT("test $1, %[count]")
2086 __ASM_EMIT("jz 8f")
2087 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
2088 __ASM_EMIT("add $4, %[src]")
2089 __ASM_EMIT("8:")
2090 __ASM_EMIT("test $2, %[count]")
2091 __ASM_EMIT("jz 10f")
2092 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
2093 __ASM_EMIT("10:")
2094 LOGE_CORE_X4_FMA3
2095 __ASM_EMIT("test $1, %[count]")
2096 __ASM_EMIT("jz 12f")
2097 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
2098 __ASM_EMIT("add $4, %[dst]")
2099 __ASM_EMIT("12:")
2100 __ASM_EMIT("test $2, %[count]")
2101 __ASM_EMIT("jz 14f")
2102 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
2103 __ASM_EMIT("14:")
2104
2105 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
2106 : [L2C] "o" (LOG2_CONST),
2107 [LOGC] "o" (LOGE_C)
2108 : "cc", "memory",
2109 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
2110 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
2111 );
2112 }
2113
2114 void x64_logd2_fma3(float *dst, const float *src, size_t count)
2115 {
2116 ARCH_X86_64_ASM(
2117 // x32 blocks
2118 __ASM_EMIT("sub $32, %[count]")
2119 __ASM_EMIT("jb 2f")
2120 __ASM_EMIT("1:")
2121 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
2122 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
2123 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
2124 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
2125 LOGD_CORE_X32_FMA3
2126 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2127 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
2128 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
2129 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
2130 __ASM_EMIT("add $0x80, %[src]")
2131 __ASM_EMIT("add $0x80, %[dst]")
2132 __ASM_EMIT("sub $32, %[count]")
2133 __ASM_EMIT("jae 1b")
2134 __ASM_EMIT("2:")
2135 // x16 block
2136 __ASM_EMIT("add $16, %[count]")
2137 __ASM_EMIT("jl 4f")
2138 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
2139 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
2140 LOGD_CORE_X16_FMA3
2141 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2142 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
2143 __ASM_EMIT("add $0x40, %[src]")
2144 __ASM_EMIT("add $0x40, %[dst]")
2145 __ASM_EMIT("sub $16, %[count]")
2146 __ASM_EMIT("4:")
2147 // x8 block
2148 __ASM_EMIT("add $8, %[count]")
2149 __ASM_EMIT("jl 6f")
2150 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
2151 LOGD_CORE_X8_FMA3
2152 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2153 __ASM_EMIT("add $0x20, %[src]")
2154 __ASM_EMIT("add $0x20, %[dst]")
2155 __ASM_EMIT("sub $8, %[count]")
2156 __ASM_EMIT("6:")
2157 // x4 block
2158 __ASM_EMIT("add $4, %[count]")
2159 __ASM_EMIT("jl 8f")
2160 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
2161 LOGD_CORE_X4_FMA3
2162 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
2163 __ASM_EMIT("add $0x10, %[src]")
2164 __ASM_EMIT("add $0x10, %[dst]")
2165 __ASM_EMIT("sub $4, %[count]")
2166 __ASM_EMIT("8:")
2167 // Tail: 1x-3x block
2168 __ASM_EMIT("add $4, %[count]")
2169 __ASM_EMIT("jle 16f")
2170 __ASM_EMIT("test $1, %[count]")
2171 __ASM_EMIT("jz 10f")
2172 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
2173 __ASM_EMIT("add $4, %[src]")
2174 __ASM_EMIT("10:")
2175 __ASM_EMIT("test $2, %[count]")
2176 __ASM_EMIT("jz 12f")
2177 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
2178 __ASM_EMIT("12:")
2179 LOGD_CORE_X4_FMA3
2180 __ASM_EMIT("test $1, %[count]")
2181 __ASM_EMIT("jz 14f")
2182 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
2183 __ASM_EMIT("add $4, %[dst]")
2184 __ASM_EMIT("14:")
2185 __ASM_EMIT("test $2, %[count]")
2186 __ASM_EMIT("jz 16f")
2187 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
2188 __ASM_EMIT("16:")
2189
2190 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
2191 : [L2C] "o" (LOG2_CONST),
2192 [LOGC] "o" (LOGD_C)
2193 : "cc", "memory",
2194 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
2195 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
2196 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
2197 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
2198 );
2199 }
2200
2201 void logd2_fma3(float *dst, const float *src, size_t count)
2202 {
2203 ARCH_X86_ASM(
2204 // x16 blocks
2205 __ASM_EMIT("sub $16, %[count]")
2206 __ASM_EMIT("jb 2f")
2207 __ASM_EMIT("1:")
2208 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
2209 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
2210 LOGD_CORE_X16_FMA3
2211 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2212 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
2213 __ASM_EMIT("add $0x40, %[src]")
2214 __ASM_EMIT("add $0x40, %[dst]")
2215 __ASM_EMIT("sub $16, %[count]")
2216 __ASM_EMIT("jae 1b")
2217 __ASM_EMIT("2:")
2218 // x8 block
2219 __ASM_EMIT("add $8, %[count]")
2220 __ASM_EMIT("jl 4f")
2221 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
2222 LOGD_CORE_X8_FMA3
2223 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2224 __ASM_EMIT("add $0x20, %[src]")
2225 __ASM_EMIT("add $0x20, %[dst]")
2226 __ASM_EMIT("sub $8, %[count]")
2227 __ASM_EMIT("4:")
2228 // x4 block
2229 __ASM_EMIT("add $4, %[count]")
2230 __ASM_EMIT("jl 6f")
2231 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
2232 LOGD_CORE_X4_FMA3
2233 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
2234 __ASM_EMIT("add $0x10, %[src]")
2235 __ASM_EMIT("add $0x10, %[dst]")
2236 __ASM_EMIT("sub $4, %[count]")
2237 __ASM_EMIT("6:")
2238 // Tail: 1x-3x block
2239 __ASM_EMIT("add $4, %[count]")
2240 __ASM_EMIT("jle 14f")
2241 __ASM_EMIT("test $1, %[count]")
2242 __ASM_EMIT("jz 8f")
2243 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
2244 __ASM_EMIT("add $4, %[src]")
2245 __ASM_EMIT("8:")
2246 __ASM_EMIT("test $2, %[count]")
2247 __ASM_EMIT("jz 10f")
2248 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
2249 __ASM_EMIT("10:")
2250 LOGD_CORE_X4_FMA3
2251 __ASM_EMIT("test $1, %[count]")
2252 __ASM_EMIT("jz 12f")
2253 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
2254 __ASM_EMIT("add $4, %[dst]")
2255 __ASM_EMIT("12:")
2256 __ASM_EMIT("test $2, %[count]")
2257 __ASM_EMIT("jz 14f")
2258 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
2259 __ASM_EMIT("14:")
2260
2261 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
2262 : [L2C] "o" (LOG2_CONST),
2263 [LOGC] "o" (LOGD_C)
2264 : "cc", "memory",
2265 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
2266 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
2267 );
2268 }
2269
2270 void x64_logd1_fma3(float *dst, size_t count)
2271 {
2272 IF_ARCH_X86_64(float *src);
2273
2274 ARCH_X86_64_ASM(
2275 // x32 blocks
2276 __ASM_EMIT("sub $32, %[count]")
2277 __ASM_EMIT("jb 2f")
2278 __ASM_EMIT("1:")
2279 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
2280 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
2281 __ASM_EMIT("vmovups 0x40(%[dst]), %%ymm8")
2282 __ASM_EMIT("vmovups 0x60(%[dst]), %%ymm12")
2283 LOGD_CORE_X32_FMA3
2284 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2285 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
2286 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
2287 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
2288 __ASM_EMIT("add $0x80, %[dst]")
2289 __ASM_EMIT("sub $32, %[count]")
2290 __ASM_EMIT("jae 1b")
2291 __ASM_EMIT("2:")
2292 // x16 block
2293 __ASM_EMIT("add $16, %[count]")
2294 __ASM_EMIT("jl 4f")
2295 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
2296 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
2297 LOGD_CORE_X16_FMA3
2298 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2299 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
2300 __ASM_EMIT("add $0x40, %[dst]")
2301 __ASM_EMIT("sub $16, %[count]")
2302 __ASM_EMIT("4:")
2303 // x8 block
2304 __ASM_EMIT("add $8, %[count]")
2305 __ASM_EMIT("jl 6f")
2306 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
2307 LOGD_CORE_X8_FMA3
2308 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2309 __ASM_EMIT("add $0x20, %[dst]")
2310 __ASM_EMIT("sub $8, %[count]")
2311 __ASM_EMIT("6:")
2312 // x4 block
2313 __ASM_EMIT("add $4, %[count]")
2314 __ASM_EMIT("jl 8f")
2315 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
2316 LOGD_CORE_X4_FMA3
2317 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
2318 __ASM_EMIT("add $0x10, %[dst]")
2319 __ASM_EMIT("sub $4, %[count]")
2320 __ASM_EMIT("8:")
2321 // Tail: 1x-3x block
2322 __ASM_EMIT("add $4, %[count]")
2323 __ASM_EMIT("jle 16f")
2324 __ASM_EMIT("mov %[dst], %[src]")
2325 __ASM_EMIT("test $1, %[count]")
2326 __ASM_EMIT("jz 10f")
2327 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
2328 __ASM_EMIT("add $4, %[src]")
2329 __ASM_EMIT("10:")
2330 __ASM_EMIT("test $2, %[count]")
2331 __ASM_EMIT("jz 12f")
2332 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
2333 __ASM_EMIT("12:")
2334 LOGD_CORE_X4_FMA3
2335 __ASM_EMIT("test $1, %[count]")
2336 __ASM_EMIT("jz 14f")
2337 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
2338 __ASM_EMIT("add $4, %[dst]")
2339 __ASM_EMIT("14:")
2340 __ASM_EMIT("test $2, %[count]")
2341 __ASM_EMIT("jz 16f")
2342 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
2343 __ASM_EMIT("16:")
2344
2345 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
2346 : [L2C] "o" (LOG2_CONST),
2347 [LOGC] "o" (LOGD_C)
2348 : "cc", "memory",
2349 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
2350 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
2351 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
2352 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
2353 );
2354 }
2355
2356 void logd1_fma3(float *dst, size_t count)
2357 {
2358 IF_ARCH_X86(float *src);
2359
2360 ARCH_X86_ASM(
2361 // x16 blocks
2362 __ASM_EMIT("sub $16, %[count]")
2363 __ASM_EMIT("jb 2f")
2364 __ASM_EMIT("1:")
2365 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
2366 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
2367 LOGD_CORE_X16_FMA3
2368 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2369 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
2370 __ASM_EMIT("add $0x40, %[dst]")
2371 __ASM_EMIT("sub $16, %[count]")
2372 __ASM_EMIT("jae 1b")
2373 __ASM_EMIT("2:")
2374 // x8 block
2375 __ASM_EMIT("add $8, %[count]")
2376 __ASM_EMIT("jl 4f")
2377 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
2378 LOGD_CORE_X8_FMA3
2379 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2380 __ASM_EMIT("add $0x20, %[dst]")
2381 __ASM_EMIT("sub $8, %[count]")
2382 __ASM_EMIT("4:")
2383 // x4 block
2384 __ASM_EMIT("add $4, %[count]")
2385 __ASM_EMIT("jl 6f")
2386 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
2387 LOGD_CORE_X4_FMA3
2388 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
2389 __ASM_EMIT("add $0x10, %[dst]")
2390 __ASM_EMIT("sub $4, %[count]")
2391 __ASM_EMIT("6:")
2392 // Tail: 1x-3x block
2393 __ASM_EMIT("add $4, %[count]")
2394 __ASM_EMIT("jle 14f")
2395 __ASM_EMIT("mov %[dst], %[src]")
2396 __ASM_EMIT("test $1, %[count]")
2397 __ASM_EMIT("jz 8f")
2398 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
2399 __ASM_EMIT("add $4, %[src]")
2400 __ASM_EMIT("8:")
2401 __ASM_EMIT("test $2, %[count]")
2402 __ASM_EMIT("jz 10f")
2403 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
2404 __ASM_EMIT("10:")
2405 LOGD_CORE_X4_FMA3
2406 __ASM_EMIT("test $1, %[count]")
2407 __ASM_EMIT("jz 12f")
2408 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
2409 __ASM_EMIT("add $4, %[dst]")
2410 __ASM_EMIT("12:")
2411 __ASM_EMIT("test $2, %[count]")
2412 __ASM_EMIT("jz 14f")
2413 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
2414 __ASM_EMIT("14:")
2415
2416 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
2417 : [L2C] "o" (LOG2_CONST),
2418 [LOGC] "o" (LOGD_C)
2419 : "cc", "memory",
2420 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
2421 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
2422 );
2423 }
2424
2425 } /* namespace avx2 */
2426 } /* namespace lsp */
2427
2428 #endif /* PRIVATE_DSP_ARCH_X86_AVX2_PMATH_LOG_H_ */