Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx512/pmath/log.h

raw
1 /*
2 * Copyright (C) 2025 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2025 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 27 окт. 2023 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_PMATH_LOG_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX512_PMATH_LOG_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_IMPL */
28
29 namespace lsp
30 {
31 namespace avx512
32 {
33 IF_ARCH_X86(
34 static const uint32_t LOG2_CONST[] __lsp_aligned64 =
35 {
36 LSP_DSP_VEC16(0x007fffff), // frac
37 LSP_DSP_VEC16(0x0000007f), // 127
38 LSP_DSP_VEC16(0x3f800000), // 1.0f
39 LSP_DSP_VEC16(0x3dba2e8c), // C0 = 1/11 = 0.0909090936183929
40 LSP_DSP_VEC16(0x3de38e39), // C1 = 1/9 = 0.1111111119389534
41 LSP_DSP_VEC16(0x3e124925), // C2 = 1/7 = 0.1428571492433548
42 LSP_DSP_VEC16(0x3e4ccccd), // C3 = 1/5 = 0.2000000029802322
43 LSP_DSP_VEC16(0x3eaaaaab), // C4 = 1/3 = 0.3333333432674408
44 LSP_DSP_VEC16(0x3f800000) // C5 = 1/1 = 1.0000000000000000
45 };
46
47 static const float LOGB_C[] __lsp_aligned64 =
48 {
49 LSP_DSP_VEC16(2.0f * float(M_LOG2E))
50 };
51
52 static const float LOGE_C[] __lsp_aligned64 =
53 {
54 LSP_DSP_VEC16(1.0f / float(M_LOG2E))
55 };
56
57 static const float LOGD_C[] __lsp_aligned64 =
58 {
59 LSP_DSP_VEC16(2.0f * float(M_LOG10E)),
60 LSP_DSP_VEC16(0.301029995663981f) // 1/log2(10)
61 };
62 )
63
64
65 #define LOGN_CORE_X64 \
66 __ASM_EMIT("vpsrld $23, %%zmm0, %%zmm1") /* zmm1 = ilog2(x) + 127 */ \
67 __ASM_EMIT("vpsrld $23, %%zmm4, %%zmm5") \
68 __ASM_EMIT("vpsrld $23, %%zmm8, %%zmm9") \
69 __ASM_EMIT("vpsrld $23, %%zmm12, %%zmm13") \
70 __ASM_EMIT("vpandd 0x000 + %[L2C], %%zmm0, %%zmm0") /* zmm0 = x & F_MASK */ \
71 __ASM_EMIT("vpandd 0x000 + %[L2C], %%zmm4, %%zmm4") \
72 __ASM_EMIT("vpandd 0x000 + %[L2C], %%zmm8, %%zmm8") \
73 __ASM_EMIT("vpandd 0x000 + %[L2C], %%zmm12, %%zmm12") \
74 __ASM_EMIT("vpsubd 0x040 + %[L2C], %%zmm1, %%zmm1") /* zmm1 = r = ilog2(x) */ \
75 __ASM_EMIT("vpsubd 0x040 + %[L2C], %%zmm5, %%zmm5") \
76 __ASM_EMIT("vpsubd 0x040 + %[L2C], %%zmm9, %%zmm9") \
77 __ASM_EMIT("vpsubd 0x040 + %[L2C], %%zmm13, %%zmm13") \
78 __ASM_EMIT("vpord 0x080 + %[L2C], %%zmm0, %%zmm0") /* zmm0 = X = (x & F_MASK) | 1.0f */ \
79 __ASM_EMIT("vpord 0x080 + %[L2C], %%zmm4, %%zmm4") \
80 __ASM_EMIT("vpord 0x080 + %[L2C], %%zmm8, %%zmm8") \
81 __ASM_EMIT("vpord 0x080 + %[L2C], %%zmm12, %%zmm12") \
82 __ASM_EMIT("vcvtdq2ps %%zmm1, %%zmm1") /* zmm1 = R = float(r) */ \
83 __ASM_EMIT("vcvtdq2ps %%zmm5, %%zmm5") \
84 __ASM_EMIT("vcvtdq2ps %%zmm9, %%zmm9") \
85 __ASM_EMIT("vcvtdq2ps %%zmm13, %%zmm13") \
86 __ASM_EMIT("vaddps 0x080 + %[L2C], %%zmm0, %%zmm2") /* zmm2 = X + 1 */ \
87 __ASM_EMIT("vaddps 0x080 + %[L2C], %%zmm4, %%zmm6") \
88 __ASM_EMIT("vaddps 0x080 + %[L2C], %%zmm8, %%zmm10") \
89 __ASM_EMIT("vaddps 0x080 + %[L2C], %%zmm12, %%zmm14") \
90 __ASM_EMIT("vsubps 0x080 + %[L2C], %%zmm0, %%zmm0") /* zmm0 = X - 1 */ \
91 __ASM_EMIT("vsubps 0x080 + %[L2C], %%zmm4, %%zmm4") \
92 __ASM_EMIT("vsubps 0x080 + %[L2C], %%zmm8, %%zmm8") \
93 __ASM_EMIT("vsubps 0x080 + %[L2C], %%zmm12, %%zmm12") \
94 __ASM_EMIT("vdivps %%zmm2, %%zmm0, %%zmm0") /* zmm0 = y = (X-1)/(X+1) */ \
95 __ASM_EMIT("vdivps %%zmm6, %%zmm4, %%zmm4") \
96 __ASM_EMIT("vdivps %%zmm10, %%zmm8, %%zmm8") \
97 __ASM_EMIT("vdivps %%zmm14, %%zmm12, %%zmm12") \
98 __ASM_EMIT("vmovaps 0x0c0 + %[L2C], %%zmm3") /* zmm3 = C0 */ \
99 __ASM_EMIT("vmovaps 0x0c0 + %[L2C], %%zmm7") \
100 __ASM_EMIT("vmovaps 0x0c0 + %[L2C], %%zmm11") \
101 __ASM_EMIT("vmovaps 0x0c0 + %[L2C], %%zmm15") \
102 __ASM_EMIT("vmulps %%zmm0, %%zmm0, %%zmm2") /* zmm2 = Y = y*y */ \
103 __ASM_EMIT("vmulps %%zmm4, %%zmm4, %%zmm6") \
104 __ASM_EMIT("vmulps %%zmm8, %%zmm8, %%zmm10") \
105 __ASM_EMIT("vmulps %%zmm12, %%zmm12, %%zmm14") \
106 /* zmm0 = y, zmm1 = R, zmm2 = Y */ \
107 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%zmm2, %%zmm3") /* zmm3 = C1+C0*Y */ \
108 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%zmm6, %%zmm7") \
109 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%zmm10, %%zmm11") \
110 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%zmm14, %%zmm15") \
111 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%zmm2, %%zmm3") /* zmm3 = C2+Y*(C1+C0*Y) */ \
112 __ASM_EMIT("vfmadd213ps 0x140 + %[L2C], %%zmm6, %%zmm7") \
113 __ASM_EMIT("vfmadd213ps 0x140 + %[L2C], %%zmm10, %%zmm11") \
114 __ASM_EMIT("vfmadd213ps 0x140 + %[L2C], %%zmm14, %%zmm15") \
115 __ASM_EMIT("vfmadd213ps 0x180 + %[L2C], %%zmm2, %%zmm3") /* zmm3 = C3+Y*(C2+Y*(C1+C0*Y)) */ \
116 __ASM_EMIT("vfmadd213ps 0x180 + %[L2C], %%zmm6, %%zmm7") \
117 __ASM_EMIT("vfmadd213ps 0x180 + %[L2C], %%zmm10, %%zmm11") \
118 __ASM_EMIT("vfmadd213ps 0x180 + %[L2C], %%zmm14, %%zmm15") \
119 __ASM_EMIT("vfmadd213ps 0x1c0 + %[L2C], %%zmm2, %%zmm3") /* zmm3 = C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))) */ \
120 __ASM_EMIT("vfmadd213ps 0x1c0 + %[L2C], %%zmm6, %%zmm7") \
121 __ASM_EMIT("vfmadd213ps 0x1c0 + %[L2C], %%zmm10, %%zmm11") \
122 __ASM_EMIT("vfmadd213ps 0x1c0 + %[L2C], %%zmm14, %%zmm15") \
123 __ASM_EMIT("vfmadd213ps 0x200 + %[L2C], %%zmm2, %%zmm3") /* zmm3 = C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y)))) */ \
124 __ASM_EMIT("vfmadd213ps 0x200 + %[L2C], %%zmm6, %%zmm7") \
125 __ASM_EMIT("vfmadd213ps 0x200 + %[L2C], %%zmm10, %%zmm11") \
126 __ASM_EMIT("vfmadd213ps 0x200 + %[L2C], %%zmm14, %%zmm15") \
127 __ASM_EMIT("vmulps %%zmm0, %%zmm3, %%zmm0") /* zmm0 = y*(C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))))) */ \
128 __ASM_EMIT("vmulps %%zmm4, %%zmm7, %%zmm4") \
129 __ASM_EMIT("vmulps %%zmm8, %%zmm11, %%zmm8") \
130 __ASM_EMIT("vmulps %%zmm12, %%zmm15, %%zmm12") \
131
132 #define LOGN_CORE_X32 \
133 __ASM_EMIT("vpsrld $23, %%zmm0, %%zmm1") /* zmm1 = ilog2(x) + 127 */ \
134 __ASM_EMIT("vpsrld $23, %%zmm4, %%zmm5") \
135 __ASM_EMIT("vpandd 0x000 + %[L2C], %%zmm0, %%zmm0") /* zmm0 = x & F_MASK */ \
136 __ASM_EMIT("vpandd 0x000 + %[L2C], %%zmm4, %%zmm4") \
137 __ASM_EMIT("vpsubd 0x040 + %[L2C], %%zmm1, %%zmm1") /* zmm1 = r = ilog2(x) */ \
138 __ASM_EMIT("vpsubd 0x040 + %[L2C], %%zmm5, %%zmm5") \
139 __ASM_EMIT("vpord 0x080 + %[L2C], %%zmm0, %%zmm0") /* zmm0 = X = (x & F_MASK) | 1.0f */ \
140 __ASM_EMIT("vpord 0x080 + %[L2C], %%zmm4, %%zmm4") \
141 __ASM_EMIT("vcvtdq2ps %%zmm1, %%zmm1") /* zmm1 = R = float(r) */ \
142 __ASM_EMIT("vcvtdq2ps %%zmm5, %%zmm5") \
143 __ASM_EMIT("vaddps 0x080 + %[L2C], %%zmm0, %%zmm2") /* zmm2 = X + 1 */ \
144 __ASM_EMIT("vaddps 0x080 + %[L2C], %%zmm4, %%zmm6") \
145 __ASM_EMIT("vsubps 0x080 + %[L2C], %%zmm0, %%zmm0") /* zmm0 = X - 1 */ \
146 __ASM_EMIT("vsubps 0x080 + %[L2C], %%zmm4, %%zmm4") \
147 __ASM_EMIT("vdivps %%zmm2, %%zmm0, %%zmm0") /* zmm0 = y = (X-1)/(X+1) */ \
148 __ASM_EMIT("vdivps %%zmm6, %%zmm4, %%zmm4") \
149 __ASM_EMIT("vmovaps 0x0c0 + %[L2C], %%zmm3") /* zmm3 = C0 */ \
150 __ASM_EMIT("vmovaps 0x0c0 + %[L2C], %%zmm7") \
151 __ASM_EMIT("vmulps %%zmm0, %%zmm0, %%zmm2") /* zmm2 = Y = y*y */ \
152 __ASM_EMIT("vmulps %%zmm4, %%zmm4, %%zmm6") \
153 /* zmm0 = y, zmm1 = R, zmm2 = Y */ \
154 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%zmm2, %%zmm3") /* zmm3 = C1+C0*Y */ \
155 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%zmm6, %%zmm7") \
156 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%zmm2, %%zmm3") /* zmm3 = C2+Y*(C1+C0*Y) */ \
157 __ASM_EMIT("vfmadd213ps 0x140 + %[L2C], %%zmm6, %%zmm7") \
158 __ASM_EMIT("vfmadd213ps 0x180 + %[L2C], %%zmm2, %%zmm3") /* zmm3 = C3+Y*(C2+Y*(C1+C0*Y)) */ \
159 __ASM_EMIT("vfmadd213ps 0x180 + %[L2C], %%zmm6, %%zmm7") \
160 __ASM_EMIT("vfmadd213ps 0x1c0 + %[L2C], %%zmm2, %%zmm3") /* zmm3 = C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))) */ \
161 __ASM_EMIT("vfmadd213ps 0x1c0 + %[L2C], %%zmm6, %%zmm7") \
162 __ASM_EMIT("vfmadd213ps 0x200 + %[L2C], %%zmm2, %%zmm3") /* zmm3 = C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y)))) */ \
163 __ASM_EMIT("vfmadd213ps 0x200 + %[L2C], %%zmm6, %%zmm7") \
164 __ASM_EMIT("vmulps %%zmm0, %%zmm3, %%zmm0") /* zmm0 = y*(C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))))) */ \
165 __ASM_EMIT("vmulps %%zmm4, %%zmm7, %%zmm4")
166
167 #define LOGN_CORE_X16 \
168 __ASM_EMIT("vpsrld $23, %%zmm0, %%zmm1") /* zmm1 = ilog2(x) + 127 */ \
169 __ASM_EMIT("vpandd 0x000 + %[L2C], %%zmm0, %%zmm0") /* zmm0 = x & F_MASK */ \
170 __ASM_EMIT("vpsubd 0x040 + %[L2C], %%zmm1, %%zmm1") /* zmm1 = r = ilog2(x) */ \
171 __ASM_EMIT("vpord 0x080 + %[L2C], %%zmm0, %%zmm0") /* zmm0 = X = (x & F_MASK) | 1.0f */ \
172 __ASM_EMIT("vcvtdq2ps %%zmm1, %%zmm1") /* zmm1 = R = float(r) */ \
173 __ASM_EMIT("vaddps 0x080 + %[L2C], %%zmm0, %%zmm2") /* zmm2 = X + 1 */ \
174 __ASM_EMIT("vsubps 0x080 + %[L2C], %%zmm0, %%zmm0") /* zmm0 = X - 1 */ \
175 __ASM_EMIT("vdivps %%zmm2, %%zmm0, %%zmm0") /* zmm0 = y = (X-1)/(X+1) */ \
176 __ASM_EMIT("vmovaps 0x0c0 + %[L2C], %%zmm3") /* zmm3 = C0 */ \
177 __ASM_EMIT("vmulps %%zmm0, %%zmm0, %%zmm2") /* zmm2 = Y = y*y */ \
178 /* zmm0 = y, zmm1 = R, zmm2 = Y */ \
179 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%zmm2, %%zmm3") /* zmm3 = C1+C0*Y */ \
180 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%zmm2, %%zmm3") /* zmm3 = C2+Y*(C1+C0*Y) */ \
181 __ASM_EMIT("vfmadd213ps 0x180 + %[L2C], %%zmm2, %%zmm3") /* zmm3 = C3+Y*(C2+Y*(C1+C0*Y)) */ \
182 __ASM_EMIT("vfmadd213ps 0x1c0 + %[L2C], %%zmm2, %%zmm3") /* zmm3 = C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))) */ \
183 __ASM_EMIT("vfmadd213ps 0x200 + %[L2C], %%zmm2, %%zmm3") /* zmm3 = C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y)))) */ \
184 __ASM_EMIT("vmulps %%zmm0, %%zmm3, %%zmm0") /* zmm0 = y*(C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))))) */ \
185
186 #define LOGN_CORE_X8 \
187 __ASM_EMIT("vpsrld $23, %%ymm0, %%ymm1") /* ymm1 = ilog2(x) + 127 */ \
188 __ASM_EMIT("vpand 0x000 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = x & F_MASK */ \
189 __ASM_EMIT("vpsubd 0x040 + %[L2C], %%ymm1, %%ymm1") /* ymm1 = r = ilog2(x) */ \
190 __ASM_EMIT("vpor 0x080 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = X = (x & F_MASK) | 1.0f */ \
191 __ASM_EMIT("vcvtdq2ps %%ymm1, %%ymm1") /* ymm1 = R = float(r) */ \
192 __ASM_EMIT("vaddps 0x080 + %[L2C], %%ymm0, %%ymm2") /* ymm2 = X + 1 */ \
193 __ASM_EMIT("vsubps 0x080 + %[L2C], %%ymm0, %%ymm0") /* ymm0 = X - 1 */ \
194 __ASM_EMIT("vdivps %%ymm2, %%ymm0, %%ymm0") /* ymm0 = y = (X-1)/(X+1) */ \
195 __ASM_EMIT("vmovaps 0x0c0 + %[L2C], %%ymm3") /* ymm3 = C0 */ \
196 __ASM_EMIT("vmulps %%ymm0, %%ymm0, %%ymm2") /* ymm2 = Y = y*y */ \
197 /* ymm0 = y, ymm1 = R, ymm2 = Y */ \
198 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C1+C0*Y */ \
199 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C2+Y*(C1+C0*Y) */ \
200 __ASM_EMIT("vfmadd213ps 0x180 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C3+Y*(C2+Y*(C1+C0*Y)) */ \
201 __ASM_EMIT("vfmadd213ps 0x1c0 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))) */ \
202 __ASM_EMIT("vfmadd213ps 0x200 + %[L2C], %%ymm2, %%ymm3") /* ymm3 = C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y)))) */ \
203 __ASM_EMIT("vmulps %%ymm0, %%ymm3, %%ymm0") /* ymm0 = y*(C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))))) */ \
204
205 #define LOGN_CORE_X4 \
206 __ASM_EMIT("vpsrld $23, %%xmm0, %%xmm1") /* xmm1 = ilog2(x) + 127 */ \
207 __ASM_EMIT("vpand 0x000 + %[L2C], %%xmm0, %%xmm0") /* xmm0 = x & F_MASK */ \
208 __ASM_EMIT("vpsubd 0x040 + %[L2C], %%xmm1, %%xmm1") /* xmm1 = r = ilog2(x) */ \
209 __ASM_EMIT("vpor 0x080 + %[L2C], %%xmm0, %%xmm0") /* xmm0 = X = (x & F_MASK) | 1.0f */ \
210 __ASM_EMIT("vcvtdq2ps %%xmm1, %%xmm1") /* xmm1 = R = float(r) */ \
211 __ASM_EMIT("vaddps 0x080 + %[L2C], %%xmm0, %%xmm2") /* xmm2 = X + 1 */ \
212 __ASM_EMIT("vsubps 0x080 + %[L2C], %%xmm0, %%xmm0") /* xmm0 = X - 1 */ \
213 __ASM_EMIT("vdivps %%xmm2, %%xmm0, %%xmm0") /* xmm0 = y = (X-1)/(X+1) */ \
214 __ASM_EMIT("vmovaps 0x0c0 + %[L2C], %%xmm3") /* xmm3 = C0 */ \
215 __ASM_EMIT("vmulps %%xmm0, %%xmm0, %%xmm2") /* xmm2 = Y = y*y */ \
216 /* xmm0 = y, xmm1 = R, xmm2 = Y */ \
217 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%xmm2, %%xmm3") /* xmm3 = C1+C0*Y */ \
218 __ASM_EMIT("vfmadd213ps 0x100 + %[L2C], %%xmm2, %%xmm3") /* xmm3 = C2+Y*(C1+C0*Y) */ \
219 __ASM_EMIT("vfmadd213ps 0x180 + %[L2C], %%xmm2, %%xmm3") /* xmm3 = C3+Y*(C2+Y*(C1+C0*Y)) */ \
220 __ASM_EMIT("vfmadd213ps 0x1c0 + %[L2C], %%xmm2, %%xmm3") /* xmm3 = C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))) */ \
221 __ASM_EMIT("vfmadd213ps 0x200 + %[L2C], %%xmm2, %%xmm3") /* xmm3 = C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y)))) */ \
222 __ASM_EMIT("vmulps %%xmm0, %%xmm3, %%xmm0") /* xmm0 = y*(C5+Y*(C4+Y*(C3+Y*(C2+Y*(C1+C0*Y))))) */ \
223
224
225 #define LOGB_CORE_X64 \
226 LOGN_CORE_X64 \
227 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%zmm1, %%zmm0") \
228 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%zmm5, %%zmm4") \
229 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%zmm9, %%zmm8") \
230 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%zmm13, %%zmm12")
231
232 #define LOGB_CORE_X32 \
233 LOGN_CORE_X32 \
234 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%zmm1, %%zmm0") \
235 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%zmm5, %%zmm4") \
236
237 #define LOGB_CORE_X16 \
238 LOGN_CORE_X16 \
239 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%zmm1, %%zmm0") \
240
241 #define LOGB_CORE_X8 \
242 LOGN_CORE_X8 \
243 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm1, %%ymm0")
244
245 #define LOGB_CORE_X4 \
246 LOGN_CORE_X4 \
247 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%xmm1, %%xmm0")
248
249
250 #define LOGE_CORE_X64 \
251 LOGN_CORE_X64 \
252 __ASM_EMIT("vaddps %%zmm0, %%zmm0, %%zmm0") \
253 __ASM_EMIT("vaddps %%zmm4, %%zmm4, %%zmm4") \
254 __ASM_EMIT("vaddps %%zmm8, %%zmm8, %%zmm8") \
255 __ASM_EMIT("vaddps %%zmm12, %%zmm12, %%zmm12") \
256 __ASM_EMIT("vfmadd231ps 0x00 + %[LOGC], %%zmm1, %%zmm0") \
257 __ASM_EMIT("vfmadd231ps 0x00 + %[LOGC], %%zmm5, %%zmm4") \
258 __ASM_EMIT("vfmadd231ps 0x00 + %[LOGC], %%zmm9, %%zmm8") \
259 __ASM_EMIT("vfmadd231ps 0x00 + %[LOGC], %%zmm13, %%zmm12")
260
261 #define LOGE_CORE_X32 \
262 LOGN_CORE_X32 \
263 __ASM_EMIT("vaddps %%zmm0, %%zmm0, %%zmm0") \
264 __ASM_EMIT("vaddps %%zmm4, %%zmm4, %%zmm4") \
265 __ASM_EMIT("vfmadd231ps 0x00 + %[LOGC], %%zmm1, %%zmm0") \
266 __ASM_EMIT("vfmadd231ps 0x00 + %[LOGC], %%zmm5, %%zmm4")
267
268 #define LOGE_CORE_X16 \
269 LOGN_CORE_X16 \
270 __ASM_EMIT("vaddps %%zmm0, %%zmm0, %%zmm0") \
271 __ASM_EMIT("vfmadd231ps 0x00 + %[LOGC], %%zmm1, %%zmm0")
272
273 #define LOGE_CORE_X8 \
274 LOGN_CORE_X8 \
275 __ASM_EMIT("vaddps %%ymm0, %%ymm0, %%ymm0") \
276 __ASM_EMIT("vfmadd231ps 0x00 + %[LOGC], %%ymm1, %%ymm0")
277
278 #define LOGE_CORE_X4 \
279 LOGN_CORE_X4 \
280 __ASM_EMIT("vaddps %%xmm0, %%xmm0, %%xmm0") \
281 __ASM_EMIT("vfmadd231ps 0x00 + %[LOGC], %%xmm1, %%xmm0")
282
283
284 #define LOGD_CORE_X64 \
285 LOGN_CORE_X64 \
286 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%zmm0, %%zmm0") \
287 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%zmm4, %%zmm4") \
288 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%zmm8, %%zmm8") \
289 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%zmm12, %%zmm12") \
290 __ASM_EMIT("vfmadd231ps 0x40 + %[LOGC], %%zmm1, %%zmm0") \
291 __ASM_EMIT("vfmadd231ps 0x40 + %[LOGC], %%zmm5, %%zmm4") \
292 __ASM_EMIT("vfmadd231ps 0x40 + %[LOGC], %%zmm9, %%zmm8") \
293 __ASM_EMIT("vfmadd231ps 0x40 + %[LOGC], %%zmm13, %%zmm12")
294
295 #define LOGD_CORE_X32 \
296 LOGN_CORE_X32 \
297 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%zmm0, %%zmm0") \
298 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%zmm4, %%zmm4") \
299 __ASM_EMIT("vfmadd231ps 0x40 + %[LOGC], %%zmm1, %%zmm0") \
300 __ASM_EMIT("vfmadd231ps 0x40 + %[LOGC], %%zmm5, %%zmm4")
301
302 #define LOGD_CORE_X16 \
303 LOGN_CORE_X16 \
304 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%zmm0, %%zmm0") \
305 __ASM_EMIT("vfmadd231ps 0x40 + %[LOGC], %%zmm1, %%zmm0")
306
307 #define LOGD_CORE_X8 \
308 LOGN_CORE_X8 \
309 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") \
310 __ASM_EMIT("vfmadd231ps 0x40 + %[LOGC], %%ymm1, %%ymm0")
311
312 #define LOGD_CORE_X4 \
313 LOGN_CORE_X4 \
314 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%xmm0, %%xmm0") \
315 __ASM_EMIT("vfmadd231ps 0x40 + %[LOGC], %%xmm1, %%xmm0")
316
317
318
319 void x64_logb2(float *dst, const float *src, size_t count)
320 {
321 ARCH_X86_64_ASM(
322 // x64 blocks
323 __ASM_EMIT("sub $64, %[count]")
324 __ASM_EMIT("jb 2f")
325 __ASM_EMIT("1:")
326 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
327 __ASM_EMIT("vmovups 0x40(%[src]), %%zmm4")
328 __ASM_EMIT("vmovups 0x80(%[src]), %%zmm8")
329 __ASM_EMIT("vmovups 0xc0(%[src]), %%zmm12")
330 LOGB_CORE_X64
331 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
332 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
333 __ASM_EMIT("vmovups %%zmm8, 0x80(%[dst])")
334 __ASM_EMIT("vmovups %%zmm12, 0xc0(%[dst])")
335 __ASM_EMIT("add $0x100, %[src]")
336 __ASM_EMIT("add $0x100, %[dst]")
337 __ASM_EMIT("sub $64, %[count]")
338 __ASM_EMIT("jae 1b")
339 __ASM_EMIT("2:")
340 // x32 block
341 __ASM_EMIT("add $32, %[count]")
342 __ASM_EMIT("jl 4f")
343 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
344 __ASM_EMIT("vmovups 0x40(%[src]), %%zmm4")
345 LOGB_CORE_X32
346 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
347 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
348 __ASM_EMIT("add $0x80, %[src]")
349 __ASM_EMIT("add $0x80, %[dst]")
350 __ASM_EMIT("sub $32, %[count]")
351 __ASM_EMIT("4:")
352 // x16 block
353 __ASM_EMIT("add $16, %[count]")
354 __ASM_EMIT("jl 6f")
355 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
356 LOGB_CORE_X16
357 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
358 __ASM_EMIT("add $0x40, %[src]")
359 __ASM_EMIT("add $0x40, %[dst]")
360 __ASM_EMIT("sub $16, %[count]")
361 __ASM_EMIT("6:")
362 // x8 block
363 __ASM_EMIT("add $8, %[count]")
364 __ASM_EMIT("jl 8f")
365 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
366 LOGB_CORE_X8
367 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
368 __ASM_EMIT("add $0x20, %[src]")
369 __ASM_EMIT("add $0x20, %[dst]")
370 __ASM_EMIT("sub $8, %[count]")
371 __ASM_EMIT("8:")
372 // x4 block
373 __ASM_EMIT("add $4, %[count]")
374 __ASM_EMIT("jl 10f")
375 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
376 LOGB_CORE_X4
377 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
378 __ASM_EMIT("add $0x10, %[src]")
379 __ASM_EMIT("add $0x10, %[dst]")
380 __ASM_EMIT("sub $4, %[count]")
381 __ASM_EMIT("10:")
382 // Tail: 1x-3x block
383 __ASM_EMIT("add $4, %[count]")
384 __ASM_EMIT("jle 18f")
385 __ASM_EMIT("test $1, %[count]")
386 __ASM_EMIT("jz 12f")
387 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
388 __ASM_EMIT("add $4, %[src]")
389 __ASM_EMIT("12:")
390 __ASM_EMIT("test $2, %[count]")
391 __ASM_EMIT("jz 14f")
392 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
393 __ASM_EMIT("14:")
394 LOGB_CORE_X4
395 __ASM_EMIT("test $1, %[count]")
396 __ASM_EMIT("jz 16f")
397 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
398 __ASM_EMIT("add $4, %[dst]")
399 __ASM_EMIT("16:")
400 __ASM_EMIT("test $2, %[count]")
401 __ASM_EMIT("jz 18f")
402 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
403 __ASM_EMIT("18:")
404
405 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
406 : [L2C] "o" (LOG2_CONST),
407 [LOGC] "o" (LOGB_C)
408 : "cc", "memory",
409 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
410 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
411 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
412 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
413 );
414 }
415
416 void logb2(float *dst, const float *src, size_t count)
417 {
418 ARCH_X86_ASM(
419 // x32 blocks
420 __ASM_EMIT("sub $32, %[count]")
421 __ASM_EMIT("jb 2f")
422 __ASM_EMIT("1:")
423 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
424 __ASM_EMIT("vmovups 0x40(%[src]), %%zmm4")
425 LOGB_CORE_X32
426 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
427 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
428 __ASM_EMIT("add $0x80, %[src]")
429 __ASM_EMIT("add $0x80, %[dst]")
430 __ASM_EMIT("sub $32, %[count]")
431 __ASM_EMIT("jae 1b")
432 __ASM_EMIT("2:")
433 // x16 blocks
434 __ASM_EMIT("add $16, %[count]")
435 __ASM_EMIT("jl 4f")
436 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
437 LOGB_CORE_X16
438 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
439 __ASM_EMIT("add $0x40, %[src]")
440 __ASM_EMIT("add $0x40, %[dst]")
441 __ASM_EMIT("sub $16, %[count]")
442 __ASM_EMIT("4:")
443 // x8 block
444 __ASM_EMIT("add $8, %[count]")
445 __ASM_EMIT("jl 6f")
446 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
447 LOGB_CORE_X8
448 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
449 __ASM_EMIT("add $0x20, %[src]")
450 __ASM_EMIT("add $0x20, %[dst]")
451 __ASM_EMIT("sub $8, %[count]")
452 __ASM_EMIT("6:")
453 // x4 block
454 __ASM_EMIT("add $4, %[count]")
455 __ASM_EMIT("jl 8f")
456 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
457 LOGB_CORE_X4
458 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
459 __ASM_EMIT("add $0x10, %[src]")
460 __ASM_EMIT("add $0x10, %[dst]")
461 __ASM_EMIT("sub $4, %[count]")
462 __ASM_EMIT("8:")
463 // Tail: 1x-3x block
464 __ASM_EMIT("add $4, %[count]")
465 __ASM_EMIT("jle 16f")
466 __ASM_EMIT("test $1, %[count]")
467 __ASM_EMIT("jz 10f")
468 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
469 __ASM_EMIT("add $4, %[src]")
470 __ASM_EMIT("10:")
471 __ASM_EMIT("test $2, %[count]")
472 __ASM_EMIT("jz 12f")
473 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
474 __ASM_EMIT("12:")
475 LOGB_CORE_X4
476 __ASM_EMIT("test $1, %[count]")
477 __ASM_EMIT("jz 14f")
478 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
479 __ASM_EMIT("add $4, %[dst]")
480 __ASM_EMIT("14:")
481 __ASM_EMIT("test $2, %[count]")
482 __ASM_EMIT("jz 16f")
483 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
484 __ASM_EMIT("16:")
485
486 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
487 : [L2C] "o" (LOG2_CONST),
488 [LOGC] "o" (LOGB_C)
489 : "cc", "memory",
490 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
491 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
492 );
493 }
494
495 void x64_logb1(float *dst, size_t count)
496 {
497 IF_ARCH_X86_64(float *src);
498
499 ARCH_X86_64_ASM(
500 // x64 blocks
501 __ASM_EMIT("sub $64, %[count]")
502 __ASM_EMIT("jb 2f")
503 __ASM_EMIT("1:")
504 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
505 __ASM_EMIT("vmovups 0x40(%[dst]), %%zmm4")
506 __ASM_EMIT("vmovups 0x80(%[dst]), %%zmm8")
507 __ASM_EMIT("vmovups 0xc0(%[dst]), %%zmm12")
508 LOGB_CORE_X64
509 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
510 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
511 __ASM_EMIT("vmovups %%zmm8, 0x80(%[dst])")
512 __ASM_EMIT("vmovups %%zmm12, 0xc0(%[dst])")
513 __ASM_EMIT("add $0x100, %[dst]")
514 __ASM_EMIT("sub $64, %[count]")
515 __ASM_EMIT("jae 1b")
516 __ASM_EMIT("2:")
517 // x32 block
518 __ASM_EMIT("add $32, %[count]")
519 __ASM_EMIT("jl 4f")
520 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
521 __ASM_EMIT("vmovups 0x40(%[dst]), %%zmm4")
522 LOGB_CORE_X32
523 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
524 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
525 __ASM_EMIT("add $0x80, %[dst]")
526 __ASM_EMIT("sub $32, %[count]")
527 __ASM_EMIT("4:")
528 // x16 block
529 __ASM_EMIT("add $16, %[count]")
530 __ASM_EMIT("jl 6f")
531 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
532 LOGB_CORE_X16
533 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
534 __ASM_EMIT("add $0x40, %[dst]")
535 __ASM_EMIT("sub $16, %[count]")
536 __ASM_EMIT("6:")
537 // x8 block
538 __ASM_EMIT("add $8, %[count]")
539 __ASM_EMIT("jl 8f")
540 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
541 LOGB_CORE_X8
542 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
543 __ASM_EMIT("add $0x20, %[dst]")
544 __ASM_EMIT("sub $8, %[count]")
545 __ASM_EMIT("8:")
546 // x4 block
547 __ASM_EMIT("add $4, %[count]")
548 __ASM_EMIT("jl 10f")
549 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
550 LOGB_CORE_X4
551 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
552 __ASM_EMIT("add $0x10, %[dst]")
553 __ASM_EMIT("sub $4, %[count]")
554 __ASM_EMIT("10:")
555 // Tail: 1x-3x block
556 __ASM_EMIT("add $4, %[count]")
557 __ASM_EMIT("jle 18f")
558 __ASM_EMIT("mov %[dst], %[src]")
559 __ASM_EMIT("test $1, %[count]")
560 __ASM_EMIT("jz 12f")
561 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
562 __ASM_EMIT("add $4, %[src]")
563 __ASM_EMIT("12:")
564 __ASM_EMIT("test $2, %[count]")
565 __ASM_EMIT("jz 14f")
566 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
567 __ASM_EMIT("14:")
568 LOGB_CORE_X4
569 __ASM_EMIT("test $1, %[count]")
570 __ASM_EMIT("jz 16f")
571 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
572 __ASM_EMIT("add $4, %[dst]")
573 __ASM_EMIT("16:")
574 __ASM_EMIT("test $2, %[count]")
575 __ASM_EMIT("jz 18f")
576 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
577 __ASM_EMIT("18:")
578
579 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
580 : [L2C] "o" (LOG2_CONST),
581 [LOGC] "o" (LOGB_C)
582 : "cc", "memory",
583 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
584 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
585 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
586 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
587 );
588 }
589
590 void logb1(float *dst, size_t count)
591 {
592 IF_ARCH_X86(float *src);
593
594 ARCH_X86_ASM(
595 // x32 blocks
596 __ASM_EMIT("sub $32, %[count]")
597 __ASM_EMIT("jb 2f")
598 __ASM_EMIT("1:")
599 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
600 __ASM_EMIT("vmovups 0x40(%[dst]), %%zmm4")
601 LOGB_CORE_X32
602 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
603 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
604 __ASM_EMIT("add $0x80, %[dst]")
605 __ASM_EMIT("sub $32, %[count]")
606 __ASM_EMIT("jae 1b")
607 __ASM_EMIT("2:")
608 // x16 blocks
609 __ASM_EMIT("add $16, %[count]")
610 __ASM_EMIT("jl 4f")
611 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
612 LOGB_CORE_X16
613 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
614 __ASM_EMIT("add $0x40, %[dst]")
615 __ASM_EMIT("sub $16, %[count]")
616 __ASM_EMIT("4:")
617 // x8 block
618 __ASM_EMIT("add $8, %[count]")
619 __ASM_EMIT("jl 6f")
620 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
621 LOGB_CORE_X8
622 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
623 __ASM_EMIT("add $0x20, %[dst]")
624 __ASM_EMIT("sub $8, %[count]")
625 __ASM_EMIT("6:")
626 // x4 block
627 __ASM_EMIT("add $4, %[count]")
628 __ASM_EMIT("jl 8f")
629 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
630 LOGB_CORE_X4
631 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
632 __ASM_EMIT("add $0x10, %[dst]")
633 __ASM_EMIT("sub $4, %[count]")
634 __ASM_EMIT("8:")
635 // Tail: 1x-3x block
636 __ASM_EMIT("add $4, %[count]")
637 __ASM_EMIT("jle 16f")
638 __ASM_EMIT("mov %[dst], %[src]")
639 __ASM_EMIT("test $1, %[count]")
640 __ASM_EMIT("jz 10f")
641 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
642 __ASM_EMIT("add $4, %[src]")
643 __ASM_EMIT("10:")
644 __ASM_EMIT("test $2, %[count]")
645 __ASM_EMIT("jz 12f")
646 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
647 __ASM_EMIT("12:")
648 LOGB_CORE_X4
649 __ASM_EMIT("test $1, %[count]")
650 __ASM_EMIT("jz 14f")
651 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
652 __ASM_EMIT("add $4, %[dst]")
653 __ASM_EMIT("14:")
654 __ASM_EMIT("test $2, %[count]")
655 __ASM_EMIT("jz 16f")
656 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
657 __ASM_EMIT("16:")
658
659 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
660 : [L2C] "o" (LOG2_CONST),
661 [LOGC] "o" (LOGB_C)
662 : "cc", "memory",
663 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
664 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
665 );
666 }
667
668 void x64_loge2(float *dst, const float *src, size_t count)
669 {
670 ARCH_X86_64_ASM(
671 // x64 blocks
672 __ASM_EMIT("sub $64, %[count]")
673 __ASM_EMIT("jb 2f")
674 __ASM_EMIT("1:")
675 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
676 __ASM_EMIT("vmovups 0x40(%[src]), %%zmm4")
677 __ASM_EMIT("vmovups 0x80(%[src]), %%zmm8")
678 __ASM_EMIT("vmovups 0xc0(%[src]), %%zmm12")
679 LOGE_CORE_X64
680 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
681 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
682 __ASM_EMIT("vmovups %%zmm8, 0x80(%[dst])")
683 __ASM_EMIT("vmovups %%zmm12, 0xc0(%[dst])")
684 __ASM_EMIT("add $0x100, %[src]")
685 __ASM_EMIT("add $0x100, %[dst]")
686 __ASM_EMIT("sub $64, %[count]")
687 __ASM_EMIT("jae 1b")
688 __ASM_EMIT("2:")
689 // x32 block
690 __ASM_EMIT("add $32, %[count]")
691 __ASM_EMIT("jl 4f")
692 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
693 __ASM_EMIT("vmovups 0x40(%[src]), %%zmm4")
694 LOGE_CORE_X32
695 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
696 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
697 __ASM_EMIT("add $0x80, %[src]")
698 __ASM_EMIT("add $0x80, %[dst]")
699 __ASM_EMIT("sub $32, %[count]")
700 __ASM_EMIT("4:")
701 // x16 block
702 __ASM_EMIT("add $16, %[count]")
703 __ASM_EMIT("jl 6f")
704 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
705 LOGE_CORE_X16
706 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
707 __ASM_EMIT("add $0x40, %[src]")
708 __ASM_EMIT("add $0x40, %[dst]")
709 __ASM_EMIT("sub $16, %[count]")
710 __ASM_EMIT("6:")
711 // x8 block
712 __ASM_EMIT("add $8, %[count]")
713 __ASM_EMIT("jl 8f")
714 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
715 LOGE_CORE_X8
716 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
717 __ASM_EMIT("add $0x20, %[src]")
718 __ASM_EMIT("add $0x20, %[dst]")
719 __ASM_EMIT("sub $8, %[count]")
720 __ASM_EMIT("8:")
721 // x4 block
722 __ASM_EMIT("add $4, %[count]")
723 __ASM_EMIT("jl 10f")
724 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
725 LOGE_CORE_X4
726 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
727 __ASM_EMIT("add $0x10, %[src]")
728 __ASM_EMIT("add $0x10, %[dst]")
729 __ASM_EMIT("sub $4, %[count]")
730 __ASM_EMIT("10:")
731 // Tail: 1x-3x block
732 __ASM_EMIT("add $4, %[count]")
733 __ASM_EMIT("jle 18f")
734 __ASM_EMIT("test $1, %[count]")
735 __ASM_EMIT("jz 12f")
736 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
737 __ASM_EMIT("add $4, %[src]")
738 __ASM_EMIT("12:")
739 __ASM_EMIT("test $2, %[count]")
740 __ASM_EMIT("jz 14f")
741 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
742 __ASM_EMIT("14:")
743 LOGE_CORE_X4
744 __ASM_EMIT("test $1, %[count]")
745 __ASM_EMIT("jz 16f")
746 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
747 __ASM_EMIT("add $4, %[dst]")
748 __ASM_EMIT("16:")
749 __ASM_EMIT("test $2, %[count]")
750 __ASM_EMIT("jz 18f")
751 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
752 __ASM_EMIT("18:")
753
754 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
755 : [L2C] "o" (LOG2_CONST),
756 [LOGC] "o" (LOGE_C)
757 : "cc", "memory",
758 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
759 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
760 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
761 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
762 );
763 }
764
765 void loge2(float *dst, const float *src, size_t count)
766 {
767 ARCH_X86_ASM(
768 // x32 blocks
769 __ASM_EMIT("sub $32, %[count]")
770 __ASM_EMIT("jb 2f")
771 __ASM_EMIT("1:")
772 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
773 __ASM_EMIT("vmovups 0x40(%[src]), %%zmm4")
774 LOGE_CORE_X32
775 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
776 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
777 __ASM_EMIT("add $0x80, %[src]")
778 __ASM_EMIT("add $0x80, %[dst]")
779 __ASM_EMIT("sub $32, %[count]")
780 __ASM_EMIT("jae 1b")
781 __ASM_EMIT("2:")
782 // x16 blocks
783 __ASM_EMIT("add $16, %[count]")
784 __ASM_EMIT("jl 4f")
785 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
786 LOGE_CORE_X16
787 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
788 __ASM_EMIT("add $0x40, %[src]")
789 __ASM_EMIT("add $0x40, %[dst]")
790 __ASM_EMIT("sub $16, %[count]")
791 __ASM_EMIT("4:")
792 // x8 block
793 __ASM_EMIT("add $8, %[count]")
794 __ASM_EMIT("jl 6f")
795 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
796 LOGE_CORE_X8
797 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
798 __ASM_EMIT("add $0x20, %[src]")
799 __ASM_EMIT("add $0x20, %[dst]")
800 __ASM_EMIT("sub $8, %[count]")
801 __ASM_EMIT("6:")
802 // x4 block
803 __ASM_EMIT("add $4, %[count]")
804 __ASM_EMIT("jl 8f")
805 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
806 LOGE_CORE_X4
807 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
808 __ASM_EMIT("add $0x10, %[src]")
809 __ASM_EMIT("add $0x10, %[dst]")
810 __ASM_EMIT("sub $4, %[count]")
811 __ASM_EMIT("8:")
812 // Tail: 1x-3x block
813 __ASM_EMIT("add $4, %[count]")
814 __ASM_EMIT("jle 16f")
815 __ASM_EMIT("test $1, %[count]")
816 __ASM_EMIT("jz 10f")
817 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
818 __ASM_EMIT("add $4, %[src]")
819 __ASM_EMIT("10:")
820 __ASM_EMIT("test $2, %[count]")
821 __ASM_EMIT("jz 12f")
822 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
823 __ASM_EMIT("12:")
824 LOGE_CORE_X4
825 __ASM_EMIT("test $1, %[count]")
826 __ASM_EMIT("jz 14f")
827 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
828 __ASM_EMIT("add $4, %[dst]")
829 __ASM_EMIT("14:")
830 __ASM_EMIT("test $2, %[count]")
831 __ASM_EMIT("jz 16f")
832 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
833 __ASM_EMIT("16:")
834
835 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
836 : [L2C] "o" (LOG2_CONST),
837 [LOGC] "o" (LOGE_C)
838 : "cc", "memory",
839 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
840 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
841 );
842 }
843
844 void x64_loge1(float *dst, size_t count)
845 {
846 IF_ARCH_X86_64(float *src);
847
848 ARCH_X86_64_ASM(
849 // x64 blocks
850 __ASM_EMIT("sub $64, %[count]")
851 __ASM_EMIT("jb 2f")
852 __ASM_EMIT("1:")
853 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
854 __ASM_EMIT("vmovups 0x40(%[dst]), %%zmm4")
855 __ASM_EMIT("vmovups 0x80(%[dst]), %%zmm8")
856 __ASM_EMIT("vmovups 0xc0(%[dst]), %%zmm12")
857 LOGE_CORE_X64
858 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
859 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
860 __ASM_EMIT("vmovups %%zmm8, 0x80(%[dst])")
861 __ASM_EMIT("vmovups %%zmm12, 0xc0(%[dst])")
862 __ASM_EMIT("add $0x100, %[dst]")
863 __ASM_EMIT("sub $64, %[count]")
864 __ASM_EMIT("jae 1b")
865 __ASM_EMIT("2:")
866 // x32 block
867 __ASM_EMIT("add $32, %[count]")
868 __ASM_EMIT("jl 4f")
869 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
870 __ASM_EMIT("vmovups 0x40(%[dst]), %%zmm4")
871 LOGE_CORE_X32
872 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
873 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
874 __ASM_EMIT("add $0x80, %[dst]")
875 __ASM_EMIT("sub $32, %[count]")
876 __ASM_EMIT("4:")
877 // x16 block
878 __ASM_EMIT("add $16, %[count]")
879 __ASM_EMIT("jl 6f")
880 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
881 LOGE_CORE_X16
882 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
883 __ASM_EMIT("add $0x40, %[dst]")
884 __ASM_EMIT("sub $16, %[count]")
885 __ASM_EMIT("6:")
886 // x8 block
887 __ASM_EMIT("add $8, %[count]")
888 __ASM_EMIT("jl 8f")
889 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
890 LOGE_CORE_X8
891 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
892 __ASM_EMIT("add $0x20, %[dst]")
893 __ASM_EMIT("sub $8, %[count]")
894 __ASM_EMIT("8:")
895 // x4 block
896 __ASM_EMIT("add $4, %[count]")
897 __ASM_EMIT("jl 10f")
898 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
899 LOGE_CORE_X4
900 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
901 __ASM_EMIT("add $0x10, %[dst]")
902 __ASM_EMIT("sub $4, %[count]")
903 __ASM_EMIT("10:")
904 // Tail: 1x-3x block
905 __ASM_EMIT("add $4, %[count]")
906 __ASM_EMIT("jle 18f")
907 __ASM_EMIT("mov %[dst], %[src]")
908 __ASM_EMIT("test $1, %[count]")
909 __ASM_EMIT("jz 12f")
910 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
911 __ASM_EMIT("add $4, %[src]")
912 __ASM_EMIT("12:")
913 __ASM_EMIT("test $2, %[count]")
914 __ASM_EMIT("jz 14f")
915 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
916 __ASM_EMIT("14:")
917 LOGE_CORE_X4
918 __ASM_EMIT("test $1, %[count]")
919 __ASM_EMIT("jz 16f")
920 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
921 __ASM_EMIT("add $4, %[dst]")
922 __ASM_EMIT("16:")
923 __ASM_EMIT("test $2, %[count]")
924 __ASM_EMIT("jz 18f")
925 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
926 __ASM_EMIT("18:")
927
928 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
929 : [L2C] "o" (LOG2_CONST),
930 [LOGC] "o" (LOGE_C)
931 : "cc", "memory",
932 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
933 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
934 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
935 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
936 );
937 }
938
939 void loge1(float *dst, size_t count)
940 {
941 IF_ARCH_X86(float *src);
942
943 ARCH_X86_ASM(
944 // x32 blocks
945 __ASM_EMIT("sub $32, %[count]")
946 __ASM_EMIT("jb 2f")
947 __ASM_EMIT("1:")
948 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
949 __ASM_EMIT("vmovups 0x40(%[dst]), %%zmm4")
950 LOGE_CORE_X32
951 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
952 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
953 __ASM_EMIT("add $0x80, %[dst]")
954 __ASM_EMIT("sub $32, %[count]")
955 __ASM_EMIT("jae 1b")
956 __ASM_EMIT("2:")
957 // x16 block
958 __ASM_EMIT("add $16, %[count]")
959 __ASM_EMIT("jl 4f")
960 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
961 LOGE_CORE_X16
962 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
963 __ASM_EMIT("add $0x40, %[dst]")
964 __ASM_EMIT("sub $16, %[count]")
965 __ASM_EMIT("4:")
966 // x8 block
967 __ASM_EMIT("add $8, %[count]")
968 __ASM_EMIT("jl 6f")
969 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
970 LOGE_CORE_X8
971 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
972 __ASM_EMIT("add $0x20, %[dst]")
973 __ASM_EMIT("sub $8, %[count]")
974 __ASM_EMIT("6:")
975 // x4 block
976 __ASM_EMIT("add $4, %[count]")
977 __ASM_EMIT("jl 8f")
978 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
979 LOGE_CORE_X4
980 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
981 __ASM_EMIT("add $0x10, %[dst]")
982 __ASM_EMIT("sub $4, %[count]")
983 __ASM_EMIT("8:")
984 // Tail: 1x-3x block
985 __ASM_EMIT("add $4, %[count]")
986 __ASM_EMIT("jle 16f")
987 __ASM_EMIT("mov %[dst], %[src]")
988 __ASM_EMIT("test $1, %[count]")
989 __ASM_EMIT("jz 10f")
990 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
991 __ASM_EMIT("add $4, %[src]")
992 __ASM_EMIT("10:")
993 __ASM_EMIT("test $2, %[count]")
994 __ASM_EMIT("jz 12f")
995 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
996 __ASM_EMIT("12:")
997 LOGE_CORE_X4
998 __ASM_EMIT("test $1, %[count]")
999 __ASM_EMIT("jz 14f")
1000 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1001 __ASM_EMIT("add $4, %[dst]")
1002 __ASM_EMIT("14:")
1003 __ASM_EMIT("test $2, %[count]")
1004 __ASM_EMIT("jz 16f")
1005 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1006 __ASM_EMIT("16:")
1007
1008 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
1009 : [L2C] "o" (LOG2_CONST),
1010 [LOGC] "o" (LOGE_C)
1011 : "cc", "memory",
1012 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1013 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1014 );
1015 }
1016
1017 void x64_logd2(float *dst, const float *src, size_t count)
1018 {
1019 ARCH_X86_64_ASM(
1020 // x64 blocks
1021 __ASM_EMIT("sub $64, %[count]")
1022 __ASM_EMIT("jb 2f")
1023 __ASM_EMIT("1:")
1024 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
1025 __ASM_EMIT("vmovups 0x40(%[src]), %%zmm4")
1026 __ASM_EMIT("vmovups 0x80(%[src]), %%zmm8")
1027 __ASM_EMIT("vmovups 0xc0(%[src]), %%zmm12")
1028 LOGD_CORE_X64
1029 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
1030 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
1031 __ASM_EMIT("vmovups %%zmm8, 0x80(%[dst])")
1032 __ASM_EMIT("vmovups %%zmm12, 0xc0(%[dst])")
1033 __ASM_EMIT("add $0x100, %[src]")
1034 __ASM_EMIT("add $0x100, %[dst]")
1035 __ASM_EMIT("sub $64, %[count]")
1036 __ASM_EMIT("jae 1b")
1037 __ASM_EMIT("2:")
1038 // x32 block
1039 __ASM_EMIT("add $32, %[count]")
1040 __ASM_EMIT("jl 4f")
1041 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
1042 __ASM_EMIT("vmovups 0x40(%[src]), %%zmm4")
1043 LOGD_CORE_X32
1044 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
1045 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
1046 __ASM_EMIT("add $0x80, %[src]")
1047 __ASM_EMIT("add $0x80, %[dst]")
1048 __ASM_EMIT("sub $32, %[count]")
1049 __ASM_EMIT("4:")
1050 // x16 block
1051 __ASM_EMIT("add $16, %[count]")
1052 __ASM_EMIT("jl 6f")
1053 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
1054 LOGD_CORE_X16
1055 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
1056 __ASM_EMIT("add $0x40, %[src]")
1057 __ASM_EMIT("add $0x40, %[dst]")
1058 __ASM_EMIT("sub $16, %[count]")
1059 __ASM_EMIT("6:")
1060 // x8 block
1061 __ASM_EMIT("add $8, %[count]")
1062 __ASM_EMIT("jl 8f")
1063 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1064 LOGD_CORE_X8
1065 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1066 __ASM_EMIT("add $0x20, %[src]")
1067 __ASM_EMIT("add $0x20, %[dst]")
1068 __ASM_EMIT("sub $8, %[count]")
1069 __ASM_EMIT("8:")
1070 // x4 block
1071 __ASM_EMIT("add $4, %[count]")
1072 __ASM_EMIT("jl 10f")
1073 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1074 LOGD_CORE_X4
1075 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1076 __ASM_EMIT("add $0x10, %[src]")
1077 __ASM_EMIT("add $0x10, %[dst]")
1078 __ASM_EMIT("sub $4, %[count]")
1079 __ASM_EMIT("10:")
1080 // Tail: 1x-3x block
1081 __ASM_EMIT("add $4, %[count]")
1082 __ASM_EMIT("jle 18f")
1083 __ASM_EMIT("test $1, %[count]")
1084 __ASM_EMIT("jz 12f")
1085 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1086 __ASM_EMIT("add $4, %[src]")
1087 __ASM_EMIT("12:")
1088 __ASM_EMIT("test $2, %[count]")
1089 __ASM_EMIT("jz 14f")
1090 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1091 __ASM_EMIT("14:")
1092 LOGD_CORE_X4
1093 __ASM_EMIT("test $1, %[count]")
1094 __ASM_EMIT("jz 16f")
1095 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1096 __ASM_EMIT("add $4, %[dst]")
1097 __ASM_EMIT("16:")
1098 __ASM_EMIT("test $2, %[count]")
1099 __ASM_EMIT("jz 18f")
1100 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1101 __ASM_EMIT("18:")
1102
1103 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1104 : [L2C] "o" (LOG2_CONST),
1105 [LOGC] "o" (LOGD_C)
1106 : "cc", "memory",
1107 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1108 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1109 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
1110 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1111 );
1112 }
1113
1114 void logd2(float *dst, const float *src, size_t count)
1115 {
1116 ARCH_X86_ASM(
1117 // x32 blocks
1118 __ASM_EMIT("sub $32, %[count]")
1119 __ASM_EMIT("jb 2f")
1120 __ASM_EMIT("1:")
1121 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
1122 __ASM_EMIT("vmovups 0x40(%[src]), %%zmm4")
1123 LOGD_CORE_X32
1124 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
1125 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
1126 __ASM_EMIT("add $0x80, %[src]")
1127 __ASM_EMIT("add $0x80, %[dst]")
1128 __ASM_EMIT("sub $32, %[count]")
1129 __ASM_EMIT("jae 1b")
1130 __ASM_EMIT("2:")
1131 // x16 block
1132 __ASM_EMIT("add $16, %[count]")
1133 __ASM_EMIT("jl 4f")
1134 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
1135 LOGD_CORE_X16
1136 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
1137 __ASM_EMIT("add $0x40, %[src]")
1138 __ASM_EMIT("add $0x40, %[dst]")
1139 __ASM_EMIT("sub $16, %[count]")
1140 __ASM_EMIT("4:")
1141 // x8 block
1142 __ASM_EMIT("add $8, %[count]")
1143 __ASM_EMIT("jl 6f")
1144 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1145 LOGD_CORE_X8
1146 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1147 __ASM_EMIT("add $0x20, %[src]")
1148 __ASM_EMIT("add $0x20, %[dst]")
1149 __ASM_EMIT("sub $8, %[count]")
1150 __ASM_EMIT("6:")
1151 // x4 block
1152 __ASM_EMIT("add $4, %[count]")
1153 __ASM_EMIT("jl 8f")
1154 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1155 LOGD_CORE_X4
1156 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1157 __ASM_EMIT("add $0x10, %[src]")
1158 __ASM_EMIT("add $0x10, %[dst]")
1159 __ASM_EMIT("sub $4, %[count]")
1160 __ASM_EMIT("8:")
1161 // Tail: 1x-3x block
1162 __ASM_EMIT("add $4, %[count]")
1163 __ASM_EMIT("jle 16f")
1164 __ASM_EMIT("test $1, %[count]")
1165 __ASM_EMIT("jz 10f")
1166 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1167 __ASM_EMIT("add $4, %[src]")
1168 __ASM_EMIT("10:")
1169 __ASM_EMIT("test $2, %[count]")
1170 __ASM_EMIT("jz 12f")
1171 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1172 __ASM_EMIT("12:")
1173 LOGD_CORE_X4
1174 __ASM_EMIT("test $1, %[count]")
1175 __ASM_EMIT("jz 14f")
1176 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1177 __ASM_EMIT("add $4, %[dst]")
1178 __ASM_EMIT("14:")
1179 __ASM_EMIT("test $2, %[count]")
1180 __ASM_EMIT("jz 16f")
1181 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1182 __ASM_EMIT("16:")
1183
1184 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1185 : [L2C] "o" (LOG2_CONST),
1186 [LOGC] "o" (LOGD_C)
1187 : "cc", "memory",
1188 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1189 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1190 );
1191 }
1192
1193 void x64_logd1(float *dst, size_t count)
1194 {
1195 IF_ARCH_X86_64(float *src);
1196
1197 ARCH_X86_64_ASM(
1198 // x64 blocks
1199 __ASM_EMIT("sub $64, %[count]")
1200 __ASM_EMIT("jb 2f")
1201 __ASM_EMIT("1:")
1202 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
1203 __ASM_EMIT("vmovups 0x40(%[dst]), %%zmm4")
1204 __ASM_EMIT("vmovups 0x80(%[dst]), %%zmm8")
1205 __ASM_EMIT("vmovups 0xc0(%[dst]), %%zmm12")
1206 LOGD_CORE_X64
1207 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
1208 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
1209 __ASM_EMIT("vmovups %%zmm8, 0x80(%[dst])")
1210 __ASM_EMIT("vmovups %%zmm12, 0xc0(%[dst])")
1211 __ASM_EMIT("add $0x100, %[dst]")
1212 __ASM_EMIT("sub $64, %[count]")
1213 __ASM_EMIT("jae 1b")
1214 __ASM_EMIT("2:")
1215 // x32 block
1216 __ASM_EMIT("add $32, %[count]")
1217 __ASM_EMIT("jl 4f")
1218 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
1219 __ASM_EMIT("vmovups 0x40(%[dst]), %%zmm4")
1220 LOGD_CORE_X32
1221 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
1222 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
1223 __ASM_EMIT("add $0x80, %[dst]")
1224 __ASM_EMIT("sub $32, %[count]")
1225 __ASM_EMIT("4:")
1226 // x16 block
1227 __ASM_EMIT("add $16, %[count]")
1228 __ASM_EMIT("jl 6f")
1229 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
1230 LOGD_CORE_X16
1231 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
1232 __ASM_EMIT("add $0x40, %[dst]")
1233 __ASM_EMIT("sub $16, %[count]")
1234 __ASM_EMIT("6:")
1235 // x8 block
1236 __ASM_EMIT("add $8, %[count]")
1237 __ASM_EMIT("jl 8f")
1238 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1239 LOGD_CORE_X8
1240 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1241 __ASM_EMIT("add $0x20, %[dst]")
1242 __ASM_EMIT("sub $8, %[count]")
1243 __ASM_EMIT("jae 1b")
1244 __ASM_EMIT("8:")
1245 // x4 block
1246 __ASM_EMIT("add $4, %[count]")
1247 __ASM_EMIT("jl 10f")
1248 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
1249 LOGD_CORE_X4
1250 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1251 __ASM_EMIT("add $0x10, %[dst]")
1252 __ASM_EMIT("sub $4, %[count]")
1253 __ASM_EMIT("10:")
1254 // Tail: 1x-3x block
1255 __ASM_EMIT("add $4, %[count]")
1256 __ASM_EMIT("jle 18f")
1257 __ASM_EMIT("mov %[dst], %[src]")
1258 __ASM_EMIT("test $1, %[count]")
1259 __ASM_EMIT("jz 12f")
1260 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1261 __ASM_EMIT("add $4, %[src]")
1262 __ASM_EMIT("12:")
1263 __ASM_EMIT("test $2, %[count]")
1264 __ASM_EMIT("jz 14f")
1265 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1266 __ASM_EMIT("14:")
1267 LOGD_CORE_X4
1268 __ASM_EMIT("test $1, %[count]")
1269 __ASM_EMIT("jz 16f")
1270 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1271 __ASM_EMIT("add $4, %[dst]")
1272 __ASM_EMIT("16:")
1273 __ASM_EMIT("test $2, %[count]")
1274 __ASM_EMIT("jz 18f")
1275 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1276 __ASM_EMIT("18:")
1277
1278 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
1279 : [L2C] "o" (LOG2_CONST),
1280 [LOGC] "o" (LOGD_C)
1281 : "cc", "memory",
1282 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1283 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1284 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
1285 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1286 );
1287 }
1288
1289 void logd1(float *dst, size_t count)
1290 {
1291 IF_ARCH_X86(float *src);
1292
1293 ARCH_X86_ASM(
1294 // x32 blocks
1295 __ASM_EMIT("sub $32, %[count]")
1296 __ASM_EMIT("jb 2f")
1297 __ASM_EMIT("1:")
1298 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
1299 __ASM_EMIT("vmovups 0x40(%[dst]), %%zmm4")
1300 LOGD_CORE_X32
1301 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
1302 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
1303 __ASM_EMIT("add $0x80, %[dst]")
1304 __ASM_EMIT("sub $32, %[count]")
1305 __ASM_EMIT("jae 1b")
1306 __ASM_EMIT("2:")
1307 // x16 block
1308 __ASM_EMIT("add $16, %[count]")
1309 __ASM_EMIT("jl 4f")
1310 __ASM_EMIT("vmovups 0x00(%[dst]), %%zmm0")
1311 LOGD_CORE_X16
1312 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
1313 __ASM_EMIT("add $0x40, %[dst]")
1314 __ASM_EMIT("sub $16, %[count]")
1315 __ASM_EMIT("4:")
1316 // x8 block
1317 __ASM_EMIT("add $8, %[count]")
1318 __ASM_EMIT("jl 6f")
1319 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1320 LOGD_CORE_X8
1321 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1322 __ASM_EMIT("add $0x20, %[dst]")
1323 __ASM_EMIT("sub $8, %[count]")
1324 __ASM_EMIT("6:")
1325 // x4 block
1326 __ASM_EMIT("add $4, %[count]")
1327 __ASM_EMIT("jl 8f")
1328 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
1329 LOGD_CORE_X4
1330 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1331 __ASM_EMIT("add $0x10, %[dst]")
1332 __ASM_EMIT("sub $4, %[count]")
1333 __ASM_EMIT("8:")
1334 // Tail: 1x-3x block
1335 __ASM_EMIT("add $4, %[count]")
1336 __ASM_EMIT("jle 16f")
1337 __ASM_EMIT("mov %[dst], %[src]")
1338 __ASM_EMIT("test $1, %[count]")
1339 __ASM_EMIT("jz 10f")
1340 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1341 __ASM_EMIT("add $4, %[src]")
1342 __ASM_EMIT("10:")
1343 __ASM_EMIT("test $2, %[count]")
1344 __ASM_EMIT("jz 12f")
1345 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1346 __ASM_EMIT("12:")
1347 LOGD_CORE_X4
1348 __ASM_EMIT("test $1, %[count]")
1349 __ASM_EMIT("jz 14f")
1350 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1351 __ASM_EMIT("add $4, %[dst]")
1352 __ASM_EMIT("14:")
1353 __ASM_EMIT("test $2, %[count]")
1354 __ASM_EMIT("jz 16f")
1355 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1356 __ASM_EMIT("16:")
1357
1358 : [dst] "+r" (dst), [src] "=&r" (src), [count] "+r" (count)
1359 : [L2C] "o" (LOG2_CONST),
1360 [LOGC] "o" (LOGD_C)
1361 : "cc", "memory",
1362 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1363 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1364 );
1365 }
1366
1367 } /* namespace avx512 */
1368 } /* namespace lsp */
1369
1370
1371
1372
1373 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_PMATH_LOG_H_ */