Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx2/pmath/pow.h

raw
1 /*
2 * Copyright (C) 2023 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2023 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX2_PMATH_POW_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX2_PMATH_POW_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX2_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX2_IMPL */
28
29 #include <private/dsp/arch/x86/avx2/pmath/exp.h>
30 #include <private/dsp/arch/x86/avx2/pmath/log.h>
31
32 namespace lsp
33 {
34 namespace avx2
35 {
36 void x64_powcv1(float *v, float c, size_t count)
37 {
38 // float C = logf(c);
39 // for (size_t i=0; i<count; ++i)
40 // v[i] = expf(v[i] * C);
41
42 IF_ARCH_X86_64(
43 float *src;
44 float C[8] __lsp_aligned32;
45 );
46
47 ARCH_X86_64_ASM(
48 // Calc C = logf(c)
49 __ASM_EMIT("vbroadcastss %%xmm0, %%ymm0")
50 LOGN_CORE_X8
51 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)
52 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E) + R = log(c)*log2(E)
53 __ASM_EMIT("vmovaps %%ymm0, %[C]")
54
55 // x32 blocks
56 __ASM_EMIT("sub $32, %[count]")
57 __ASM_EMIT("jb 2f")
58 __ASM_EMIT("1:")
59 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
60 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
61 __ASM_EMIT("vmovups 0x40(%[dst]), %%ymm8")
62 __ASM_EMIT("vmovups 0x60(%[dst]), %%ymm12")
63 __ASM_EMIT("vmulps %[C], %%ymm0, %%ymm0")
64 __ASM_EMIT("vmulps %[C], %%ymm4, %%ymm4")
65 __ASM_EMIT("vmulps %[C], %%ymm8, %%ymm8")
66 __ASM_EMIT("vmulps %[C], %%ymm12, %%ymm12")
67 POW2_CORE_X32
68 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
69 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
70 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
71 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
72 __ASM_EMIT("add $0x80, %[dst]")
73 __ASM_EMIT("sub $32, %[count]")
74 __ASM_EMIT("jae 1b")
75
76 // x16 block
77 __ASM_EMIT("2:")
78 __ASM_EMIT("add $16, %[count]")
79 __ASM_EMIT("jl 4f")
80 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
81 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
82 __ASM_EMIT("vmulps %[C], %%ymm0, %%ymm0")
83 __ASM_EMIT("vmulps %[C], %%ymm4, %%ymm4")
84 POW2_CORE_X16
85 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
86 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
87 __ASM_EMIT("sub $16, %[count]")
88 __ASM_EMIT("add $0x40, %[dst]")
89
90 // x8 block
91 __ASM_EMIT("4:")
92 __ASM_EMIT("add $8, %[count]")
93 __ASM_EMIT("jl 6f")
94 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
95 __ASM_EMIT("vmulps %[C], %%ymm0, %%ymm0")
96 POW2_CORE_X8
97 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
98 __ASM_EMIT("sub $8, %[count]")
99 __ASM_EMIT("add $0x20, %[dst]")
100
101 // x4 block
102 __ASM_EMIT("6:")
103 __ASM_EMIT("add $4, %[count]")
104 __ASM_EMIT("jl 8f")
105 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
106 __ASM_EMIT("vmulps %[C], %%xmm0, %%xmm0")
107 POW2_CORE_X4
108 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
109 __ASM_EMIT("sub $4, %[count]")
110 __ASM_EMIT("add $0x10, %[dst]")
111
112 // Tail: 1x-3x block
113 __ASM_EMIT("8:")
114 __ASM_EMIT("add $4, %[count]")
115 __ASM_EMIT("jle 16f")
116 __ASM_EMIT("mov %[dst], %[src]")
117 __ASM_EMIT("test $1, %[count]")
118 __ASM_EMIT("jz 10f")
119 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
120 __ASM_EMIT("add $4, %[src]")
121 __ASM_EMIT("10:")
122 __ASM_EMIT("test $2, %[count]")
123 __ASM_EMIT("jz 12f")
124 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
125 __ASM_EMIT("12:")
126
127 __ASM_EMIT("vmulps %[C], %%xmm0, %%xmm0")
128 POW2_CORE_X4
129
130 __ASM_EMIT("test $1, %[count]")
131 __ASM_EMIT("jz 14f")
132 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
133 __ASM_EMIT("add $4, %[dst]")
134 __ASM_EMIT("14:")
135 __ASM_EMIT("test $2, %[count]")
136 __ASM_EMIT("jz 16f")
137 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
138
139 // End
140 __ASM_EMIT("16:")
141
142 : [dst] "+r" (v), [src] "=&r" (src), [count] "+r" (count),
143 "+Yz" (c)
144 : [E2C] "o" (EXP2_CONST),
145 [L2C] "o" (LOG2_CONST),
146 [LOGC] "o" (LOGB_C),
147 [C] "m" (C)
148 : "cc", "memory",
149 "%xmm1", "%xmm2", "%xmm3", "%xmm4", "%xmm5", "%xmm6", "%xmm7",
150 "%xmm8", "%xmm9", "%xmm10", "%xmm11", "%xmm12", "%xmm13", "%xmm14", "%xmm15"
151 );
152 }
153
154 void x64_powcv2(float *dst, const float *v, float c, size_t count)
155 {
156 // float C = logf(c);
157 // for (size_t i=0; i<count; ++i)
158 // dst[i] = expf(v[i] * C);
159
160 IF_ARCH_X86_64(
161 float C[8] __lsp_aligned32;
162 );
163
164 ARCH_X86_64_ASM(
165 // Calc C = logf(c)
166 __ASM_EMIT("vbroadcastss %%xmm0, %%ymm0")
167 LOGN_CORE_X8
168 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)
169 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E) + R = log(c)*log2(E)
170 __ASM_EMIT("vmovaps %%ymm0, %[C]")
171
172 // x32 blocks
173 __ASM_EMIT("sub $32, %[count]")
174 __ASM_EMIT("jb 2f")
175 __ASM_EMIT("1:")
176 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
177 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
178 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
179 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
180 __ASM_EMIT("vmulps %[C], %%ymm0, %%ymm0")
181 __ASM_EMIT("vmulps %[C], %%ymm4, %%ymm4")
182 __ASM_EMIT("vmulps %[C], %%ymm8, %%ymm8")
183 __ASM_EMIT("vmulps %[C], %%ymm12, %%ymm12")
184 POW2_CORE_X32
185 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
186 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
187 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
188 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
189 __ASM_EMIT("add $0x80, %[src]")
190 __ASM_EMIT("add $0x80, %[dst]")
191 __ASM_EMIT("sub $32, %[count]")
192 __ASM_EMIT("jae 1b")
193
194 // x16 block
195 __ASM_EMIT("2:")
196 __ASM_EMIT("add $16, %[count]")
197 __ASM_EMIT("jl 4f")
198 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
199 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
200 __ASM_EMIT("vmulps %[C], %%ymm0, %%ymm0")
201 __ASM_EMIT("vmulps %[C], %%ymm4, %%ymm4")
202 POW2_CORE_X16
203 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
204 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
205 __ASM_EMIT("sub $16, %[count]")
206 __ASM_EMIT("add $0x40, %[src]")
207 __ASM_EMIT("add $0x40, %[dst]")
208
209 // x8 block
210 __ASM_EMIT("4:")
211 __ASM_EMIT("add $8, %[count]")
212 __ASM_EMIT("jl 6f")
213 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
214 __ASM_EMIT("vmulps %[C], %%ymm0, %%ymm0")
215 POW2_CORE_X8
216 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
217 __ASM_EMIT("sub $8, %[count]")
218 __ASM_EMIT("add $0x20, %[src]")
219 __ASM_EMIT("add $0x20, %[dst]")
220
221 // x4 block
222 __ASM_EMIT("6:")
223 __ASM_EMIT("add $4, %[count]")
224 __ASM_EMIT("jl 8f")
225 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
226 __ASM_EMIT("vmulps %[C], %%xmm0, %%xmm0")
227 POW2_CORE_X4
228 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
229 __ASM_EMIT("sub $4, %[count]")
230 __ASM_EMIT("add $0x10, %[src]")
231 __ASM_EMIT("add $0x10, %[dst]")
232
233 // Tail: 1x-3x block
234 __ASM_EMIT("8:")
235 __ASM_EMIT("add $4, %[count]")
236 __ASM_EMIT("jle 16f")
237 __ASM_EMIT("test $1, %[count]")
238 __ASM_EMIT("jz 10f")
239 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
240 __ASM_EMIT("add $4, %[src]")
241 __ASM_EMIT("10:")
242 __ASM_EMIT("test $2, %[count]")
243 __ASM_EMIT("jz 12f")
244 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
245 __ASM_EMIT("12:")
246
247 __ASM_EMIT("vmulps %[C], %%xmm0, %%xmm0")
248 POW2_CORE_X4
249
250 __ASM_EMIT("test $1, %[count]")
251 __ASM_EMIT("jz 14f")
252 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
253 __ASM_EMIT("add $4, %[dst]")
254 __ASM_EMIT("14:")
255 __ASM_EMIT("test $2, %[count]")
256 __ASM_EMIT("jz 16f")
257 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
258
259 // End
260 __ASM_EMIT("16:")
261
262 : [dst] "+r" (dst), [src] "+r" (v), [count] "+r" (count),
263 "+Yz" (c)
264 : [E2C] "o" (EXP2_CONST),
265 [L2C] "o" (LOG2_CONST),
266 [LOGC] "o" (LOGB_C),
267 [C] "m" (C)
268 : "cc", "memory",
269 "%xmm1", "%xmm2", "%xmm3", "%xmm4", "%xmm5", "%xmm6", "%xmm7",
270 "%xmm8", "%xmm9", "%xmm10", "%xmm11", "%xmm12", "%xmm13", "%xmm14", "%xmm15"
271 );
272 }
273
274 void x64_powvc1(float *c, float v, size_t count)
275 {
276 // for (size_t i=0; i<count; ++i)
277 // c[i] = expf(v * logf(c[i]));
278
279 IF_ARCH_X86_64(
280 float *src;
281 float V[8] __lsp_aligned32;
282 );
283
284 ARCH_X86_64_ASM(
285 __ASM_EMIT("vbroadcastss %%xmm0, %%ymm0")
286 __ASM_EMIT("vmovaps %%ymm0, %[V]")
287
288 // x32 blocks
289 __ASM_EMIT("sub $32, %[count]")
290 __ASM_EMIT("jb 2f")
291 __ASM_EMIT("1:")
292 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
293 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
294 __ASM_EMIT("vmovups 0x40(%[dst]), %%ymm8")
295 __ASM_EMIT("vmovups 0x60(%[dst]), %%ymm12")
296 // logf(c)
297 LOGN_CORE_X32
298 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)
299 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm4, %%ymm4")
300 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm8, %%ymm8")
301 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm12, %%ymm12")
302 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)+R
303 __ASM_EMIT("vaddps %%ymm5, %%ymm4, %%ymm4")
304 __ASM_EMIT("vaddps %%ymm9, %%ymm8, %%ymm8")
305 __ASM_EMIT("vaddps %%ymm13, %%ymm12, %%ymm12")
306 __ASM_EMIT("vmulps %[V], %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E)+R)*v
307 __ASM_EMIT("vmulps %[V], %%ymm4, %%ymm4")
308 __ASM_EMIT("vmulps %[V], %%ymm8, %%ymm8")
309 __ASM_EMIT("vmulps %[V], %%ymm12, %%ymm12")
310 // expf(v * logf(c))
311 POW2_CORE_X32
312 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
313 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
314 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
315 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
316 __ASM_EMIT("add $0x80, %[dst]")
317 __ASM_EMIT("sub $32, %[count]")
318 __ASM_EMIT("jae 1b")
319
320 // x16 block
321 __ASM_EMIT("2:")
322 __ASM_EMIT("add $16, %[count]")
323 __ASM_EMIT("jl 4f")
324 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
325 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
326 // logf(c)
327 LOGN_CORE_X16
328 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)
329 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm4, %%ymm4")
330 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)+R
331 __ASM_EMIT("vaddps %%ymm5, %%ymm4, %%ymm4")
332 __ASM_EMIT("vmulps %[V], %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E)+R)*v
333 __ASM_EMIT("vmulps %[V], %%ymm4, %%ymm4")
334 // expf(v * logf(c))
335 POW2_CORE_X16
336 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
337 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
338 __ASM_EMIT("sub $16, %[count]")
339 __ASM_EMIT("add $0x40, %[dst]")
340
341 // x8 block
342 __ASM_EMIT("4:")
343 __ASM_EMIT("add $8, %[count]")
344 __ASM_EMIT("jl 6f")
345 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
346 // logf(c)
347 LOGN_CORE_X8
348 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)
349 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)+R
350 __ASM_EMIT("vmulps %[V], %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E)+R)*v
351 // expf(v * logf(c))
352 POW2_CORE_X8
353 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
354 __ASM_EMIT("sub $8, %[count]")
355 __ASM_EMIT("add $0x20, %[dst]")
356
357 // x4 block
358 __ASM_EMIT("6:")
359 __ASM_EMIT("add $4, %[count]")
360 __ASM_EMIT("jl 8f")
361 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
362 // logf(c)
363 LOGN_CORE_X4
364 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%xmm0, %%xmm0") // xmm0 = 2*y*L*log2(E)
365 __ASM_EMIT("vaddps %%xmm1, %%xmm0, %%xmm0") // xmm0 = 2*y*L*log2(E)+R
366 __ASM_EMIT("vmulps %[V], %%xmm0, %%xmm0") // xmm0 = (2*y*L*log2(E)+R)*v
367 // expf(v * logf(c))
368 POW2_CORE_X4
369 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
370 __ASM_EMIT("sub $4, %[count]")
371 __ASM_EMIT("add $0x10, %[dst]")
372
373 // Tail: 1x-3x block
374 __ASM_EMIT("8:")
375 __ASM_EMIT("add $4, %[count]")
376 __ASM_EMIT("jle 16f")
377 __ASM_EMIT("mov %[dst], %[src]")
378 __ASM_EMIT("test $1, %[count]")
379 __ASM_EMIT("jz 10f")
380 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
381 __ASM_EMIT("add $4, %[src]")
382 __ASM_EMIT("10:")
383 __ASM_EMIT("test $2, %[count]")
384 __ASM_EMIT("jz 12f")
385 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
386 __ASM_EMIT("12:")
387
388 // logf(c)
389 LOGN_CORE_X4
390 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%xmm0, %%xmm0") // xmm0 = 2*y*L*log2(E)
391 __ASM_EMIT("vaddps %%xmm1, %%xmm0, %%xmm0") // xmm0 = 2*y*L*log2(E)+R
392 __ASM_EMIT("vmulps %[V], %%xmm0, %%xmm0") // xmm0 = (2*y*L*log2(E)+R)*v
393 // expf(v * logf(c))
394 POW2_CORE_X4
395
396 __ASM_EMIT("test $1, %[count]")
397 __ASM_EMIT("jz 14f")
398 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
399 __ASM_EMIT("add $4, %[dst]")
400 __ASM_EMIT("14:")
401 __ASM_EMIT("test $2, %[count]")
402 __ASM_EMIT("jz 16f")
403 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
404
405 // End
406 __ASM_EMIT("16:")
407
408 : [dst] "+r" (c), [src] "=&r" (src), [count] "+r" (count),
409 "+Yz" (v)
410 : [E2C] "o" (EXP2_CONST),
411 [L2C] "o" (LOG2_CONST),
412 [LOGC] "o" (LOGB_C),
413 [V] "m" (V)
414 : "cc", "memory",
415 "%xmm1", "%xmm2", "%xmm3", "%xmm4", "%xmm5", "%xmm6", "%xmm7",
416 "%xmm8", "%xmm9", "%xmm10", "%xmm11", "%xmm12", "%xmm13", "%xmm14", "%xmm15"
417 );
418 }
419
420 void x64_powvc2(float *dst, const float *c, float v, size_t count)
421 {
422 // for (size_t i=0; i<count; ++i)
423 // dst[i] = expf(v * logf(c[i]));
424
425 IF_ARCH_X86_64(
426 float V[8] __lsp_aligned32;
427 );
428
429 ARCH_X86_64_ASM(
430 __ASM_EMIT("vbroadcastss %%xmm0, %%ymm0")
431 __ASM_EMIT("vmovaps %%ymm0, %[V]")
432
433 // x32 blocks
434 __ASM_EMIT("sub $32, %[count]")
435 __ASM_EMIT("jb 2f")
436 __ASM_EMIT("1:")
437 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
438 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
439 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
440 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
441 // logf(c)
442 LOGN_CORE_X32
443 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)
444 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm4, %%ymm4")
445 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm8, %%ymm8")
446 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm12, %%ymm12")
447 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)+R
448 __ASM_EMIT("vaddps %%ymm5, %%ymm4, %%ymm4")
449 __ASM_EMIT("vaddps %%ymm9, %%ymm8, %%ymm8")
450 __ASM_EMIT("vaddps %%ymm13, %%ymm12, %%ymm12")
451 __ASM_EMIT("vmulps %[V], %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E)+R)*v
452 __ASM_EMIT("vmulps %[V], %%ymm4, %%ymm4")
453 __ASM_EMIT("vmulps %[V], %%ymm8, %%ymm8")
454 __ASM_EMIT("vmulps %[V], %%ymm12, %%ymm12")
455 // expf(v * logf(c))
456 POW2_CORE_X32
457 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
458 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
459 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
460 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
461 __ASM_EMIT("add $0x80, %[src]")
462 __ASM_EMIT("add $0x80, %[dst]")
463 __ASM_EMIT("sub $32, %[count]")
464 __ASM_EMIT("jae 1b")
465
466 // x16 block
467 __ASM_EMIT("2:")
468 __ASM_EMIT("add $16, %[count]")
469 __ASM_EMIT("jl 4f")
470 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
471 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
472 // logf(c)
473 LOGN_CORE_X16
474 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)
475 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm4, %%ymm4")
476 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)+R
477 __ASM_EMIT("vaddps %%ymm5, %%ymm4, %%ymm4")
478 __ASM_EMIT("vmulps %[V], %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E)+R)*v
479 __ASM_EMIT("vmulps %[V], %%ymm4, %%ymm4")
480 // expf(v * logf(c))
481 POW2_CORE_X16
482 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
483 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
484 __ASM_EMIT("sub $16, %[count]")
485 __ASM_EMIT("add $0x40, %[src]")
486 __ASM_EMIT("add $0x40, %[dst]")
487
488 // x8 block
489 __ASM_EMIT("4:")
490 __ASM_EMIT("add $8, %[count]")
491 __ASM_EMIT("jl 6f")
492 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
493 // logf(c)
494 LOGN_CORE_X8
495 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)
496 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)+R
497 __ASM_EMIT("vmulps %[V], %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E)+R)*v
498 // expf(v * logf(c))
499 POW2_CORE_X8
500 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
501 __ASM_EMIT("sub $8, %[count]")
502 __ASM_EMIT("add $0x20, %[src]")
503 __ASM_EMIT("add $0x20, %[dst]")
504
505 // x4 block
506 __ASM_EMIT("6:")
507 __ASM_EMIT("add $4, %[count]")
508 __ASM_EMIT("jl 8f")
509 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
510 // logf(c)
511 LOGN_CORE_X4
512 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%xmm0, %%xmm0") // xmm0 = 2*y*L*log2(E)
513 __ASM_EMIT("vaddps %%xmm1, %%xmm0, %%xmm0") // xmm0 = 2*y*L*log2(E)+R
514 __ASM_EMIT("vmulps %[V], %%xmm0, %%xmm0") // xmm0 = (2*y*L*log2(E)+R)*v
515 // expf(v * logf(c))
516 POW2_CORE_X4
517 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
518 __ASM_EMIT("sub $4, %[count]")
519 __ASM_EMIT("add $0x10, %[src]")
520 __ASM_EMIT("add $0x10, %[dst]")
521
522 // Tail: 1x-3x block
523 __ASM_EMIT("8:")
524 __ASM_EMIT("add $4, %[count]")
525 __ASM_EMIT("jle 16f")
526 __ASM_EMIT("test $1, %[count]")
527 __ASM_EMIT("jz 10f")
528 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
529 __ASM_EMIT("add $4, %[src]")
530 __ASM_EMIT("10:")
531 __ASM_EMIT("test $2, %[count]")
532 __ASM_EMIT("jz 12f")
533 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
534 __ASM_EMIT("12:")
535
536 // logf(c)
537 LOGN_CORE_X4
538 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%xmm0, %%xmm0") // xmm0 = 2*y*L*log2(E)
539 __ASM_EMIT("vaddps %%xmm1, %%xmm0, %%xmm0") // xmm0 = 2*y*L*log2(E)+R
540 __ASM_EMIT("vmulps %[V], %%xmm0, %%xmm0") // xmm0 = (2*y*L*log2(E)+R)*v
541 // expf(v * logf(c))
542 POW2_CORE_X4
543
544 __ASM_EMIT("test $1, %[count]")
545 __ASM_EMIT("jz 14f")
546 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
547 __ASM_EMIT("add $4, %[dst]")
548 __ASM_EMIT("14:")
549 __ASM_EMIT("test $2, %[count]")
550 __ASM_EMIT("jz 16f")
551 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
552
553 // End
554 __ASM_EMIT("16:")
555
556 : [dst] "+r" (dst), [src] "+r" (c), [count] "+r" (count),
557 "+Yz" (v)
558 : [E2C] "o" (EXP2_CONST),
559 [L2C] "o" (LOG2_CONST),
560 [LOGC] "o" (LOGB_C),
561 [V] "m" (V)
562 : "cc", "memory",
563 "%xmm1", "%xmm2", "%xmm3", "%xmm4", "%xmm5", "%xmm6", "%xmm7",
564 "%xmm8", "%xmm9", "%xmm10", "%xmm11", "%xmm12", "%xmm13", "%xmm14", "%xmm15"
565 );
566 }
567
568 void x64_powvx1(float *v, const float *x, size_t count)
569 {
570 // for (size_t i=0; i<count; ++i)
571 // v[i] = expf(x[i] * logf(v[i]));
572 IF_ARCH_X86_64(float *src);
573
574 ARCH_X86_64_ASM(
575 // x32 blocks
576 __ASM_EMIT("sub $32, %[count]")
577 __ASM_EMIT("jb 2f")
578 __ASM_EMIT("1:")
579 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
580 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
581 __ASM_EMIT("vmovups 0x40(%[dst]), %%ymm8")
582 __ASM_EMIT("vmovups 0x60(%[dst]), %%ymm12")
583 // logf(v)
584 LOGN_CORE_X32
585 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)
586 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm4, %%ymm4")
587 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm8, %%ymm8")
588 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm12, %%ymm12")
589 __ASM_EMIT("vmovups 0x00(%[x]), %%ymm2") // ymm2 = x
590 __ASM_EMIT("vmovups 0x20(%[x]), %%ymm6")
591 __ASM_EMIT("vmovups 0x40(%[x]), %%ymm10")
592 __ASM_EMIT("vmovups 0x60(%[x]), %%ymm14")
593 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E) + R
594 __ASM_EMIT("vaddps %%ymm5, %%ymm4, %%ymm4")
595 __ASM_EMIT("vaddps %%ymm9, %%ymm8, %%ymm8")
596 __ASM_EMIT("vaddps %%ymm13, %%ymm12, %%ymm12")
597 __ASM_EMIT("vmulps %%ymm2, %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E) + R)*x
598 __ASM_EMIT("vmulps %%ymm6, %%ymm4, %%ymm4")
599 __ASM_EMIT("vmulps %%ymm10, %%ymm8, %%ymm8")
600 __ASM_EMIT("vmulps %%ymm14, %%ymm12, %%ymm12")
601 // expf(x * logf(v))
602 POW2_CORE_X32
603 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
604 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
605 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
606 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
607 __ASM_EMIT("add $0x80, %[x]")
608 __ASM_EMIT("add $0x80, %[dst]")
609 __ASM_EMIT("sub $32, %[count]")
610 __ASM_EMIT("jae 1b")
611
612 // x16 block
613 __ASM_EMIT("2:")
614 __ASM_EMIT("add $16, %[count]")
615 __ASM_EMIT("jl 4f")
616 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
617 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
618 // logf(v)
619 LOGN_CORE_X16
620 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)
621 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm4, %%ymm4")
622 __ASM_EMIT("vmovups 0x00(%[x]), %%ymm2") // ymm2 = x
623 __ASM_EMIT("vmovups 0x20(%[x]), %%ymm6")
624 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E) + R
625 __ASM_EMIT("vaddps %%ymm5, %%ymm4, %%ymm4")
626 __ASM_EMIT("vmulps %%ymm2, %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E) + R)*x
627 __ASM_EMIT("vmulps %%ymm6, %%ymm4, %%ymm4")
628 // expf(x * logf(v))
629 POW2_CORE_X16
630 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
631 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
632 __ASM_EMIT("sub $16, %[count]")
633 __ASM_EMIT("add $0x40, %[x]")
634 __ASM_EMIT("add $0x40, %[dst]")
635
636 // x8 block
637 __ASM_EMIT("4:")
638 __ASM_EMIT("add $8, %[count]")
639 __ASM_EMIT("jl 6f")
640 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
641 // logf(v)
642 LOGN_CORE_X8
643 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)
644 __ASM_EMIT("vmovups 0x00(%[x]), %%ymm2") // ymm2 = x
645 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E) + R
646 __ASM_EMIT("vmulps %%ymm2, %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E) + R)*x
647 // expf(x * logf(v))
648 POW2_CORE_X8
649 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
650 __ASM_EMIT("sub $8, %[count]")
651 __ASM_EMIT("add $0x20, %[x]")
652 __ASM_EMIT("add $0x20, %[dst]")
653
654 // x4 block
655 __ASM_EMIT("6:")
656 __ASM_EMIT("add $4, %[count]")
657 __ASM_EMIT("jl 8f")
658 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
659 // logf(v)
660 LOGN_CORE_X4
661 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%xmm0, %%xmm0") // xmm0 = 2*y*L*log2(E)
662 __ASM_EMIT("vmovups 0x00(%[x]), %%xmm2") // xmm2 = x
663 __ASM_EMIT("vaddps %%xmm1, %%xmm0, %%xmm0") // xmm0 = 2*y*L*log2(E) + R
664 __ASM_EMIT("vmulps %%xmm2, %%xmm0, %%xmm0") // xmm0 = (2*y*L*log2(E) + R)*x
665 // expf(x * logf(v))
666 POW2_CORE_X4
667 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
668 __ASM_EMIT("sub $4, %[count]")
669 __ASM_EMIT("add $0x10, %[x]")
670 __ASM_EMIT("add $0x10, %[dst]")
671
672 // Tail: 1x-3x block
673 __ASM_EMIT("8:")
674 __ASM_EMIT("add $4, %[count]")
675 __ASM_EMIT("jle 16f")
676 __ASM_EMIT("mov %[dst], %[src]")
677 __ASM_EMIT("test $1, %[count]")
678 __ASM_EMIT("jz 10f")
679 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
680 __ASM_EMIT("vmovss 0x00(%[x]), %%xmm7")
681 __ASM_EMIT("add $4, %[src]")
682 __ASM_EMIT("add $4, %[x]")
683 __ASM_EMIT("10:")
684 __ASM_EMIT("test $2, %[count]")
685 __ASM_EMIT("jz 12f")
686 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
687 __ASM_EMIT("vmovhps 0x00(%[x]), %%xmm7, %%xmm7")
688 __ASM_EMIT("12:")
689
690 // logf(v)
691 LOGN_CORE_X4
692 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%xmm0, %%xmm0") // xmm0 = 2*y*L*log2(E)
693 __ASM_EMIT("vaddps %%xmm1, %%xmm0, %%xmm0") // xmm0 = 2*y*L*log2(E) + R
694 __ASM_EMIT("vmulps %%xmm7, %%xmm0, %%xmm0") // xmm0 = (2*y*L*log2(E) + R)*x
695 // expf(x * logf(v))
696 POW2_CORE_X4
697
698 __ASM_EMIT("test $1, %[count]")
699 __ASM_EMIT("jz 14f")
700 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
701 __ASM_EMIT("add $4, %[dst]")
702 __ASM_EMIT("14:")
703 __ASM_EMIT("test $2, %[count]")
704 __ASM_EMIT("jz 16f")
705 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
706
707 // End
708 __ASM_EMIT("16:")
709
710 : [dst] "+r" (v), [x] "+r" (x), [src] "=&r" (src), [count] "+r" (count)
711 : [E2C] "o" (EXP2_CONST),
712 [L2C] "o" (LOG2_CONST),
713 [LOGC] "o" (LOGB_C)
714 : "cc", "memory",
715 "%xmm1", "%xmm2", "%xmm3", "%xmm4", "%xmm5", "%xmm6", "%xmm7",
716 "%xmm8", "%xmm9", "%xmm10", "%xmm11", "%xmm12", "%xmm13", "%xmm14", "%xmm15"
717 );
718 }
719
720 void x64_powvx2(float *dst, const float *v, const float *x, size_t count)
721 {
722 // for (size_t i=0; i<count; ++i)
723 // dst[i] = expf(x[i] * logf(v[i]));
724 ARCH_X86_64_ASM(
725 // x32 blocks
726 __ASM_EMIT("sub $32, %[count]")
727 __ASM_EMIT("jb 2f")
728 __ASM_EMIT("1:")
729 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
730 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
731 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
732 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
733 // logf(v)
734 LOGN_CORE_X32
735 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)
736 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm4, %%ymm4")
737 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm8, %%ymm8")
738 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm12, %%ymm12")
739 __ASM_EMIT("vmovups 0x00(%[x]), %%ymm2") // ymm2 = x
740 __ASM_EMIT("vmovups 0x20(%[x]), %%ymm6")
741 __ASM_EMIT("vmovups 0x40(%[x]), %%ymm10")
742 __ASM_EMIT("vmovups 0x60(%[x]), %%ymm14")
743 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E) + R
744 __ASM_EMIT("vaddps %%ymm5, %%ymm4, %%ymm4")
745 __ASM_EMIT("vaddps %%ymm9, %%ymm8, %%ymm8")
746 __ASM_EMIT("vaddps %%ymm13, %%ymm12, %%ymm12")
747 __ASM_EMIT("vmulps %%ymm2, %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E) + R)*x
748 __ASM_EMIT("vmulps %%ymm6, %%ymm4, %%ymm4")
749 __ASM_EMIT("vmulps %%ymm10, %%ymm8, %%ymm8")
750 __ASM_EMIT("vmulps %%ymm14, %%ymm12, %%ymm12")
751 // expf(x * logf(v))
752 POW2_CORE_X32
753 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
754 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
755 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
756 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
757 __ASM_EMIT("add $0x80, %[x]")
758 __ASM_EMIT("add $0x80, %[src]")
759 __ASM_EMIT("add $0x80, %[dst]")
760 __ASM_EMIT("sub $32, %[count]")
761 __ASM_EMIT("jae 1b")
762
763 // x16 block
764 __ASM_EMIT("2:")
765 __ASM_EMIT("add $16, %[count]")
766 __ASM_EMIT("jl 4f")
767 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
768 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
769 // logf(v)
770 LOGN_CORE_X16
771 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)
772 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm4, %%ymm4")
773 __ASM_EMIT("vmovups 0x00(%[x]), %%ymm2") // ymm2 = x
774 __ASM_EMIT("vmovups 0x20(%[x]), %%ymm6")
775 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E) + R
776 __ASM_EMIT("vaddps %%ymm5, %%ymm4, %%ymm4")
777 __ASM_EMIT("vmulps %%ymm2, %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E) + R)*x
778 __ASM_EMIT("vmulps %%ymm6, %%ymm4, %%ymm4")
779 // expf(x * logf(v))
780 POW2_CORE_X16
781 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
782 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
783 __ASM_EMIT("sub $16, %[count]")
784 __ASM_EMIT("add $0x40, %[x]")
785 __ASM_EMIT("add $0x40, %[src]")
786 __ASM_EMIT("add $0x40, %[dst]")
787
788 // x8 block
789 __ASM_EMIT("4:")
790 __ASM_EMIT("add $8, %[count]")
791 __ASM_EMIT("jl 6f")
792 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
793 // logf(v)
794 LOGN_CORE_X8
795 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)
796 __ASM_EMIT("vmovups 0x00(%[x]), %%ymm2") // ymm2 = x
797 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E) + R
798 __ASM_EMIT("vmulps %%ymm2, %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E) + R)*x
799 // expf(x * logf(v))
800 POW2_CORE_X8
801 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
802 __ASM_EMIT("sub $8, %[count]")
803 __ASM_EMIT("add $0x20, %[x]")
804 __ASM_EMIT("add $0x20, %[src]")
805 __ASM_EMIT("add $0x20, %[dst]")
806
807 // x4 block
808 __ASM_EMIT("6:")
809 __ASM_EMIT("add $4, %[count]")
810 __ASM_EMIT("jl 8f")
811 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
812 // logf(v)
813 LOGN_CORE_X4
814 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%xmm0, %%xmm0") // xmm0 = 2*y*L*log2(E)
815 __ASM_EMIT("vmovups 0x00(%[x]), %%xmm2") // xmm2 = x
816 __ASM_EMIT("vaddps %%xmm1, %%xmm0, %%xmm0") // xmm0 = 2*y*L*log2(E) + R
817 __ASM_EMIT("vmulps %%xmm2, %%xmm0, %%xmm0") // xmm0 = (2*y*L*log2(E) + R)*x
818 // expf(x * logf(v))
819 POW2_CORE_X4
820 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
821 __ASM_EMIT("sub $4, %[count]")
822 __ASM_EMIT("add $0x10, %[x]")
823 __ASM_EMIT("add $0x10, %[src]")
824 __ASM_EMIT("add $0x10, %[dst]")
825
826 // Tail: 1x-3x block
827 __ASM_EMIT("8:")
828 __ASM_EMIT("add $4, %[count]")
829 __ASM_EMIT("jle 16f")
830 __ASM_EMIT("test $1, %[count]")
831 __ASM_EMIT("jz 10f")
832 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
833 __ASM_EMIT("vmovss 0x00(%[x]), %%xmm7")
834 __ASM_EMIT("add $4, %[src]")
835 __ASM_EMIT("add $4, %[x]")
836 __ASM_EMIT("10:")
837 __ASM_EMIT("test $2, %[count]")
838 __ASM_EMIT("jz 12f")
839 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
840 __ASM_EMIT("vmovhps 0x00(%[x]), %%xmm7, %%xmm7")
841 __ASM_EMIT("12:")
842
843 // logf(v)
844 LOGN_CORE_X4
845 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%xmm0, %%xmm0") // xmm0 = 2*y*L*log2(E)
846 __ASM_EMIT("vaddps %%xmm1, %%xmm0, %%xmm0") // xmm0 = 2*y*L*log2(E) + R
847 __ASM_EMIT("vmulps %%xmm7, %%xmm0, %%xmm0") // xmm0 = (2*y*L*log2(E) + R)*x
848 // expf(x * logf(v))
849 POW2_CORE_X4
850
851 __ASM_EMIT("test $1, %[count]")
852 __ASM_EMIT("jz 14f")
853 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
854 __ASM_EMIT("add $4, %[dst]")
855 __ASM_EMIT("14:")
856 __ASM_EMIT("test $2, %[count]")
857 __ASM_EMIT("jz 16f")
858 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
859
860 // End
861 __ASM_EMIT("16:")
862
863 : [dst] "+r" (dst), [x] "+r" (x), [src] "+r" (v), [count] "+r" (count)
864 : [E2C] "o" (EXP2_CONST),
865 [L2C] "o" (LOG2_CONST),
866 [LOGC] "o" (LOGB_C)
867 : "cc", "memory",
868 "%xmm1", "%xmm2", "%xmm3", "%xmm4", "%xmm5", "%xmm6", "%xmm7",
869 "%xmm8", "%xmm9", "%xmm10", "%xmm11", "%xmm12", "%xmm13", "%xmm14", "%xmm15"
870 );
871 }
872
873
874
875
876
877
878
879
880 void x64_powcv1_fma3(float *v, float c, size_t count)
881 {
882 // float C = logf(c);
883 // for (size_t i=0; i<count; ++i)
884 // v[i] = expf(v[i] * C);
885
886 IF_ARCH_X86_64(
887 float *src;
888 float C[8] __lsp_aligned32;
889 );
890
891 ARCH_X86_64_ASM(
892 // Calc C = logf(c)
893 __ASM_EMIT("vbroadcastss %%xmm0, %%ymm0")
894 LOGN_CORE_X8_FMA3
895 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)
896 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E) + R = log(c)*log2(E)
897 __ASM_EMIT("vmovaps %%ymm0, %[C]")
898
899 // x32 blocks
900 __ASM_EMIT("sub $32, %[count]")
901 __ASM_EMIT("jb 2f")
902 __ASM_EMIT("1:")
903 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
904 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
905 __ASM_EMIT("vmovups 0x40(%[dst]), %%ymm8")
906 __ASM_EMIT("vmovups 0x60(%[dst]), %%ymm12")
907 __ASM_EMIT("vmulps %[C], %%ymm0, %%ymm0")
908 __ASM_EMIT("vmulps %[C], %%ymm4, %%ymm4")
909 __ASM_EMIT("vmulps %[C], %%ymm8, %%ymm8")
910 __ASM_EMIT("vmulps %[C], %%ymm12, %%ymm12")
911 POW2_CORE_X32_FMA3
912 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
913 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
914 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
915 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
916 __ASM_EMIT("add $0x80, %[dst]")
917 __ASM_EMIT("sub $32, %[count]")
918 __ASM_EMIT("jae 1b")
919
920 // x16 block
921 __ASM_EMIT("2:")
922 __ASM_EMIT("add $16, %[count]")
923 __ASM_EMIT("jl 4f")
924 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
925 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
926 __ASM_EMIT("vmulps %[C], %%ymm0, %%ymm0")
927 __ASM_EMIT("vmulps %[C], %%ymm4, %%ymm4")
928 POW2_CORE_X16_FMA3
929 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
930 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
931 __ASM_EMIT("sub $16, %[count]")
932 __ASM_EMIT("add $0x40, %[dst]")
933
934 // x8 block
935 __ASM_EMIT("4:")
936 __ASM_EMIT("add $8, %[count]")
937 __ASM_EMIT("jl 6f")
938 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
939 __ASM_EMIT("vmulps %[C], %%ymm0, %%ymm0")
940 POW2_CORE_X8_FMA3
941 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
942 __ASM_EMIT("sub $8, %[count]")
943 __ASM_EMIT("add $0x20, %[dst]")
944
945 // x4 block
946 __ASM_EMIT("6:")
947 __ASM_EMIT("add $4, %[count]")
948 __ASM_EMIT("jl 8f")
949 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
950 __ASM_EMIT("vmulps %[C], %%xmm0, %%xmm0")
951 POW2_CORE_X4_FMA3
952 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
953 __ASM_EMIT("sub $4, %[count]")
954 __ASM_EMIT("add $0x10, %[dst]")
955
956 // Tail: 1x-3x block
957 __ASM_EMIT("8:")
958 __ASM_EMIT("add $4, %[count]")
959 __ASM_EMIT("jle 16f")
960 __ASM_EMIT("mov %[dst], %[src]")
961 __ASM_EMIT("test $1, %[count]")
962 __ASM_EMIT("jz 10f")
963 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
964 __ASM_EMIT("add $4, %[src]")
965 __ASM_EMIT("10:")
966 __ASM_EMIT("test $2, %[count]")
967 __ASM_EMIT("jz 12f")
968 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
969 __ASM_EMIT("12:")
970
971 __ASM_EMIT("vmulps %[C], %%xmm0, %%xmm0")
972 POW2_CORE_X4_FMA3
973
974 __ASM_EMIT("test $1, %[count]")
975 __ASM_EMIT("jz 14f")
976 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
977 __ASM_EMIT("add $4, %[dst]")
978 __ASM_EMIT("14:")
979 __ASM_EMIT("test $2, %[count]")
980 __ASM_EMIT("jz 16f")
981 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
982
983 // End
984 __ASM_EMIT("16:")
985
986 : [dst] "+r" (v), [src] "=&r" (src), [count] "+r" (count),
987 "+Yz" (c)
988 : [E2C] "o" (EXP2_CONST),
989 [L2C] "o" (LOG2_CONST),
990 [LOGC] "o" (LOGB_C),
991 [C] "m" (C)
992 : "cc", "memory",
993 "%xmm1", "%xmm2", "%xmm3", "%xmm4", "%xmm5", "%xmm6", "%xmm7",
994 "%xmm8", "%xmm9", "%xmm10", "%xmm11", "%xmm12", "%xmm13", "%xmm14", "%xmm15"
995 );
996 }
997
998 void x64_powcv2_fma3(float *dst, const float *v, float c, size_t count)
999 {
1000 // float C = logf(c);
1001 // for (size_t i=0; i<count; ++i)
1002 // dst[i] = expf(v[i] * C);
1003
1004 IF_ARCH_X86_64(
1005 float C[8] __lsp_aligned32;
1006 );
1007
1008 ARCH_X86_64_ASM(
1009 // Calc C = logf(c)
1010 __ASM_EMIT("vbroadcastss %%xmm0, %%ymm0")
1011 LOGN_CORE_X8_FMA3
1012 __ASM_EMIT("vmulps 0x00 + %[LOGC], %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E)
1013 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm0") // ymm0 = 2*y*L*log2(E) + R = log(c)*log2(E)
1014 __ASM_EMIT("vmovaps %%ymm0, %[C]")
1015
1016 // x32 blocks
1017 __ASM_EMIT("sub $32, %[count]")
1018 __ASM_EMIT("jb 2f")
1019 __ASM_EMIT("1:")
1020 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1021 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1022 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
1023 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
1024 __ASM_EMIT("vmulps %[C], %%ymm0, %%ymm0")
1025 __ASM_EMIT("vmulps %[C], %%ymm4, %%ymm4")
1026 __ASM_EMIT("vmulps %[C], %%ymm8, %%ymm8")
1027 __ASM_EMIT("vmulps %[C], %%ymm12, %%ymm12")
1028 POW2_CORE_X32_FMA3
1029 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1030 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1031 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
1032 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
1033 __ASM_EMIT("add $0x80, %[src]")
1034 __ASM_EMIT("add $0x80, %[dst]")
1035 __ASM_EMIT("sub $32, %[count]")
1036 __ASM_EMIT("jae 1b")
1037
1038 // x16 block
1039 __ASM_EMIT("2:")
1040 __ASM_EMIT("add $16, %[count]")
1041 __ASM_EMIT("jl 4f")
1042 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1043 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1044 __ASM_EMIT("vmulps %[C], %%ymm0, %%ymm0")
1045 __ASM_EMIT("vmulps %[C], %%ymm4, %%ymm4")
1046 POW2_CORE_X16_FMA3
1047 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1048 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1049 __ASM_EMIT("sub $16, %[count]")
1050 __ASM_EMIT("add $0x40, %[src]")
1051 __ASM_EMIT("add $0x40, %[dst]")
1052
1053 // x8 block
1054 __ASM_EMIT("4:")
1055 __ASM_EMIT("add $8, %[count]")
1056 __ASM_EMIT("jl 6f")
1057 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1058 __ASM_EMIT("vmulps %[C], %%ymm0, %%ymm0")
1059 POW2_CORE_X8_FMA3
1060 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1061 __ASM_EMIT("sub $8, %[count]")
1062 __ASM_EMIT("add $0x20, %[src]")
1063 __ASM_EMIT("add $0x20, %[dst]")
1064
1065 // x4 block
1066 __ASM_EMIT("6:")
1067 __ASM_EMIT("add $4, %[count]")
1068 __ASM_EMIT("jl 8f")
1069 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1070 __ASM_EMIT("vmulps %[C], %%xmm0, %%xmm0")
1071 POW2_CORE_X4_FMA3
1072 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1073 __ASM_EMIT("sub $4, %[count]")
1074 __ASM_EMIT("add $0x10, %[src]")
1075 __ASM_EMIT("add $0x10, %[dst]")
1076
1077 // Tail: 1x-3x block
1078 __ASM_EMIT("8:")
1079 __ASM_EMIT("add $4, %[count]")
1080 __ASM_EMIT("jle 16f")
1081 __ASM_EMIT("test $1, %[count]")
1082 __ASM_EMIT("jz 10f")
1083 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1084 __ASM_EMIT("add $4, %[src]")
1085 __ASM_EMIT("10:")
1086 __ASM_EMIT("test $2, %[count]")
1087 __ASM_EMIT("jz 12f")
1088 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1089 __ASM_EMIT("12:")
1090
1091 __ASM_EMIT("vmulps %[C], %%xmm0, %%xmm0")
1092 POW2_CORE_X4_FMA3
1093
1094 __ASM_EMIT("test $1, %[count]")
1095 __ASM_EMIT("jz 14f")
1096 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1097 __ASM_EMIT("add $4, %[dst]")
1098 __ASM_EMIT("14:")
1099 __ASM_EMIT("test $2, %[count]")
1100 __ASM_EMIT("jz 16f")
1101 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1102
1103 // End
1104 __ASM_EMIT("16:")
1105
1106 : [dst] "+r" (dst), [src] "+r" (v), [count] "+r" (count),
1107 "+Yz" (c)
1108 : [E2C] "o" (EXP2_CONST),
1109 [L2C] "o" (LOG2_CONST),
1110 [LOGC] "o" (LOGB_C),
1111 [C] "m" (C)
1112 : "cc", "memory",
1113 "%xmm1", "%xmm2", "%xmm3", "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1114 "%xmm8", "%xmm9", "%xmm10", "%xmm11", "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1115 );
1116 }
1117
1118 void x64_powvc1_fma3(float *c, float v, size_t count)
1119 {
1120 // for (size_t i=0; i<count; ++i)
1121 // c[i] = expf(v * logf(c[i]));
1122
1123 IF_ARCH_X86_64(
1124 float *src;
1125 float V[8] __lsp_aligned32;
1126 );
1127
1128 ARCH_X86_64_ASM(
1129 __ASM_EMIT("vbroadcastss %%xmm0, %%ymm0")
1130 __ASM_EMIT("vmovaps %%ymm0, %[V]")
1131
1132 // x32 blocks
1133 __ASM_EMIT("sub $32, %[count]")
1134 __ASM_EMIT("jb 2f")
1135 __ASM_EMIT("1:")
1136 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1137 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
1138 __ASM_EMIT("vmovups 0x40(%[dst]), %%ymm8")
1139 __ASM_EMIT("vmovups 0x60(%[dst]), %%ymm12")
1140 // logf(c)
1141 LOGN_CORE_X32_FMA3
1142 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm1, %%ymm0") // ymm0 = 2*y*L*log2(E)+R
1143 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm5, %%ymm4")
1144 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm9, %%ymm8")
1145 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm13, %%ymm12")
1146 __ASM_EMIT("vmulps %[V], %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E)+R)*v
1147 __ASM_EMIT("vmulps %[V], %%ymm4, %%ymm4")
1148 __ASM_EMIT("vmulps %[V], %%ymm8, %%ymm8")
1149 __ASM_EMIT("vmulps %[V], %%ymm12, %%ymm12")
1150 // expf(v * logf(c))
1151 POW2_CORE_X32_FMA3
1152 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1153 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1154 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
1155 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
1156 __ASM_EMIT("add $0x80, %[dst]")
1157 __ASM_EMIT("sub $32, %[count]")
1158 __ASM_EMIT("jae 1b")
1159
1160 // x16 block
1161 __ASM_EMIT("2:")
1162 __ASM_EMIT("add $16, %[count]")
1163 __ASM_EMIT("jl 4f")
1164 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1165 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
1166 // logf(c)
1167 LOGN_CORE_X16_FMA3
1168 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm1, %%ymm0") // ymm0 = 2*y*L*log2(E)+R
1169 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm5, %%ymm4")
1170 __ASM_EMIT("vmulps %[V], %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E)+R)*v
1171 __ASM_EMIT("vmulps %[V], %%ymm4, %%ymm4")
1172 // expf(v * logf(c))
1173 POW2_CORE_X16_FMA3
1174 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1175 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1176 __ASM_EMIT("sub $16, %[count]")
1177 __ASM_EMIT("add $0x40, %[dst]")
1178
1179 // x8 block
1180 __ASM_EMIT("4:")
1181 __ASM_EMIT("add $8, %[count]")
1182 __ASM_EMIT("jl 6f")
1183 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1184 // logf(c)
1185 LOGN_CORE_X8_FMA3
1186 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm1, %%ymm0") // ymm0 = 2*y*L*log2(E)+R
1187 __ASM_EMIT("vmulps %[V], %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E)+R)*v
1188 // expf(v * logf(c))
1189 POW2_CORE_X8_FMA3
1190 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1191 __ASM_EMIT("sub $8, %[count]")
1192 __ASM_EMIT("add $0x20, %[dst]")
1193
1194 // x4 block
1195 __ASM_EMIT("6:")
1196 __ASM_EMIT("add $4, %[count]")
1197 __ASM_EMIT("jl 8f")
1198 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
1199 // logf(c)
1200 LOGN_CORE_X4_FMA3
1201 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%xmm1, %%xmm0") // xmm0 = 2*y*L*log2(E)+R
1202 __ASM_EMIT("vmulps %[V], %%xmm0, %%xmm0") // xmm0 = (2*y*L*log2(E)+R)*v
1203 // expf(v * logf(c))
1204 POW2_CORE_X4_FMA3
1205 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1206 __ASM_EMIT("sub $4, %[count]")
1207 __ASM_EMIT("add $0x10, %[dst]")
1208
1209 // Tail: 1x-3x block
1210 __ASM_EMIT("8:")
1211 __ASM_EMIT("add $4, %[count]")
1212 __ASM_EMIT("jle 16f")
1213 __ASM_EMIT("mov %[dst], %[src]")
1214 __ASM_EMIT("test $1, %[count]")
1215 __ASM_EMIT("jz 10f")
1216 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1217 __ASM_EMIT("add $4, %[src]")
1218 __ASM_EMIT("10:")
1219 __ASM_EMIT("test $2, %[count]")
1220 __ASM_EMIT("jz 12f")
1221 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1222 __ASM_EMIT("12:")
1223
1224 // logf(c)
1225 LOGN_CORE_X4_FMA3
1226 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%xmm1, %%xmm0") // xmm0 = 2*y*L*log2(E)+R
1227 __ASM_EMIT("vmulps %[V], %%xmm0, %%xmm0") // xmm0 = (2*y*L*log2(E)+R)*v
1228 // expf(v * logf(c))
1229 POW2_CORE_X4_FMA3
1230
1231 __ASM_EMIT("test $1, %[count]")
1232 __ASM_EMIT("jz 14f")
1233 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1234 __ASM_EMIT("add $4, %[dst]")
1235 __ASM_EMIT("14:")
1236 __ASM_EMIT("test $2, %[count]")
1237 __ASM_EMIT("jz 16f")
1238 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1239
1240 // End
1241 __ASM_EMIT("16:")
1242
1243 : [dst] "+r" (c), [src] "=&r" (src), [count] "+r" (count),
1244 "+Yz" (v)
1245 : [E2C] "o" (EXP2_CONST),
1246 [L2C] "o" (LOG2_CONST),
1247 [LOGC] "o" (LOGB_C),
1248 [V] "m" (V)
1249 : "cc", "memory",
1250 "%xmm1", "%xmm2", "%xmm3", "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1251 "%xmm8", "%xmm9", "%xmm10", "%xmm11", "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1252 );
1253 }
1254
1255 void x64_powvc2_fma3(float *dst, const float *c, float v, size_t count)
1256 {
1257 // for (size_t i=0; i<count; ++i)
1258 // dst[i] = expf(v * logf(c[i]));
1259
1260 IF_ARCH_X86_64(
1261 float V[8] __lsp_aligned32;
1262 );
1263
1264 ARCH_X86_64_ASM(
1265 __ASM_EMIT("vbroadcastss %%xmm0, %%ymm0")
1266 __ASM_EMIT("vmovaps %%ymm0, %[V]")
1267
1268 // x32 blocks
1269 __ASM_EMIT("sub $32, %[count]")
1270 __ASM_EMIT("jb 2f")
1271 __ASM_EMIT("1:")
1272 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1273 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1274 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
1275 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
1276 // logf(c)
1277 LOGN_CORE_X32_FMA3
1278 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm1, %%ymm0") // ymm0 = 2*y*L*log2(E)+R
1279 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm5, %%ymm4")
1280 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm9, %%ymm8")
1281 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm13, %%ymm12")
1282 __ASM_EMIT("vmulps %[V], %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E)+R)*v
1283 __ASM_EMIT("vmulps %[V], %%ymm4, %%ymm4")
1284 __ASM_EMIT("vmulps %[V], %%ymm8, %%ymm8")
1285 __ASM_EMIT("vmulps %[V], %%ymm12, %%ymm12")
1286 // expf(v * logf(c))
1287 POW2_CORE_X32_FMA3
1288 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1289 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1290 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
1291 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
1292 __ASM_EMIT("add $0x80, %[src]")
1293 __ASM_EMIT("add $0x80, %[dst]")
1294 __ASM_EMIT("sub $32, %[count]")
1295 __ASM_EMIT("jae 1b")
1296
1297 // x16 block
1298 __ASM_EMIT("2:")
1299 __ASM_EMIT("add $16, %[count]")
1300 __ASM_EMIT("jl 4f")
1301 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1302 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1303 // logf(c)
1304 LOGN_CORE_X16_FMA3
1305 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm1, %%ymm0") // ymm0 = 2*y*L*log2(E)+R
1306 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm5, %%ymm4")
1307 __ASM_EMIT("vmulps %[V], %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E)+R)*v
1308 __ASM_EMIT("vmulps %[V], %%ymm4, %%ymm4")
1309 // expf(v * logf(c))
1310 POW2_CORE_X16_FMA3
1311 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1312 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1313 __ASM_EMIT("sub $16, %[count]")
1314 __ASM_EMIT("add $0x40, %[src]")
1315 __ASM_EMIT("add $0x40, %[dst]")
1316
1317 // x8 block
1318 __ASM_EMIT("4:")
1319 __ASM_EMIT("add $8, %[count]")
1320 __ASM_EMIT("jl 6f")
1321 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1322 // logf(c)
1323 LOGN_CORE_X8_FMA3
1324 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm1, %%ymm0") // ymm0 = 2*y*L*log2(E)+R
1325 __ASM_EMIT("vmulps %[V], %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E)+R)*v
1326 // expf(v * logf(c))
1327 POW2_CORE_X8_FMA3
1328 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1329 __ASM_EMIT("sub $8, %[count]")
1330 __ASM_EMIT("add $0x20, %[src]")
1331 __ASM_EMIT("add $0x20, %[dst]")
1332
1333 // x4 block
1334 __ASM_EMIT("6:")
1335 __ASM_EMIT("add $4, %[count]")
1336 __ASM_EMIT("jl 8f")
1337 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1338 // logf(c)
1339 LOGN_CORE_X4_FMA3
1340 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%xmm1, %%xmm0") // ymm0 = 2*y*L*log2(E)+R
1341 __ASM_EMIT("vmulps %[V], %%xmm0, %%xmm0") // xmm0 = (2*y*L*log2(E)+R)*v
1342 // expf(v * logf(c))
1343 POW2_CORE_X4_FMA3
1344 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1345 __ASM_EMIT("sub $4, %[count]")
1346 __ASM_EMIT("add $0x10, %[src]")
1347 __ASM_EMIT("add $0x10, %[dst]")
1348
1349 // Tail: 1x-3x block
1350 __ASM_EMIT("8:")
1351 __ASM_EMIT("add $4, %[count]")
1352 __ASM_EMIT("jle 16f")
1353 __ASM_EMIT("test $1, %[count]")
1354 __ASM_EMIT("jz 10f")
1355 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1356 __ASM_EMIT("add $4, %[src]")
1357 __ASM_EMIT("10:")
1358 __ASM_EMIT("test $2, %[count]")
1359 __ASM_EMIT("jz 12f")
1360 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1361 __ASM_EMIT("12:")
1362
1363 // logf(c)
1364 LOGN_CORE_X4_FMA3
1365 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%xmm1, %%xmm0") // xmm0 = 2*y*L*log2(E)+R
1366 __ASM_EMIT("vmulps %[V], %%xmm0, %%xmm0") // xmm0 = (2*y*L*log2(E)+R)*v
1367 // expf(v * logf(c))
1368 POW2_CORE_X4_FMA3
1369
1370 __ASM_EMIT("test $1, %[count]")
1371 __ASM_EMIT("jz 14f")
1372 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1373 __ASM_EMIT("add $4, %[dst]")
1374 __ASM_EMIT("14:")
1375 __ASM_EMIT("test $2, %[count]")
1376 __ASM_EMIT("jz 16f")
1377 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1378
1379 // End
1380 __ASM_EMIT("16:")
1381
1382 : [dst] "+r" (dst), [src] "+r" (c), [count] "+r" (count),
1383 "+Yz" (v)
1384 : [E2C] "o" (EXP2_CONST),
1385 [L2C] "o" (LOG2_CONST),
1386 [LOGC] "o" (LOGB_C),
1387 [V] "m" (V)
1388 : "cc", "memory",
1389 "%xmm1", "%xmm2", "%xmm3", "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1390 "%xmm8", "%xmm9", "%xmm10", "%xmm11", "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1391 );
1392 }
1393
1394 void x64_powvx1_fma3(float *v, const float *x, size_t count)
1395 {
1396 // for (size_t i=0; i<count; ++i)
1397 // v[i] = expf(x[i] * logf(v[i]));
1398 IF_ARCH_X86_64(float *src);
1399
1400 ARCH_X86_64_ASM(
1401 // x32 blocks
1402 __ASM_EMIT("sub $32, %[count]")
1403 __ASM_EMIT("jb 2f")
1404 __ASM_EMIT("1:")
1405 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1406 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
1407 __ASM_EMIT("vmovups 0x40(%[dst]), %%ymm8")
1408 __ASM_EMIT("vmovups 0x60(%[dst]), %%ymm12")
1409 // logf(v)
1410 LOGN_CORE_X32_FMA3
1411 __ASM_EMIT("vmovups 0x00(%[x]), %%ymm2") // ymm2 = x
1412 __ASM_EMIT("vmovups 0x20(%[x]), %%ymm6")
1413 __ASM_EMIT("vmovups 0x40(%[x]), %%ymm10")
1414 __ASM_EMIT("vmovups 0x60(%[x]), %%ymm14")
1415 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm1, %%ymm0") // ymm0 = 2*y*L*log2(E)+R
1416 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm5, %%ymm4")
1417 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm9, %%ymm8")
1418 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm13, %%ymm12")
1419 __ASM_EMIT("vmulps %%ymm2, %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E) + R)*x
1420 __ASM_EMIT("vmulps %%ymm6, %%ymm4, %%ymm4")
1421 __ASM_EMIT("vmulps %%ymm10, %%ymm8, %%ymm8")
1422 __ASM_EMIT("vmulps %%ymm14, %%ymm12, %%ymm12")
1423 // expf(x * logf(v))
1424 POW2_CORE_X32_FMA3
1425 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1426 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1427 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
1428 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
1429 __ASM_EMIT("add $0x80, %[x]")
1430 __ASM_EMIT("add $0x80, %[dst]")
1431 __ASM_EMIT("sub $32, %[count]")
1432 __ASM_EMIT("jae 1b")
1433
1434 // x16 block
1435 __ASM_EMIT("2:")
1436 __ASM_EMIT("add $16, %[count]")
1437 __ASM_EMIT("jl 4f")
1438 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1439 __ASM_EMIT("vmovups 0x20(%[dst]), %%ymm4")
1440 // logf(v)
1441 LOGN_CORE_X16_FMA3
1442 __ASM_EMIT("vmovups 0x00(%[x]), %%ymm2") // ymm2 = x
1443 __ASM_EMIT("vmovups 0x20(%[x]), %%ymm6")
1444 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm1, %%ymm0") // ymm0 = 2*y*L*log2(E)+R
1445 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm5, %%ymm4")
1446 __ASM_EMIT("vmulps %%ymm2, %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E) + R)*x
1447 __ASM_EMIT("vmulps %%ymm6, %%ymm4, %%ymm4")
1448 // expf(x * logf(v))
1449 POW2_CORE_X16_FMA3
1450 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1451 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1452 __ASM_EMIT("sub $16, %[count]")
1453 __ASM_EMIT("add $0x40, %[x]")
1454 __ASM_EMIT("add $0x40, %[dst]")
1455
1456 // x8 block
1457 __ASM_EMIT("4:")
1458 __ASM_EMIT("add $8, %[count]")
1459 __ASM_EMIT("jl 6f")
1460 __ASM_EMIT("vmovups 0x00(%[dst]), %%ymm0")
1461 // logf(v)
1462 LOGN_CORE_X8_FMA3
1463 __ASM_EMIT("vmovups 0x00(%[x]), %%ymm2") // ymm2 = x
1464 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm1, %%ymm0") // ymm0 = 2*y*L*log2(E)+R
1465 __ASM_EMIT("vmulps %%ymm2, %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E) + R)*x
1466 // expf(x * logf(v))
1467 POW2_CORE_X8_FMA3
1468 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1469 __ASM_EMIT("sub $8, %[count]")
1470 __ASM_EMIT("add $0x20, %[x]")
1471 __ASM_EMIT("add $0x20, %[dst]")
1472
1473 // x4 block
1474 __ASM_EMIT("6:")
1475 __ASM_EMIT("add $4, %[count]")
1476 __ASM_EMIT("jl 8f")
1477 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm0")
1478 // logf(v)
1479 LOGN_CORE_X4_FMA3
1480 __ASM_EMIT("vmovups 0x00(%[x]), %%xmm2") // xmm2 = x
1481 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%xmm1, %%xmm0") // xmm0 = 2*y*L*log2(E)+R
1482 __ASM_EMIT("vmulps %%xmm2, %%xmm0, %%xmm0") // xmm0 = (2*y*L*log2(E) + R)*x
1483 // expf(x * logf(v))
1484 POW2_CORE_X4_FMA3
1485 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1486 __ASM_EMIT("sub $4, %[count]")
1487 __ASM_EMIT("add $0x10, %[x]")
1488 __ASM_EMIT("add $0x10, %[dst]")
1489
1490 // Tail: 1x-3x block
1491 __ASM_EMIT("8:")
1492 __ASM_EMIT("add $4, %[count]")
1493 __ASM_EMIT("jle 16f")
1494 __ASM_EMIT("mov %[dst], %[src]")
1495 __ASM_EMIT("test $1, %[count]")
1496 __ASM_EMIT("jz 10f")
1497 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1498 __ASM_EMIT("vmovss 0x00(%[x]), %%xmm7")
1499 __ASM_EMIT("add $4, %[src]")
1500 __ASM_EMIT("add $4, %[x]")
1501 __ASM_EMIT("10:")
1502 __ASM_EMIT("test $2, %[count]")
1503 __ASM_EMIT("jz 12f")
1504 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1505 __ASM_EMIT("vmovhps 0x00(%[x]), %%xmm7, %%xmm7")
1506 __ASM_EMIT("12:")
1507
1508 // logf(v)
1509 LOGN_CORE_X4_FMA3
1510 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%xmm1, %%xmm0") // xmm0 = 2*y*L*log2(E)+R
1511 __ASM_EMIT("vmulps %%xmm7, %%xmm0, %%xmm0") // xmm0 = (2*y*L*log2(E) + R)*x
1512 // expf(x * logf(v))
1513 POW2_CORE_X4_FMA3
1514
1515 __ASM_EMIT("test $1, %[count]")
1516 __ASM_EMIT("jz 14f")
1517 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1518 __ASM_EMIT("add $4, %[dst]")
1519 __ASM_EMIT("14:")
1520 __ASM_EMIT("test $2, %[count]")
1521 __ASM_EMIT("jz 16f")
1522 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1523
1524 // End
1525 __ASM_EMIT("16:")
1526
1527 : [dst] "+r" (v), [x] "+r" (x), [src] "=&r" (src), [count] "+r" (count)
1528 : [E2C] "o" (EXP2_CONST),
1529 [L2C] "o" (LOG2_CONST),
1530 [LOGC] "o" (LOGB_C)
1531 : "cc", "memory",
1532 "%xmm1", "%xmm2", "%xmm3", "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1533 "%xmm8", "%xmm9", "%xmm10", "%xmm11", "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1534 );
1535 }
1536
1537 void x64_powvx2_fma3(float *dst, const float *v, const float *x, size_t count)
1538 {
1539 // for (size_t i=0; i<count; ++i)
1540 // dst[i] = expf(x[i] * logf(v[i]));
1541 ARCH_X86_64_ASM(
1542 // x32 blocks
1543 __ASM_EMIT("sub $32, %[count]")
1544 __ASM_EMIT("jb 2f")
1545 __ASM_EMIT("1:")
1546 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1547 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1548 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
1549 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
1550 // logf(v)
1551 LOGN_CORE_X32_FMA3
1552 __ASM_EMIT("vmovups 0x00(%[x]), %%ymm2") // ymm2 = x
1553 __ASM_EMIT("vmovups 0x20(%[x]), %%ymm6")
1554 __ASM_EMIT("vmovups 0x40(%[x]), %%ymm10")
1555 __ASM_EMIT("vmovups 0x60(%[x]), %%ymm14")
1556 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm1, %%ymm0") // ymm0 = 2*y*L*log2(E)+R
1557 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm5, %%ymm4")
1558 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm9, %%ymm8")
1559 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm13, %%ymm12")
1560 __ASM_EMIT("vmulps %%ymm2, %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E) + R)*x
1561 __ASM_EMIT("vmulps %%ymm6, %%ymm4, %%ymm4")
1562 __ASM_EMIT("vmulps %%ymm10, %%ymm8, %%ymm8")
1563 __ASM_EMIT("vmulps %%ymm14, %%ymm12, %%ymm12")
1564 // expf(x * logf(v))
1565 POW2_CORE_X32_FMA3
1566 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1567 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1568 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
1569 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
1570 __ASM_EMIT("add $0x80, %[x]")
1571 __ASM_EMIT("add $0x80, %[src]")
1572 __ASM_EMIT("add $0x80, %[dst]")
1573 __ASM_EMIT("sub $32, %[count]")
1574 __ASM_EMIT("jae 1b")
1575
1576 // x16 block
1577 __ASM_EMIT("2:")
1578 __ASM_EMIT("add $16, %[count]")
1579 __ASM_EMIT("jl 4f")
1580 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1581 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1582 // logf(v)
1583 LOGN_CORE_X16_FMA3
1584 __ASM_EMIT("vmovups 0x00(%[x]), %%ymm2") // ymm2 = x
1585 __ASM_EMIT("vmovups 0x20(%[x]), %%ymm6")
1586 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm1, %%ymm0") // ymm0 = 2*y*L*log2(E)+R
1587 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm5, %%ymm4")
1588 __ASM_EMIT("vmulps %%ymm2, %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E) + R)*x
1589 __ASM_EMIT("vmulps %%ymm6, %%ymm4, %%ymm4")
1590 // expf(x * logf(v))
1591 POW2_CORE_X16_FMA3
1592 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1593 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1594 __ASM_EMIT("sub $16, %[count]")
1595 __ASM_EMIT("add $0x40, %[x]")
1596 __ASM_EMIT("add $0x40, %[src]")
1597 __ASM_EMIT("add $0x40, %[dst]")
1598
1599 // x8 block
1600 __ASM_EMIT("4:")
1601 __ASM_EMIT("add $8, %[count]")
1602 __ASM_EMIT("jl 6f")
1603 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1604 // logf(v)
1605 LOGN_CORE_X8_FMA3
1606 __ASM_EMIT("vmovups 0x00(%[x]), %%ymm2") // ymm2 = x
1607 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%ymm1, %%ymm0") // ymm0 = 2*y*L*log2(E)+R
1608 __ASM_EMIT("vmulps %%ymm2, %%ymm0, %%ymm0") // ymm0 = (2*y*L*log2(E) + R)*x
1609 // expf(x * logf(v))
1610 POW2_CORE_X8_FMA3
1611 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1612 __ASM_EMIT("sub $8, %[count]")
1613 __ASM_EMIT("add $0x20, %[x]")
1614 __ASM_EMIT("add $0x20, %[src]")
1615 __ASM_EMIT("add $0x20, %[dst]")
1616
1617 // x4 block
1618 __ASM_EMIT("6:")
1619 __ASM_EMIT("add $4, %[count]")
1620 __ASM_EMIT("jl 8f")
1621 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1622 // logf(v)
1623 LOGN_CORE_X4_FMA3
1624 __ASM_EMIT("vmovups 0x00(%[x]), %%xmm2") // xmm2 = x
1625 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%xmm1, %%xmm0") // xmm0 = 2*y*L*log2(E)+R
1626 __ASM_EMIT("vmulps %%xmm2, %%xmm0, %%xmm0") // xmm0 = (2*y*L*log2(E) + R)*x
1627 // expf(x * logf(v))
1628 POW2_CORE_X4_FMA3
1629 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1630 __ASM_EMIT("sub $4, %[count]")
1631 __ASM_EMIT("add $0x10, %[x]")
1632 __ASM_EMIT("add $0x10, %[src]")
1633 __ASM_EMIT("add $0x10, %[dst]")
1634
1635 // Tail: 1x-3x block
1636 __ASM_EMIT("8:")
1637 __ASM_EMIT("add $4, %[count]")
1638 __ASM_EMIT("jle 16f")
1639 __ASM_EMIT("test $1, %[count]")
1640 __ASM_EMIT("jz 10f")
1641 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1642 __ASM_EMIT("vmovss 0x00(%[x]), %%xmm7")
1643 __ASM_EMIT("add $4, %[src]")
1644 __ASM_EMIT("add $4, %[x]")
1645 __ASM_EMIT("10:")
1646 __ASM_EMIT("test $2, %[count]")
1647 __ASM_EMIT("jz 12f")
1648 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1649 __ASM_EMIT("vmovhps 0x00(%[x]), %%xmm7, %%xmm7")
1650 __ASM_EMIT("12:")
1651
1652 // logf(v)
1653 LOGN_CORE_X4_FMA3
1654 __ASM_EMIT("vfmadd132ps 0x00 + %[LOGC], %%xmm1, %%xmm0") // xmm0 = 2*y*L*log2(E)+R
1655 __ASM_EMIT("vmulps %%xmm7, %%xmm0, %%xmm0") // xmm0 = (2*y*L*log2(E) + R)*x
1656 // expf(x * logf(v))
1657 POW2_CORE_X4_FMA3
1658
1659 __ASM_EMIT("test $1, %[count]")
1660 __ASM_EMIT("jz 14f")
1661 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1662 __ASM_EMIT("add $4, %[dst]")
1663 __ASM_EMIT("14:")
1664 __ASM_EMIT("test $2, %[count]")
1665 __ASM_EMIT("jz 16f")
1666 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1667
1668 // End
1669 __ASM_EMIT("16:")
1670
1671 : [dst] "+r" (dst), [x] "+r" (x), [src] "+r" (v), [count] "+r" (count)
1672 : [E2C] "o" (EXP2_CONST),
1673 [L2C] "o" (LOG2_CONST),
1674 [LOGC] "o" (LOGB_C)
1675 : "cc", "memory",
1676 "%xmm1", "%xmm2", "%xmm3", "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1677 "%xmm8", "%xmm9", "%xmm10", "%xmm11", "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1678 );
1679 }
1680 } /* namespace avx2 */
1681 } /* namespace lsp */
1682
1683 #endif /* PRIVATE_DSP_ARCH_X86_AVX2_PMATH_POW_H_ */