Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx2/dynamics/expander.h

raw
1 /*
2 * Copyright (C) 2023 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2023 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 2 нояб. 2023 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX2_DYNAMICS_EXPANDER_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX2_DYNAMICS_EXPANDER_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX2_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX2_IMPL */
28
29 #include <private/dsp/arch/x86/avx2/pmath/exp.h>
30 #include <private/dsp/arch/x86/avx2/pmath/log.h>
31
32 namespace lsp
33 {
34 namespace avx2
35 {
36 #pragma pack(push, 1)
37 typedef struct expander_knee_t
38 {
39 float start[8]; // +0x00
40 float end[8]; // +0x20
41 float threshold[8]; // +0x40
42 float herm[24]; // +0x60
43 float tilt[16]; // +0xc0
44 } expander_knee_t;
45 #pragma pack(pop)
46
47 static const uint32_t expander_const[] __lsp_aligned32 =
48 {
49 LSP_DSP_VEC8(0x7fffffff), // abs
50 LSP_DSP_VEC8(0x3f800000) // 1.0f
51 };
52
53
54 #define UNPACK_EXP_KNEE(DST, SRC) \
55 __ASM_EMIT("vbroadcastss 0x00(%[" SRC "]), %%ymm0") \
56 __ASM_EMIT("vbroadcastss 0x04(%[" SRC "]), %%ymm1") \
57 __ASM_EMIT("vbroadcastss 0x08(%[" SRC "]), %%ymm2") \
58 __ASM_EMIT("vbroadcastss 0x0c(%[" SRC "]), %%ymm3") \
59 __ASM_EMIT("vbroadcastss 0x10(%[" SRC "]), %%ymm4") \
60 __ASM_EMIT("vbroadcastss 0x14(%[" SRC "]), %%ymm5") \
61 __ASM_EMIT("vbroadcastss 0x18(%[" SRC "]), %%ymm6") \
62 __ASM_EMIT("vbroadcastss 0x1c(%[" SRC "]), %%ymm7") \
63 __ASM_EMIT("vmovaps %%ymm0, 0x000 + %[" DST "]") \
64 __ASM_EMIT("vmovaps %%ymm1, 0x020 + %[" DST "]") \
65 __ASM_EMIT("vmovaps %%ymm2, 0x040 + %[" DST "]") \
66 __ASM_EMIT("vmovaps %%ymm3, 0x060 + %[" DST "]") \
67 __ASM_EMIT("vmovaps %%ymm4, 0x080 + %[" DST "]") \
68 __ASM_EMIT("vmovaps %%ymm5, 0x0a0 + %[" DST "]") \
69 __ASM_EMIT("vmovaps %%ymm6, 0x0c0 + %[" DST "]") \
70 __ASM_EMIT("vmovaps %%ymm7, 0x0e0 + %[" DST "]")
71
72 #define PROCESS_UKNEE_SINGLE_X32 \
73 /* in: ymm0 = lx0, ymm4 = lx1, ymm8 = lx2, ymm12 = lx3 */ \
74 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm0, %%ymm1") /* ymm1 = herm[0]*lx0 */ \
75 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm4, %%ymm5") \
76 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm8, %%ymm9") \
77 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm12, %%ymm13") \
78 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm0, %%ymm2") /* ymm2 = tilt[0]*lx0 */ \
79 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm4, %%ymm6") \
80 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm8, %%ymm10") \
81 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm12, %%ymm14") \
82 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
83 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm5, %%ymm5") \
84 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm9, %%ymm9") \
85 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm13, %%ymm13") \
86 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm2, %%ymm2") /* ymm2 = TV = tilt[0]*lx0+tilt[1] */ \
87 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm6, %%ymm6") \
88 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm10, %%ymm10") \
89 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm14, %%ymm14") \
90 __ASM_EMIT("vmulps %%ymm1, %%ymm0, %%ymm1") /* ymm1 = (herm[0]*lx0+herm[1])*lx0 */ \
91 __ASM_EMIT("vmulps %%ymm5, %%ymm4, %%ymm5") \
92 __ASM_EMIT("vmulps %%ymm9, %%ymm8, %%ymm9") \
93 __ASM_EMIT("vmulps %%ymm13, %%ymm12, %%ymm13") \
94 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm1, %%ymm1") /* ymm5 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
95 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm5, %%ymm5") \
96 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm9, %%ymm9") \
97 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm13, %%ymm13") \
98 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm0") /* ymm1 = x0 */ \
99 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm4") \
100 __ASM_EMIT("vmovaps 0x40 + %[mem], %%ymm8") \
101 __ASM_EMIT("vmovaps 0x60 + %[mem], %%ymm12") \
102 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm0, %%ymm3") /* ymm3 = [x0 >= end] */ \
103 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm4, %%ymm7") \
104 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm8, %%ymm11") \
105 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm12, %%ymm15") \
106 __ASM_EMIT("vblendvps %%ymm3, %%ymm2, %%ymm1, %%ymm0") /* ymm0 = [x0 >= end] ? TV : KV */ \
107 __ASM_EMIT("vblendvps %%ymm7, %%ymm6, %%ymm5, %%ymm4") \
108 __ASM_EMIT("vblendvps %%ymm11, %%ymm10, %%ymm9, %%ymm8") \
109 __ASM_EMIT("vblendvps %%ymm15, %%ymm14, %%ymm13, %%ymm12") \
110 EXP_CORE_X32 /* ymm0 = EV = expf([x0 >= end] ? TV : KV) */ \
111 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm1") /* ymm1 = x0 */ \
112 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm5") \
113 __ASM_EMIT("vmovaps 0x40 + %[mem], %%ymm9") \
114 __ASM_EMIT("vmovaps 0x60 + %[mem], %%ymm13") \
115 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm1, %%ymm2") /* ymm2 = [x0 <= start] */ \
116 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm5, %%ymm6") \
117 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm9, %%ymm10") \
118 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm13, %%ymm14") \
119 __ASM_EMIT("vblendvps %%ymm2, 0x20 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = [x0 <= start] ? 1.0 : EV */ \
120 __ASM_EMIT("vblendvps %%ymm6, 0x20 + %[X2C], %%ymm4, %%ymm4") \
121 __ASM_EMIT("vblendvps %%ymm10, 0x20 + %[X2C], %%ymm8, %%ymm8") \
122 __ASM_EMIT("vblendvps %%ymm14, 0x20 + %[X2C], %%ymm12, %%ymm12") \
123 /* out: ymm0 = g0, ymm4 = g1, ymm8 = g2, ymm12 = g3 */
124
125 #define PROCESS_UKNEE_SINGLE_X16 \
126 /* in: ymm0 = lx0, ymm4 = lx1 */ \
127 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm0, %%ymm1") /* ymm1 = herm[0]*lx0 */ \
128 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm4, %%ymm5") \
129 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm0, %%ymm2") /* ymm2 = tilt[0]*lx0 */ \
130 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm4, %%ymm6") \
131 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
132 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm5, %%ymm5") \
133 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm2, %%ymm2") /* ymm2 = TV = tilt[0]*lx0+tilt[1] */ \
134 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm6, %%ymm6") \
135 __ASM_EMIT("vmulps %%ymm1, %%ymm0, %%ymm1") /* ymm1 = (herm[0]*lx0+herm[1])*lx0 */ \
136 __ASM_EMIT("vmulps %%ymm5, %%ymm4, %%ymm5") \
137 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm1, %%ymm1") /* ymm5 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
138 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm5, %%ymm5") \
139 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm0") /* ymm1 = x0 */ \
140 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm4") \
141 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm0, %%ymm3") /* ymm3 = [x0 >= end] */ \
142 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm4, %%ymm7") \
143 __ASM_EMIT("vblendvps %%ymm3, %%ymm2, %%ymm1, %%ymm0") /* ymm0 = [x0 >= end] ? TV : KV */ \
144 __ASM_EMIT("vblendvps %%ymm7, %%ymm6, %%ymm5, %%ymm4") \
145 EXP_CORE_X16 /* ymm0 = EV = expf([x0 >= end] ? TV : KV) */ \
146 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm1") /* ymm1 = x0 */ \
147 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm5") \
148 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm1, %%ymm2") /* ymm2 = [x0 <= start] */ \
149 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm5, %%ymm6") \
150 __ASM_EMIT("vblendvps %%ymm2, 0x20 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = [x0 <= start] ? 1.0 : EV */ \
151 __ASM_EMIT("vblendvps %%ymm6, 0x20 + %[X2C], %%ymm4, %%ymm4") \
152 /* out: ymm0 = g0, ymm4 = g1 */
153
154 #define PROCESS_UKNEE_SINGLE_X8 \
155 /* in: ymm0 = lx0 */ \
156 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm0, %%ymm1") /* ymm1 = herm[0]*lx0 */ \
157 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm0, %%ymm2") /* ymm2 = tilt[0]*lx0 */ \
158 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
159 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm2, %%ymm2") /* ymm2 = TV = tilt[0]*lx0+tilt[1] */ \
160 __ASM_EMIT("vmulps %%ymm1, %%ymm0, %%ymm1") /* ymm1 = (herm[0]*lx0+herm[1])*lx0 */ \
161 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm1, %%ymm1") /* ymm5 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
162 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm0") /* ymm1 = x0 */ \
163 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm0, %%ymm3") /* ymm3 = [x0 >= end] */ \
164 __ASM_EMIT("vblendvps %%ymm3, %%ymm2, %%ymm1, %%ymm0") /* ymm0 = [x0 >= end] ? TV : KV */ \
165 EXP_CORE_X8 /* ymm0 = EV = expf([x0 >= end] ? TV : KV) */ \
166 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm1") /* ymm1 = x0 */ \
167 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm1, %%ymm2") /* ymm2 = [x0 <= start] */ \
168 __ASM_EMIT("vblendvps %%ymm2, 0x20 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = [x0 <= start] ? 1.0 : EV */ \
169 /* out: ymm0 = g0 */
170
171 #define PROCESS_UKNEE_SINGLE_X4 \
172 /* in: xmm0 = lx0 */ \
173 __ASM_EMIT("vmulps 0x60 + %[knee], %%xmm0, %%xmm1") /* xmm1 = herm[0]*lx0 */ \
174 __ASM_EMIT("vmulps 0xc0 + %[knee], %%xmm0, %%xmm2") /* xmm2 = tilt[0]*lx0 */ \
175 __ASM_EMIT("vaddps 0x80 + %[knee], %%xmm1, %%xmm1") /* xmm1 = herm[0]*lx0+herm[1] */ \
176 __ASM_EMIT("vaddps 0xe0 + %[knee], %%xmm2, %%xmm2") /* xmm2 = TV = tilt[0]*lx0+tilt[1] */ \
177 __ASM_EMIT("vmulps %%xmm1, %%xmm0, %%xmm1") /* xmm1 = (herm[0]*lx0+herm[1])*lx0 */ \
178 __ASM_EMIT("vaddps 0xa0 + %[knee], %%xmm1, %%xmm1") /* xmm5 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
179 __ASM_EMIT("vmovaps 0x00 + %[mem], %%xmm0") /* xmm1 = x0 */ \
180 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%xmm0, %%xmm3") /* xmm3 = [x0 >= end] */ \
181 __ASM_EMIT("vblendvps %%xmm3, %%xmm2, %%xmm1, %%xmm0") /* xmm0 = [x0 >= end] ? TV : KV */ \
182 EXP_CORE_X4 /* xmm0 = EV = expf([x0 >= end] ? TV : KV) */ \
183 __ASM_EMIT("vmovaps 0x00 + %[mem], %%xmm1") /* xmm1 = x0 */ \
184 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%xmm1, %%xmm2") /* xmm2 = [x0 <= start] */ \
185 __ASM_EMIT("vblendvps %%xmm2, 0x20 + %[X2C], %%xmm0, %%xmm0") /* xmm0 = [x0 <= start] ? 1.0 : EV */ \
186 /* out: xmm0 = g0 */
187
188 #define PROCESS_UEXP_FULL_X32 \
189 /* in: ymm0 = x0, ymm4 = x1, ymm8 = x2, ymm12 = x4 */ \
190 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
191 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm4, %%ymm4") \
192 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm8, %%ymm8") \
193 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm12, %%ymm12") \
194 __ASM_EMIT("vminps 0x40 + %[knee], %%ymm0, %%ymm0") /* ymm0 = min(fabsf(x0), threshold) */ \
195 __ASM_EMIT("vminps 0x40 + %[knee], %%ymm4, %%ymm4") \
196 __ASM_EMIT("vminps 0x40 + %[knee], %%ymm8, %%ymm8") \
197 __ASM_EMIT("vminps 0x40 + %[knee], %%ymm12, %%ymm12") \
198 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm0, %%ymm1") /* ymm1 = [x0 > start] */ \
199 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm4, %%ymm5") \
200 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm8, %%ymm9") \
201 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm12, %%ymm13") \
202 __ASM_EMIT("vorps %%ymm5, %%ymm1, %%ymm1") \
203 __ASM_EMIT("vorps %%ymm13, %%ymm9, %%ymm9") \
204 __ASM_EMIT("vorps %%ymm9, %%ymm1, %%ymm1") \
205 __ASM_EMIT("vmovmskps %%ymm1, %[mask]") \
206 __ASM_EMIT("test %[mask], %[mask]") \
207 __ASM_EMIT("jnz 100f") \
208 __ASM_EMIT("vmovaps 0x20 + %[X2C], %%ymm0") /* ymm0 = 1.0f */ \
209 __ASM_EMIT("vmovaps 0x20 + %[X2C], %%ymm4") \
210 __ASM_EMIT("vmovaps %%ymm0, %%ymm8") \
211 __ASM_EMIT("vmovaps %%ymm4, %%ymm12") \
212 __ASM_EMIT("jmp 200f") \
213 __ASM_EMIT("100:") \
214 __ASM_EMIT("vmovaps %%ymm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
215 __ASM_EMIT("vmovaps %%ymm4, 0x20 + %[mem]") \
216 __ASM_EMIT("vmovaps %%ymm8, 0x40 + %[mem]") \
217 __ASM_EMIT("vmovaps %%ymm12, 0x60 + %[mem]") \
218 LOGE_CORE_X32 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
219 PROCESS_UKNEE_SINGLE_X32 /* apply knee */ \
220 __ASM_EMIT("200:") \
221 /* out: ymm0 = G0, ymm4 = G1, ymm8 = G2, ymm12 = G3 */
222
223 #define PROCESS_UEXP_FULL_X16 \
224 /* in: ymm0 = x0, ymm4 = x1 */ \
225 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
226 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm4, %%ymm4") \
227 __ASM_EMIT("vminps 0x40 + %[knee], %%ymm0, %%ymm0") /* ymm0 = min(fabsf(x0), threshold) */ \
228 __ASM_EMIT("vminps 0x40 + %[knee], %%ymm4, %%ymm4") \
229 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm0, %%ymm1") /* ymm1 = [x0 > start] */ \
230 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm4, %%ymm5") \
231 __ASM_EMIT("vorps %%ymm5, %%ymm1, %%ymm1") \
232 __ASM_EMIT("vmovmskps %%ymm1, %[mask]") \
233 __ASM_EMIT("test %[mask], %[mask]") \
234 __ASM_EMIT("jnz 100f") \
235 __ASM_EMIT("vmovaps 0x20 + %[X2C], %%ymm0") /* ymm0 = 1.0f */ \
236 __ASM_EMIT("vmovaps 0x20 + %[X2C], %%ymm4") \
237 __ASM_EMIT("jmp 200f") \
238 __ASM_EMIT("100:") \
239 __ASM_EMIT("vmovaps %%ymm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
240 __ASM_EMIT("vmovaps %%ymm4, 0x20 + %[mem]") \
241 LOGE_CORE_X16 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
242 PROCESS_UKNEE_SINGLE_X16 /* apply knee */ \
243 __ASM_EMIT("200:") \
244 /* out: ymm0 = G0, ymm4 = G1 */
245
246 #define PROCESS_UEXP_FULL_X8 \
247 /* in: ymm0 = x0 */ \
248 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
249 __ASM_EMIT("vminps 0x40 + %[knee], %%ymm0, %%ymm0") /* ymm0 = min(fabsf(x0), threshold) */ \
250 __ASM_EMIT("vmovaps %%ymm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
251 LOGE_CORE_X8 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
252 PROCESS_UKNEE_SINGLE_X8 /* apply knee */ \
253 /* out: ymm0 = G0 */
254
255 #define PROCESS_UEXP_FULL_X4 \
256 /* in: xmm0 = x0 */ \
257 __ASM_EMIT("vandps 0x00 + %[X2C], %%xmm0, %%xmm0") /* xmm0 = fabsf(x0) */ \
258 __ASM_EMIT("vminps 0x40 + %[knee], %%xmm0, %%xmm0") /* xmm0 = min(fabsf(x0), threshold) */ \
259 __ASM_EMIT("vmovaps %%xmm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
260 LOGE_CORE_X4 /* xmm0 = lx0 = logf(fabsf(x0)) */ \
261 PROCESS_UKNEE_SINGLE_X4 /* apply knee */ \
262 /* out: xmm0 = G0 */
263
264 void uexpander_x1_gain(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
265 {
266 IF_ARCH_X86(
267 float stub0[16] __lsp_aligned32;
268 expander_knee_t knee __lsp_aligned32;
269 float mem[16] __lsp_aligned32;
270 float stub[16] __lsp_aligned32;
271 size_t mask;
272 );
273
274 ARCH_X86_ASM
275 (
276 // Prepare stuff
277 UNPACK_EXP_KNEE("knee", "exp")
278
279 // 16x blocks
280 __ASM_EMIT("sub $16, %[count]")
281 __ASM_EMIT("jb 2f")
282 __ASM_EMIT("1:")
283 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
284 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
285 PROCESS_UEXP_FULL_X16
286 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
287 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
288 __ASM_EMIT("add $0x40, %[src]")
289 __ASM_EMIT("add $0x40, %[dst]")
290 __ASM_EMIT("sub $16, %[count]")
291 __ASM_EMIT("jae 1b")
292 __ASM_EMIT("2:")
293 // 8x blocks
294 __ASM_EMIT("add $8, %[count]")
295 __ASM_EMIT("jl 4f")
296 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
297 PROCESS_UEXP_FULL_X8
298 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
299 __ASM_EMIT("add $0x20, %[src]")
300 __ASM_EMIT("add $0x20, %[dst]")
301 __ASM_EMIT("sub $8, %[count]")
302 __ASM_EMIT("4:")
303 // 4x blocks
304 __ASM_EMIT("add $4, %[count]")
305 __ASM_EMIT("jl 6f")
306 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
307 PROCESS_UEXP_FULL_X4
308 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
309 __ASM_EMIT("sub $4, %[count]")
310 __ASM_EMIT("add $0x10, %[src]")
311 __ASM_EMIT("add $0x10, %[dst]")
312 __ASM_EMIT("6:")
313 // Tail: 1x-3x block
314 __ASM_EMIT("add $4, %[count]")
315 __ASM_EMIT("jle 14f")
316 __ASM_EMIT("test $1, %[count]")
317 __ASM_EMIT("jz 8f")
318 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
319 __ASM_EMIT("add $4, %[src]")
320 __ASM_EMIT("8:")
321 __ASM_EMIT("test $2, %[count]")
322 __ASM_EMIT("jz 10f")
323 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
324 __ASM_EMIT("10:")
325 PROCESS_UEXP_FULL_X4
326 __ASM_EMIT("test $1, %[count]")
327 __ASM_EMIT("jz 12f")
328 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
329 __ASM_EMIT("add $4, %[dst]")
330 __ASM_EMIT("12:")
331 __ASM_EMIT("test $2, %[count]")
332 __ASM_EMIT("jz 14f")
333 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
334 __ASM_EMIT("14:")
335
336 : [dst] "+r" (dst), [src] "+r" (src),
337 [count] "+r" (count),
338 [mask] "=&r" (mask)
339 : [exp] "r" (c),
340 [knee] "o" (knee),
341 [mem] "o" (mem),
342 [stub0] "o" (stub0),
343 [stub] "o" (stub),
344 [X2C] "o" (expander_const),
345 [L2C] "o" (LOG2_CONST),
346 [LOGC] "o" (LOGE_C),
347 [E2C] "o" (EXP2_CONST),
348 [LOG2E] "m" (EXP_LOG2E)
349 : "cc", "memory",
350 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
351 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
352 );
353 }
354
355 IF_ARCH_X86_64(
356 void x64_uexpander_x1_gain(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
357 {
358 IF_ARCH_X86(
359 float stub0[16] __lsp_aligned32;
360 expander_knee_t knee __lsp_aligned32;
361 float mem[32] __lsp_aligned32;
362 float stub[16] __lsp_aligned32;
363 size_t mask;
364 );
365
366 ARCH_X86_ASM
367 (
368 // Prepare stuff
369 UNPACK_EXP_KNEE("knee", "exp")
370
371 // 32x blocks
372 __ASM_EMIT("sub $32, %[count]")
373 __ASM_EMIT("jb 2f")
374 __ASM_EMIT("1:")
375 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
376 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
377 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
378 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
379 PROCESS_UEXP_FULL_X32
380 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
381 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
382 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
383 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
384 __ASM_EMIT("add $0x80, %[src]")
385 __ASM_EMIT("add $0x80, %[dst]")
386 __ASM_EMIT("sub $32, %[count]")
387 __ASM_EMIT("jae 1b")
388 __ASM_EMIT("2:")
389 // 16x blocks
390 __ASM_EMIT("add $16, %[count]")
391 __ASM_EMIT("jl 4f")
392 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
393 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
394 PROCESS_UEXP_FULL_X16
395 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
396 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
397 __ASM_EMIT("add $0x40, %[src]")
398 __ASM_EMIT("add $0x40, %[dst]")
399 __ASM_EMIT("sub $16, %[count]")
400 __ASM_EMIT("4:")
401 // 8x blocks
402 __ASM_EMIT("add $8, %[count]")
403 __ASM_EMIT("jl 6f")
404 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
405 PROCESS_UEXP_FULL_X8
406 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
407 __ASM_EMIT("add $0x20, %[src]")
408 __ASM_EMIT("add $0x20, %[dst]")
409 __ASM_EMIT("sub $8, %[count]")
410 __ASM_EMIT("6:")
411 // 4x blocks
412 __ASM_EMIT("add $4, %[count]")
413 __ASM_EMIT("jl 8f")
414 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
415 PROCESS_UEXP_FULL_X4
416 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
417 __ASM_EMIT("sub $4, %[count]")
418 __ASM_EMIT("add $0x10, %[src]")
419 __ASM_EMIT("add $0x10, %[dst]")
420 __ASM_EMIT("8:")
421 // Tail: 1x-3x block
422 __ASM_EMIT("add $4, %[count]")
423 __ASM_EMIT("jle 16f")
424 __ASM_EMIT("test $1, %[count]")
425 __ASM_EMIT("jz 10f")
426 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
427 __ASM_EMIT("add $4, %[src]")
428 __ASM_EMIT("10:")
429 __ASM_EMIT("test $2, %[count]")
430 __ASM_EMIT("jz 12f")
431 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
432 __ASM_EMIT("12:")
433 PROCESS_UEXP_FULL_X4
434 __ASM_EMIT("test $1, %[count]")
435 __ASM_EMIT("jz 14f")
436 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
437 __ASM_EMIT("add $4, %[dst]")
438 __ASM_EMIT("14:")
439 __ASM_EMIT("test $2, %[count]")
440 __ASM_EMIT("jz 16f")
441 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
442 __ASM_EMIT("16:")
443
444 : [dst] "+r" (dst), [src] "+r" (src),
445 [count] "+r" (count),
446 [mask] "=&r" (mask)
447 : [exp] "r" (c),
448 [knee] "o" (knee),
449 [mem] "o" (mem),
450 [stub0] "o" (stub0),
451 [stub] "o" (stub),
452 [X2C] "o" (expander_const),
453 [L2C] "o" (LOG2_CONST),
454 [LOGC] "o" (LOGE_C),
455 [E2C] "o" (EXP2_CONST),
456 [LOG2E] "m" (EXP_LOG2E)
457 : "cc", "memory",
458 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
459 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
460 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
461 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
462 );
463 }
464 )
465
466 void uexpander_x1_curve(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
467 {
468 IF_ARCH_X86(
469 float stub0[16] __lsp_aligned32;
470 expander_knee_t knee __lsp_aligned32;
471 float mem[16] __lsp_aligned32;
472 float stub[16] __lsp_aligned32;
473 size_t mask;
474 );
475
476 ARCH_X86_ASM
477 (
478 // Prepare stuff
479 UNPACK_EXP_KNEE("knee", "exp")
480
481 // 16x blocks
482 __ASM_EMIT("sub $16, %[count]")
483 __ASM_EMIT("jb 2f")
484 __ASM_EMIT("1:")
485 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
486 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
487 PROCESS_UEXP_FULL_X16
488 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
489 __ASM_EMIT("vmulps 0x20(%[src]), %%ymm4, %%ymm4")
490 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
491 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
492 __ASM_EMIT("add $0x40, %[src]")
493 __ASM_EMIT("add $0x40, %[dst]")
494 __ASM_EMIT("sub $16, %[count]")
495 __ASM_EMIT("jae 1b")
496 __ASM_EMIT("2:")
497 // 8x blocks
498 __ASM_EMIT("add $8, %[count]")
499 __ASM_EMIT("jl 4f")
500 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
501 PROCESS_UEXP_FULL_X8
502 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
503 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
504 __ASM_EMIT("add $0x20, %[src]")
505 __ASM_EMIT("add $0x20, %[dst]")
506 __ASM_EMIT("sub $8, %[count]")
507 __ASM_EMIT("4:")
508 // 4x blocks
509 __ASM_EMIT("add $4, %[count]")
510 __ASM_EMIT("jl 6f")
511 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
512 PROCESS_UEXP_FULL_X4
513 __ASM_EMIT("vmulps 0x00(%[src]), %%xmm0, %%xmm0")
514 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
515 __ASM_EMIT("sub $4, %[count]")
516 __ASM_EMIT("add $0x10, %[src]")
517 __ASM_EMIT("add $0x10, %[dst]")
518 __ASM_EMIT("6:")
519 // Tail: 1x-3x block
520 __ASM_EMIT("add $4, %[count]")
521 __ASM_EMIT("jle 14f")
522 __ASM_EMIT("test $1, %[count]")
523 __ASM_EMIT("jz 8f")
524 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
525 __ASM_EMIT("add $4, %[src]")
526 __ASM_EMIT("8:")
527 __ASM_EMIT("test $2, %[count]")
528 __ASM_EMIT("jz 10f")
529 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
530 __ASM_EMIT("10:")
531 __ASM_EMIT("vmovaps %%xmm0, %%xmm4")
532 PROCESS_UEXP_FULL_X4
533 __ASM_EMIT("vmulps %%xmm4, %%xmm0, %%xmm0")
534 __ASM_EMIT("test $1, %[count]")
535 __ASM_EMIT("jz 12f")
536 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
537 __ASM_EMIT("add $4, %[dst]")
538 __ASM_EMIT("12:")
539 __ASM_EMIT("test $2, %[count]")
540 __ASM_EMIT("jz 14f")
541 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
542 __ASM_EMIT("14:")
543
544 : [dst] "+r" (dst), [src] "+r" (src),
545 [count] "+r" (count),
546 [mask] "=&r" (mask)
547 : [exp] "r" (c),
548 [knee] "o" (knee),
549 [mem] "o" (mem),
550 [stub0] "o" (stub0),
551 [stub] "o" (stub),
552 [X2C] "o" (expander_const),
553 [L2C] "o" (LOG2_CONST),
554 [LOGC] "o" (LOGE_C),
555 [E2C] "o" (EXP2_CONST),
556 [LOG2E] "m" (EXP_LOG2E)
557 : "cc", "memory",
558 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
559 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
560 );
561 }
562
563 IF_ARCH_X86_64(
564 void x64_uexpander_x1_curve(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
565 {
566 IF_ARCH_X86(
567 float stub0[16] __lsp_aligned32;
568 expander_knee_t knee __lsp_aligned32;
569 float mem[32] __lsp_aligned32;
570 float stub[16] __lsp_aligned32;
571 size_t mask;
572 );
573
574 ARCH_X86_ASM
575 (
576 // Prepare stuff
577 UNPACK_EXP_KNEE("knee", "exp")
578
579 // 32x blocks
580 __ASM_EMIT("sub $32, %[count]")
581 __ASM_EMIT("jb 2f")
582 __ASM_EMIT("1:")
583 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
584 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
585 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
586 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
587 PROCESS_UEXP_FULL_X32
588 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
589 __ASM_EMIT("vmulps 0x20(%[src]), %%ymm4, %%ymm4")
590 __ASM_EMIT("vmulps 0x40(%[src]), %%ymm8, %%ymm8")
591 __ASM_EMIT("vmulps 0x60(%[src]), %%ymm12, %%ymm12")
592 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
593 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
594 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
595 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
596 __ASM_EMIT("add $0x80, %[src]")
597 __ASM_EMIT("add $0x80, %[dst]")
598 __ASM_EMIT("sub $32, %[count]")
599 __ASM_EMIT("jae 1b")
600 __ASM_EMIT("2:")
601 // 16x blocks
602 __ASM_EMIT("add $16, %[count]")
603 __ASM_EMIT("jl 4f")
604 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
605 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
606 PROCESS_UEXP_FULL_X16
607 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
608 __ASM_EMIT("vmulps 0x20(%[src]), %%ymm4, %%ymm4")
609 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
610 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
611 __ASM_EMIT("add $0x40, %[src]")
612 __ASM_EMIT("add $0x40, %[dst]")
613 __ASM_EMIT("sub $16, %[count]")
614 __ASM_EMIT("4:")
615 // 8x blocks
616 __ASM_EMIT("add $8, %[count]")
617 __ASM_EMIT("jl 6f")
618 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
619 PROCESS_UEXP_FULL_X8
620 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
621 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
622 __ASM_EMIT("add $0x20, %[src]")
623 __ASM_EMIT("add $0x20, %[dst]")
624 __ASM_EMIT("sub $8, %[count]")
625 __ASM_EMIT("6:")
626 // 4x blocks
627 __ASM_EMIT("add $4, %[count]")
628 __ASM_EMIT("jl 8f")
629 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
630 PROCESS_UEXP_FULL_X4
631 __ASM_EMIT("vmulps 0x00(%[src]), %%xmm0, %%xmm0")
632 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
633 __ASM_EMIT("sub $4, %[count]")
634 __ASM_EMIT("add $0x10, %[src]")
635 __ASM_EMIT("add $0x10, %[dst]")
636 __ASM_EMIT("8:")
637 // Tail: 1x-3x block
638 __ASM_EMIT("add $4, %[count]")
639 __ASM_EMIT("jle 16f")
640 __ASM_EMIT("test $1, %[count]")
641 __ASM_EMIT("jz 10f")
642 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
643 __ASM_EMIT("add $4, %[src]")
644 __ASM_EMIT("10:")
645 __ASM_EMIT("test $2, %[count]")
646 __ASM_EMIT("jz 12f")
647 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
648 __ASM_EMIT("12:")
649 __ASM_EMIT("vmovaps %%xmm0, %%xmm4")
650 PROCESS_UEXP_FULL_X4
651 __ASM_EMIT("vmulps %%xmm4, %%xmm0, %%xmm0")
652 __ASM_EMIT("test $1, %[count]")
653 __ASM_EMIT("jz 14f")
654 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
655 __ASM_EMIT("add $4, %[dst]")
656 __ASM_EMIT("14:")
657 __ASM_EMIT("test $2, %[count]")
658 __ASM_EMIT("jz 16f")
659 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
660 __ASM_EMIT("16:")
661
662 : [dst] "+r" (dst), [src] "+r" (src),
663 [count] "+r" (count),
664 [mask] "=&r" (mask)
665 : [exp] "r" (c),
666 [knee] "o" (knee),
667 [mem] "o" (mem),
668 [stub0] "o" (stub0),
669 [stub] "o" (stub),
670 [X2C] "o" (expander_const),
671 [L2C] "o" (LOG2_CONST),
672 [LOGC] "o" (LOGE_C),
673 [E2C] "o" (EXP2_CONST),
674 [LOG2E] "m" (EXP_LOG2E)
675 : "cc", "memory",
676 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
677 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
678 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
679 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
680 );
681 }
682 )
683
684 #undef PROCESS_UEXP_FULL_X4
685 #undef PROCESS_UEXP_FULL_X8
686 #undef PROCESS_UEXP_FULL_X16
687 #undef PROCESS_UEXP_FULL_X32
688 #undef PROCESS_UKNEE_SINGLE_X4
689 #undef PROCESS_UKNEE_SINGLE_X8
690 #undef PROCESS_UKNEE_SINGLE_X16
691 #undef PROCESS_UKNEE_SINGLE_X32
692
693
694 #define PROCESS_DKNEE_SINGLE_X32 \
695 /* in: ymm0 = lx0, ymm4 = lx1, ymm8 = lx2, ymm12 = lx3 */ \
696 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm0, %%ymm1") /* ymm1 = herm[0]*lx0 */ \
697 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm4, %%ymm5") \
698 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm8, %%ymm9") \
699 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm12, %%ymm13") \
700 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm0, %%ymm2") /* ymm2 = tilt[0]*lx0 */ \
701 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm4, %%ymm6") \
702 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm8, %%ymm10") \
703 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm12, %%ymm14") \
704 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
705 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm5, %%ymm5") \
706 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm9, %%ymm9") \
707 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm13, %%ymm13") \
708 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm2, %%ymm2") /* ymm2 = TV = tilt[0]*lx0+tilt[1] */ \
709 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm6, %%ymm6") \
710 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm10, %%ymm10") \
711 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm14, %%ymm14") \
712 __ASM_EMIT("vmulps %%ymm1, %%ymm0, %%ymm1") /* ymm1 = (herm[0]*lx0+herm[1])*lx0 */ \
713 __ASM_EMIT("vmulps %%ymm5, %%ymm4, %%ymm5") \
714 __ASM_EMIT("vmulps %%ymm9, %%ymm8, %%ymm9") \
715 __ASM_EMIT("vmulps %%ymm13, %%ymm12, %%ymm13") \
716 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm1, %%ymm1") /* ymm5 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
717 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm5, %%ymm5") \
718 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm9, %%ymm9") \
719 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm13, %%ymm13") \
720 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm0") /* ymm1 = x0 */ \
721 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm4") \
722 __ASM_EMIT("vmovaps 0x40 + %[mem], %%ymm8") \
723 __ASM_EMIT("vmovaps 0x60 + %[mem], %%ymm12") \
724 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm0, %%ymm3") /* ymm3 = [x0 <= start] */ \
725 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm4, %%ymm7") \
726 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm8, %%ymm11") \
727 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm12, %%ymm15") \
728 __ASM_EMIT("vblendvps %%ymm3, %%ymm2, %%ymm1, %%ymm0") /* ymm0 = [x0 <= start] ? TV : KV */ \
729 __ASM_EMIT("vblendvps %%ymm7, %%ymm6, %%ymm5, %%ymm4") \
730 __ASM_EMIT("vblendvps %%ymm11, %%ymm10, %%ymm9, %%ymm8") \
731 __ASM_EMIT("vblendvps %%ymm15, %%ymm14, %%ymm13, %%ymm12") \
732 EXP_CORE_X32 /* ymm0 = EV = expf([x0 <= start] ? TV : KV) */ \
733 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm1") /* ymm1 = x0 */ \
734 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm5") \
735 __ASM_EMIT("vmovaps 0x40 + %[mem], %%ymm9") \
736 __ASM_EMIT("vmovaps 0x60 + %[mem], %%ymm13") \
737 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm1, %%ymm2") /* ymm2 = [x0 >= end] */ \
738 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm5, %%ymm6") \
739 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm9, %%ymm10") \
740 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm13, %%ymm14") \
741 __ASM_EMIT("vcmpps $5, 0x40 + %[knee], %%ymm1, %%ymm3") /* ymm3 = [x0 >= threshold] */ \
742 __ASM_EMIT("vcmpps $5, 0x40 + %[knee], %%ymm5, %%ymm7") \
743 __ASM_EMIT("vcmpps $5, 0x40 + %[knee], %%ymm9, %%ymm11") \
744 __ASM_EMIT("vcmpps $5, 0x40 + %[knee], %%ymm13, %%ymm15") \
745 __ASM_EMIT("vblendvps %%ymm2, 0x20 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = [x0 >= end] ? 1.0 : EV */ \
746 __ASM_EMIT("vblendvps %%ymm6, 0x20 + %[X2C], %%ymm4, %%ymm4") \
747 __ASM_EMIT("vblendvps %%ymm10, 0x20 + %[X2C], %%ymm8, %%ymm8") \
748 __ASM_EMIT("vblendvps %%ymm14, 0x20 + %[X2C], %%ymm12, %%ymm12") \
749 __ASM_EMIT("vandps %%ymm3, %%ymm0, %%ymm0") /* ymm0 = [x0 < threshold] ? 0 : [x0 >= end] ? 1.0 : EV */ \
750 __ASM_EMIT("vandps %%ymm7, %%ymm4, %%ymm4") \
751 __ASM_EMIT("vandps %%ymm11, %%ymm8, %%ymm8") \
752 __ASM_EMIT("vandps %%ymm15, %%ymm12, %%ymm12") \
753 /* out: ymm0 = g0, ymm4 = g1, ymm8 = g2, ymm12 = g3 */
754
755 #define PROCESS_DKNEE_SINGLE_X16 \
756 /* in: ymm0 = lx0, ymm4 = lx1 */ \
757 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm0, %%ymm1") /* ymm1 = herm[0]*lx0 */ \
758 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm4, %%ymm5") \
759 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm0, %%ymm2") /* ymm2 = tilt[0]*lx0 */ \
760 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm4, %%ymm6") \
761 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
762 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm5, %%ymm5") \
763 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm2, %%ymm2") /* ymm2 = TV = tilt[0]*lx0+tilt[1] */ \
764 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm6, %%ymm6") \
765 __ASM_EMIT("vmulps %%ymm1, %%ymm0, %%ymm1") /* ymm1 = (herm[0]*lx0+herm[1])*lx0 */ \
766 __ASM_EMIT("vmulps %%ymm5, %%ymm4, %%ymm5") \
767 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm1, %%ymm1") /* ymm5 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
768 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm5, %%ymm5") \
769 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm0") /* ymm1 = x0 */ \
770 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm4") \
771 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm0, %%ymm3") /* ymm3 = [x0 <= start] */ \
772 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm4, %%ymm7") \
773 __ASM_EMIT("vblendvps %%ymm3, %%ymm2, %%ymm1, %%ymm0") /* ymm0 = [x0 <= start] ? TV : KV */ \
774 __ASM_EMIT("vblendvps %%ymm7, %%ymm6, %%ymm5, %%ymm4") \
775 EXP_CORE_X16 /* ymm0 = EV = expf([x0 <= start] ? TV : KV) */ \
776 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm1") /* ymm1 = x0 */ \
777 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm5") \
778 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm1, %%ymm2") /* ymm2 = [x0 >= end] */ \
779 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm5, %%ymm6") \
780 __ASM_EMIT("vcmpps $5, 0x40 + %[knee], %%ymm1, %%ymm3") /* ymm3 = [x0 >= threshold] */ \
781 __ASM_EMIT("vcmpps $5, 0x40 + %[knee], %%ymm5, %%ymm7") \
782 __ASM_EMIT("vblendvps %%ymm2, 0x20 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = [x0 >= end] ? 1.0 : EV */ \
783 __ASM_EMIT("vblendvps %%ymm6, 0x20 + %[X2C], %%ymm4, %%ymm4") \
784 __ASM_EMIT("vandps %%ymm3, %%ymm0, %%ymm0") /* ymm0 = [x0 < threshold] ? 0 : [x0 >= end] ? 1.0 : EV */ \
785 __ASM_EMIT("vandps %%ymm7, %%ymm4, %%ymm4") \
786 /* out: ymm0 = g0, ymm4 = g1 */
787
788 #define PROCESS_DKNEE_SINGLE_X8 \
789 /* in: ymm0 = lx0 */ \
790 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm0, %%ymm1") /* ymm1 = herm[0]*lx0 */ \
791 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm0, %%ymm2") /* ymm2 = tilt[0]*lx0 */ \
792 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
793 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm2, %%ymm2") /* ymm2 = TV = tilt[0]*lx0+tilt[1] */ \
794 __ASM_EMIT("vmulps %%ymm1, %%ymm0, %%ymm1") /* ymm1 = (herm[0]*lx0+herm[1])*lx0 */ \
795 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm1, %%ymm1") /* ymm5 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
796 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm0") /* ymm1 = x0 */ \
797 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm0, %%ymm3") /* ymm3 = [x0 <= start] */ \
798 __ASM_EMIT("vblendvps %%ymm3, %%ymm2, %%ymm1, %%ymm0") /* ymm0 = [x0 <= start] ? TV : KV */ \
799 EXP_CORE_X8 /* ymm0 = EV = expf([x0 <= start] ? TV : KV) */ \
800 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm1") /* ymm1 = x0 */ \
801 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm1, %%ymm2") /* ymm2 = [x0 >= end] */ \
802 __ASM_EMIT("vcmpps $5, 0x40 + %[knee], %%ymm1, %%ymm3") /* ymm3 = [x0 >= threshold] */ \
803 __ASM_EMIT("vblendvps %%ymm2, 0x20 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = [x0 >= end] ? 1.0 : EV */ \
804 __ASM_EMIT("vandps %%ymm3, %%ymm0, %%ymm0") /* ymm0 = [x0 < threshold] ? 0 : [x0 >= end] ? 1.0 : EV */ \
805 /* out: ymm0 = g0 */
806
807 #define PROCESS_DKNEE_SINGLE_X4 \
808 /* in: xmm0 = lx0 */ \
809 __ASM_EMIT("vmulps 0x60 + %[knee], %%xmm0, %%xmm1") /* xmm1 = herm[0]*lx0 */ \
810 __ASM_EMIT("vmulps 0xc0 + %[knee], %%xmm0, %%xmm2") /* xmm2 = tilt[0]*lx0 */ \
811 __ASM_EMIT("vaddps 0x80 + %[knee], %%xmm1, %%xmm1") /* xmm1 = herm[0]*lx0+herm[1] */ \
812 __ASM_EMIT("vaddps 0xe0 + %[knee], %%xmm2, %%xmm2") /* xmm2 = TV = tilt[0]*lx0+tilt[1] */ \
813 __ASM_EMIT("vmulps %%xmm1, %%xmm0, %%xmm1") /* xmm1 = (herm[0]*lx0+herm[1])*lx0 */ \
814 __ASM_EMIT("vaddps 0xa0 + %[knee], %%xmm1, %%xmm1") /* xmm5 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
815 __ASM_EMIT("vmovaps 0x00 + %[mem], %%xmm0") /* xmm1 = x0 */ \
816 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%xmm0, %%xmm3") /* xmm3 = [x0 <= start] */ \
817 __ASM_EMIT("vblendvps %%xmm3, %%xmm2, %%xmm1, %%xmm0") /* xmm0 = [x0 <= start] ? TV : KV */ \
818 EXP_CORE_X4 /* xmm0 = EV = expf([x0 <= start] ? TV : KV) */ \
819 __ASM_EMIT("vmovaps 0x00 + %[mem], %%xmm1") /* xmm1 = x0 */ \
820 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%xmm1, %%xmm2") /* xmm2 = [x0 >= end] */ \
821 __ASM_EMIT("vcmpps $5, 0x40 + %[knee], %%xmm1, %%xmm3") /* ymm3 = [x0 >= threshold] */ \
822 __ASM_EMIT("vblendvps %%xmm2, 0x20 + %[X2C], %%xmm0, %%xmm0") /* xmm0 = [x0 >= end] ? 1.0 : EV */ \
823 __ASM_EMIT("vandps %%xmm3, %%xmm0, %%xmm0") /* xmm0 = [x0 < threshold] ? 0 : [x0 >= end] ? 1.0 : EV */ \
824 /* out: xmm0 = g0 */
825
826 #define PROCESS_DEXP_FULL_X32 \
827 /* in: ymm0 = x0, ymm4 = x1, ymm8 = x2, ymm12 = x4 */ \
828 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
829 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm4, %%ymm4") \
830 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm8, %%ymm8") \
831 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm12, %%ymm12") \
832 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm0, %%ymm1") /* ymm1 = [x0 < end] */ \
833 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm4, %%ymm5") \
834 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm8, %%ymm9") \
835 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm12, %%ymm13") \
836 __ASM_EMIT("vorps %%ymm5, %%ymm1, %%ymm1") \
837 __ASM_EMIT("vorps %%ymm13, %%ymm9, %%ymm9") \
838 __ASM_EMIT("vorps %%ymm9, %%ymm1, %%ymm1") \
839 __ASM_EMIT("vmovmskps %%ymm1, %[mask]") \
840 __ASM_EMIT("test %[mask], %[mask]") \
841 __ASM_EMIT("jnz 100f") \
842 __ASM_EMIT("vmovaps 0x20 + %[X2C], %%ymm0") /* ymm0 = 1.0f */ \
843 __ASM_EMIT("vmovaps 0x20 + %[X2C], %%ymm4") \
844 __ASM_EMIT("vmovaps %%ymm0, %%ymm8") \
845 __ASM_EMIT("vmovaps %%ymm4, %%ymm12") \
846 __ASM_EMIT("jmp 200f") \
847 __ASM_EMIT("100:") \
848 __ASM_EMIT("vmovaps %%ymm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
849 __ASM_EMIT("vmovaps %%ymm4, 0x20 + %[mem]") \
850 __ASM_EMIT("vmovaps %%ymm8, 0x40 + %[mem]") \
851 __ASM_EMIT("vmovaps %%ymm12, 0x60 + %[mem]") \
852 LOGE_CORE_X32 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
853 PROCESS_DKNEE_SINGLE_X32 /* apply knee */ \
854 __ASM_EMIT("200:") \
855 /* out: ymm0 = G0, ymm4 = G1, ymm8 = G2, ymm12 = G3 */
856
857 #define PROCESS_DEXP_FULL_X16 \
858 /* in: ymm0 = x0, ymm4 = x1 */ \
859 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
860 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm4, %%ymm4") \
861 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm0, %%ymm1") /* ymm1 = [x0 < end] */ \
862 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm4, %%ymm5") \
863 __ASM_EMIT("vorps %%ymm5, %%ymm1, %%ymm1") \
864 __ASM_EMIT("vmovmskps %%ymm1, %[mask]") \
865 __ASM_EMIT("test %[mask], %[mask]") \
866 __ASM_EMIT("jnz 100f") \
867 __ASM_EMIT("vmovaps 0x20 + %[X2C], %%ymm0") /* ymm0 = 1.0f */ \
868 __ASM_EMIT("vmovaps 0x20 + %[X2C], %%ymm4") \
869 __ASM_EMIT("jmp 200f") \
870 __ASM_EMIT("100:") \
871 __ASM_EMIT("vmovaps %%ymm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
872 __ASM_EMIT("vmovaps %%ymm4, 0x20 + %[mem]") \
873 LOGE_CORE_X16 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
874 PROCESS_DKNEE_SINGLE_X16 /* apply knee */ \
875 __ASM_EMIT("200:") \
876 /* out: ymm0 = G0, ymm4 = G1 */
877
878 #define PROCESS_DEXP_FULL_X8 \
879 /* in: ymm0 = x0 */ \
880 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
881 __ASM_EMIT("vmovaps %%ymm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
882 LOGE_CORE_X8 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
883 PROCESS_DKNEE_SINGLE_X8 /* apply knee */ \
884 /* out: ymm0 = G0 */
885
886 #define PROCESS_DEXP_FULL_X4 \
887 /* in: xmm0 = x0 */ \
888 __ASM_EMIT("vandps 0x00 + %[X2C], %%xmm0, %%xmm0") /* xmm0 = fabsf(x0) */ \
889 __ASM_EMIT("vmovaps %%xmm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
890 LOGE_CORE_X4 /* xmm0 = lx0 = logf(fabsf(x0)) */ \
891 PROCESS_DKNEE_SINGLE_X4 /* apply knee */ \
892 /* out: xmm0 = G0 */
893
894 void dexpander_x1_gain(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
895 {
896 IF_ARCH_X86(
897 float stub0[16] __lsp_aligned32;
898 expander_knee_t knee __lsp_aligned32;
899 float mem[16] __lsp_aligned32;
900 float stub[16] __lsp_aligned32;
901 size_t mask;
902 );
903
904 ARCH_X86_ASM
905 (
906 // Prepare stuff
907 UNPACK_EXP_KNEE("knee", "exp")
908
909 // 16x blocks
910 __ASM_EMIT("sub $16, %[count]")
911 __ASM_EMIT("jb 2f")
912 __ASM_EMIT("1:")
913 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
914 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
915 PROCESS_DEXP_FULL_X16
916 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
917 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
918 __ASM_EMIT("add $0x40, %[src]")
919 __ASM_EMIT("add $0x40, %[dst]")
920 __ASM_EMIT("sub $16, %[count]")
921 __ASM_EMIT("jae 1b")
922 __ASM_EMIT("2:")
923 // 8x blocks
924 __ASM_EMIT("add $8, %[count]")
925 __ASM_EMIT("jl 4f")
926 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
927 PROCESS_DEXP_FULL_X8
928 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
929 __ASM_EMIT("add $0x20, %[src]")
930 __ASM_EMIT("add $0x20, %[dst]")
931 __ASM_EMIT("sub $8, %[count]")
932 __ASM_EMIT("4:")
933 // 4x blocks
934 __ASM_EMIT("add $4, %[count]")
935 __ASM_EMIT("jl 6f")
936 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
937 PROCESS_DEXP_FULL_X4
938 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
939 __ASM_EMIT("sub $4, %[count]")
940 __ASM_EMIT("add $0x10, %[src]")
941 __ASM_EMIT("add $0x10, %[dst]")
942 __ASM_EMIT("6:")
943 // Tail: 1x-3x block
944 __ASM_EMIT("add $4, %[count]")
945 __ASM_EMIT("jle 14f")
946 __ASM_EMIT("test $1, %[count]")
947 __ASM_EMIT("jz 8f")
948 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
949 __ASM_EMIT("add $4, %[src]")
950 __ASM_EMIT("8:")
951 __ASM_EMIT("test $2, %[count]")
952 __ASM_EMIT("jz 10f")
953 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
954 __ASM_EMIT("10:")
955 PROCESS_DEXP_FULL_X4
956 __ASM_EMIT("test $1, %[count]")
957 __ASM_EMIT("jz 12f")
958 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
959 __ASM_EMIT("add $4, %[dst]")
960 __ASM_EMIT("12:")
961 __ASM_EMIT("test $2, %[count]")
962 __ASM_EMIT("jz 14f")
963 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
964 __ASM_EMIT("14:")
965
966 : [dst] "+r" (dst), [src] "+r" (src),
967 [count] "+r" (count),
968 [mask] "=&r" (mask)
969 : [exp] "r" (c),
970 [knee] "o" (knee),
971 [mem] "o" (mem),
972 [stub0] "o" (stub0),
973 [stub] "o" (stub),
974 [X2C] "o" (expander_const),
975 [L2C] "o" (LOG2_CONST),
976 [LOGC] "o" (LOGE_C),
977 [E2C] "o" (EXP2_CONST),
978 [LOG2E] "m" (EXP_LOG2E)
979 : "cc", "memory",
980 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
981 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
982 );
983 }
984
985 IF_ARCH_X86_64(
986 void x64_dexpander_x1_gain(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
987 {
988 IF_ARCH_X86(
989 float stub0[16] __lsp_aligned32;
990 expander_knee_t knee __lsp_aligned32;
991 float mem[32] __lsp_aligned32;
992 float stub[16] __lsp_aligned32;
993 size_t mask;
994 );
995
996 ARCH_X86_ASM
997 (
998 // Prepare stuff
999 UNPACK_EXP_KNEE("knee", "exp")
1000
1001 // 32x blocks
1002 __ASM_EMIT("sub $32, %[count]")
1003 __ASM_EMIT("jb 2f")
1004 __ASM_EMIT("1:")
1005 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1006 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1007 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
1008 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
1009 PROCESS_DEXP_FULL_X32
1010 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1011 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1012 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
1013 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
1014 __ASM_EMIT("add $0x80, %[src]")
1015 __ASM_EMIT("add $0x80, %[dst]")
1016 __ASM_EMIT("sub $32, %[count]")
1017 __ASM_EMIT("jae 1b")
1018 __ASM_EMIT("2:")
1019 // 16x blocks
1020 __ASM_EMIT("add $16, %[count]")
1021 __ASM_EMIT("jl 4f")
1022 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1023 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1024 PROCESS_DEXP_FULL_X16
1025 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1026 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1027 __ASM_EMIT("add $0x40, %[src]")
1028 __ASM_EMIT("add $0x40, %[dst]")
1029 __ASM_EMIT("sub $16, %[count]")
1030 __ASM_EMIT("4:")
1031 // 8x blocks
1032 __ASM_EMIT("add $8, %[count]")
1033 __ASM_EMIT("jl 6f")
1034 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1035 PROCESS_DEXP_FULL_X8
1036 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1037 __ASM_EMIT("add $0x20, %[src]")
1038 __ASM_EMIT("add $0x20, %[dst]")
1039 __ASM_EMIT("sub $8, %[count]")
1040 __ASM_EMIT("6:")
1041 // 4x blocks
1042 __ASM_EMIT("add $4, %[count]")
1043 __ASM_EMIT("jl 8f")
1044 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1045 PROCESS_DEXP_FULL_X4
1046 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1047 __ASM_EMIT("sub $4, %[count]")
1048 __ASM_EMIT("add $0x10, %[src]")
1049 __ASM_EMIT("add $0x10, %[dst]")
1050 __ASM_EMIT("8:")
1051 // Tail: 1x-3x block
1052 __ASM_EMIT("add $4, %[count]")
1053 __ASM_EMIT("jle 16f")
1054 __ASM_EMIT("test $1, %[count]")
1055 __ASM_EMIT("jz 10f")
1056 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1057 __ASM_EMIT("add $4, %[src]")
1058 __ASM_EMIT("10:")
1059 __ASM_EMIT("test $2, %[count]")
1060 __ASM_EMIT("jz 12f")
1061 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1062 __ASM_EMIT("12:")
1063 PROCESS_DEXP_FULL_X4
1064 __ASM_EMIT("test $1, %[count]")
1065 __ASM_EMIT("jz 14f")
1066 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1067 __ASM_EMIT("add $4, %[dst]")
1068 __ASM_EMIT("14:")
1069 __ASM_EMIT("test $2, %[count]")
1070 __ASM_EMIT("jz 16f")
1071 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1072 __ASM_EMIT("16:")
1073
1074 : [dst] "+r" (dst), [src] "+r" (src),
1075 [count] "+r" (count),
1076 [mask] "=&r" (mask)
1077 : [exp] "r" (c),
1078 [knee] "o" (knee),
1079 [mem] "o" (mem),
1080 [stub0] "o" (stub0),
1081 [stub] "o" (stub),
1082 [X2C] "o" (expander_const),
1083 [L2C] "o" (LOG2_CONST),
1084 [LOGC] "o" (LOGE_C),
1085 [E2C] "o" (EXP2_CONST),
1086 [LOG2E] "m" (EXP_LOG2E)
1087 : "cc", "memory",
1088 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1089 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1090 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
1091 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1092 );
1093 }
1094 )
1095
1096 void dexpander_x1_curve(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
1097 {
1098 IF_ARCH_X86(
1099 float stub0[16] __lsp_aligned32;
1100 expander_knee_t knee __lsp_aligned32;
1101 float mem[16] __lsp_aligned32;
1102 float stub[16] __lsp_aligned32;
1103 size_t mask;
1104 );
1105
1106 ARCH_X86_ASM
1107 (
1108 // Prepare stuff
1109 UNPACK_EXP_KNEE("knee", "exp")
1110
1111 // 16x blocks
1112 __ASM_EMIT("sub $16, %[count]")
1113 __ASM_EMIT("jb 2f")
1114 __ASM_EMIT("1:")
1115 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1116 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1117 PROCESS_DEXP_FULL_X16
1118 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
1119 __ASM_EMIT("vmulps 0x20(%[src]), %%ymm4, %%ymm4")
1120 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1121 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1122 __ASM_EMIT("add $0x40, %[src]")
1123 __ASM_EMIT("add $0x40, %[dst]")
1124 __ASM_EMIT("sub $16, %[count]")
1125 __ASM_EMIT("jae 1b")
1126 __ASM_EMIT("2:")
1127 // 8x blocks
1128 __ASM_EMIT("add $8, %[count]")
1129 __ASM_EMIT("jl 4f")
1130 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1131 PROCESS_DEXP_FULL_X8
1132 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
1133 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1134 __ASM_EMIT("add $0x20, %[src]")
1135 __ASM_EMIT("add $0x20, %[dst]")
1136 __ASM_EMIT("sub $8, %[count]")
1137 __ASM_EMIT("4:")
1138 // 4x blocks
1139 __ASM_EMIT("add $4, %[count]")
1140 __ASM_EMIT("jl 6f")
1141 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1142 PROCESS_DEXP_FULL_X4
1143 __ASM_EMIT("vmulps 0x00(%[src]), %%xmm0, %%xmm0")
1144 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1145 __ASM_EMIT("sub $4, %[count]")
1146 __ASM_EMIT("add $0x10, %[src]")
1147 __ASM_EMIT("add $0x10, %[dst]")
1148 __ASM_EMIT("6:")
1149 // Tail: 1x-3x block
1150 __ASM_EMIT("add $4, %[count]")
1151 __ASM_EMIT("jle 14f")
1152 __ASM_EMIT("test $1, %[count]")
1153 __ASM_EMIT("jz 8f")
1154 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1155 __ASM_EMIT("add $4, %[src]")
1156 __ASM_EMIT("8:")
1157 __ASM_EMIT("test $2, %[count]")
1158 __ASM_EMIT("jz 10f")
1159 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1160 __ASM_EMIT("10:")
1161 __ASM_EMIT("vmovaps %%xmm0, %%xmm4")
1162 PROCESS_DEXP_FULL_X4
1163 __ASM_EMIT("vmulps %%xmm4, %%xmm0, %%xmm0")
1164 __ASM_EMIT("test $1, %[count]")
1165 __ASM_EMIT("jz 12f")
1166 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1167 __ASM_EMIT("add $4, %[dst]")
1168 __ASM_EMIT("12:")
1169 __ASM_EMIT("test $2, %[count]")
1170 __ASM_EMIT("jz 14f")
1171 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1172 __ASM_EMIT("14:")
1173
1174 : [dst] "+r" (dst), [src] "+r" (src),
1175 [count] "+r" (count),
1176 [mask] "=&r" (mask)
1177 : [exp] "r" (c),
1178 [knee] "o" (knee),
1179 [mem] "o" (mem),
1180 [stub0] "o" (stub0),
1181 [stub] "o" (stub),
1182 [X2C] "o" (expander_const),
1183 [L2C] "o" (LOG2_CONST),
1184 [LOGC] "o" (LOGE_C),
1185 [E2C] "o" (EXP2_CONST),
1186 [LOG2E] "m" (EXP_LOG2E)
1187 : "cc", "memory",
1188 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1189 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1190 );
1191 }
1192
1193 IF_ARCH_X86_64(
1194 void x64_dexpander_x1_curve(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
1195 {
1196 IF_ARCH_X86(
1197 float stub0[16] __lsp_aligned32;
1198 expander_knee_t knee __lsp_aligned32;
1199 float mem[32] __lsp_aligned32;
1200 float stub[16] __lsp_aligned32;
1201 size_t mask;
1202 );
1203
1204 ARCH_X86_ASM
1205 (
1206 // Prepare stuff
1207 UNPACK_EXP_KNEE("knee", "exp")
1208
1209 // 32x blocks
1210 __ASM_EMIT("sub $32, %[count]")
1211 __ASM_EMIT("jb 2f")
1212 __ASM_EMIT("1:")
1213 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1214 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1215 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
1216 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
1217 PROCESS_DEXP_FULL_X32
1218 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
1219 __ASM_EMIT("vmulps 0x20(%[src]), %%ymm4, %%ymm4")
1220 __ASM_EMIT("vmulps 0x40(%[src]), %%ymm8, %%ymm8")
1221 __ASM_EMIT("vmulps 0x60(%[src]), %%ymm12, %%ymm12")
1222 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1223 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1224 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
1225 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
1226 __ASM_EMIT("add $0x80, %[src]")
1227 __ASM_EMIT("add $0x80, %[dst]")
1228 __ASM_EMIT("sub $32, %[count]")
1229 __ASM_EMIT("jae 1b")
1230 __ASM_EMIT("2:")
1231 // 16x blocks
1232 __ASM_EMIT("add $16, %[count]")
1233 __ASM_EMIT("jl 4f")
1234 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1235 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1236 PROCESS_DEXP_FULL_X16
1237 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
1238 __ASM_EMIT("vmulps 0x20(%[src]), %%ymm4, %%ymm4")
1239 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1240 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1241 __ASM_EMIT("add $0x40, %[src]")
1242 __ASM_EMIT("add $0x40, %[dst]")
1243 __ASM_EMIT("sub $16, %[count]")
1244 __ASM_EMIT("4:")
1245 // 8x blocks
1246 __ASM_EMIT("add $8, %[count]")
1247 __ASM_EMIT("jl 6f")
1248 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1249 PROCESS_DEXP_FULL_X8
1250 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
1251 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1252 __ASM_EMIT("add $0x20, %[src]")
1253 __ASM_EMIT("add $0x20, %[dst]")
1254 __ASM_EMIT("sub $8, %[count]")
1255 __ASM_EMIT("6:")
1256 // 4x blocks
1257 __ASM_EMIT("add $4, %[count]")
1258 __ASM_EMIT("jl 8f")
1259 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1260 PROCESS_DEXP_FULL_X4
1261 __ASM_EMIT("vmulps 0x00(%[src]), %%xmm0, %%xmm0")
1262 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1263 __ASM_EMIT("sub $4, %[count]")
1264 __ASM_EMIT("add $0x10, %[src]")
1265 __ASM_EMIT("add $0x10, %[dst]")
1266 __ASM_EMIT("8:")
1267 // Tail: 1x-3x block
1268 __ASM_EMIT("add $4, %[count]")
1269 __ASM_EMIT("jle 16f")
1270 __ASM_EMIT("test $1, %[count]")
1271 __ASM_EMIT("jz 10f")
1272 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1273 __ASM_EMIT("add $4, %[src]")
1274 __ASM_EMIT("10:")
1275 __ASM_EMIT("test $2, %[count]")
1276 __ASM_EMIT("jz 12f")
1277 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1278 __ASM_EMIT("12:")
1279 __ASM_EMIT("vmovaps %%xmm0, %%xmm4")
1280 PROCESS_DEXP_FULL_X4
1281 __ASM_EMIT("vmulps %%xmm4, %%xmm0, %%xmm0")
1282 __ASM_EMIT("test $1, %[count]")
1283 __ASM_EMIT("jz 14f")
1284 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1285 __ASM_EMIT("add $4, %[dst]")
1286 __ASM_EMIT("14:")
1287 __ASM_EMIT("test $2, %[count]")
1288 __ASM_EMIT("jz 16f")
1289 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1290 __ASM_EMIT("16:")
1291
1292 : [dst] "+r" (dst), [src] "+r" (src),
1293 [count] "+r" (count),
1294 [mask] "=&r" (mask)
1295 : [exp] "r" (c),
1296 [knee] "o" (knee),
1297 [mem] "o" (mem),
1298 [stub0] "o" (stub0),
1299 [stub] "o" (stub),
1300 [X2C] "o" (expander_const),
1301 [L2C] "o" (LOG2_CONST),
1302 [LOGC] "o" (LOGE_C),
1303 [E2C] "o" (EXP2_CONST),
1304 [LOG2E] "m" (EXP_LOG2E)
1305 : "cc", "memory",
1306 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1307 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1308 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
1309 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1310 );
1311 }
1312 )
1313
1314 #undef PROCESS_DEXP_FULL_X4
1315 #undef PROCESS_DEXP_FULL_X8
1316 #undef PROCESS_DEXP_FULL_X16
1317 #undef PROCESS_DEXP_FULL_X32
1318 #undef PROCESS_DKNEE_SINGLE_X4
1319 #undef PROCESS_DKNEE_SINGLE_X8
1320 #undef PROCESS_DKNEE_SINGLE_X16
1321 #undef PROCESS_DKNEE_SINGLE_X32
1322
1323
1324 #define PROCESS_UKNEE_SINGLE_X32_FMA3 \
1325 /* in: ymm0 = lx0, ymm4 = lx1, ymm8 = lx2, ymm12 = lx3 */ \
1326 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm0, %%ymm1") /* ymm1 = herm[0]*lx0 */ \
1327 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm4, %%ymm5") \
1328 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm8, %%ymm9") \
1329 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm12, %%ymm13") \
1330 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm0, %%ymm2") /* ymm2 = tilt[0]*lx0 */ \
1331 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm4, %%ymm6") \
1332 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm8, %%ymm10") \
1333 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm12, %%ymm14") \
1334 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
1335 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm5, %%ymm5") \
1336 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm9, %%ymm9") \
1337 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm13, %%ymm13") \
1338 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm2, %%ymm2") /* ymm2 = TV = tilt[0]*lx0+tilt[1] */ \
1339 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm6, %%ymm6") \
1340 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm10, %%ymm10") \
1341 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm14, %%ymm14") \
1342 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm0, %%ymm1") /* ymm5 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
1343 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm4, %%ymm5") \
1344 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm8, %%ymm9") \
1345 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm12, %%ymm13") \
1346 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm0") /* ymm1 = x0 */ \
1347 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm4") \
1348 __ASM_EMIT("vmovaps 0x40 + %[mem], %%ymm8") \
1349 __ASM_EMIT("vmovaps 0x60 + %[mem], %%ymm12") \
1350 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm0, %%ymm3") /* ymm3 = [x0 >= end] */ \
1351 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm4, %%ymm7") \
1352 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm8, %%ymm11") \
1353 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm12, %%ymm15") \
1354 __ASM_EMIT("vblendvps %%ymm3, %%ymm2, %%ymm1, %%ymm0") /* ymm0 = [x0 >= end] ? TV : KV */ \
1355 __ASM_EMIT("vblendvps %%ymm7, %%ymm6, %%ymm5, %%ymm4") \
1356 __ASM_EMIT("vblendvps %%ymm11, %%ymm10, %%ymm9, %%ymm8") \
1357 __ASM_EMIT("vblendvps %%ymm15, %%ymm14, %%ymm13, %%ymm12") \
1358 EXP_CORE_X32_FMA3 /* ymm0 = EV = expf([x0 >= end] ? TV : KV) */ \
1359 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm1") /* ymm1 = x0 */ \
1360 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm5") \
1361 __ASM_EMIT("vmovaps 0x40 + %[mem], %%ymm9") \
1362 __ASM_EMIT("vmovaps 0x60 + %[mem], %%ymm13") \
1363 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm1, %%ymm2") /* ymm2 = [x0 <= start] */ \
1364 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm5, %%ymm6") \
1365 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm9, %%ymm10") \
1366 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm13, %%ymm14") \
1367 __ASM_EMIT("vblendvps %%ymm2, 0x20 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = [x0 <= start] ? 1.0 : EV */ \
1368 __ASM_EMIT("vblendvps %%ymm6, 0x20 + %[X2C], %%ymm4, %%ymm4") \
1369 __ASM_EMIT("vblendvps %%ymm10, 0x20 + %[X2C], %%ymm8, %%ymm8") \
1370 __ASM_EMIT("vblendvps %%ymm14, 0x20 + %[X2C], %%ymm12, %%ymm12") \
1371 /* out: ymm0 = g0, ymm4 = g1, ymm8 = g2, ymm12 = g3 */
1372
1373 #define PROCESS_UKNEE_SINGLE_X16_FMA3 \
1374 /* in: ymm0 = lx0, ymm4 = lx1 */ \
1375 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm0, %%ymm1") /* ymm1 = herm[0]*lx0 */ \
1376 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm4, %%ymm5") \
1377 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm0, %%ymm2") /* ymm2 = tilt[0]*lx0 */ \
1378 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm4, %%ymm6") \
1379 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
1380 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm5, %%ymm5") \
1381 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm2, %%ymm2") /* ymm2 = TV = tilt[0]*lx0+tilt[1] */ \
1382 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm6, %%ymm6") \
1383 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm0, %%ymm1") /* ymm5 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
1384 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm4, %%ymm5") \
1385 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm0") /* ymm1 = x0 */ \
1386 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm4") \
1387 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm0, %%ymm3") /* ymm3 = [x0 >= end] */ \
1388 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm4, %%ymm7") \
1389 __ASM_EMIT("vblendvps %%ymm3, %%ymm2, %%ymm1, %%ymm0") /* ymm0 = [x0 >= end] ? TV : KV */ \
1390 __ASM_EMIT("vblendvps %%ymm7, %%ymm6, %%ymm5, %%ymm4") \
1391 EXP_CORE_X16_FMA3 /* ymm0 = EV = expf([x0 >= end] ? TV : KV) */ \
1392 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm1") /* ymm1 = x0 */ \
1393 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm5") \
1394 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm1, %%ymm2") /* ymm2 = [x0 <= start] */ \
1395 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm5, %%ymm6") \
1396 __ASM_EMIT("vblendvps %%ymm2, 0x20 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = [x0 <= start] ? 1.0 : EV */ \
1397 __ASM_EMIT("vblendvps %%ymm6, 0x20 + %[X2C], %%ymm4, %%ymm4") \
1398 /* out: ymm0 = g0, ymm4 = g1 */
1399
1400 #define PROCESS_UKNEE_SINGLE_X8_FMA3 \
1401 /* in: ymm0 = lx0 */ \
1402 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm0, %%ymm1") /* ymm1 = herm[0]*lx0 */ \
1403 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm0, %%ymm2") /* ymm2 = tilt[0]*lx0 */ \
1404 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
1405 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm2, %%ymm2") /* ymm2 = TV = tilt[0]*lx0+tilt[1] */ \
1406 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm0, %%ymm1") /* ymm5 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
1407 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm0") /* ymm1 = x0 */ \
1408 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm0, %%ymm3") /* ymm3 = [x0 >= end] */ \
1409 __ASM_EMIT("vblendvps %%ymm3, %%ymm2, %%ymm1, %%ymm0") /* ymm0 = [x0 >= end] ? TV : KV */ \
1410 EXP_CORE_X8_FMA3 /* ymm0 = EV = expf([x0 >= end] ? TV : KV) */ \
1411 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm1") /* ymm1 = x0 */ \
1412 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm1, %%ymm2") /* ymm2 = [x0 <= start] */ \
1413 __ASM_EMIT("vblendvps %%ymm2, 0x20 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = [x0 <= start] ? 1.0 : EV */ \
1414 /* out: ymm0 = g0 */
1415
1416 #define PROCESS_UKNEE_SINGLE_X4_FMA3 \
1417 /* in: xmm0 = lx0 */ \
1418 __ASM_EMIT("vmulps 0x60 + %[knee], %%xmm0, %%xmm1") /* xmm1 = herm[0]*lx0 */ \
1419 __ASM_EMIT("vmulps 0xc0 + %[knee], %%xmm0, %%xmm2") /* xmm2 = tilt[0]*lx0 */ \
1420 __ASM_EMIT("vaddps 0x80 + %[knee], %%xmm1, %%xmm1") /* xmm1 = herm[0]*lx0+herm[1] */ \
1421 __ASM_EMIT("vaddps 0xe0 + %[knee], %%xmm2, %%xmm2") /* xmm2 = TV = tilt[0]*lx0+tilt[1] */ \
1422 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%xmm0, %%xmm1") /* xmm5 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
1423 __ASM_EMIT("vmovaps 0x00 + %[mem], %%xmm0") /* xmm1 = x0 */ \
1424 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%xmm0, %%xmm3") /* xmm3 = [x0 >= end] */ \
1425 __ASM_EMIT("vblendvps %%xmm3, %%xmm2, %%xmm1, %%xmm0") /* xmm0 = [x0 >= end] ? TV : KV */ \
1426 EXP_CORE_X4_FMA3 /* xmm0 = EV = expf([x0 >= end] ? TV : KV) */ \
1427 __ASM_EMIT("vmovaps 0x00 + %[mem], %%xmm1") /* xmm1 = x0 */ \
1428 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%xmm1, %%xmm2") /* xmm2 = [x0 <= start] */ \
1429 __ASM_EMIT("vblendvps %%xmm2, 0x20 + %[X2C], %%xmm0, %%xmm0") /* xmm0 = [x0 <= start] ? 1.0 : EV */ \
1430 /* out: xmm0 = g0 */
1431
1432 #define PROCESS_UEXP_FULL_X32_FMA3 \
1433 /* in: ymm0 = x0, ymm4 = x1, ymm8 = x2, ymm12 = x4 */ \
1434 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
1435 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm4, %%ymm4") \
1436 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm8, %%ymm8") \
1437 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm12, %%ymm12") \
1438 __ASM_EMIT("vminps 0x40 + %[knee], %%ymm0, %%ymm0") /* ymm0 = min(fabsf(x0), threshold) */ \
1439 __ASM_EMIT("vminps 0x40 + %[knee], %%ymm4, %%ymm4") \
1440 __ASM_EMIT("vminps 0x40 + %[knee], %%ymm8, %%ymm8") \
1441 __ASM_EMIT("vminps 0x40 + %[knee], %%ymm12, %%ymm12") \
1442 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm0, %%ymm1") /* ymm1 = [x0 > start] */ \
1443 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm4, %%ymm5") \
1444 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm8, %%ymm9") \
1445 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm12, %%ymm13") \
1446 __ASM_EMIT("vorps %%ymm5, %%ymm1, %%ymm1") \
1447 __ASM_EMIT("vorps %%ymm13, %%ymm9, %%ymm9") \
1448 __ASM_EMIT("vorps %%ymm9, %%ymm1, %%ymm1") \
1449 __ASM_EMIT("vmovmskps %%ymm1, %[mask]") \
1450 __ASM_EMIT("test %[mask], %[mask]") \
1451 __ASM_EMIT("jnz 100f") \
1452 __ASM_EMIT("vmovaps 0x20 + %[X2C], %%ymm0") /* ymm0 = 1.0f */ \
1453 __ASM_EMIT("vmovaps 0x20 + %[X2C], %%ymm4") \
1454 __ASM_EMIT("vmovaps %%ymm0, %%ymm8") \
1455 __ASM_EMIT("vmovaps %%ymm4, %%ymm12") \
1456 __ASM_EMIT("jmp 200f") \
1457 __ASM_EMIT("100:") \
1458 __ASM_EMIT("vmovaps %%ymm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
1459 __ASM_EMIT("vmovaps %%ymm4, 0x20 + %[mem]") \
1460 __ASM_EMIT("vmovaps %%ymm8, 0x40 + %[mem]") \
1461 __ASM_EMIT("vmovaps %%ymm12, 0x60 + %[mem]") \
1462 LOGE_CORE_X32_FMA3 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
1463 PROCESS_UKNEE_SINGLE_X32_FMA3 /* apply knee */ \
1464 __ASM_EMIT("200:") \
1465 /* out: ymm0 = G0, ymm4 = G1, ymm8 = G2, ymm12 = G3 */
1466
1467 #define PROCESS_UEXP_FULL_X16_FMA3 \
1468 /* in: ymm0 = x0, ymm4 = x1 */ \
1469 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
1470 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm4, %%ymm4") \
1471 __ASM_EMIT("vminps 0x40 + %[knee], %%ymm0, %%ymm0") /* ymm0 = min(fabsf(x0), threshold) */ \
1472 __ASM_EMIT("vminps 0x40 + %[knee], %%ymm4, %%ymm4") \
1473 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm0, %%ymm1") /* ymm1 = [x0 > start] */ \
1474 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm4, %%ymm5") \
1475 __ASM_EMIT("vorps %%ymm5, %%ymm1, %%ymm1") \
1476 __ASM_EMIT("vmovmskps %%ymm1, %[mask]") \
1477 __ASM_EMIT("test %[mask], %[mask]") \
1478 __ASM_EMIT("jnz 100f") \
1479 __ASM_EMIT("vmovaps 0x20 + %[X2C], %%ymm0") /* ymm0 = 1.0f */ \
1480 __ASM_EMIT("vmovaps 0x20 + %[X2C], %%ymm4") \
1481 __ASM_EMIT("jmp 200f") \
1482 __ASM_EMIT("100:") \
1483 __ASM_EMIT("vmovaps %%ymm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
1484 __ASM_EMIT("vmovaps %%ymm4, 0x20 + %[mem]") \
1485 LOGE_CORE_X16_FMA3 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
1486 PROCESS_UKNEE_SINGLE_X16_FMA3 /* apply knee */ \
1487 __ASM_EMIT("200:") \
1488 /* out: ymm0 = G0, ymm4 = G1 */
1489
1490 #define PROCESS_UEXP_FULL_X8_FMA3 \
1491 /* in: ymm0 = x0 */ \
1492 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
1493 __ASM_EMIT("vminps 0x40 + %[knee], %%ymm0, %%ymm0") /* ymm0 = min(fabsf(x0), threshold) */ \
1494 __ASM_EMIT("vmovaps %%ymm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
1495 LOGE_CORE_X8_FMA3 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
1496 PROCESS_UKNEE_SINGLE_X8_FMA3 /* apply knee */ \
1497 /* out: ymm0 = G0 */
1498
1499 #define PROCESS_UEXP_FULL_X4_FMA3 \
1500 /* in: xmm0 = x0 */ \
1501 __ASM_EMIT("vandps 0x00 + %[X2C], %%xmm0, %%xmm0") /* xmm0 = fabsf(x0) */ \
1502 __ASM_EMIT("vminps 0x40 + %[knee], %%xmm0, %%xmm0") /* xmm0 = min(fabsf(x0), threshold) */ \
1503 __ASM_EMIT("vmovaps %%xmm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
1504 LOGE_CORE_X4_FMA3 /* xmm0 = lx0 = logf(fabsf(x0)) */ \
1505 PROCESS_UKNEE_SINGLE_X4_FMA3 /* apply knee */ \
1506 /* out: xmm0 = G0 */
1507
1508 void uexpander_x1_gain_fma3(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
1509 {
1510 IF_ARCH_X86(
1511 float stub0[16] __lsp_aligned32;
1512 expander_knee_t knee __lsp_aligned32;
1513 float mem[16] __lsp_aligned32;
1514 float stub[16] __lsp_aligned32;
1515 size_t mask;
1516 );
1517
1518 ARCH_X86_ASM
1519 (
1520 // Prepare stuff
1521 UNPACK_EXP_KNEE("knee", "exp")
1522
1523 // 16x blocks
1524 __ASM_EMIT("sub $16, %[count]")
1525 __ASM_EMIT("jb 2f")
1526 __ASM_EMIT("1:")
1527 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1528 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1529 PROCESS_UEXP_FULL_X16_FMA3
1530 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1531 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1532 __ASM_EMIT("add $0x40, %[src]")
1533 __ASM_EMIT("add $0x40, %[dst]")
1534 __ASM_EMIT("sub $16, %[count]")
1535 __ASM_EMIT("jae 1b")
1536 __ASM_EMIT("2:")
1537 // 8x blocks
1538 __ASM_EMIT("add $8, %[count]")
1539 __ASM_EMIT("jl 4f")
1540 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1541 PROCESS_UEXP_FULL_X8_FMA3
1542 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1543 __ASM_EMIT("add $0x20, %[src]")
1544 __ASM_EMIT("add $0x20, %[dst]")
1545 __ASM_EMIT("sub $8, %[count]")
1546 __ASM_EMIT("4:")
1547 // 4x blocks
1548 __ASM_EMIT("add $4, %[count]")
1549 __ASM_EMIT("jl 6f")
1550 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1551 PROCESS_UEXP_FULL_X4_FMA3
1552 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1553 __ASM_EMIT("sub $4, %[count]")
1554 __ASM_EMIT("add $0x10, %[src]")
1555 __ASM_EMIT("add $0x10, %[dst]")
1556 __ASM_EMIT("6:")
1557 // Tail: 1x-3x block
1558 __ASM_EMIT("add $4, %[count]")
1559 __ASM_EMIT("jle 14f")
1560 __ASM_EMIT("test $1, %[count]")
1561 __ASM_EMIT("jz 8f")
1562 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1563 __ASM_EMIT("add $4, %[src]")
1564 __ASM_EMIT("8:")
1565 __ASM_EMIT("test $2, %[count]")
1566 __ASM_EMIT("jz 10f")
1567 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1568 __ASM_EMIT("10:")
1569 PROCESS_UEXP_FULL_X4_FMA3
1570 __ASM_EMIT("test $1, %[count]")
1571 __ASM_EMIT("jz 12f")
1572 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1573 __ASM_EMIT("add $4, %[dst]")
1574 __ASM_EMIT("12:")
1575 __ASM_EMIT("test $2, %[count]")
1576 __ASM_EMIT("jz 14f")
1577 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1578 __ASM_EMIT("14:")
1579
1580 : [dst] "+r" (dst), [src] "+r" (src),
1581 [count] "+r" (count),
1582 [mask] "=&r" (mask)
1583 : [exp] "r" (c),
1584 [knee] "o" (knee),
1585 [mem] "o" (mem),
1586 [stub0] "o" (stub0),
1587 [stub] "o" (stub),
1588 [X2C] "o" (expander_const),
1589 [L2C] "o" (LOG2_CONST),
1590 [LOGC] "o" (LOGE_C),
1591 [E2C] "o" (EXP2_CONST),
1592 [LOG2E] "m" (EXP_LOG2E)
1593 : "cc", "memory",
1594 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1595 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1596 );
1597 }
1598
1599 IF_ARCH_X86_64(
1600 void x64_uexpander_x1_gain_fma3(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
1601 {
1602 IF_ARCH_X86(
1603 float stub0[16] __lsp_aligned32;
1604 expander_knee_t knee __lsp_aligned32;
1605 float mem[32] __lsp_aligned32;
1606 float stub[16] __lsp_aligned32;
1607 size_t mask;
1608 );
1609
1610 ARCH_X86_ASM
1611 (
1612 // Prepare stuff
1613 UNPACK_EXP_KNEE("knee", "exp")
1614
1615 // 32x blocks
1616 __ASM_EMIT("sub $32, %[count]")
1617 __ASM_EMIT("jb 2f")
1618 __ASM_EMIT("1:")
1619 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1620 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1621 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
1622 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
1623 PROCESS_UEXP_FULL_X32_FMA3
1624 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1625 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1626 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
1627 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
1628 __ASM_EMIT("add $0x80, %[src]")
1629 __ASM_EMIT("add $0x80, %[dst]")
1630 __ASM_EMIT("sub $32, %[count]")
1631 __ASM_EMIT("jae 1b")
1632 __ASM_EMIT("2:")
1633 // 16x blocks
1634 __ASM_EMIT("add $16, %[count]")
1635 __ASM_EMIT("jl 4f")
1636 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1637 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1638 PROCESS_UEXP_FULL_X16_FMA3
1639 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1640 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1641 __ASM_EMIT("add $0x40, %[src]")
1642 __ASM_EMIT("add $0x40, %[dst]")
1643 __ASM_EMIT("sub $16, %[count]")
1644 __ASM_EMIT("4:")
1645 // 8x blocks
1646 __ASM_EMIT("add $8, %[count]")
1647 __ASM_EMIT("jl 6f")
1648 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1649 PROCESS_UEXP_FULL_X8_FMA3
1650 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1651 __ASM_EMIT("add $0x20, %[src]")
1652 __ASM_EMIT("add $0x20, %[dst]")
1653 __ASM_EMIT("sub $8, %[count]")
1654 __ASM_EMIT("6:")
1655 // 4x blocks
1656 __ASM_EMIT("add $4, %[count]")
1657 __ASM_EMIT("jl 8f")
1658 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1659 PROCESS_UEXP_FULL_X4_FMA3
1660 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1661 __ASM_EMIT("sub $4, %[count]")
1662 __ASM_EMIT("add $0x10, %[src]")
1663 __ASM_EMIT("add $0x10, %[dst]")
1664 __ASM_EMIT("8:")
1665 // Tail: 1x-3x block
1666 __ASM_EMIT("add $4, %[count]")
1667 __ASM_EMIT("jle 16f")
1668 __ASM_EMIT("test $1, %[count]")
1669 __ASM_EMIT("jz 10f")
1670 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1671 __ASM_EMIT("add $4, %[src]")
1672 __ASM_EMIT("10:")
1673 __ASM_EMIT("test $2, %[count]")
1674 __ASM_EMIT("jz 12f")
1675 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1676 __ASM_EMIT("12:")
1677 PROCESS_UEXP_FULL_X4_FMA3
1678 __ASM_EMIT("test $1, %[count]")
1679 __ASM_EMIT("jz 14f")
1680 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1681 __ASM_EMIT("add $4, %[dst]")
1682 __ASM_EMIT("14:")
1683 __ASM_EMIT("test $2, %[count]")
1684 __ASM_EMIT("jz 16f")
1685 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1686 __ASM_EMIT("16:")
1687
1688 : [dst] "+r" (dst), [src] "+r" (src),
1689 [count] "+r" (count),
1690 [mask] "=&r" (mask)
1691 : [exp] "r" (c),
1692 [knee] "o" (knee),
1693 [mem] "o" (mem),
1694 [stub0] "o" (stub0),
1695 [stub] "o" (stub),
1696 [X2C] "o" (expander_const),
1697 [L2C] "o" (LOG2_CONST),
1698 [LOGC] "o" (LOGE_C),
1699 [E2C] "o" (EXP2_CONST),
1700 [LOG2E] "m" (EXP_LOG2E)
1701 : "cc", "memory",
1702 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1703 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1704 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
1705 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1706 );
1707 }
1708 )
1709
1710 void uexpander_x1_curve_fma3(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
1711 {
1712 IF_ARCH_X86(
1713 float stub0[16] __lsp_aligned32;
1714 expander_knee_t knee __lsp_aligned32;
1715 float mem[16] __lsp_aligned32;
1716 float stub[16] __lsp_aligned32;
1717 size_t mask;
1718 );
1719
1720 ARCH_X86_ASM
1721 (
1722 // Prepare stuff
1723 UNPACK_EXP_KNEE("knee", "exp")
1724
1725 // 16x blocks
1726 __ASM_EMIT("sub $16, %[count]")
1727 __ASM_EMIT("jb 2f")
1728 __ASM_EMIT("1:")
1729 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1730 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1731 PROCESS_UEXP_FULL_X16_FMA3
1732 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
1733 __ASM_EMIT("vmulps 0x20(%[src]), %%ymm4, %%ymm4")
1734 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1735 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1736 __ASM_EMIT("add $0x40, %[src]")
1737 __ASM_EMIT("add $0x40, %[dst]")
1738 __ASM_EMIT("sub $16, %[count]")
1739 __ASM_EMIT("jae 1b")
1740 __ASM_EMIT("2:")
1741 // 8x blocks
1742 __ASM_EMIT("add $8, %[count]")
1743 __ASM_EMIT("jl 4f")
1744 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1745 PROCESS_UEXP_FULL_X8_FMA3
1746 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
1747 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1748 __ASM_EMIT("add $0x20, %[src]")
1749 __ASM_EMIT("add $0x20, %[dst]")
1750 __ASM_EMIT("sub $8, %[count]")
1751 __ASM_EMIT("4:")
1752 // 4x blocks
1753 __ASM_EMIT("add $4, %[count]")
1754 __ASM_EMIT("jl 6f")
1755 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1756 PROCESS_UEXP_FULL_X4_FMA3
1757 __ASM_EMIT("vmulps 0x00(%[src]), %%xmm0, %%xmm0")
1758 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1759 __ASM_EMIT("sub $4, %[count]")
1760 __ASM_EMIT("add $0x10, %[src]")
1761 __ASM_EMIT("add $0x10, %[dst]")
1762 __ASM_EMIT("6:")
1763 // Tail: 1x-3x block
1764 __ASM_EMIT("add $4, %[count]")
1765 __ASM_EMIT("jle 14f")
1766 __ASM_EMIT("test $1, %[count]")
1767 __ASM_EMIT("jz 8f")
1768 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1769 __ASM_EMIT("add $4, %[src]")
1770 __ASM_EMIT("8:")
1771 __ASM_EMIT("test $2, %[count]")
1772 __ASM_EMIT("jz 10f")
1773 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1774 __ASM_EMIT("10:")
1775 __ASM_EMIT("vmovaps %%xmm0, %%xmm4")
1776 PROCESS_UEXP_FULL_X4_FMA3
1777 __ASM_EMIT("vmulps %%xmm4, %%xmm0, %%xmm0")
1778 __ASM_EMIT("test $1, %[count]")
1779 __ASM_EMIT("jz 12f")
1780 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1781 __ASM_EMIT("add $4, %[dst]")
1782 __ASM_EMIT("12:")
1783 __ASM_EMIT("test $2, %[count]")
1784 __ASM_EMIT("jz 14f")
1785 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1786 __ASM_EMIT("14:")
1787
1788 : [dst] "+r" (dst), [src] "+r" (src),
1789 [count] "+r" (count),
1790 [mask] "=&r" (mask)
1791 : [exp] "r" (c),
1792 [knee] "o" (knee),
1793 [mem] "o" (mem),
1794 [stub0] "o" (stub0),
1795 [stub] "o" (stub),
1796 [X2C] "o" (expander_const),
1797 [L2C] "o" (LOG2_CONST),
1798 [LOGC] "o" (LOGE_C),
1799 [E2C] "o" (EXP2_CONST),
1800 [LOG2E] "m" (EXP_LOG2E)
1801 : "cc", "memory",
1802 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1803 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1804 );
1805 }
1806
1807 IF_ARCH_X86_64(
1808 void x64_uexpander_x1_curve_fma3(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
1809 {
1810 IF_ARCH_X86(
1811 float stub0[16] __lsp_aligned32;
1812 expander_knee_t knee __lsp_aligned32;
1813 float mem[32] __lsp_aligned32;
1814 float stub[16] __lsp_aligned32;
1815 size_t mask;
1816 );
1817
1818 ARCH_X86_ASM
1819 (
1820 // Prepare stuff
1821 UNPACK_EXP_KNEE("knee", "exp")
1822
1823 // 32x blocks
1824 __ASM_EMIT("sub $32, %[count]")
1825 __ASM_EMIT("jb 2f")
1826 __ASM_EMIT("1:")
1827 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1828 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1829 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
1830 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
1831 PROCESS_UEXP_FULL_X32_FMA3
1832 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
1833 __ASM_EMIT("vmulps 0x20(%[src]), %%ymm4, %%ymm4")
1834 __ASM_EMIT("vmulps 0x40(%[src]), %%ymm8, %%ymm8")
1835 __ASM_EMIT("vmulps 0x60(%[src]), %%ymm12, %%ymm12")
1836 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1837 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1838 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
1839 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
1840 __ASM_EMIT("add $0x80, %[src]")
1841 __ASM_EMIT("add $0x80, %[dst]")
1842 __ASM_EMIT("sub $32, %[count]")
1843 __ASM_EMIT("jae 1b")
1844 __ASM_EMIT("2:")
1845 // 16x blocks
1846 __ASM_EMIT("add $16, %[count]")
1847 __ASM_EMIT("jl 4f")
1848 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1849 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1850 PROCESS_UEXP_FULL_X16_FMA3
1851 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
1852 __ASM_EMIT("vmulps 0x20(%[src]), %%ymm4, %%ymm4")
1853 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1854 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1855 __ASM_EMIT("add $0x40, %[src]")
1856 __ASM_EMIT("add $0x40, %[dst]")
1857 __ASM_EMIT("sub $16, %[count]")
1858 __ASM_EMIT("4:")
1859 // 8x blocks
1860 __ASM_EMIT("add $8, %[count]")
1861 __ASM_EMIT("jl 6f")
1862 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1863 PROCESS_UEXP_FULL_X8_FMA3
1864 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
1865 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1866 __ASM_EMIT("add $0x20, %[src]")
1867 __ASM_EMIT("add $0x20, %[dst]")
1868 __ASM_EMIT("sub $8, %[count]")
1869 __ASM_EMIT("6:")
1870 // 4x blocks
1871 __ASM_EMIT("add $4, %[count]")
1872 __ASM_EMIT("jl 8f")
1873 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1874 PROCESS_UEXP_FULL_X4_FMA3
1875 __ASM_EMIT("vmulps 0x00(%[src]), %%xmm0, %%xmm0")
1876 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1877 __ASM_EMIT("sub $4, %[count]")
1878 __ASM_EMIT("add $0x10, %[src]")
1879 __ASM_EMIT("add $0x10, %[dst]")
1880 __ASM_EMIT("8:")
1881 // Tail: 1x-3x block
1882 __ASM_EMIT("add $4, %[count]")
1883 __ASM_EMIT("jle 16f")
1884 __ASM_EMIT("test $1, %[count]")
1885 __ASM_EMIT("jz 10f")
1886 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1887 __ASM_EMIT("add $4, %[src]")
1888 __ASM_EMIT("10:")
1889 __ASM_EMIT("test $2, %[count]")
1890 __ASM_EMIT("jz 12f")
1891 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1892 __ASM_EMIT("12:")
1893 __ASM_EMIT("vmovaps %%xmm0, %%xmm4")
1894 PROCESS_UEXP_FULL_X4_FMA3
1895 __ASM_EMIT("vmulps %%xmm4, %%xmm0, %%xmm0")
1896 __ASM_EMIT("test $1, %[count]")
1897 __ASM_EMIT("jz 14f")
1898 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1899 __ASM_EMIT("add $4, %[dst]")
1900 __ASM_EMIT("14:")
1901 __ASM_EMIT("test $2, %[count]")
1902 __ASM_EMIT("jz 16f")
1903 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1904 __ASM_EMIT("16:")
1905
1906 : [dst] "+r" (dst), [src] "+r" (src),
1907 [count] "+r" (count),
1908 [mask] "=&r" (mask)
1909 : [exp] "r" (c),
1910 [knee] "o" (knee),
1911 [mem] "o" (mem),
1912 [stub0] "o" (stub0),
1913 [stub] "o" (stub),
1914 [X2C] "o" (expander_const),
1915 [L2C] "o" (LOG2_CONST),
1916 [LOGC] "o" (LOGE_C),
1917 [E2C] "o" (EXP2_CONST),
1918 [LOG2E] "m" (EXP_LOG2E)
1919 : "cc", "memory",
1920 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1921 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1922 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
1923 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1924 );
1925 }
1926 )
1927
1928 #undef PROCESS_UEXP_FULL_X4_FMA3
1929 #undef PROCESS_UEXP_FULL_X8_FMA3
1930 #undef PROCESS_UEXP_FULL_X16_FMA3
1931 #undef PROCESS_UEXP_FULL_X32_FMA3
1932 #undef PROCESS_UKNEE_SINGLE_X4_FMA3
1933 #undef PROCESS_UKNEE_SINGLE_X8_FMA3
1934 #undef PROCESS_UKNEE_SINGLE_X16_FMA3
1935 #undef PROCESS_UKNEE_SINGLE_X32_FMA3
1936
1937
1938 #define PROCESS_DKNEE_SINGLE_X32_FMA3 \
1939 /* in: ymm0 = lx0, ymm4 = lx1, ymm8 = lx2, ymm12 = lx3 */ \
1940 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm0, %%ymm1") /* ymm1 = herm[0]*lx0 */ \
1941 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm4, %%ymm5") \
1942 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm8, %%ymm9") \
1943 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm12, %%ymm13") \
1944 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm0, %%ymm2") /* ymm2 = tilt[0]*lx0 */ \
1945 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm4, %%ymm6") \
1946 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm8, %%ymm10") \
1947 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm12, %%ymm14") \
1948 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
1949 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm5, %%ymm5") \
1950 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm9, %%ymm9") \
1951 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm13, %%ymm13") \
1952 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm2, %%ymm2") /* ymm2 = TV = tilt[0]*lx0+tilt[1] */ \
1953 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm6, %%ymm6") \
1954 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm10, %%ymm10") \
1955 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm14, %%ymm14") \
1956 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm0, %%ymm1") /* ymm5 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
1957 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm4, %%ymm5") \
1958 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm8, %%ymm9") \
1959 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm12, %%ymm13") \
1960 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm0") /* ymm1 = x0 */ \
1961 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm4") \
1962 __ASM_EMIT("vmovaps 0x40 + %[mem], %%ymm8") \
1963 __ASM_EMIT("vmovaps 0x60 + %[mem], %%ymm12") \
1964 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm0, %%ymm3") /* ymm3 = [x0 <= start] */ \
1965 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm4, %%ymm7") \
1966 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm8, %%ymm11") \
1967 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm12, %%ymm15") \
1968 __ASM_EMIT("vblendvps %%ymm3, %%ymm2, %%ymm1, %%ymm0") /* ymm0 = [x0 <= start] ? TV : KV */ \
1969 __ASM_EMIT("vblendvps %%ymm7, %%ymm6, %%ymm5, %%ymm4") \
1970 __ASM_EMIT("vblendvps %%ymm11, %%ymm10, %%ymm9, %%ymm8") \
1971 __ASM_EMIT("vblendvps %%ymm15, %%ymm14, %%ymm13, %%ymm12") \
1972 EXP_CORE_X32_FMA3 /* ymm0 = EV = expf([x0 <= start] ? TV : KV) */ \
1973 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm1") /* ymm1 = x0 */ \
1974 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm5") \
1975 __ASM_EMIT("vmovaps 0x40 + %[mem], %%ymm9") \
1976 __ASM_EMIT("vmovaps 0x60 + %[mem], %%ymm13") \
1977 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm1, %%ymm2") /* ymm2 = [x0 >= end] */ \
1978 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm5, %%ymm6") \
1979 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm9, %%ymm10") \
1980 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm13, %%ymm14") \
1981 __ASM_EMIT("vcmpps $5, 0x40 + %[knee], %%ymm1, %%ymm3") /* ymm3 = [x0 >= threshold] */ \
1982 __ASM_EMIT("vcmpps $5, 0x40 + %[knee], %%ymm5, %%ymm7") \
1983 __ASM_EMIT("vcmpps $5, 0x40 + %[knee], %%ymm9, %%ymm11") \
1984 __ASM_EMIT("vcmpps $5, 0x40 + %[knee], %%ymm13, %%ymm15") \
1985 __ASM_EMIT("vblendvps %%ymm2, 0x20 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = [x0 >= end] ? 1.0 : EV */ \
1986 __ASM_EMIT("vblendvps %%ymm6, 0x20 + %[X2C], %%ymm4, %%ymm4") \
1987 __ASM_EMIT("vblendvps %%ymm10, 0x20 + %[X2C], %%ymm8, %%ymm8") \
1988 __ASM_EMIT("vblendvps %%ymm14, 0x20 + %[X2C], %%ymm12, %%ymm12") \
1989 __ASM_EMIT("vandps %%ymm3, %%ymm0, %%ymm0") /* ymm0 = [x0 < threshold] ? 0 : [x0 >= end] ? 1.0 : EV */ \
1990 __ASM_EMIT("vandps %%ymm7, %%ymm4, %%ymm4") \
1991 __ASM_EMIT("vandps %%ymm11, %%ymm8, %%ymm8") \
1992 __ASM_EMIT("vandps %%ymm15, %%ymm12, %%ymm12") \
1993 /* out: ymm0 = g0, ymm4 = g1, ymm8 = g2, ymm12 = g3 */
1994
1995 #define PROCESS_DKNEE_SINGLE_X16_FMA3 \
1996 /* in: ymm0 = lx0, ymm4 = lx1 */ \
1997 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm0, %%ymm1") /* ymm1 = herm[0]*lx0 */ \
1998 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm4, %%ymm5") \
1999 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm0, %%ymm2") /* ymm2 = tilt[0]*lx0 */ \
2000 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm4, %%ymm6") \
2001 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
2002 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm5, %%ymm5") \
2003 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm2, %%ymm2") /* ymm2 = TV = tilt[0]*lx0+tilt[1] */ \
2004 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm6, %%ymm6") \
2005 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm0, %%ymm1") /* ymm5 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
2006 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm4, %%ymm5") \
2007 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm0") /* ymm1 = x0 */ \
2008 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm4") \
2009 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm0, %%ymm3") /* ymm3 = [x0 <= start] */ \
2010 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm4, %%ymm7") \
2011 __ASM_EMIT("vblendvps %%ymm3, %%ymm2, %%ymm1, %%ymm0") /* ymm0 = [x0 <= start] ? TV : KV */ \
2012 __ASM_EMIT("vblendvps %%ymm7, %%ymm6, %%ymm5, %%ymm4") \
2013 EXP_CORE_X16_FMA3 /* ymm0 = EV = expf([x0 <= start] ? TV : KV) */ \
2014 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm1") /* ymm1 = x0 */ \
2015 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm5") \
2016 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm1, %%ymm2") /* ymm2 = [x0 >= end] */ \
2017 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm5, %%ymm6") \
2018 __ASM_EMIT("vcmpps $5, 0x40 + %[knee], %%ymm1, %%ymm3") /* ymm3 = [x0 >= threshold] */ \
2019 __ASM_EMIT("vcmpps $5, 0x40 + %[knee], %%ymm5, %%ymm7") \
2020 __ASM_EMIT("vblendvps %%ymm2, 0x20 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = [x0 >= end] ? 1.0 : EV */ \
2021 __ASM_EMIT("vblendvps %%ymm6, 0x20 + %[X2C], %%ymm4, %%ymm4") \
2022 __ASM_EMIT("vandps %%ymm3, %%ymm0, %%ymm0") /* ymm0 = [x0 < threshold] ? 0 : [x0 >= end] ? 1.0 : EV */ \
2023 __ASM_EMIT("vandps %%ymm7, %%ymm4, %%ymm4") \
2024 /* out: ymm0 = g0, ymm4 = g1 */
2025
2026 #define PROCESS_DKNEE_SINGLE_X8_FMA3 \
2027 /* in: ymm0 = lx0 */ \
2028 __ASM_EMIT("vmulps 0x60 + %[knee], %%ymm0, %%ymm1") /* ymm1 = herm[0]*lx0 */ \
2029 __ASM_EMIT("vmulps 0xc0 + %[knee], %%ymm0, %%ymm2") /* ymm2 = tilt[0]*lx0 */ \
2030 __ASM_EMIT("vaddps 0x80 + %[knee], %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
2031 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm2, %%ymm2") /* ymm2 = TV = tilt[0]*lx0+tilt[1] */ \
2032 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm0, %%ymm1") /* ymm5 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
2033 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm0") /* ymm1 = x0 */ \
2034 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm0, %%ymm3") /* ymm3 = [x0 <= start] */ \
2035 __ASM_EMIT("vblendvps %%ymm3, %%ymm2, %%ymm1, %%ymm0") /* ymm0 = [x0 <= start] ? TV : KV */ \
2036 EXP_CORE_X8_FMA3 /* ymm0 = EV = expf([x0 <= start] ? TV : KV) */ \
2037 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm1") /* ymm1 = x0 */ \
2038 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm1, %%ymm2") /* ymm2 = [x0 >= end] */ \
2039 __ASM_EMIT("vcmpps $5, 0x40 + %[knee], %%ymm1, %%ymm3") /* ymm3 = [x0 >= threshold] */ \
2040 __ASM_EMIT("vblendvps %%ymm2, 0x20 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = [x0 >= end] ? 1.0 : EV */ \
2041 __ASM_EMIT("vandps %%ymm3, %%ymm0, %%ymm0") /* ymm0 = [x0 < threshold] ? 0 : [x0 >= end] ? 1.0 : EV */ \
2042 /* out: ymm0 = g0 */
2043
2044 #define PROCESS_DKNEE_SINGLE_X4_FMA3 \
2045 /* in: xmm0 = lx0 */ \
2046 __ASM_EMIT("vmulps 0x60 + %[knee], %%xmm0, %%xmm1") /* xmm1 = herm[0]*lx0 */ \
2047 __ASM_EMIT("vmulps 0xc0 + %[knee], %%xmm0, %%xmm2") /* xmm2 = tilt[0]*lx0 */ \
2048 __ASM_EMIT("vaddps 0x80 + %[knee], %%xmm1, %%xmm1") /* xmm1 = herm[0]*lx0+herm[1] */ \
2049 __ASM_EMIT("vaddps 0xe0 + %[knee], %%xmm2, %%xmm2") /* xmm2 = TV = tilt[0]*lx0+tilt[1] */ \
2050 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%xmm0, %%xmm1") /* xmm5 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
2051 __ASM_EMIT("vmovaps 0x00 + %[mem], %%xmm0") /* xmm1 = x0 */ \
2052 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%xmm0, %%xmm3") /* xmm3 = [x0 <= start] */ \
2053 __ASM_EMIT("vblendvps %%xmm3, %%xmm2, %%xmm1, %%xmm0") /* xmm0 = [x0 <= start] ? TV : KV */ \
2054 EXP_CORE_X4_FMA3 /* xmm0 = EV = expf([x0 <= start] ? TV : KV) */ \
2055 __ASM_EMIT("vmovaps 0x00 + %[mem], %%xmm1") /* xmm1 = x0 */ \
2056 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%xmm1, %%xmm2") /* xmm2 = [x0 >= end] */ \
2057 __ASM_EMIT("vcmpps $5, 0x40 + %[knee], %%xmm1, %%xmm3") /* xmm3 = [x0 >= threshold] */ \
2058 __ASM_EMIT("vblendvps %%xmm2, 0x20 + %[X2C], %%xmm0, %%xmm0") /* xmm0 = [x0 >= end] ? 1.0 : EV */ \
2059 __ASM_EMIT("vandps %%xmm3, %%xmm0, %%xmm0") /* xmm0 = [x0 < threshold] ? 0 : [x0 >= end] ? 1.0 : EV */ \
2060 /* out: xmm0 = g0 */
2061
2062 #define PROCESS_DEXP_FULL_X32_FMA3 \
2063 /* in: ymm0 = x0, ymm4 = x1, ymm8 = x2, ymm12 = x4 */ \
2064 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
2065 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm4, %%ymm4") \
2066 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm8, %%ymm8") \
2067 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm12, %%ymm12") \
2068 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm0, %%ymm1") /* ymm1 = [x0 < end] */ \
2069 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm4, %%ymm5") \
2070 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm8, %%ymm9") \
2071 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm12, %%ymm13") \
2072 __ASM_EMIT("vorps %%ymm5, %%ymm1, %%ymm1") \
2073 __ASM_EMIT("vorps %%ymm13, %%ymm9, %%ymm9") \
2074 __ASM_EMIT("vorps %%ymm9, %%ymm1, %%ymm1") \
2075 __ASM_EMIT("vmovmskps %%ymm1, %[mask]") \
2076 __ASM_EMIT("test %[mask], %[mask]") \
2077 __ASM_EMIT("jnz 100f") \
2078 __ASM_EMIT("vmovaps 0x20 + %[X2C], %%ymm0") /* ymm0 = 1.0f */ \
2079 __ASM_EMIT("vmovaps 0x20 + %[X2C], %%ymm4") \
2080 __ASM_EMIT("vmovaps %%ymm0, %%ymm8") \
2081 __ASM_EMIT("vmovaps %%ymm4, %%ymm12") \
2082 __ASM_EMIT("jmp 200f") \
2083 __ASM_EMIT("100:") \
2084 __ASM_EMIT("vmovaps %%ymm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
2085 __ASM_EMIT("vmovaps %%ymm4, 0x20 + %[mem]") \
2086 __ASM_EMIT("vmovaps %%ymm8, 0x40 + %[mem]") \
2087 __ASM_EMIT("vmovaps %%ymm12, 0x60 + %[mem]") \
2088 LOGE_CORE_X32_FMA3 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
2089 PROCESS_DKNEE_SINGLE_X32_FMA3 /* apply knee */ \
2090 __ASM_EMIT("200:") \
2091 /* out: ymm0 = G0, ymm4 = G1, ymm8 = G2, ymm12 = G3 */
2092
2093 #define PROCESS_DEXP_FULL_X16_FMA3 \
2094 /* in: ymm0 = x0, ymm4 = x1 */ \
2095 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
2096 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm4, %%ymm4") \
2097 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm0, %%ymm1") /* ymm1 = [x0 < end] */ \
2098 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm4, %%ymm5") \
2099 __ASM_EMIT("vorps %%ymm5, %%ymm1, %%ymm1") \
2100 __ASM_EMIT("vmovmskps %%ymm1, %[mask]") \
2101 __ASM_EMIT("test %[mask], %[mask]") \
2102 __ASM_EMIT("jnz 100f") \
2103 __ASM_EMIT("vmovaps 0x20 + %[X2C], %%ymm0") /* ymm0 = 1.0f */ \
2104 __ASM_EMIT("vmovaps 0x20 + %[X2C], %%ymm4") \
2105 __ASM_EMIT("jmp 200f") \
2106 __ASM_EMIT("100:") \
2107 __ASM_EMIT("vmovaps %%ymm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
2108 __ASM_EMIT("vmovaps %%ymm4, 0x20 + %[mem]") \
2109 LOGE_CORE_X16_FMA3 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
2110 PROCESS_DKNEE_SINGLE_X16_FMA3 /* apply knee */ \
2111 __ASM_EMIT("200:") \
2112 /* out: ymm0 = G0, ymm4 = G1 */
2113
2114 #define PROCESS_DEXP_FULL_X8_FMA3 \
2115 /* in: ymm0 = x0 */ \
2116 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
2117 __ASM_EMIT("vmovaps %%ymm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
2118 LOGE_CORE_X8_FMA3 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
2119 PROCESS_DKNEE_SINGLE_X8_FMA3 /* apply knee */ \
2120 /* out: ymm0 = G0 */
2121
2122 #define PROCESS_DEXP_FULL_X4_FMA3 \
2123 /* in: xmm0 = x0 */ \
2124 __ASM_EMIT("vandps 0x00 + %[X2C], %%xmm0, %%xmm0") /* xmm0 = fabsf(x0) */ \
2125 __ASM_EMIT("vmovaps %%xmm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
2126 LOGE_CORE_X4_FMA3 /* xmm0 = lx0 = logf(fabsf(x0)) */ \
2127 PROCESS_DKNEE_SINGLE_X4_FMA3 /* apply knee */ \
2128 /* out: xmm0 = G0 */
2129
2130 void dexpander_x1_gain_fma3(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
2131 {
2132 IF_ARCH_X86(
2133 float stub0[16] __lsp_aligned32;
2134 expander_knee_t knee __lsp_aligned32;
2135 float mem[16] __lsp_aligned32;
2136 float stub[16] __lsp_aligned32;
2137 size_t mask;
2138 );
2139
2140 ARCH_X86_ASM
2141 (
2142 // Prepare stuff
2143 UNPACK_EXP_KNEE("knee", "exp")
2144
2145 // 16x blocks
2146 __ASM_EMIT("sub $16, %[count]")
2147 __ASM_EMIT("jb 2f")
2148 __ASM_EMIT("1:")
2149 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
2150 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
2151 PROCESS_DEXP_FULL_X16_FMA3
2152 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2153 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
2154 __ASM_EMIT("add $0x40, %[src]")
2155 __ASM_EMIT("add $0x40, %[dst]")
2156 __ASM_EMIT("sub $16, %[count]")
2157 __ASM_EMIT("jae 1b")
2158 __ASM_EMIT("2:")
2159 // 8x blocks
2160 __ASM_EMIT("add $8, %[count]")
2161 __ASM_EMIT("jl 4f")
2162 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
2163 PROCESS_DEXP_FULL_X8_FMA3
2164 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2165 __ASM_EMIT("add $0x20, %[src]")
2166 __ASM_EMIT("add $0x20, %[dst]")
2167 __ASM_EMIT("sub $8, %[count]")
2168 __ASM_EMIT("4:")
2169 // 4x blocks
2170 __ASM_EMIT("add $4, %[count]")
2171 __ASM_EMIT("jl 6f")
2172 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
2173 PROCESS_DEXP_FULL_X4_FMA3
2174 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
2175 __ASM_EMIT("sub $4, %[count]")
2176 __ASM_EMIT("add $0x10, %[src]")
2177 __ASM_EMIT("add $0x10, %[dst]")
2178 __ASM_EMIT("6:")
2179 // Tail: 1x-3x block
2180 __ASM_EMIT("add $4, %[count]")
2181 __ASM_EMIT("jle 14f")
2182 __ASM_EMIT("test $1, %[count]")
2183 __ASM_EMIT("jz 8f")
2184 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
2185 __ASM_EMIT("add $4, %[src]")
2186 __ASM_EMIT("8:")
2187 __ASM_EMIT("test $2, %[count]")
2188 __ASM_EMIT("jz 10f")
2189 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
2190 __ASM_EMIT("10:")
2191 PROCESS_DEXP_FULL_X4_FMA3
2192 __ASM_EMIT("test $1, %[count]")
2193 __ASM_EMIT("jz 12f")
2194 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
2195 __ASM_EMIT("add $4, %[dst]")
2196 __ASM_EMIT("12:")
2197 __ASM_EMIT("test $2, %[count]")
2198 __ASM_EMIT("jz 14f")
2199 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
2200 __ASM_EMIT("14:")
2201
2202 : [dst] "+r" (dst), [src] "+r" (src),
2203 [count] "+r" (count),
2204 [mask] "=&r" (mask)
2205 : [exp] "r" (c),
2206 [knee] "o" (knee),
2207 [mem] "o" (mem),
2208 [stub0] "o" (stub0),
2209 [stub] "o" (stub),
2210 [X2C] "o" (expander_const),
2211 [L2C] "o" (LOG2_CONST),
2212 [LOGC] "o" (LOGE_C),
2213 [E2C] "o" (EXP2_CONST),
2214 [LOG2E] "m" (EXP_LOG2E)
2215 : "cc", "memory",
2216 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
2217 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
2218 );
2219 }
2220
2221 IF_ARCH_X86_64(
2222 void x64_dexpander_x1_gain_fma3(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
2223 {
2224 IF_ARCH_X86(
2225 float stub0[16] __lsp_aligned32;
2226 expander_knee_t knee __lsp_aligned32;
2227 float mem[32] __lsp_aligned32;
2228 float stub[16] __lsp_aligned32;
2229 size_t mask;
2230 );
2231
2232 ARCH_X86_ASM
2233 (
2234 // Prepare stuff
2235 UNPACK_EXP_KNEE("knee", "exp")
2236
2237 // 32x blocks
2238 __ASM_EMIT("sub $32, %[count]")
2239 __ASM_EMIT("jb 2f")
2240 __ASM_EMIT("1:")
2241 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
2242 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
2243 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
2244 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
2245 PROCESS_DEXP_FULL_X32_FMA3
2246 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2247 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
2248 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
2249 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
2250 __ASM_EMIT("add $0x80, %[src]")
2251 __ASM_EMIT("add $0x80, %[dst]")
2252 __ASM_EMIT("sub $32, %[count]")
2253 __ASM_EMIT("jae 1b")
2254 __ASM_EMIT("2:")
2255 // 16x blocks
2256 __ASM_EMIT("add $16, %[count]")
2257 __ASM_EMIT("jl 4f")
2258 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
2259 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
2260 PROCESS_DEXP_FULL_X16_FMA3
2261 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2262 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
2263 __ASM_EMIT("add $0x40, %[src]")
2264 __ASM_EMIT("add $0x40, %[dst]")
2265 __ASM_EMIT("sub $16, %[count]")
2266 __ASM_EMIT("4:")
2267 // 8x blocks
2268 __ASM_EMIT("add $8, %[count]")
2269 __ASM_EMIT("jl 6f")
2270 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
2271 PROCESS_DEXP_FULL_X8_FMA3
2272 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2273 __ASM_EMIT("add $0x20, %[src]")
2274 __ASM_EMIT("add $0x20, %[dst]")
2275 __ASM_EMIT("sub $8, %[count]")
2276 __ASM_EMIT("6:")
2277 // 4x blocks
2278 __ASM_EMIT("add $4, %[count]")
2279 __ASM_EMIT("jl 8f")
2280 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
2281 PROCESS_DEXP_FULL_X4_FMA3
2282 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
2283 __ASM_EMIT("sub $4, %[count]")
2284 __ASM_EMIT("add $0x10, %[src]")
2285 __ASM_EMIT("add $0x10, %[dst]")
2286 __ASM_EMIT("8:")
2287 // Tail: 1x-3x block
2288 __ASM_EMIT("add $4, %[count]")
2289 __ASM_EMIT("jle 16f")
2290 __ASM_EMIT("test $1, %[count]")
2291 __ASM_EMIT("jz 10f")
2292 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
2293 __ASM_EMIT("add $4, %[src]")
2294 __ASM_EMIT("10:")
2295 __ASM_EMIT("test $2, %[count]")
2296 __ASM_EMIT("jz 12f")
2297 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
2298 __ASM_EMIT("12:")
2299 PROCESS_DEXP_FULL_X4_FMA3
2300 __ASM_EMIT("test $1, %[count]")
2301 __ASM_EMIT("jz 14f")
2302 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
2303 __ASM_EMIT("add $4, %[dst]")
2304 __ASM_EMIT("14:")
2305 __ASM_EMIT("test $2, %[count]")
2306 __ASM_EMIT("jz 16f")
2307 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
2308 __ASM_EMIT("16:")
2309
2310 : [dst] "+r" (dst), [src] "+r" (src),
2311 [count] "+r" (count),
2312 [mask] "=&r" (mask)
2313 : [exp] "r" (c),
2314 [knee] "o" (knee),
2315 [mem] "o" (mem),
2316 [stub0] "o" (stub0),
2317 [stub] "o" (stub),
2318 [X2C] "o" (expander_const),
2319 [L2C] "o" (LOG2_CONST),
2320 [LOGC] "o" (LOGE_C),
2321 [E2C] "o" (EXP2_CONST),
2322 [LOG2E] "m" (EXP_LOG2E)
2323 : "cc", "memory",
2324 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
2325 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
2326 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
2327 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
2328 );
2329 }
2330 )
2331
2332 void dexpander_x1_curve_fma3(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
2333 {
2334 IF_ARCH_X86(
2335 float stub0[16] __lsp_aligned32;
2336 expander_knee_t knee __lsp_aligned32;
2337 float mem[16] __lsp_aligned32;
2338 float stub[16] __lsp_aligned32;
2339 size_t mask;
2340 );
2341
2342 ARCH_X86_ASM
2343 (
2344 // Prepare stuff
2345 UNPACK_EXP_KNEE("knee", "exp")
2346
2347 // 16x blocks
2348 __ASM_EMIT("sub $16, %[count]")
2349 __ASM_EMIT("jb 2f")
2350 __ASM_EMIT("1:")
2351 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
2352 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
2353 PROCESS_DEXP_FULL_X16_FMA3
2354 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
2355 __ASM_EMIT("vmulps 0x20(%[src]), %%ymm4, %%ymm4")
2356 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2357 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
2358 __ASM_EMIT("add $0x40, %[src]")
2359 __ASM_EMIT("add $0x40, %[dst]")
2360 __ASM_EMIT("sub $16, %[count]")
2361 __ASM_EMIT("jae 1b")
2362 __ASM_EMIT("2:")
2363 // 8x blocks
2364 __ASM_EMIT("add $8, %[count]")
2365 __ASM_EMIT("jl 4f")
2366 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
2367 PROCESS_DEXP_FULL_X8_FMA3
2368 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
2369 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2370 __ASM_EMIT("add $0x20, %[src]")
2371 __ASM_EMIT("add $0x20, %[dst]")
2372 __ASM_EMIT("sub $8, %[count]")
2373 __ASM_EMIT("4:")
2374 // 4x blocks
2375 __ASM_EMIT("add $4, %[count]")
2376 __ASM_EMIT("jl 6f")
2377 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
2378 PROCESS_DEXP_FULL_X4_FMA3
2379 __ASM_EMIT("vmulps 0x00(%[src]), %%xmm0, %%xmm0")
2380 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
2381 __ASM_EMIT("sub $4, %[count]")
2382 __ASM_EMIT("add $0x10, %[src]")
2383 __ASM_EMIT("add $0x10, %[dst]")
2384 __ASM_EMIT("6:")
2385 // Tail: 1x-3x block
2386 __ASM_EMIT("add $4, %[count]")
2387 __ASM_EMIT("jle 14f")
2388 __ASM_EMIT("test $1, %[count]")
2389 __ASM_EMIT("jz 8f")
2390 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
2391 __ASM_EMIT("add $4, %[src]")
2392 __ASM_EMIT("8:")
2393 __ASM_EMIT("test $2, %[count]")
2394 __ASM_EMIT("jz 10f")
2395 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
2396 __ASM_EMIT("10:")
2397 __ASM_EMIT("vmovaps %%xmm0, %%xmm4")
2398 PROCESS_DEXP_FULL_X4_FMA3
2399 __ASM_EMIT("vmulps %%xmm4, %%xmm0, %%xmm0")
2400 __ASM_EMIT("test $1, %[count]")
2401 __ASM_EMIT("jz 12f")
2402 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
2403 __ASM_EMIT("add $4, %[dst]")
2404 __ASM_EMIT("12:")
2405 __ASM_EMIT("test $2, %[count]")
2406 __ASM_EMIT("jz 14f")
2407 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
2408 __ASM_EMIT("14:")
2409
2410 : [dst] "+r" (dst), [src] "+r" (src),
2411 [count] "+r" (count),
2412 [mask] "=&r" (mask)
2413 : [exp] "r" (c),
2414 [knee] "o" (knee),
2415 [mem] "o" (mem),
2416 [stub0] "o" (stub0),
2417 [stub] "o" (stub),
2418 [X2C] "o" (expander_const),
2419 [L2C] "o" (LOG2_CONST),
2420 [LOGC] "o" (LOGE_C),
2421 [E2C] "o" (EXP2_CONST),
2422 [LOG2E] "m" (EXP_LOG2E)
2423 : "cc", "memory",
2424 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
2425 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
2426 );
2427 }
2428
2429 IF_ARCH_X86_64(
2430 void x64_dexpander_x1_curve_fma3(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
2431 {
2432 IF_ARCH_X86(
2433 float stub0[16] __lsp_aligned32;
2434 expander_knee_t knee __lsp_aligned32;
2435 float mem[32] __lsp_aligned32;
2436 float stub[16] __lsp_aligned32;
2437 size_t mask;
2438 );
2439
2440 ARCH_X86_ASM
2441 (
2442 // Prepare stuff
2443 UNPACK_EXP_KNEE("knee", "exp")
2444
2445 // 32x blocks
2446 __ASM_EMIT("sub $32, %[count]")
2447 __ASM_EMIT("jb 2f")
2448 __ASM_EMIT("1:")
2449 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
2450 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
2451 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
2452 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
2453 PROCESS_DEXP_FULL_X32_FMA3
2454 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
2455 __ASM_EMIT("vmulps 0x20(%[src]), %%ymm4, %%ymm4")
2456 __ASM_EMIT("vmulps 0x40(%[src]), %%ymm8, %%ymm8")
2457 __ASM_EMIT("vmulps 0x60(%[src]), %%ymm12, %%ymm12")
2458 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2459 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
2460 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
2461 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
2462 __ASM_EMIT("add $0x80, %[src]")
2463 __ASM_EMIT("add $0x80, %[dst]")
2464 __ASM_EMIT("sub $32, %[count]")
2465 __ASM_EMIT("jae 1b")
2466 __ASM_EMIT("2:")
2467 // 16x blocks
2468 __ASM_EMIT("add $16, %[count]")
2469 __ASM_EMIT("jl 4f")
2470 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
2471 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
2472 PROCESS_DEXP_FULL_X16_FMA3
2473 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
2474 __ASM_EMIT("vmulps 0x20(%[src]), %%ymm4, %%ymm4")
2475 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2476 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
2477 __ASM_EMIT("add $0x40, %[src]")
2478 __ASM_EMIT("add $0x40, %[dst]")
2479 __ASM_EMIT("sub $16, %[count]")
2480 __ASM_EMIT("4:")
2481 // 8x blocks
2482 __ASM_EMIT("add $8, %[count]")
2483 __ASM_EMIT("jl 6f")
2484 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
2485 PROCESS_DEXP_FULL_X8_FMA3
2486 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
2487 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2488 __ASM_EMIT("add $0x20, %[src]")
2489 __ASM_EMIT("add $0x20, %[dst]")
2490 __ASM_EMIT("sub $8, %[count]")
2491 __ASM_EMIT("6:")
2492 // 4x blocks
2493 __ASM_EMIT("add $4, %[count]")
2494 __ASM_EMIT("jl 8f")
2495 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
2496 PROCESS_DEXP_FULL_X4_FMA3
2497 __ASM_EMIT("vmulps 0x00(%[src]), %%xmm0, %%xmm0")
2498 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
2499 __ASM_EMIT("sub $4, %[count]")
2500 __ASM_EMIT("add $0x10, %[src]")
2501 __ASM_EMIT("add $0x10, %[dst]")
2502 __ASM_EMIT("8:")
2503 // Tail: 1x-3x block
2504 __ASM_EMIT("add $4, %[count]")
2505 __ASM_EMIT("jle 16f")
2506 __ASM_EMIT("test $1, %[count]")
2507 __ASM_EMIT("jz 10f")
2508 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
2509 __ASM_EMIT("add $4, %[src]")
2510 __ASM_EMIT("10:")
2511 __ASM_EMIT("test $2, %[count]")
2512 __ASM_EMIT("jz 12f")
2513 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
2514 __ASM_EMIT("12:")
2515 __ASM_EMIT("vmovaps %%xmm0, %%xmm4")
2516 PROCESS_DEXP_FULL_X4_FMA3
2517 __ASM_EMIT("vmulps %%xmm4, %%xmm0, %%xmm0")
2518 __ASM_EMIT("test $1, %[count]")
2519 __ASM_EMIT("jz 14f")
2520 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
2521 __ASM_EMIT("add $4, %[dst]")
2522 __ASM_EMIT("14:")
2523 __ASM_EMIT("test $2, %[count]")
2524 __ASM_EMIT("jz 16f")
2525 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
2526 __ASM_EMIT("16:")
2527
2528 : [dst] "+r" (dst), [src] "+r" (src),
2529 [count] "+r" (count),
2530 [mask] "=&r" (mask)
2531 : [exp] "r" (c),
2532 [knee] "o" (knee),
2533 [mem] "o" (mem),
2534 [stub0] "o" (stub0),
2535 [stub] "o" (stub),
2536 [X2C] "o" (expander_const),
2537 [L2C] "o" (LOG2_CONST),
2538 [LOGC] "o" (LOGE_C),
2539 [E2C] "o" (EXP2_CONST),
2540 [LOG2E] "m" (EXP_LOG2E)
2541 : "cc", "memory",
2542 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
2543 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
2544 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
2545 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
2546 );
2547 }
2548 )
2549
2550 #undef PROCESS_DEXP_FULL_X4_FMA3
2551 #undef PROCESS_DEXP_FULL_X8_FMA3
2552 #undef PROCESS_DEXP_FULL_X16_FMA3
2553 #undef PROCESS_DEXP_FULL_X32_FMA3
2554 #undef PROCESS_DKNEE_SINGLE_X4_FMA3
2555 #undef PROCESS_DKNEE_SINGLE_X8_FMA3
2556 #undef PROCESS_DKNEE_SINGLE_X16_FMA3
2557 #undef PROCESS_DKNEE_SINGLE_X32_FMA3
2558
2559 #undef UNPACK_EXP_KNEE
2560
2561 } /* namespace avx2 */
2562 } /* namespace lsp */
2563
2564
2565
2566
2567 #endif /* PRIVATE_DSP_ARCH_X86_AVX2_DYNAMICS_EXPANDER_H_ */