Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx512/dynamics/expander.h

raw
1 /*
2 * Copyright (C) 2023 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2023 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 2 нояб. 2023 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_DYNAMICS_EXPANDER_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX512_DYNAMICS_EXPANDER_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_IMPL */
28
29 #include <private/dsp/arch/x86/avx512/pmath/exp.h>
30 #include <private/dsp/arch/x86/avx512/pmath/log.h>
31
32 namespace lsp
33 {
34 namespace avx512
35 {
36 #pragma pack(push, 1)
37 typedef struct expander_knee_t
38 {
39 float start[16]; // +0x000
40 float end[16]; // +0x040
41 float threshold[16]; // +0x080
42 float herm[48]; // +0x0c0
43 float tilt[32]; // +0x180
44 } expander_knee_t;
45 #pragma pack(pop)
46
47 static const uint32_t expander_const[] __lsp_aligned64 =
48 {
49 LSP_DSP_VEC16(0x7fffffff), // abs
50 LSP_DSP_VEC16(0x3f800000), // 1.0f
51 };
52
53 #define UNPACK_EXP_KNEE(DST, SRC) \
54 __ASM_EMIT("vbroadcastss 0x00(%[" SRC "]), %%zmm0") \
55 __ASM_EMIT("vbroadcastss 0x04(%[" SRC "]), %%zmm1") \
56 __ASM_EMIT("vbroadcastss 0x08(%[" SRC "]), %%zmm2") \
57 __ASM_EMIT("vbroadcastss 0x0c(%[" SRC "]), %%zmm3") \
58 __ASM_EMIT("vbroadcastss 0x10(%[" SRC "]), %%zmm4") \
59 __ASM_EMIT("vbroadcastss 0x14(%[" SRC "]), %%zmm5") \
60 __ASM_EMIT("vbroadcastss 0x18(%[" SRC "]), %%zmm6") \
61 __ASM_EMIT("vbroadcastss 0x1c(%[" SRC "]), %%zmm7") \
62 __ASM_EMIT("vmovaps %%zmm0, 0x000 + %[" DST "]") \
63 __ASM_EMIT("vmovaps %%zmm1, 0x040 + %[" DST "]") \
64 __ASM_EMIT("vmovaps %%zmm2, 0x080 + %[" DST "]") \
65 __ASM_EMIT("vmovaps %%zmm3, 0x0c0 + %[" DST "]") \
66 __ASM_EMIT("vmovaps %%zmm4, 0x100 + %[" DST "]") \
67 __ASM_EMIT("vmovaps %%zmm5, 0x140 + %[" DST "]") \
68 __ASM_EMIT("vmovaps %%zmm6, 0x180 + %[" DST "]") \
69 __ASM_EMIT("vmovaps %%zmm7, 0x1c0 + %[" DST "]")
70
71 #define PROCESS_UKNEE_SINGLE_X32 \
72 /* in: zmm0 = lx0, zmm4 = lx1 */ \
73 __ASM_EMIT("vmulps 0x0c0 + %[knee], %%zmm0, %%zmm1") /* zmm1 = herm[0]*lx0 */ \
74 __ASM_EMIT("vmulps 0x0c0 + %[knee], %%zmm4, %%zmm5") \
75 __ASM_EMIT("vmulps 0x180 + %[knee], %%zmm0, %%zmm2") /* zmm2 = tilt[0]*lx0 */ \
76 __ASM_EMIT("vmulps 0x180 + %[knee], %%zmm4, %%zmm6") \
77 __ASM_EMIT("vmovaps 0x000 + %[mem], %%zmm3") /* zmm3 = x0 */ \
78 __ASM_EMIT("vmovaps 0x040 + %[mem], %%zmm7") \
79 __ASM_EMIT("vaddps 0x100 + %[knee], %%zmm1, %%zmm1") /* zmm1 = herm[0]*lx0+herm[1] */ \
80 __ASM_EMIT("vaddps 0x100 + %[knee], %%zmm5, %%zmm5") \
81 __ASM_EMIT("vaddps 0x1c0 + %[knee], %%zmm2, %%zmm2") /* zmm2 = TV = tilt[0]*lx0+tilt[1] */ \
82 __ASM_EMIT("vaddps 0x1c0 + %[knee], %%zmm6, %%zmm6") \
83 __ASM_EMIT("vcmpps $5, 0x040 + %[knee], %%zmm3, %%k4") /* k4 = [x0 >= end] */ \
84 __ASM_EMIT("vcmpps $5, 0x040 + %[knee], %%zmm7, %%k6") \
85 __ASM_EMIT("vfmadd213ps 0x140 + %[knee], %%zmm1, %%zmm0") /* zmm0 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
86 __ASM_EMIT("vfmadd213ps 0x140 + %[knee], %%zmm5, %%zmm4") \
87 __ASM_EMIT("vmovaps %%zmm2, %%zmm0 %{%%k4%}") /* zmm0 = [x0 >= end] ? TV : KV */ \
88 __ASM_EMIT("vmovaps %%zmm6, %%zmm4 %{%%k6%}") \
89 EXP_CORE_X32 /* zmm0 = EV = expf([x0 >= end] ? TV : KV) */ \
90 __ASM_EMIT("vmovaps 0x000 + %[mem], %%zmm1") /* zmm1 = x0 */ \
91 __ASM_EMIT("vmovaps 0x040 + %[mem], %%zmm5") \
92 __ASM_EMIT("vcmpps $2, 0x000 + %[knee], %%zmm1, %%k4") /* k4 = [x0 <= start] */ \
93 __ASM_EMIT("vcmpps $2, 0x000 + %[knee], %%zmm5, %%k6") \
94 __ASM_EMIT("vmovaps 0x040 + %[X2C], %%zmm0 %{%%k4%}") /* zmm0 = [x0 <= start] ? 1.0 : EV */ \
95 __ASM_EMIT("vmovaps 0x040 + %[X2C], %%zmm4 %{%%k6%}") \
96 /* out: zmm0 = g0, zmm4 = g1 */
97
98 #define PROCESS_UKNEE_SINGLE_X16 \
99 /* in: zmm0 = lx0 */ \
100 __ASM_EMIT("vmulps 0x0c0 + %[knee], %%zmm0, %%zmm1") /* zmm1 = herm[0]*lx0 */ \
101 __ASM_EMIT("vmulps 0x180 + %[knee], %%zmm0, %%zmm2") /* zmm2 = tilt[0]*lx0 */ \
102 __ASM_EMIT("vmovaps 0x000 + %[mem], %%zmm3") /* zmm3 = x0 */ \
103 __ASM_EMIT("vaddps 0x100 + %[knee], %%zmm1, %%zmm1") /* zmm1 = herm[0]*lx0+herm[1] */ \
104 __ASM_EMIT("vaddps 0x1c0 + %[knee], %%zmm2, %%zmm2") /* zmm2 = TV = tilt[0]*lx0+tilt[1] */ \
105 __ASM_EMIT("vcmpps $5, 0x040 + %[knee], %%zmm3, %%k4") /* k4 = [x0 >= end] */ \
106 __ASM_EMIT("vfmadd213ps 0x140 + %[knee], %%zmm1, %%zmm0") /* zmm0 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
107 __ASM_EMIT("vmovaps %%zmm2, %%zmm0 %{%%k4%}") /* zmm0 = [x0 >= end] ? TV : KV */ \
108 EXP_CORE_X16 /* zmm0 = EV = expf([x0 >= end] ? TV : KV) */ \
109 __ASM_EMIT("vmovaps 0x000 + %[mem], %%zmm1") /* zmm1 = x0 */ \
110 __ASM_EMIT("vcmpps $2, 0x000 + %[knee], %%zmm1, %%k4") /* k4 = [x0 <= start] */ \
111 __ASM_EMIT("vmovaps 0x040 + %[X2C], %%zmm0 %{%%k4%}") /* zmm0 = [x0 <= start] ? 1.0 : EV */ \
112 /* out: zmm0 = g0 */
113
114 #define PROCESS_UKNEE_SINGLE_X8 \
115 /* in: ymm0 = lx0 */ \
116 __ASM_EMIT("vmulps 0x0c0 + %[knee], %%ymm0, %%ymm1") /* ymm1 = herm[0]*lx0 */ \
117 __ASM_EMIT("vmulps 0x180 + %[knee], %%ymm0, %%ymm2") /* ymm2 = tilt[0]*lx0 */ \
118 __ASM_EMIT("vmovaps 0x000 + %[mem], %%ymm3") /* ymm3 = x0 */ \
119 __ASM_EMIT("vaddps 0x100 + %[knee], %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
120 __ASM_EMIT("vaddps 0x1c0 + %[knee], %%ymm2, %%ymm2") /* ymm2 = TV = tilt[0]*lx0+tilt[1] */ \
121 __ASM_EMIT("vcmpps $5, 0x040 + %[knee], %%ymm3, %%k4") /* k4 = [x0 >= end] */ \
122 __ASM_EMIT("vfmadd213ps 0x140 + %[knee], %%ymm1, %%ymm0") /* ymm0 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
123 __ASM_EMIT("vmovaps %%ymm2, %%ymm0 %{%%k4%}") /* ymm0 = [x0 >= end] ? TV : KV */ \
124 EXP_CORE_X8 /* ymm0 = EV = expf([x0 >= end] ? TV : KV) */ \
125 __ASM_EMIT("vmovaps 0x000 + %[mem], %%ymm1") /* ymm1 = x0 */ \
126 __ASM_EMIT("vcmpps $2, 0x000 + %[knee], %%ymm1, %%k4") /* k4 = [x0 <= start] */ \
127 __ASM_EMIT("vmovaps 0x040 + %[X2C], %%ymm0 %{%%k4%}") /* ymm0 = [x0 <= start] ? 1.0 : EV */ \
128 /* out: ymm0 = g0 */
129
130 #define PROCESS_UKNEE_SINGLE_X4 \
131 /* in: xmm0 = lx0 */ \
132 __ASM_EMIT("vmulps 0x0c0 + %[knee], %%xmm0, %%xmm1") /* xmm1 = herm[0]*lx0 */ \
133 __ASM_EMIT("vmulps 0x180 + %[knee], %%xmm0, %%xmm2") /* xmm2 = tilt[0]*lx0 */ \
134 __ASM_EMIT("vmovaps 0x000 + %[mem], %%xmm3") /* xmm3 = x0 */ \
135 __ASM_EMIT("vaddps 0x100 + %[knee], %%xmm1, %%xmm1") /* xmm1 = herm[0]*lx0+herm[1] */ \
136 __ASM_EMIT("vaddps 0x1c0 + %[knee], %%xmm2, %%xmm2") /* xmm2 = TV = tilt[0]*lx0+tilt[1] */ \
137 __ASM_EMIT("vcmpps $5, 0x040 + %[knee], %%xmm3, %%k4") /* k4 = [x0 >= end] */ \
138 __ASM_EMIT("vfmadd213ps 0x140 + %[knee], %%xmm1, %%xmm0") /* xmm0 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
139 __ASM_EMIT("vmovaps %%xmm2, %%xmm0 %{%%k4%}") /* xmm0 = [x0 >= end] ? TV : KV */ \
140 EXP_CORE_X4 /* xmm0 = EV = expf([x0 >= end] ? TV : KV) */ \
141 __ASM_EMIT("vmovaps 0x000 + %[mem], %%xmm1") /* xmm1 = x0 */ \
142 __ASM_EMIT("vcmpps $2, 0x000 + %[knee], %%xmm1, %%k4") /* k4 = [x0 <= start] */ \
143 __ASM_EMIT("vmovaps 0x040 + %[X2C], %%xmm0 %{%%k4%}") /* xmm0 = [x0 <= start] ? 1.0 : EV */ \
144 /* out: xmm0 = g0 */
145
146 #define PROCESS_UEXP_FULL_X32 \
147 /* in: zmm0 = x0, zmm4 = x1 */ \
148 __ASM_EMIT("vandps 0x000 + %[X2C], %%zmm0, %%zmm0") /* zmm0 = fabsf(x0) */ \
149 __ASM_EMIT("vandps 0x000 + %[X2C], %%zmm4, %%zmm4") \
150 __ASM_EMIT("vminps 0x080 + %[knee], %%zmm0, %%zmm0") /* zmm0 = min(fabsf(x0), threshold) */ \
151 __ASM_EMIT("vminps 0x080 + %[knee], %%zmm4, %%zmm4") \
152 __ASM_EMIT("vcmpps $6, 0x000 + %[knee], %%zmm0, %%k4") /* k4 = [x0 > start] */ \
153 __ASM_EMIT("vcmpps $6, 0x000 + %[knee], %%zmm4, %%k6") \
154 __ASM_EMIT("korw %%k6, %%k4, %%k4") \
155 __ASM_EMIT("kmovw %%k4, %k[mask]") \
156 __ASM_EMIT("test %k[mask], %k[mask]") \
157 __ASM_EMIT("jnz 100f") \
158 __ASM_EMIT("vmovaps 0x040 + %[X2C], %%zmm0") /* zmm0 = 1.0f */ \
159 __ASM_EMIT("vmovaps 0x040 + %[X2C], %%zmm4") \
160 __ASM_EMIT("jmp 200f") \
161 __ASM_EMIT("100:") \
162 __ASM_EMIT("vmovaps %%zmm0, 0x000 + %[mem]") /* store fabsf(x0) */ \
163 __ASM_EMIT("vmovaps %%zmm4, 0x040 + %[mem]") \
164 LOGE_CORE_X32 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
165 PROCESS_UKNEE_SINGLE_X32 /* apply knee */ \
166 __ASM_EMIT("200:") \
167 /* out: zmm0 = G0, zmm4 = G1 */
168
169 #define PROCESS_UEXP_FULL_X16 \
170 /* in: zmm0 = x0 */ \
171 __ASM_EMIT("vandps 0x000 + %[X2C], %%zmm0, %%zmm0") /* zmm0 = fabsf(x0) */ \
172 __ASM_EMIT("vminps 0x080 + %[knee], %%zmm0, %%zmm0") /* zmm0 = min(fabsf(x0), threshold) */ \
173 __ASM_EMIT("vcmpps $6, 0x000 + %[knee], %%zmm0, %%k4") /* k4 = [x0 > start] */ \
174 __ASM_EMIT("kmovw %%k4, %k[mask]") \
175 __ASM_EMIT("test %k[mask], %k[mask]") \
176 __ASM_EMIT("jnz 100f") \
177 __ASM_EMIT("vmovaps 0x040 + %[X2C], %%zmm0") /* zmm0 = 1.0f */ \
178 __ASM_EMIT("jmp 200f") \
179 __ASM_EMIT("100:") \
180 __ASM_EMIT("vmovaps %%zmm0, 0x000 + %[mem]") /* store fabsf(x0) */ \
181 LOGE_CORE_X16 /* zmm0 = lx0 = logf(fabsf(x0)) */ \
182 PROCESS_UKNEE_SINGLE_X16 /* apply knee */ \
183 __ASM_EMIT("200:") \
184 /* out: zmm0 = G0 */
185
186 #define PROCESS_UEXP_FULL_X8 \
187 /* in: ymm0 = x0 */ \
188 __ASM_EMIT("vcmpps $6, 0x000 + %[knee], %%ymm0, %%k4") /* k4 = [x0 > start] */ \
189 __ASM_EMIT("vminps 0x080 + %[knee], %%ymm0, %%ymm0") /* ymm0 = min(fabsf(x0), threshold) */ \
190 __ASM_EMIT("kmovw %%k4, %k[mask]") \
191 __ASM_EMIT("test %k[mask], %k[mask]") \
192 __ASM_EMIT("jnz 100f") \
193 __ASM_EMIT("vmovaps 0x040 + %[X2C], %%ymm0") /* ymm0 = 1.0f */ \
194 __ASM_EMIT("jmp 200f") \
195 __ASM_EMIT("100:") \
196 __ASM_EMIT("vandps 0x00 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
197 __ASM_EMIT("vmovaps %%ymm0, 0x000 + %[mem]") /* store fabsf(x0) */ \
198 LOGE_CORE_X8 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
199 PROCESS_UKNEE_SINGLE_X8 /* apply knee */ \
200 __ASM_EMIT("200:") \
201 /* out: ymm0 = G0 */
202
203 #define PROCESS_UEXP_FULL_X4 \
204 /* in: xmm0 = x0 */ \
205 __ASM_EMIT("vandps 0x000 + %[X2C], %%xmm0, %%xmm0") /* xmm0 = fabsf(x0) */ \
206 __ASM_EMIT("vminps 0x080 + %[knee], %%xmm0, %%xmm0") /* xmm0 = min(fabsf(x0), threshold) */ \
207 __ASM_EMIT("vmovaps %%xmm0, 0x000 + %[mem]") /* store fabsf(x0) */ \
208 LOGE_CORE_X4 /* xmm0 = lx0 = logf(fabsf(x0)) */ \
209 PROCESS_UKNEE_SINGLE_X4 /* apply knee */ \
210 /* out: xmm0 = G0 */
211
212 void uexpander_x1_gain(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
213 {
214 IF_ARCH_X86(
215 expander_knee_t knee __lsp_aligned64;
216 float mem[64] __lsp_aligned64;
217 float stub[16] __lsp_aligned64;
218 size_t mask;
219 );
220
221 ARCH_X86_ASM
222 (
223 // Prepare stuff
224 UNPACK_EXP_KNEE("knee", "exp")
225
226 // 32x blocks
227 __ASM_EMIT("sub $32, %[count]")
228 __ASM_EMIT("jb 2f")
229 __ASM_EMIT("1:")
230 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
231 __ASM_EMIT("vmovups 0x40(%[src]), %%zmm4")
232 PROCESS_UEXP_FULL_X32
233 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
234 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
235 __ASM_EMIT("add $0x80, %[src]")
236 __ASM_EMIT("add $0x80, %[dst]")
237 __ASM_EMIT("sub $32, %[count]")
238 __ASM_EMIT("jae 1b")
239 __ASM_EMIT("2:")
240 // 16x blocks
241 __ASM_EMIT("add $16, %[count]")
242 __ASM_EMIT("jl 4f")
243 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
244 PROCESS_UEXP_FULL_X16
245 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
246 __ASM_EMIT("add $0x40, %[src]")
247 __ASM_EMIT("add $0x40, %[dst]")
248 __ASM_EMIT("sub $16, %[count]")
249 __ASM_EMIT("4:")
250 // 8x blocks
251 __ASM_EMIT("add $8, %[count]")
252 __ASM_EMIT("jl 6f")
253 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
254 PROCESS_UEXP_FULL_X8
255 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
256 __ASM_EMIT("add $0x20, %[src]")
257 __ASM_EMIT("add $0x20, %[dst]")
258 __ASM_EMIT("sub $8, %[count]")
259 __ASM_EMIT("6:")
260 // 4x blocks
261 __ASM_EMIT("add $4, %[count]")
262 __ASM_EMIT("jl 8f")
263 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
264 PROCESS_UEXP_FULL_X4
265 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
266 __ASM_EMIT("sub $4, %[count]")
267 __ASM_EMIT("add $0x10, %[src]")
268 __ASM_EMIT("add $0x10, %[dst]")
269 __ASM_EMIT("8:")
270 // Tail: 1x-3x block
271 __ASM_EMIT("add $4, %[count]")
272 __ASM_EMIT("jle 16f")
273 __ASM_EMIT("test $1, %[count]")
274 __ASM_EMIT("jz 10f")
275 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
276 __ASM_EMIT("add $4, %[src]")
277 __ASM_EMIT("10:")
278 __ASM_EMIT("test $2, %[count]")
279 __ASM_EMIT("jz 12f")
280 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
281 __ASM_EMIT("12:")
282 PROCESS_UEXP_FULL_X4
283 __ASM_EMIT("test $1, %[count]")
284 __ASM_EMIT("jz 14f")
285 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
286 __ASM_EMIT("add $4, %[dst]")
287 __ASM_EMIT("14:")
288 __ASM_EMIT("test $2, %[count]")
289 __ASM_EMIT("jz 16f")
290 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
291 __ASM_EMIT("16:")
292
293 : [dst] "+r" (dst), [src] "+r" (src),
294 [count] "+r" (count),
295 [mask] "=&r" (mask)
296 : [exp] "r" (c),
297 [knee] "o" (knee),
298 [mem] "o" (mem),
299 [stub] "o" (stub),
300 [X2C] "o" (expander_const),
301 [L2C] "o" (LOG2_CONST),
302 [LOGC] "o" (LOGE_C),
303 [E2C] "o" (EXP2_CONST),
304 [LOG2E] "m" (EXP_LOG2E)
305 : "cc", "memory",
306 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
307 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
308 "%k4", "%k5", "%k6", "%k7"
309 );
310 }
311
312 void uexpander_x1_curve(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
313 {
314 IF_ARCH_X86(
315 expander_knee_t knee __lsp_aligned64;
316 float mem[64] __lsp_aligned64;
317 float stub[16] __lsp_aligned64;
318 size_t mask;
319 );
320
321 ARCH_X86_ASM
322 (
323 // Prepare stuff
324 UNPACK_EXP_KNEE("knee", "exp")
325
326 // 32x blocks
327 __ASM_EMIT("sub $32, %[count]")
328 __ASM_EMIT("jb 2f")
329 __ASM_EMIT("1:")
330 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
331 __ASM_EMIT("vmovups 0x40(%[src]), %%zmm4")
332 PROCESS_UEXP_FULL_X32
333 __ASM_EMIT("vmulps 0x00(%[src]), %%zmm0, %%zmm0")
334 __ASM_EMIT("vmulps 0x40(%[src]), %%zmm4, %%zmm4")
335 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
336 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
337 __ASM_EMIT("add $0x80, %[src]")
338 __ASM_EMIT("add $0x80, %[dst]")
339 __ASM_EMIT("sub $32, %[count]")
340 __ASM_EMIT("jae 1b")
341 __ASM_EMIT("2:")
342 // 16x blocks
343 __ASM_EMIT("add $16, %[count]")
344 __ASM_EMIT("jl 4f")
345 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
346 PROCESS_UEXP_FULL_X16
347 __ASM_EMIT("vmulps 0x00(%[src]), %%zmm0, %%zmm0")
348 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
349 __ASM_EMIT("add $0x40, %[src]")
350 __ASM_EMIT("add $0x40, %[dst]")
351 __ASM_EMIT("sub $16, %[count]")
352 __ASM_EMIT("4:")
353 // 8x blocks
354 __ASM_EMIT("add $8, %[count]")
355 __ASM_EMIT("jl 6f")
356 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
357 PROCESS_UEXP_FULL_X8
358 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
359 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
360 __ASM_EMIT("add $0x20, %[src]")
361 __ASM_EMIT("add $0x20, %[dst]")
362 __ASM_EMIT("sub $8, %[count]")
363 __ASM_EMIT("6:")
364 // 4x blocks
365 __ASM_EMIT("add $4, %[count]")
366 __ASM_EMIT("jl 8f")
367 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
368 PROCESS_UEXP_FULL_X4
369 __ASM_EMIT("vmulps 0x00(%[src]), %%xmm0, %%xmm0")
370 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
371 __ASM_EMIT("sub $4, %[count]")
372 __ASM_EMIT("add $0x10, %[src]")
373 __ASM_EMIT("add $0x10, %[dst]")
374 __ASM_EMIT("8:")
375 // Tail: 1x-3x block
376 __ASM_EMIT("add $4, %[count]")
377 __ASM_EMIT("jle 16f")
378 __ASM_EMIT("test $1, %[count]")
379 __ASM_EMIT("jz 10f")
380 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
381 __ASM_EMIT("add $4, %[src]")
382 __ASM_EMIT("10:")
383 __ASM_EMIT("test $2, %[count]")
384 __ASM_EMIT("jz 12f")
385 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
386 __ASM_EMIT("12:")
387 __ASM_EMIT("vmovaps %%xmm0, %%xmm4")
388 PROCESS_UEXP_FULL_X4
389 __ASM_EMIT("vmulps %%xmm4, %%xmm0, %%xmm0")
390 __ASM_EMIT("test $1, %[count]")
391 __ASM_EMIT("jz 14f")
392 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
393 __ASM_EMIT("add $4, %[dst]")
394 __ASM_EMIT("14:")
395 __ASM_EMIT("test $2, %[count]")
396 __ASM_EMIT("jz 16f")
397 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
398 __ASM_EMIT("16:")
399
400 : [dst] "+r" (dst), [src] "+r" (src),
401 [count] "+r" (count),
402 [mask] "=&r" (mask)
403 : [exp] "r" (c),
404 [knee] "o" (knee),
405 [mem] "o" (mem),
406 [stub] "o" (stub),
407 [X2C] "o" (expander_const),
408 [L2C] "o" (LOG2_CONST),
409 [LOGC] "o" (LOGE_C),
410 [E2C] "o" (EXP2_CONST),
411 [LOG2E] "m" (EXP_LOG2E)
412 : "cc", "memory",
413 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
414 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
415 "%k4", "%k5", "%k6", "%k7"
416 );
417 }
418
419 #undef PROCESS_UEXP_FULL_X4
420 #undef PROCESS_UEXP_FULL_X8
421 #undef PROCESS_UEXP_FULL_X16
422 #undef PROCESS_UEXP_FULL_X32
423 #undef PROCESS_UKNEE_SINGLE_X4
424 #undef PROCESS_UKNEE_SINGLE_X8
425 #undef PROCESS_UKNEE_SINGLE_X16
426 #undef PROCESS_UKNEE_SINGLE_X32
427
428
429 #define PROCESS_DKNEE_SINGLE_X32 \
430 /* in: ymm0 = lx0, ymm4 = lx1, ymm8 = lx2, ymm12 = lx3 */ \
431 __ASM_EMIT("vmulps 0x0c0 + %[knee], %%zmm0, %%zmm1") /* zmm1 = herm[0]*lx0 */ \
432 __ASM_EMIT("vmulps 0x0c0 + %[knee], %%zmm4, %%zmm5") \
433 __ASM_EMIT("vmulps 0x180 + %[knee], %%zmm0, %%zmm2") /* zmm2 = tilt[0]*lx0 */ \
434 __ASM_EMIT("vmulps 0x180 + %[knee], %%zmm4, %%zmm6") \
435 __ASM_EMIT("vmovaps 0x000 + %[mem], %%zmm3") /* zmm3 = x0 */ \
436 __ASM_EMIT("vmovaps 0x040 + %[mem], %%zmm7") \
437 __ASM_EMIT("vaddps 0x100 + %[knee], %%zmm1, %%zmm1") /* zmm1 = herm[0]*lx0+herm[1] */ \
438 __ASM_EMIT("vaddps 0x100 + %[knee], %%zmm5, %%zmm5") \
439 __ASM_EMIT("vaddps 0x1c0 + %[knee], %%zmm2, %%zmm2") /* zmm2 = TV = tilt[0]*lx0+tilt[1] */ \
440 __ASM_EMIT("vaddps 0x1c0 + %[knee], %%zmm6, %%zmm6") \
441 __ASM_EMIT("vcmpps $2, 0x000 + %[knee], %%zmm3, %%k4") /* k4 = [x0 <= start] */ \
442 __ASM_EMIT("vcmpps $2, 0x000 + %[knee], %%zmm7, %%k6") \
443 __ASM_EMIT("vfmadd213ps 0x140 + %[knee], %%zmm1, %%zmm0") /* zmm0 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
444 __ASM_EMIT("vfmadd213ps 0x140 + %[knee], %%zmm5, %%zmm4") \
445 __ASM_EMIT("vmovaps %%zmm2, %%zmm0 %{%%k4%}") /* zmm0 = [x0 <= start] ? TV : KV */ \
446 __ASM_EMIT("vmovaps %%zmm6, %%zmm4 %{%%k6%}") \
447 EXP_CORE_X32 /* zmm0 = EV = expf([x0 <= start] ? TV : KV) */ \
448 __ASM_EMIT("vmovaps 0x000 + %[mem], %%zmm1") /* zmm1 = x0 */ \
449 __ASM_EMIT("vmovaps 0x040 + %[mem], %%zmm5") \
450 __ASM_EMIT("vcmpps $5, 0x040 + %[knee], %%zmm1, %%k4") /* k4 = [x0 >= end] */ \
451 __ASM_EMIT("vcmpps $5, 0x040 + %[knee], %%zmm5, %%k6") \
452 __ASM_EMIT("vcmpps $1, 0x080 + %[knee], %%zmm1, %%k5") /* k5 = [x0 < threshold] */ \
453 __ASM_EMIT("vcmpps $1, 0x080 + %[knee], %%zmm5, %%k7") \
454 __ASM_EMIT("vmovaps 0x040 + %[X2C], %%zmm0 %{%%k4%}") /* zmm0 = [x0 >= end] ? 1.0 : EV */ \
455 __ASM_EMIT("vmovaps 0x040 + %[X2C], %%zmm4 %{%%k6%}") \
456 __ASM_EMIT("vxorps %%zmm0, %%zmm0, %%zmm0 %{%%k5%}") /* zmm0 = [x0 < threshold] ? 0 : [x0 >= end] ? 1.0 : EV */ \
457 __ASM_EMIT("vxorps %%zmm4, %%zmm4, %%zmm4 %{%%k7%}") \
458 /* out: ymm0 = g0, ymm4 = g1, ymm8 = g2, ymm12 = g3 */
459
460 #define PROCESS_DKNEE_SINGLE_X16 \
461 /* in: zmm0 = lx0 */ \
462 __ASM_EMIT("vmulps 0x0c0 + %[knee], %%zmm0, %%zmm1") /* zmm1 = herm[0]*lx0 */ \
463 __ASM_EMIT("vmulps 0x180 + %[knee], %%zmm0, %%zmm2") /* zmm2 = tilt[0]*lx0 */ \
464 __ASM_EMIT("vmovaps 0x000 + %[mem], %%zmm3") /* zmm3 = x0 */ \
465 __ASM_EMIT("vaddps 0x100 + %[knee], %%zmm1, %%zmm1") /* zmm1 = herm[0]*lx0+herm[1] */ \
466 __ASM_EMIT("vaddps 0x1c0 + %[knee], %%zmm2, %%zmm2") /* zmm2 = TV = tilt[0]*lx0+tilt[1] */ \
467 __ASM_EMIT("vcmpps $2, 0x000 + %[knee], %%zmm3, %%k4") /* k4 = [x0 <= start] */ \
468 __ASM_EMIT("vfmadd213ps 0x140 + %[knee], %%zmm1, %%zmm0") /* zmm0 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
469 __ASM_EMIT("vmovaps %%zmm2, %%zmm0 %{%%k4%}") /* zmm0 = [x0 <= start] ? TV : KV */ \
470 EXP_CORE_X16 /* zmm0 = EV = expf([x0 <= start] ? TV : KV) */ \
471 __ASM_EMIT("vmovaps 0x000 + %[mem], %%zmm1") /* zmm1 = x0 */ \
472 __ASM_EMIT("vcmpps $5, 0x040 + %[knee], %%zmm1, %%k4") /* k4 = [x0 >= end] */ \
473 __ASM_EMIT("vcmpps $1, 0x080 + %[knee], %%zmm1, %%k5") /* k5 = [x0 < threshold] */ \
474 __ASM_EMIT("vmovaps 0x040 + %[X2C], %%zmm0 %{%%k4%}") /* zmm0 = [x0 >= end] ? 1.0 : EV */ \
475 __ASM_EMIT("vxorps %%zmm0, %%zmm0, %%zmm0 %{%%k5%}") /* zmm0 = [x0 < threshold] ? 0 : [x0 >= end] ? 1.0 : EV */ \
476 /* out: zmm0 = g0 */
477
478 #define PROCESS_DKNEE_SINGLE_X8 \
479 /* in: ymm0 = lx0 */ \
480 __ASM_EMIT("vmulps 0x0c0 + %[knee], %%ymm0, %%ymm1") /* ymm1 = herm[0]*lx0 */ \
481 __ASM_EMIT("vmulps 0x180 + %[knee], %%ymm0, %%ymm2") /* ymm2 = tilt[0]*lx0 */ \
482 __ASM_EMIT("vmovaps 0x000 + %[mem], %%ymm3") /* ymm3 = x0 */ \
483 __ASM_EMIT("vaddps 0x100 + %[knee], %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
484 __ASM_EMIT("vaddps 0x1c0 + %[knee], %%ymm2, %%ymm2") /* ymm2 = TV = tilt[0]*lx0+tilt[1] */ \
485 __ASM_EMIT("vcmpps $2, 0x000 + %[knee], %%ymm3, %%k4") /* k4 = [x0 <= start] */ \
486 __ASM_EMIT("vfmadd213ps 0x140 + %[knee], %%ymm1, %%ymm0") /* ymm0 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
487 __ASM_EMIT("vmovaps %%ymm2, %%ymm0 %{%%k4%}") /* ymm0 = [x0 <= start] ? TV : KV */ \
488 EXP_CORE_X8 /* ymm0 = EV = expf([x0 <= start] ? TV : KV) */ \
489 __ASM_EMIT("vmovaps 0x000 + %[mem], %%ymm1") /* ymm1 = x0 */ \
490 __ASM_EMIT("vcmpps $5, 0x040 + %[knee], %%ymm1, %%k4") /* k4 = [x0 >= end] */ \
491 __ASM_EMIT("vcmpps $1, 0x080 + %[knee], %%ymm1, %%k5") /* k5 = [x0 < threshold] */ \
492 __ASM_EMIT("vmovaps 0x040 + %[X2C], %%ymm0 %{%%k4%}") /* ymm0 = [x0 >= end] ? 1.0 : EV */ \
493 __ASM_EMIT("vxorps %%ymm0, %%ymm0, %%ymm0 %{%%k5%}") /* ymm0 = [x0 < threshold] ? 0 : [x0 >= end] ? 1.0 : EV */ \
494 /* out: ymm0 = g0 */
495
496 #define PROCESS_DKNEE_SINGLE_X4 \
497 /* in: xmm0 = lx0 */ \
498 __ASM_EMIT("vmulps 0x0c0 + %[knee], %%xmm0, %%xmm1") /* xmm1 = herm[0]*lx0 */ \
499 __ASM_EMIT("vmulps 0x180 + %[knee], %%xmm0, %%xmm2") /* xmm2 = tilt[0]*lx0 */ \
500 __ASM_EMIT("vmovaps 0x000 + %[mem], %%xmm3") /* xmm3 = x0 */ \
501 __ASM_EMIT("vaddps 0x100 + %[knee], %%xmm1, %%xmm1") /* xmm1 = herm[0]*lx0+herm[1] */ \
502 __ASM_EMIT("vaddps 0x1c0 + %[knee], %%xmm2, %%xmm2") /* xmm2 = TV = tilt[0]*lx0+tilt[1] */ \
503 __ASM_EMIT("vcmpps $2, 0x000 + %[knee], %%xmm3, %%k4") /* k4 = [x0 <= start] */ \
504 __ASM_EMIT("vfmadd213ps 0x140 + %[knee], %%xmm1, %%xmm0") /* xmm0 = KV = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
505 __ASM_EMIT("vmovaps %%xmm2, %%xmm0 %{%%k4%}") /* xmm0 = [x0 <= start] ? TV : KV */ \
506 EXP_CORE_X4 /* xmm0 = EV = expf([x0 <= start] ? TV : KV) */ \
507 __ASM_EMIT("vmovaps 0x000 + %[mem], %%xmm1") /* xmm1 = x0 */ \
508 __ASM_EMIT("vcmpps $5, 0x040 + %[knee], %%xmm1, %%k4") /* k4 = [x0 >= end] */ \
509 __ASM_EMIT("vcmpps $1, 0x080 + %[knee], %%xmm1, %%k5") /* k5 = [x0 < threshold] */ \
510 __ASM_EMIT("vmovaps 0x040 + %[X2C], %%xmm0 %{%%k4%}") /* xmm0 = [x0 >= end] ? 1.0 : EV */ \
511 __ASM_EMIT("vxorps %%xmm0, %%xmm0, %%xmm0 %{%%k5%}") /* xmm0 = [x0 < threshold] ? 0 : [x0 >= end] ? 1.0 : EV */ \
512 /* out: xmm0 = g0 */
513
514 #define PROCESS_DEXP_FULL_X32 \
515 /* in: ymm0 = x0, ymm4 = x1, ymm8 = x2, ymm12 = x4 */ \
516 __ASM_EMIT("vandps 0x000 + %[X2C], %%zmm0, %%zmm0") /* zmm0 = fabsf(x0) */ \
517 __ASM_EMIT("vcmpps $1, 0x040 + %[knee], %%zmm0, %%k4") /* k4 = [x0 < end] */ \
518 __ASM_EMIT("vcmpps $1, 0x040 + %[knee], %%zmm4, %%k6") \
519 __ASM_EMIT("korw %%k6, %%k4, %%k4") \
520 __ASM_EMIT("kmovw %%k4, %k[mask]") \
521 __ASM_EMIT("test %k[mask], %k[mask]") \
522 __ASM_EMIT("jnz 100f") \
523 __ASM_EMIT("vmovaps 0x040 + %[X2C], %%zmm0") /* zmm0 = 1.0f */ \
524 __ASM_EMIT("vmovaps 0x040 + %[X2C], %%zmm4") \
525 __ASM_EMIT("jmp 200f") \
526 __ASM_EMIT("100:") \
527 __ASM_EMIT("vmovaps %%zmm0, 0x000 + %[mem]") /* store fabsf(x0) */ \
528 __ASM_EMIT("vmovaps %%zmm4, 0x040 + %[mem]") \
529 LOGE_CORE_X32 /* zmm0 = lx0 = logf(fabsf(x0)) */ \
530 PROCESS_DKNEE_SINGLE_X32 /* apply knee */ \
531 __ASM_EMIT("200:") \
532 /* out: zmm0 = G0, zmm4 = G1, zmm8 = G2, zmm12 = G3 */
533
534 #define PROCESS_DEXP_FULL_X16 \
535 /* in: zmm0 = x0 */ \
536 __ASM_EMIT("vandps 0x000 + %[X2C], %%zmm0, %%zmm0") /* zmm0 = fabsf(x0) */ \
537 __ASM_EMIT("vcmpps $1, 0x040 + %[knee], %%zmm0, %%k4") /* k4 = [x0 < end] */ \
538 __ASM_EMIT("kmovw %%k4, %k[mask]") \
539 __ASM_EMIT("test %k[mask], %k[mask]") \
540 __ASM_EMIT("jnz 100f") \
541 __ASM_EMIT("vmovaps 0x040 + %[X2C], %%zmm0") /* zmm0 = 1.0f */ \
542 __ASM_EMIT("jmp 200f") \
543 __ASM_EMIT("100:") \
544 __ASM_EMIT("vmovaps %%zmm0, 0x000 + %[mem]") /* store fabsf(x0) */ \
545 LOGE_CORE_X16 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
546 PROCESS_DKNEE_SINGLE_X16 /* apply knee */ \
547 __ASM_EMIT("200:") \
548 /* out: zmm0 = G0 */
549
550 #define PROCESS_DEXP_FULL_X8 \
551 /* in: ymm0 = x0 */ \
552 __ASM_EMIT("vandps 0x000 + %[X2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
553 __ASM_EMIT("vcmpps $1, 0x040 + %[knee], %%ymm0, %%k4") /* k4 = [x0 < end] */ \
554 __ASM_EMIT("kmovw %%k4, %k[mask]") \
555 __ASM_EMIT("test %k[mask], %k[mask]") \
556 __ASM_EMIT("jnz 100f") \
557 __ASM_EMIT("vmovaps 0x040 + %[X2C], %%ymm0") /* ymm0 = 1.0f */ \
558 __ASM_EMIT("jmp 200f") \
559 __ASM_EMIT("100:") \
560 __ASM_EMIT("vmovaps %%ymm0, 0x000 + %[mem]") /* store fabsf(x0) */ \
561 LOGE_CORE_X8 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
562 PROCESS_DKNEE_SINGLE_X8 /* apply knee */ \
563 __ASM_EMIT("200:") \
564 /* out: ymm0 = G0 */
565
566 #define PROCESS_DEXP_FULL_X4 \
567 /* in: xmm0 = x0 */ \
568 __ASM_EMIT("vandps 0x000 + %[X2C], %%xmm0, %%xmm0") /* xmm0 = fabsf(x0) */ \
569 __ASM_EMIT("vmovaps %%xmm0, 0x000 + %[mem]") /* store fabsf(x0) */ \
570 LOGE_CORE_X4 /* xmm0 = lx0 = logf(fabsf(x0)) */ \
571 PROCESS_DKNEE_SINGLE_X4 /* apply knee */ \
572 /* out: xmm0 = G0 */
573
574 void dexpander_x1_gain(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
575 {
576 IF_ARCH_X86(
577 expander_knee_t knee __lsp_aligned64;
578 float mem[64] __lsp_aligned64;
579 float stub[16] __lsp_aligned64;
580 size_t mask;
581 );
582
583 ARCH_X86_ASM
584 (
585 // Prepare stuff
586 UNPACK_EXP_KNEE("knee", "exp")
587
588 // 32x blocks
589 __ASM_EMIT("sub $32, %[count]")
590 __ASM_EMIT("jb 2f")
591 __ASM_EMIT("1:")
592 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
593 __ASM_EMIT("vmovups 0x40(%[src]), %%zmm4")
594 PROCESS_DEXP_FULL_X32
595 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
596 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
597 __ASM_EMIT("add $0x80, %[src]")
598 __ASM_EMIT("add $0x80, %[dst]")
599 __ASM_EMIT("sub $32, %[count]")
600 __ASM_EMIT("jae 1b")
601 __ASM_EMIT("2:")
602 // 16x blocks
603 __ASM_EMIT("add $16, %[count]")
604 __ASM_EMIT("jl 4f")
605 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
606 PROCESS_DEXP_FULL_X16
607 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
608 __ASM_EMIT("add $0x40, %[src]")
609 __ASM_EMIT("add $0x40, %[dst]")
610 __ASM_EMIT("sub $16, %[count]")
611 __ASM_EMIT("4:")
612 // 8x blocks
613 __ASM_EMIT("add $8, %[count]")
614 __ASM_EMIT("jl 6f")
615 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
616 PROCESS_DEXP_FULL_X8
617 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
618 __ASM_EMIT("add $0x20, %[src]")
619 __ASM_EMIT("add $0x20, %[dst]")
620 __ASM_EMIT("sub $8, %[count]")
621 __ASM_EMIT("6:")
622 // 4x blocks
623 __ASM_EMIT("add $4, %[count]")
624 __ASM_EMIT("jl 8f")
625 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
626 PROCESS_DEXP_FULL_X4
627 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
628 __ASM_EMIT("sub $4, %[count]")
629 __ASM_EMIT("add $0x10, %[src]")
630 __ASM_EMIT("add $0x10, %[dst]")
631 __ASM_EMIT("8:")
632 // Tail: 1x-3x block
633 __ASM_EMIT("add $4, %[count]")
634 __ASM_EMIT("jle 16f")
635 __ASM_EMIT("test $1, %[count]")
636 __ASM_EMIT("jz 10f")
637 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
638 __ASM_EMIT("add $4, %[src]")
639 __ASM_EMIT("10:")
640 __ASM_EMIT("test $2, %[count]")
641 __ASM_EMIT("jz 12f")
642 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
643 __ASM_EMIT("12:")
644 PROCESS_DEXP_FULL_X4
645 __ASM_EMIT("test $1, %[count]")
646 __ASM_EMIT("jz 14f")
647 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
648 __ASM_EMIT("add $4, %[dst]")
649 __ASM_EMIT("14:")
650 __ASM_EMIT("test $2, %[count]")
651 __ASM_EMIT("jz 16f")
652 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
653 __ASM_EMIT("16:")
654
655 : [dst] "+r" (dst), [src] "+r" (src),
656 [count] "+r" (count),
657 [mask] "=&r" (mask)
658 : [exp] "r" (c),
659 [knee] "o" (knee),
660 [mem] "o" (mem),
661 [stub] "o" (stub),
662 [X2C] "o" (expander_const),
663 [L2C] "o" (LOG2_CONST),
664 [LOGC] "o" (LOGE_C),
665 [E2C] "o" (EXP2_CONST),
666 [LOG2E] "m" (EXP_LOG2E)
667 : "cc", "memory",
668 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
669 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
670 "%k4", "%k5", "%k6", "%k7"
671 );
672 }
673
674 void dexpander_x1_curve(float *dst, const float *src, const dsp::expander_knee_t *c, size_t count)
675 {
676 IF_ARCH_X86(
677 expander_knee_t knee __lsp_aligned64;
678 float mem[64] __lsp_aligned64;
679 float stub[16] __lsp_aligned64;
680 size_t mask;
681 );
682
683 ARCH_X86_ASM
684 (
685 // Prepare stuff
686 UNPACK_EXP_KNEE("knee", "exp")
687
688 // 32x blocks
689 __ASM_EMIT("sub $32, %[count]")
690 __ASM_EMIT("jb 2f")
691 __ASM_EMIT("1:")
692 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
693 __ASM_EMIT("vmovups 0x40(%[src]), %%zmm4")
694 PROCESS_DEXP_FULL_X32
695 __ASM_EMIT("vmulps 0x00(%[src]), %%zmm0, %%zmm0")
696 __ASM_EMIT("vmulps 0x40(%[src]), %%zmm4, %%zmm4")
697 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
698 __ASM_EMIT("vmovups %%zmm4, 0x40(%[dst])")
699 __ASM_EMIT("add $0x80, %[src]")
700 __ASM_EMIT("add $0x80, %[dst]")
701 __ASM_EMIT("sub $32, %[count]")
702 __ASM_EMIT("jae 1b")
703 __ASM_EMIT("2:")
704 // 16x blocks
705 __ASM_EMIT("add $16, %[count]")
706 __ASM_EMIT("jl 4f")
707 __ASM_EMIT("vmovups 0x00(%[src]), %%zmm0")
708 PROCESS_DEXP_FULL_X16
709 __ASM_EMIT("vmulps 0x00(%[src]), %%zmm0, %%zmm0")
710 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst])")
711 __ASM_EMIT("add $0x40, %[src]")
712 __ASM_EMIT("add $0x40, %[dst]")
713 __ASM_EMIT("sub $16, %[count]")
714 __ASM_EMIT("4:")
715 // 8x blocks
716 __ASM_EMIT("add $8, %[count]")
717 __ASM_EMIT("jl 6f")
718 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
719 PROCESS_DEXP_FULL_X8
720 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
721 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
722 __ASM_EMIT("add $0x20, %[src]")
723 __ASM_EMIT("add $0x20, %[dst]")
724 __ASM_EMIT("sub $8, %[count]")
725 __ASM_EMIT("6:")
726 // 4x blocks
727 __ASM_EMIT("add $4, %[count]")
728 __ASM_EMIT("jl 8f")
729 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
730 PROCESS_DEXP_FULL_X4
731 __ASM_EMIT("vmulps 0x00(%[src]), %%xmm0, %%xmm0")
732 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
733 __ASM_EMIT("sub $4, %[count]")
734 __ASM_EMIT("add $0x10, %[src]")
735 __ASM_EMIT("add $0x10, %[dst]")
736 __ASM_EMIT("8:")
737 // Tail: 1x-3x block
738 __ASM_EMIT("add $4, %[count]")
739 __ASM_EMIT("jle 16f")
740 __ASM_EMIT("test $1, %[count]")
741 __ASM_EMIT("jz 10f")
742 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
743 __ASM_EMIT("add $4, %[src]")
744 __ASM_EMIT("10:")
745 __ASM_EMIT("test $2, %[count]")
746 __ASM_EMIT("jz 12f")
747 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
748 __ASM_EMIT("12:")
749 __ASM_EMIT("vmovaps %%xmm0, %%xmm4")
750 PROCESS_DEXP_FULL_X4
751 __ASM_EMIT("vmulps %%xmm4, %%xmm0, %%xmm0")
752 __ASM_EMIT("test $1, %[count]")
753 __ASM_EMIT("jz 14f")
754 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
755 __ASM_EMIT("add $4, %[dst]")
756 __ASM_EMIT("14:")
757 __ASM_EMIT("test $2, %[count]")
758 __ASM_EMIT("jz 16f")
759 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
760 __ASM_EMIT("16:")
761
762 : [dst] "+r" (dst), [src] "+r" (src),
763 [count] "+r" (count),
764 [mask] "=&r" (mask)
765 : [exp] "r" (c),
766 [knee] "o" (knee),
767 [mem] "o" (mem),
768 [stub] "o" (stub),
769 [X2C] "o" (expander_const),
770 [L2C] "o" (LOG2_CONST),
771 [LOGC] "o" (LOGE_C),
772 [E2C] "o" (EXP2_CONST),
773 [LOG2E] "m" (EXP_LOG2E)
774 : "cc", "memory",
775 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
776 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
777 "%k4", "%k5", "%k6", "%k7"
778 );
779 }
780
781 #undef PROCESS_DEXP_FULL_X4
782 #undef PROCESS_DEXP_FULL_X8
783 #undef PROCESS_DEXP_FULL_X16
784 #undef PROCESS_DEXP_FULL_X32
785 #undef PROCESS_DKNEE_SINGLE_X4
786 #undef PROCESS_DKNEE_SINGLE_X8
787 #undef PROCESS_DKNEE_SINGLE_X16
788 #undef PROCESS_DKNEE_SINGLE_X32
789
790 #undef UNPACK_EXP_KNEE
791
792
793 } /* namespace avx512 */
794 } /* namespace lsp */
795
796
797
798 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_DYNAMICS_EXPANDER_H_ */