Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx2/dynamics/gate.h

raw
1 /*
2 * Copyright (C) 2023 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2023 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 19 окт. 2023 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX2_DYNAMICS_GATE_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX2_DYNAMICS_GATE_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX2_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX2_IMPL */
28
29 #include <private/dsp/arch/x86/avx2/pmath/exp.h>
30 #include <private/dsp/arch/x86/avx2/pmath/log.h>
31
32 namespace lsp
33 {
34 namespace avx2
35 {
36 #pragma pack(push, 1)
37 typedef struct gate_knee_t
38 {
39 float start[8]; // +0x00
40 float end[8]; // +0x20
41 float gain_start[8]; // +0x40
42 float gain_end[8]; // +0x60
43 float herm[32]; // +0x80
44 } gate_knee_t;
45 #pragma pack(pop)
46
47 static const uint32_t gate_const[] __lsp_aligned32 =
48 {
49 LSP_DSP_VEC8(0x7fffffff)
50 };
51
52
53 #define UNPACK_GATE_KNEE(DST, SRC) \
54 __ASM_EMIT("vbroadcastss 0x00(%[" SRC "]), %%ymm0") \
55 __ASM_EMIT("vbroadcastss 0x04(%[" SRC "]), %%ymm1") \
56 __ASM_EMIT("vbroadcastss 0x08(%[" SRC "]), %%ymm2") \
57 __ASM_EMIT("vbroadcastss 0x0c(%[" SRC "]), %%ymm3") \
58 __ASM_EMIT("vbroadcastss 0x10(%[" SRC "]), %%ymm4") \
59 __ASM_EMIT("vbroadcastss 0x14(%[" SRC "]), %%ymm5") \
60 __ASM_EMIT("vbroadcastss 0x18(%[" SRC "]), %%ymm6") \
61 __ASM_EMIT("vbroadcastss 0x1c(%[" SRC "]), %%ymm7") \
62 __ASM_EMIT("vmovaps %%ymm0, 0x000 + %[" DST "]") \
63 __ASM_EMIT("vmovaps %%ymm1, 0x020 + %[" DST "]") \
64 __ASM_EMIT("vmovaps %%ymm2, 0x040 + %[" DST "]") \
65 __ASM_EMIT("vmovaps %%ymm3, 0x060 + %[" DST "]") \
66 __ASM_EMIT("vmovaps %%ymm4, 0x080 + %[" DST "]") \
67 __ASM_EMIT("vmovaps %%ymm5, 0x0a0 + %[" DST "]") \
68 __ASM_EMIT("vmovaps %%ymm6, 0x0c0 + %[" DST "]") \
69 __ASM_EMIT("vmovaps %%ymm7, 0x0e0 + %[" DST "]")
70
71 #define PROCESS_KNEE_SINGLE_X32 \
72 /* in: ymm0 = lx0, ymm4 = lx1, ymm8 = lx2, ymm12 = lx3 */ \
73 __ASM_EMIT("vmovaps 0x80 + %[knee], %%ymm1") /* ymm1 = herm[0] */ \
74 __ASM_EMIT("vmovaps 0x80 + %[knee], %%ymm5") \
75 __ASM_EMIT("vmovaps 0x80 + %[knee], %%ymm9") \
76 __ASM_EMIT("vmovaps 0x80 + %[knee], %%ymm13") \
77 __ASM_EMIT("vmulps %%ymm0, %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0 */ \
78 __ASM_EMIT("vmulps %%ymm4, %%ymm5, %%ymm5") \
79 __ASM_EMIT("vmulps %%ymm8, %%ymm9, %%ymm9") \
80 __ASM_EMIT("vmulps %%ymm12, %%ymm13, %%ymm13") \
81 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
82 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm5, %%ymm5") \
83 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm9, %%ymm9") \
84 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm13, %%ymm13") \
85 __ASM_EMIT("vmulps %%ymm0, %%ymm1, %%ymm1") /* ymm1 = (herm[0]*lx0+herm[1])*lx0 */ \
86 __ASM_EMIT("vmulps %%ymm4, %%ymm5, %%ymm5") \
87 __ASM_EMIT("vmulps %%ymm8, %%ymm9, %%ymm9") \
88 __ASM_EMIT("vmulps %%ymm12, %%ymm13, %%ymm13") \
89 __ASM_EMIT("vaddps 0xc0 + %[knee], %%ymm1, %%ymm1") /* ymm1 = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
90 __ASM_EMIT("vaddps 0xc0 + %[knee], %%ymm5, %%ymm5") \
91 __ASM_EMIT("vaddps 0xc0 + %[knee], %%ymm9, %%ymm9") \
92 __ASM_EMIT("vaddps 0xc0 + %[knee], %%ymm13, %%ymm13") \
93 __ASM_EMIT("vmulps %%ymm0, %%ymm1, %%ymm1") /* ymm1 = ((herm[0]*lx0+herm[1])*lx0+herm[2])*lx0 */ \
94 __ASM_EMIT("vmulps %%ymm4, %%ymm5, %%ymm5") \
95 __ASM_EMIT("vmulps %%ymm8, %%ymm9, %%ymm9") \
96 __ASM_EMIT("vmulps %%ymm12, %%ymm13, %%ymm13") \
97 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm1, %%ymm0") /* ymm0 = KV = ((herm[0]*lx0+herm[1])*lx0+herm[2])*lx0+herm[3] */ \
98 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm5, %%ymm4") \
99 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm9, %%ymm8") \
100 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm13, %%ymm12") \
101 EXP_CORE_X32 /* ymm0 = EV = expf(KV) */ \
102 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm1") /* ymm1 = x0 */ \
103 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm5") \
104 __ASM_EMIT("vmovaps 0x40 + %[mem], %%ymm9") \
105 __ASM_EMIT("vmovaps 0x60 + %[mem], %%ymm13") \
106 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm1, %%ymm2") /* ymm2 = [x0 <= start] */ \
107 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm5, %%ymm6") \
108 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm9, %%ymm10") \
109 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm13, %%ymm14") \
110 __ASM_EMIT("vblendvps %%ymm2, 0x40 + %[knee], %%ymm0, %%ymm0")/* ymm0 = [x0 <= start] ? gain_start : expf(KV) */ \
111 __ASM_EMIT("vblendvps %%ymm6, 0x40 + %[knee], %%ymm4, %%ymm4") \
112 __ASM_EMIT("vblendvps %%ymm10, 0x40 + %[knee], %%ymm8, %%ymm8") \
113 __ASM_EMIT("vblendvps %%ymm14, 0x40 + %[knee], %%ymm12, %%ymm12") \
114 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm1, %%ymm1") /* ymm1 = [x0 >= end] */ \
115 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm5, %%ymm5") \
116 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm9, %%ymm9") \
117 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm13, %%ymm13") \
118 __ASM_EMIT("vblendvps %%ymm1, 0x60 + %[knee], %%ymm0, %%ymm0")/* ymm0 = [x0 >= end] ? gain_end : [x0 <= start] ? gain_start : expf(KV) */ \
119 __ASM_EMIT("vblendvps %%ymm5, 0x60 + %[knee], %%ymm4, %%ymm4") \
120 __ASM_EMIT("vblendvps %%ymm9, 0x60 + %[knee], %%ymm8, %%ymm8") \
121 __ASM_EMIT("vblendvps %%ymm13, 0x60 + %[knee], %%ymm12, %%ymm12") \
122 /* out: ymm0 = g0, ymm4 = g1, ymm8 = g3, ymm12 = g4 */
123
124 #define PROCESS_KNEE_SINGLE_X16 \
125 /* in: ymm0 = lx0, ymm4 = lx1 */ \
126 __ASM_EMIT("vmovaps 0x80 + %[knee], %%ymm1") /* ymm1 = herm[0] */ \
127 __ASM_EMIT("vmovaps 0x80 + %[knee], %%ymm5") \
128 __ASM_EMIT("vmulps %%ymm0, %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0 */ \
129 __ASM_EMIT("vmulps %%ymm4, %%ymm5, %%ymm5") \
130 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
131 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm5, %%ymm5") \
132 __ASM_EMIT("vmulps %%ymm0, %%ymm1, %%ymm1") /* ymm1 = (herm[0]*lx0+herm[1])*lx0 */ \
133 __ASM_EMIT("vmulps %%ymm4, %%ymm5, %%ymm5") \
134 __ASM_EMIT("vaddps 0xc0 + %[knee], %%ymm1, %%ymm1") /* ymm1 = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
135 __ASM_EMIT("vaddps 0xc0 + %[knee], %%ymm5, %%ymm5") \
136 __ASM_EMIT("vmulps %%ymm0, %%ymm1, %%ymm1") /* ymm1 = ((herm[0]*lx0+herm[1])*lx0+herm[2])*lx0 */ \
137 __ASM_EMIT("vmulps %%ymm4, %%ymm5, %%ymm5") \
138 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm1, %%ymm0") /* ymm0 = KV = ((herm[0]*lx0+herm[1])*lx0+herm[2])*lx0+herm[3] */ \
139 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm5, %%ymm4") \
140 EXP_CORE_X16 /* ymm0 = EV = expf(KV) */ \
141 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm1") /* ymm1 = x0 */ \
142 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm5") \
143 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm1, %%ymm2") /* ymm2 = [x0 <= start] */ \
144 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm5, %%ymm6") \
145 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm1, %%ymm1") /* ymm1 = [x0 >= end] */ \
146 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm5, %%ymm5") \
147 __ASM_EMIT("vblendvps %%ymm2, 0x40 + %[knee], %%ymm0, %%ymm0")/* ymm0 = [x0 <= start] ? gain_start : expf(KV) */ \
148 __ASM_EMIT("vblendvps %%ymm6, 0x40 + %[knee], %%ymm4, %%ymm4") \
149 __ASM_EMIT("vblendvps %%ymm1, 0x60 + %[knee], %%ymm0, %%ymm0")/* ymm0 = [x0 >= end] ? gain_end : [x0 <= start] ? gain_start : expf(KV) */ \
150 __ASM_EMIT("vblendvps %%ymm5, 0x60 + %[knee], %%ymm4, %%ymm4") \
151 /* out: ymm0 = g0, ymm4 = g1 */
152
153 #define PROCESS_KNEE_SINGLE_X8 \
154 /* in: ymm0 = lx0 */ \
155 __ASM_EMIT("vmovaps 0x80 + %[knee], %%ymm1") /* ymm1 = herm[0] */ \
156 __ASM_EMIT("vmulps %%ymm0, %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0 */ \
157 __ASM_EMIT("vaddps 0xa0 + %[knee], %%ymm1, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
158 __ASM_EMIT("vmulps %%ymm0, %%ymm1, %%ymm1") /* ymm1 = (herm[0]*lx0+herm[1])*lx0 */ \
159 __ASM_EMIT("vaddps 0xc0 + %[knee], %%ymm1, %%ymm1") /* ymm1 = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
160 __ASM_EMIT("vmulps %%ymm0, %%ymm1, %%ymm1") /* ymm1 = ((herm[0]*lx0+herm[1])*lx0+herm[2])*lx0 */ \
161 __ASM_EMIT("vaddps 0xe0 + %[knee], %%ymm1, %%ymm0") /* ymm0 = KV = ((herm[0]*lx0+herm[1])*lx0+herm[2])*lx0+herm[3] */ \
162 EXP_CORE_X8 /* ymm0 = EV = expf(KV) */ \
163 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm1") /* ymm1 = x0 */ \
164 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm1, %%ymm2") /* ymm2 = [x0 <= start] */ \
165 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm1, %%ymm1") /* ymm1 = [x0 >= end] */ \
166 __ASM_EMIT("vblendvps %%ymm2, 0x40 + %[knee], %%ymm0, %%ymm0")/* ymm0 = [x0 <= start] ? gain_start : expf(KV) */ \
167 __ASM_EMIT("vblendvps %%ymm1, 0x60 + %[knee], %%ymm0, %%ymm0")/* ymm0 = [x0 >= end] ? gain_end : [x0 <= start] ? gain_start : expf(KV) */ \
168 /* out: ymm0 = g0, ymm4 = g1 */
169
170 #define PROCESS_KNEE_SINGLE_X4 \
171 /* in: xmm0 = lx0 */ \
172 __ASM_EMIT("vmovaps 0x80 + %[knee], %%xmm1") /* xmm1 = herm[0] */ \
173 __ASM_EMIT("vmulps %%xmm0, %%xmm1, %%xmm1") /* xmm1 = herm[0]*lx0 */ \
174 __ASM_EMIT("vaddps 0xa0 + %[knee], %%xmm1, %%xmm1") /* xmm1 = herm[0]*lx0+herm[1] */ \
175 __ASM_EMIT("vmulps %%xmm0, %%xmm1, %%xmm1") /* xmm1 = (herm[0]*lx0+herm[1])*lx0 */ \
176 __ASM_EMIT("vaddps 0xc0 + %[knee], %%xmm1, %%xmm1") /* xmm1 = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
177 __ASM_EMIT("vmulps %%xmm0, %%xmm1, %%xmm1") /* xmm1 = ((herm[0]*lx0+herm[1])*lx0+herm[2])*lx0 */ \
178 __ASM_EMIT("vaddps 0xe0 + %[knee], %%xmm1, %%xmm0") /* xmm0 = KV = ((herm[0]*lx0+herm[1])*lx0+herm[2])*lx0+herm[3] */ \
179 EXP_CORE_X4 /* xmm0 = EV = expf(KV) */ \
180 __ASM_EMIT("vmovaps 0x00 + %[mem], %%xmm1") /* xmm1 = x0 */ \
181 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%xmm1, %%xmm2") /* xmm2 = [x0 <= start] */ \
182 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%xmm1, %%xmm1") /* xmm1 = [x0 >= end] */ \
183 __ASM_EMIT("vblendvps %%xmm2, 0x40 + %[knee], %%xmm0, %%xmm0")/* xmm0 = [x0 <= start] ? gain_start : expf(KV) */ \
184 __ASM_EMIT("vblendvps %%xmm1, 0x60 + %[knee], %%xmm0, %%xmm0")/* xmm0 = [x0 >= end] ? gain_end : [x0 <= start] ? gain_start : expf(KV) */ \
185 /* out: xmm0 = g0, xmm4 = g1 */
186
187 #define PROCESS_GATE_FULL_X32 \
188 /* in: ymm0 = x0, ymm4 = x1, ymm8 = x2, ymm12 = x4 */ \
189 __ASM_EMIT("vandps 0x00 + %[G2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
190 __ASM_EMIT("vandps 0x00 + %[G2C], %%ymm4, %%ymm4") \
191 __ASM_EMIT("vandps 0x00 + %[G2C], %%ymm8, %%ymm8") \
192 __ASM_EMIT("vandps 0x00 + %[G2C], %%ymm12, %%ymm12") \
193 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm0, %%ymm1") /* ymm1 = [x0 > start] */ \
194 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm4, %%ymm5") \
195 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm8, %%ymm9") \
196 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm12, %%ymm13") \
197 __ASM_EMIT("vorps %%ymm5, %%ymm1, %%ymm1") \
198 __ASM_EMIT("vorps %%ymm13, %%ymm9, %%ymm9") \
199 __ASM_EMIT("vorps %%ymm9, %%ymm1, %%ymm1") \
200 __ASM_EMIT("vmovmskps %%ymm1, %[mask]") \
201 __ASM_EMIT("test %[mask], %[mask]") \
202 __ASM_EMIT("jnz 100f") \
203 __ASM_EMIT("vmovaps 0x40 + %[knee], %%ymm0") /* ymm0 = gain_start */ \
204 __ASM_EMIT("vmovaps 0x40 + %[knee], %%ymm4") \
205 __ASM_EMIT("vmovaps %%ymm0, %%ymm8") \
206 __ASM_EMIT("vmovaps %%ymm4, %%ymm12") \
207 __ASM_EMIT("jmp 300f") \
208 __ASM_EMIT("100:") \
209 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm0, %%ymm1") /* ymm1 = [x0 < end] */ \
210 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm4, %%ymm5") \
211 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm8, %%ymm9") \
212 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm12, %%ymm13") \
213 __ASM_EMIT("vorps %%ymm5, %%ymm1, %%ymm1") \
214 __ASM_EMIT("vorps %%ymm13, %%ymm9, %%ymm9") \
215 __ASM_EMIT("vorps %%ymm9, %%ymm1, %%ymm1") \
216 __ASM_EMIT("vmovmskps %%ymm1, %[mask]") \
217 __ASM_EMIT("test %[mask], %[mask]") \
218 __ASM_EMIT("jnz 200f") \
219 __ASM_EMIT("vmovaps 0x60 + %[knee], %%ymm0") /* ymm0 = gain_start */ \
220 __ASM_EMIT("vmovaps 0x60 + %[knee], %%ymm4") \
221 __ASM_EMIT("vmovaps %%ymm0, %%ymm8") \
222 __ASM_EMIT("vmovaps %%ymm4, %%ymm12") \
223 __ASM_EMIT("jmp 300f") \
224 __ASM_EMIT("200:") \
225 __ASM_EMIT("vmovaps %%ymm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
226 __ASM_EMIT("vmovaps %%ymm4, 0x20 + %[mem]") \
227 __ASM_EMIT("vmovaps %%ymm8, 0x40 + %[mem]") \
228 __ASM_EMIT("vmovaps %%ymm12, 0x60 + %[mem]") \
229 LOGE_CORE_X32 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
230 PROCESS_KNEE_SINGLE_X32 /* apply knee */ \
231 __ASM_EMIT("300:") \
232 /* out: ymm0 = g0, ymm4 = g1, ymm8 = g2, ymm12 = g3 */
233
234 #define PROCESS_GATE_FULL_X16 \
235 /* in: ymm0 = x0, ymm4 = x1 */ \
236 __ASM_EMIT("vandps 0x00 + %[G2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
237 __ASM_EMIT("vandps 0x00 + %[G2C], %%ymm4, %%ymm4") \
238 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm0, %%ymm1") /* ymm1 = [x0 > start] */ \
239 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm4, %%ymm5") \
240 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm0, %%ymm2") /* ymm2 = [x0 < end] */ \
241 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm4, %%ymm6") \
242 __ASM_EMIT("vandps %%ymm2, %%ymm1, %%ymm3") /* ymm3 = [x0 > start] && [x0 < end] */ \
243 __ASM_EMIT("vandps %%ymm6, %%ymm5, %%ymm7") \
244 __ASM_EMIT("vorps %%ymm7, %%ymm3, %%ymm3") \
245 __ASM_EMIT("vmovmskps %%ymm3, %[mask]") \
246 __ASM_EMIT("test %[mask], %[mask]") \
247 __ASM_EMIT("jnz 100f") \
248 __ASM_EMIT("vmovaps 0x40 + %[knee], %%ymm0") /* ymm0 = gain_start */ \
249 __ASM_EMIT("vmovaps 0x40 + %[knee], %%ymm4") \
250 __ASM_EMIT("vblendvps %%ymm1, 0x60 + %[knee], %%ymm0, %%ymm0")/* ymm0 = [x0 > start] ? gain_end : gain_start */ \
251 __ASM_EMIT("vblendvps %%ymm5, 0x60 + %[knee], %%ymm4, %%ymm4") \
252 __ASM_EMIT("jmp 200f") \
253 __ASM_EMIT("100:") \
254 __ASM_EMIT("vmovaps %%ymm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
255 __ASM_EMIT("vmovaps %%ymm4, 0x20 + %[mem]") \
256 LOGE_CORE_X16 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
257 PROCESS_KNEE_SINGLE_X16 /* apply knee */ \
258 __ASM_EMIT("200:") \
259 /* out: ymm0 = g0, ymm4 = g1 */
260
261 #define PROCESS_GATE_FULL_X8 \
262 /* in: ymm0 = x0, ymm4 = x1 */ \
263 __ASM_EMIT("vandps 0x00 + %[G2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
264 __ASM_EMIT("vmovaps %%ymm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
265 LOGE_CORE_X8 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
266 PROCESS_KNEE_SINGLE_X8 /* apply knee */ \
267 /* out: ymm0 = g */
268
269 #define PROCESS_GATE_FULL_X4 \
270 /* in: xmm0 = x0, xmm4 = x1 */ \
271 __ASM_EMIT("vandps 0x00 + %[G2C], %%xmm0, %%xmm0") /* xmm0 = fabsf(x0) */ \
272 __ASM_EMIT("vmovaps %%xmm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
273 LOGE_CORE_X4 /* xmm0 = lx0 = logf(fabsf(x0)) */ \
274 PROCESS_KNEE_SINGLE_X4 /* apply knee */ \
275 /* out: xmm0 = G0 */
276
277 void gate_x1_gain(float *dst, const float *src, const dsp::gate_knee_t *c, size_t count)
278 {
279 IF_ARCH_X86(
280 gate_knee_t knee __lsp_aligned32;
281 float mem[16] __lsp_aligned32;
282 float stub[8] __lsp_aligned32;
283 size_t mask;
284 );
285
286 ARCH_X86_ASM
287 (
288 // Prepare stuff
289 UNPACK_GATE_KNEE("knee", "gate")
290
291 // 16x blocks
292 __ASM_EMIT("sub $16, %[count]")
293 __ASM_EMIT("jb 2f")
294 __ASM_EMIT("1:")
295 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
296 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
297 PROCESS_GATE_FULL_X16
298 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
299 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
300 __ASM_EMIT("add $0x40, %[src]")
301 __ASM_EMIT("add $0x40, %[dst]")
302 __ASM_EMIT("sub $16, %[count]")
303 __ASM_EMIT("jae 1b")
304 __ASM_EMIT("2:")
305 // 8x blocks
306 __ASM_EMIT("add $8, %[count]")
307 __ASM_EMIT("jl 4f")
308 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
309 PROCESS_GATE_FULL_X8
310 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
311 __ASM_EMIT("add $0x20, %[src]")
312 __ASM_EMIT("add $0x20, %[dst]")
313 __ASM_EMIT("sub $8, %[count]")
314 __ASM_EMIT("4:")
315 // 4x blocks
316 __ASM_EMIT("add $4, %[count]")
317 __ASM_EMIT("jl 6f")
318 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
319 PROCESS_GATE_FULL_X4
320 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
321 __ASM_EMIT("sub $4, %[count]")
322 __ASM_EMIT("add $0x10, %[src]")
323 __ASM_EMIT("add $0x10, %[dst]")
324 __ASM_EMIT("6:")
325 // Tail: 1x-3x block
326 __ASM_EMIT("add $4, %[count]")
327 __ASM_EMIT("jle 14f")
328 __ASM_EMIT("test $1, %[count]")
329 __ASM_EMIT("jz 8f")
330 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
331 __ASM_EMIT("add $4, %[src]")
332 __ASM_EMIT("8:")
333 __ASM_EMIT("test $2, %[count]")
334 __ASM_EMIT("jz 10f")
335 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
336 __ASM_EMIT("10:")
337 PROCESS_GATE_FULL_X4
338 __ASM_EMIT("test $1, %[count]")
339 __ASM_EMIT("jz 12f")
340 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
341 __ASM_EMIT("add $4, %[dst]")
342 __ASM_EMIT("12:")
343 __ASM_EMIT("test $2, %[count]")
344 __ASM_EMIT("jz 14f")
345 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
346 __ASM_EMIT("14:")
347
348 : [dst] "+r" (dst), [src] "+r" (src),
349 [count] "+r" (count),
350 [mask] "=&r" (mask)
351 : [gate] "r" (c),
352 [knee] "o" (knee),
353 [mem] "o" (mem),
354 [stub] "o" (stub),
355 [G2C] "o" (gate_const),
356 [L2C] "o" (LOG2_CONST),
357 [LOGC] "o" (LOGE_C),
358 [E2C] "o" (EXP2_CONST),
359 [LOG2E] "m" (EXP_LOG2E)
360 : "cc", "memory",
361 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
362 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
363 );
364 }
365
366 IF_ARCH_X86_64(
367 void x64_gate_x1_gain(float *dst, const float *src, const dsp::gate_knee_t *c, size_t count)
368 {
369 IF_ARCH_X86(
370 gate_knee_t knee __lsp_aligned32;
371 float mem[32] __lsp_aligned32;
372 float stub[8] __lsp_aligned32;
373 size_t mask;
374 );
375
376 ARCH_X86_ASM
377 (
378 // Prepare stuff
379 UNPACK_GATE_KNEE("knee", "gate")
380
381 // 32x blocks
382 __ASM_EMIT("sub $32, %[count]")
383 __ASM_EMIT("jb 2f")
384 __ASM_EMIT("1:")
385 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
386 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
387 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
388 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
389 PROCESS_GATE_FULL_X32
390 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
391 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
392 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
393 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
394 __ASM_EMIT("add $0x80, %[src]")
395 __ASM_EMIT("add $0x80, %[dst]")
396 __ASM_EMIT("sub $32, %[count]")
397 __ASM_EMIT("jae 1b")
398 __ASM_EMIT("2:")
399 // 16x blocks
400 __ASM_EMIT("add $16, %[count]")
401 __ASM_EMIT("jl 4f")
402 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
403 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
404 PROCESS_GATE_FULL_X16
405 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
406 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
407 __ASM_EMIT("add $0x40, %[src]")
408 __ASM_EMIT("add $0x40, %[dst]")
409 __ASM_EMIT("sub $16, %[count]")
410 __ASM_EMIT("4:")
411 // 8x blocks
412 __ASM_EMIT("add $8, %[count]")
413 __ASM_EMIT("jl 6f")
414 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
415 PROCESS_GATE_FULL_X8
416 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
417 __ASM_EMIT("add $0x20, %[src]")
418 __ASM_EMIT("add $0x20, %[dst]")
419 __ASM_EMIT("sub $8, %[count]")
420 __ASM_EMIT("6:")
421 // 4x blocks
422 __ASM_EMIT("add $4, %[count]")
423 __ASM_EMIT("jl 8f")
424 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
425 PROCESS_GATE_FULL_X4
426 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
427 __ASM_EMIT("sub $4, %[count]")
428 __ASM_EMIT("add $0x10, %[src]")
429 __ASM_EMIT("add $0x10, %[dst]")
430 __ASM_EMIT("8:")
431 // Tail: 1x-3x block
432 __ASM_EMIT("add $4, %[count]")
433 __ASM_EMIT("jle 16f")
434 __ASM_EMIT("test $1, %[count]")
435 __ASM_EMIT("jz 10f")
436 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
437 __ASM_EMIT("add $4, %[src]")
438 __ASM_EMIT("10:")
439 __ASM_EMIT("test $2, %[count]")
440 __ASM_EMIT("jz 12f")
441 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
442 __ASM_EMIT("12:")
443 PROCESS_GATE_FULL_X4
444 __ASM_EMIT("test $1, %[count]")
445 __ASM_EMIT("jz 14f")
446 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
447 __ASM_EMIT("add $4, %[dst]")
448 __ASM_EMIT("14:")
449 __ASM_EMIT("test $2, %[count]")
450 __ASM_EMIT("jz 16f")
451 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
452 __ASM_EMIT("16:")
453
454 : [dst] "+r" (dst), [src] "+r" (src),
455 [count] "+r" (count),
456 [mask] "=&r" (mask)
457 : [gate] "r" (c),
458 [knee] "o" (knee),
459 [mem] "o" (mem),
460 [stub] "o" (stub),
461 [G2C] "o" (gate_const),
462 [L2C] "o" (LOG2_CONST),
463 [LOGC] "o" (LOGE_C),
464 [E2C] "o" (EXP2_CONST),
465 [LOG2E] "m" (EXP_LOG2E)
466 : "cc", "memory",
467 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
468 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
469 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
470 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
471 );
472 }
473 )
474
475 void gate_x1_curve(float *dst, const float *src, const dsp::gate_knee_t *c, size_t count)
476 {
477 IF_ARCH_X86(
478 gate_knee_t knee __lsp_aligned32;
479 float mem[16] __lsp_aligned32;
480 float stub[8] __lsp_aligned32;
481 size_t mask;
482 );
483
484 ARCH_X86_ASM
485 (
486 // Prepare stuff
487 UNPACK_GATE_KNEE("knee", "gate")
488
489 // 16x blocks
490 __ASM_EMIT("sub $16, %[count]")
491 __ASM_EMIT("jb 2f")
492 __ASM_EMIT("1:")
493 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
494 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
495 PROCESS_GATE_FULL_X16
496 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
497 __ASM_EMIT("vmulps 0x20(%[src]), %%ymm4, %%ymm4")
498 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
499 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
500 __ASM_EMIT("add $0x40, %[src]")
501 __ASM_EMIT("add $0x40, %[dst]")
502 __ASM_EMIT("sub $16, %[count]")
503 __ASM_EMIT("jae 1b")
504 __ASM_EMIT("2:")
505 // 8x blocks
506 __ASM_EMIT("add $8, %[count]")
507 __ASM_EMIT("jl 4f")
508 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
509 PROCESS_GATE_FULL_X8
510 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
511 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
512 __ASM_EMIT("add $0x20, %[src]")
513 __ASM_EMIT("add $0x20, %[dst]")
514 __ASM_EMIT("sub $8, %[count]")
515 __ASM_EMIT("4:")
516 // 4x blocks
517 __ASM_EMIT("add $4, %[count]")
518 __ASM_EMIT("jl 6f")
519 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
520 PROCESS_GATE_FULL_X4
521 __ASM_EMIT("vmulps 0x00(%[src]), %%xmm0, %%xmm0")
522 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
523 __ASM_EMIT("sub $4, %[count]")
524 __ASM_EMIT("add $0x10, %[src]")
525 __ASM_EMIT("add $0x10, %[dst]")
526 __ASM_EMIT("6:")
527 // Tail: 1x-3x block
528 __ASM_EMIT("add $4, %[count]")
529 __ASM_EMIT("jle 14f")
530 __ASM_EMIT("test $1, %[count]")
531 __ASM_EMIT("jz 8f")
532 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
533 __ASM_EMIT("add $4, %[src]")
534 __ASM_EMIT("8:")
535 __ASM_EMIT("test $2, %[count]")
536 __ASM_EMIT("jz 10f")
537 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
538 __ASM_EMIT("10:")
539 __ASM_EMIT("vmovaps %%xmm0, %%xmm4")
540 PROCESS_GATE_FULL_X4
541 __ASM_EMIT("vmulps %%xmm4, %%xmm0, %%xmm0")
542 __ASM_EMIT("test $1, %[count]")
543 __ASM_EMIT("jz 12f")
544 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
545 __ASM_EMIT("add $4, %[dst]")
546 __ASM_EMIT("12:")
547 __ASM_EMIT("test $2, %[count]")
548 __ASM_EMIT("jz 14f")
549 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
550 __ASM_EMIT("14:")
551
552 : [dst] "+r" (dst), [src] "+r" (src),
553 [count] "+r" (count),
554 [mask] "=&r" (mask)
555 : [gate] "r" (c),
556 [knee] "o" (knee),
557 [mem] "o" (mem),
558 [stub] "o" (stub),
559 [G2C] "o" (gate_const),
560 [L2C] "o" (LOG2_CONST),
561 [LOGC] "o" (LOGE_C),
562 [E2C] "o" (EXP2_CONST),
563 [LOG2E] "m" (EXP_LOG2E)
564 : "cc", "memory",
565 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
566 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
567 );
568 }
569
570 IF_ARCH_X86_64(
571 void x64_gate_x1_curve(float *dst, const float *src, const dsp::gate_knee_t *c, size_t count)
572 {
573 IF_ARCH_X86(
574 comp_knee_t knee __lsp_aligned32;
575 float mem[32] __lsp_aligned32;
576 float stub[8] __lsp_aligned32;
577 size_t mask;
578 );
579
580 ARCH_X86_ASM
581 (
582 // Prepare stuff
583 UNPACK_GATE_KNEE("knee", "gate")
584
585 // 32x blocks
586 __ASM_EMIT("sub $32, %[count]")
587 __ASM_EMIT("jb 2f")
588 __ASM_EMIT("1:")
589 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
590 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
591 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
592 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
593 PROCESS_GATE_FULL_X32
594 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
595 __ASM_EMIT("vmulps 0x20(%[src]), %%ymm4, %%ymm4")
596 __ASM_EMIT("vmulps 0x40(%[src]), %%ymm8, %%ymm8")
597 __ASM_EMIT("vmulps 0x60(%[src]), %%ymm12, %%ymm12")
598 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
599 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
600 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
601 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
602 __ASM_EMIT("add $0x80, %[src]")
603 __ASM_EMIT("add $0x80, %[dst]")
604 __ASM_EMIT("sub $32, %[count]")
605 __ASM_EMIT("jae 1b")
606 __ASM_EMIT("2:")
607 // 16x blocks
608 __ASM_EMIT("add $16, %[count]")
609 __ASM_EMIT("jl 4f")
610 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
611 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
612 PROCESS_GATE_FULL_X16
613 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
614 __ASM_EMIT("vmulps 0x20(%[src]), %%ymm4, %%ymm4")
615 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
616 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
617 __ASM_EMIT("add $0x40, %[src]")
618 __ASM_EMIT("add $0x40, %[dst]")
619 __ASM_EMIT("sub $16, %[count]")
620 __ASM_EMIT("4:")
621 // 8x blocks
622 __ASM_EMIT("add $8, %[count]")
623 __ASM_EMIT("jl 6f")
624 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
625 PROCESS_GATE_FULL_X8
626 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
627 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
628 __ASM_EMIT("add $0x20, %[src]")
629 __ASM_EMIT("add $0x20, %[dst]")
630 __ASM_EMIT("sub $8, %[count]")
631 __ASM_EMIT("6:")
632 // 4x blocks
633 __ASM_EMIT("add $4, %[count]")
634 __ASM_EMIT("jl 8f")
635 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
636 PROCESS_GATE_FULL_X4
637 __ASM_EMIT("vmulps 0x00(%[src]), %%xmm0, %%xmm0")
638 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
639 __ASM_EMIT("sub $4, %[count]")
640 __ASM_EMIT("add $0x10, %[src]")
641 __ASM_EMIT("add $0x10, %[dst]")
642 __ASM_EMIT("8:")
643 // Tail: 1x-3x block
644 __ASM_EMIT("add $4, %[count]")
645 __ASM_EMIT("jle 16f")
646 __ASM_EMIT("test $1, %[count]")
647 __ASM_EMIT("jz 10f")
648 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
649 __ASM_EMIT("add $4, %[src]")
650 __ASM_EMIT("10:")
651 __ASM_EMIT("test $2, %[count]")
652 __ASM_EMIT("jz 12f")
653 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
654 __ASM_EMIT("12:")
655 __ASM_EMIT("vmovaps %%xmm0, %%xmm4")
656 PROCESS_GATE_FULL_X4
657 __ASM_EMIT("vmulps %%xmm4, %%xmm0, %%xmm0")
658 __ASM_EMIT("test $1, %[count]")
659 __ASM_EMIT("jz 14f")
660 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
661 __ASM_EMIT("add $4, %[dst]")
662 __ASM_EMIT("14:")
663 __ASM_EMIT("test $2, %[count]")
664 __ASM_EMIT("jz 16f")
665 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
666 __ASM_EMIT("16:")
667
668 : [dst] "+r" (dst), [src] "+r" (src),
669 [count] "+r" (count),
670 [mask] "=&r" (mask)
671 : [gate] "r" (c),
672 [knee] "o" (knee),
673 [mem] "o" (mem),
674 [stub] "o" (stub),
675 [G2C] "o" (gate_const),
676 [L2C] "o" (LOG2_CONST),
677 [LOGC] "o" (LOGE_C),
678 [E2C] "o" (EXP2_CONST),
679 [LOG2E] "m" (EXP_LOG2E)
680 : "cc", "memory",
681 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
682 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
683 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
684 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
685 );
686 }
687 )
688
689 #undef PROCESS_GATE_FULL_X4
690 #undef PROCESS_GATE_FULL_X8
691 #undef PROCESS_GATE_FULL_X16
692 #undef PROCESS_GATE_FULL_X32
693 #undef PROCESS_KNEE_SINGLE_X4
694 #undef PROCESS_KNEE_SINGLE_X8
695 #undef PROCESS_KNEE_SINGLE_X16
696 #undef PROCESS_KNEE_SINGLE_X32
697
698 #define PROCESS_KNEE_SINGLE_X32_FMA3 \
699 /* in: ymm0 = lx0, ymm4 = lx1, ymm8 = lx2, ymm12 = lx3 */ \
700 __ASM_EMIT("vmovaps 0x80 + %[knee], %%ymm1") /* ymm1 = herm[0] */ \
701 __ASM_EMIT("vmovaps 0x80 + %[knee], %%ymm5") \
702 __ASM_EMIT("vmovaps 0x80 + %[knee], %%ymm9") \
703 __ASM_EMIT("vmovaps 0x80 + %[knee], %%ymm13") \
704 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm0, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
705 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm4, %%ymm5") \
706 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm8, %%ymm9") \
707 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm12, %%ymm13") \
708 __ASM_EMIT("vfmadd213ps 0xc0 + %[knee], %%ymm0, %%ymm1") /* ymm1 = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
709 __ASM_EMIT("vfmadd213ps 0xc0 + %[knee], %%ymm4, %%ymm5") \
710 __ASM_EMIT("vfmadd213ps 0xc0 + %[knee], %%ymm8, %%ymm9") \
711 __ASM_EMIT("vfmadd213ps 0xc0 + %[knee], %%ymm12, %%ymm13") \
712 __ASM_EMIT("vfmadd213ps 0xe0 + %[knee], %%ymm1, %%ymm0") /* ymm0 = KV = ((herm[0]*lx0+herm[1])*lx0+herm[2])*lx0+herm[3] */ \
713 __ASM_EMIT("vfmadd213ps 0xe0 + %[knee], %%ymm5, %%ymm4") \
714 __ASM_EMIT("vfmadd213ps 0xe0 + %[knee], %%ymm9, %%ymm8") \
715 __ASM_EMIT("vfmadd213ps 0xe0 + %[knee], %%ymm13, %%ymm12") \
716 EXP_CORE_X32_FMA3 /* ymm0 = EV = expf(KV) */ \
717 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm1") /* ymm1 = x0 */ \
718 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm5") \
719 __ASM_EMIT("vmovaps 0x40 + %[mem], %%ymm9") \
720 __ASM_EMIT("vmovaps 0x60 + %[mem], %%ymm13") \
721 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm1, %%ymm2") /* ymm2 = [x0 <= start] */ \
722 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm5, %%ymm6") \
723 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm9, %%ymm10") \
724 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm13, %%ymm14") \
725 __ASM_EMIT("vblendvps %%ymm2, 0x40 + %[knee], %%ymm0, %%ymm0")/* ymm0 = [x0 <= start] ? gain_start : expf(KV) */ \
726 __ASM_EMIT("vblendvps %%ymm6, 0x40 + %[knee], %%ymm4, %%ymm4") \
727 __ASM_EMIT("vblendvps %%ymm10, 0x40 + %[knee], %%ymm8, %%ymm8") \
728 __ASM_EMIT("vblendvps %%ymm14, 0x40 + %[knee], %%ymm12, %%ymm12") \
729 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm1, %%ymm1") /* ymm1 = [x0 >= end] */ \
730 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm5, %%ymm5") \
731 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm9, %%ymm9") \
732 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm13, %%ymm13") \
733 __ASM_EMIT("vblendvps %%ymm1, 0x60 + %[knee], %%ymm0, %%ymm0")/* ymm0 = [x0 >= end] ? gain_end : [x0 <= start] ? gain_start : expf(KV) */ \
734 __ASM_EMIT("vblendvps %%ymm5, 0x60 + %[knee], %%ymm4, %%ymm4") \
735 __ASM_EMIT("vblendvps %%ymm9, 0x60 + %[knee], %%ymm8, %%ymm8") \
736 __ASM_EMIT("vblendvps %%ymm13, 0x60 + %[knee], %%ymm12, %%ymm12") \
737 /* out: ymm0 = g0, ymm4 = g1, ymm8 = g3, ymm12 = g4 */
738
739 #define PROCESS_KNEE_SINGLE_X16_FMA3 \
740 /* in: ymm0 = lx0, ymm4 = lx1 */ \
741 __ASM_EMIT("vmovaps 0x80 + %[knee], %%ymm1") /* ymm1 = herm[0] */ \
742 __ASM_EMIT("vmovaps 0x80 + %[knee], %%ymm5") \
743 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm0, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
744 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm4, %%ymm5") \
745 __ASM_EMIT("vfmadd213ps 0xc0 + %[knee], %%ymm0, %%ymm1") /* ymm1 = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
746 __ASM_EMIT("vfmadd213ps 0xc0 + %[knee], %%ymm4, %%ymm5") \
747 __ASM_EMIT("vfmadd213ps 0xe0 + %[knee], %%ymm1, %%ymm0") /* ymm0 = KV = ((herm[0]*lx0+herm[1])*lx0+herm[2])*lx0+herm[3] */ \
748 __ASM_EMIT("vfmadd213ps 0xe0 + %[knee], %%ymm5, %%ymm4") \
749 EXP_CORE_X16_FMA3 /* ymm0 = EV = expf(KV) */ \
750 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm1") /* ymm1 = x0 */ \
751 __ASM_EMIT("vmovaps 0x20 + %[mem], %%ymm5") \
752 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm1, %%ymm2") /* ymm2 = [x0 <= start] */ \
753 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm5, %%ymm6") \
754 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm1, %%ymm1") /* ymm1 = [x0 >= end] */ \
755 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm5, %%ymm5") \
756 __ASM_EMIT("vblendvps %%ymm2, 0x40 + %[knee], %%ymm0, %%ymm0")/* ymm0 = [x0 <= start] ? gain_start : expf(KV) */ \
757 __ASM_EMIT("vblendvps %%ymm6, 0x40 + %[knee], %%ymm4, %%ymm4") \
758 __ASM_EMIT("vblendvps %%ymm1, 0x60 + %[knee], %%ymm0, %%ymm0")/* ymm0 = [x0 >= end] ? gain_end : [x0 <= start] ? gain_start : expf(KV) */ \
759 __ASM_EMIT("vblendvps %%ymm5, 0x60 + %[knee], %%ymm4, %%ymm4") \
760 /* out: ymm0 = g0, ymm4 = g1 */
761
762 #define PROCESS_KNEE_SINGLE_X8_FMA3 \
763 /* in: ymm0 = lx0 */ \
764 __ASM_EMIT("vmovaps 0x80 + %[knee], %%ymm1") /* ymm1 = herm[0] */ \
765 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%ymm0, %%ymm1") /* ymm1 = herm[0]*lx0+herm[1] */ \
766 __ASM_EMIT("vfmadd213ps 0xc0 + %[knee], %%ymm0, %%ymm1") /* ymm1 = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
767 __ASM_EMIT("vfmadd213ps 0xe0 + %[knee], %%ymm1, %%ymm0") /* ymm0 = KV = ((herm[0]*lx0+herm[1])*lx0+herm[2])*lx0+herm[3] */ \
768 EXP_CORE_X8_FMA3 /* ymm0 = EV = expf(KV) */ \
769 __ASM_EMIT("vmovaps 0x00 + %[mem], %%ymm1") /* ymm1 = x0 */ \
770 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%ymm1, %%ymm2") /* ymm2 = [x0 <= start] */ \
771 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%ymm1, %%ymm1") /* ymm1 = [x0 >= end] */ \
772 __ASM_EMIT("vblendvps %%ymm2, 0x40 + %[knee], %%ymm0, %%ymm0")/* ymm0 = [x0 <= start] ? gain_start : expf(KV) */ \
773 __ASM_EMIT("vblendvps %%ymm1, 0x60 + %[knee], %%ymm0, %%ymm0")/* ymm0 = [x0 >= end] ? gain_end : [x0 <= start] ? gain_start : expf(KV) */ \
774 /* out: ymm0 = g0, ymm4 = g1 */
775
776 #define PROCESS_KNEE_SINGLE_X4_FMA3 \
777 /* in: xmm0 = lx0 */ \
778 __ASM_EMIT("vmovaps 0x80 + %[knee], %%xmm1") /* xmm1 = herm[0] */ \
779 __ASM_EMIT("vfmadd213ps 0xa0 + %[knee], %%xmm0, %%xmm1") /* xmm1 = herm[0]*lx0+herm[1] */ \
780 __ASM_EMIT("vfmadd213ps 0xc0 + %[knee], %%xmm0, %%xmm1") /* xmm1 = (herm[0]*lx0+herm[1])*lx0+herm[2] */ \
781 __ASM_EMIT("vfmadd213ps 0xe0 + %[knee], %%xmm1, %%xmm0") /* xmm0 = KV = ((herm[0]*lx0+herm[1])*lx0+herm[2])*lx0+herm[3] */ \
782 EXP_CORE_X4_FMA3 /* xmm0 = EV = expf(KV) */ \
783 __ASM_EMIT("vmovaps 0x00 + %[mem], %%xmm1") /* xmm1 = x0 */ \
784 __ASM_EMIT("vcmpps $2, 0x00 + %[knee], %%xmm1, %%xmm2") /* xmm2 = [x0 <= start] */ \
785 __ASM_EMIT("vcmpps $5, 0x20 + %[knee], %%xmm1, %%xmm1") /* xmm1 = [x0 >= end] */ \
786 __ASM_EMIT("vblendvps %%xmm2, 0x40 + %[knee], %%xmm0, %%xmm0")/* xmm0 = [x0 <= start] ? gain_start : expf(KV) */ \
787 __ASM_EMIT("vblendvps %%xmm1, 0x60 + %[knee], %%xmm0, %%xmm0")/* xmm0 = [x0 >= end] ? gain_end : [x0 <= start] ? gain_start : expf(KV) */ \
788 /* out: xmm0 = g0, xmm4 = g1 */
789
790 #define PROCESS_GATE_FULL_X32_FMA3 \
791 /* in: ymm0 = x0, ymm4 = x1, ymm8 = x2, ymm12 = x4 */ \
792 /* in: ymm0 = x0, ymm4 = x1, ymm8 = x2, ymm12 = x4 */ \
793 __ASM_EMIT("vandps 0x00 + %[G2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
794 __ASM_EMIT("vandps 0x00 + %[G2C], %%ymm4, %%ymm4") \
795 __ASM_EMIT("vandps 0x00 + %[G2C], %%ymm8, %%ymm8") \
796 __ASM_EMIT("vandps 0x00 + %[G2C], %%ymm12, %%ymm12") \
797 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm0, %%ymm1") /* ymm1 = [x0 > start] */ \
798 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm4, %%ymm5") \
799 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm8, %%ymm9") \
800 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm12, %%ymm13") \
801 __ASM_EMIT("vorps %%ymm5, %%ymm1, %%ymm1") \
802 __ASM_EMIT("vorps %%ymm13, %%ymm9, %%ymm9") \
803 __ASM_EMIT("vorps %%ymm9, %%ymm1, %%ymm1") \
804 __ASM_EMIT("vmovmskps %%ymm1, %[mask]") \
805 __ASM_EMIT("test %[mask], %[mask]") \
806 __ASM_EMIT("jnz 100f") \
807 __ASM_EMIT("vmovaps 0x40 + %[knee], %%ymm0") /* ymm0 = gain_start */ \
808 __ASM_EMIT("vmovaps 0x40 + %[knee], %%ymm4") \
809 __ASM_EMIT("vmovaps %%ymm0, %%ymm8") \
810 __ASM_EMIT("vmovaps %%ymm4, %%ymm12") \
811 __ASM_EMIT("jmp 300f") \
812 __ASM_EMIT("100:") \
813 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm0, %%ymm1") /* ymm1 = [x0 < end] */ \
814 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm4, %%ymm5") \
815 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm8, %%ymm9") \
816 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm12, %%ymm13") \
817 __ASM_EMIT("vorps %%ymm5, %%ymm1, %%ymm1") \
818 __ASM_EMIT("vorps %%ymm13, %%ymm9, %%ymm9") \
819 __ASM_EMIT("vorps %%ymm9, %%ymm1, %%ymm1") \
820 __ASM_EMIT("vmovmskps %%ymm1, %[mask]") \
821 __ASM_EMIT("test %[mask], %[mask]") \
822 __ASM_EMIT("jnz 200f") \
823 __ASM_EMIT("vmovaps 0x60 + %[knee], %%ymm0") /* ymm0 = gain_start */ \
824 __ASM_EMIT("vmovaps 0x60 + %[knee], %%ymm4") \
825 __ASM_EMIT("vmovaps %%ymm0, %%ymm8") \
826 __ASM_EMIT("vmovaps %%ymm4, %%ymm12") \
827 __ASM_EMIT("jmp 300f") \
828 __ASM_EMIT("200:") \
829 __ASM_EMIT("vmovaps %%ymm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
830 __ASM_EMIT("vmovaps %%ymm4, 0x20 + %[mem]") \
831 __ASM_EMIT("vmovaps %%ymm8, 0x40 + %[mem]") \
832 __ASM_EMIT("vmovaps %%ymm12, 0x60 + %[mem]") \
833 LOGE_CORE_X32_FMA3 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
834 PROCESS_KNEE_SINGLE_X32_FMA3 /* apply knee */ \
835 __ASM_EMIT("300:") \
836 /* out: ymm0 = g0, ymm4 = g1, ymm8 = g2, ymm12 = g3 */
837
838 #define PROCESS_GATE_FULL_X16_FMA3 \
839 /* in: ymm0 = x0, ymm4 = x1 */ \
840 __ASM_EMIT("vandps 0x00 + %[G2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
841 __ASM_EMIT("vandps 0x00 + %[G2C], %%ymm4, %%ymm4") \
842 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm0, %%ymm1") /* ymm1 = [x0 > start] */ \
843 __ASM_EMIT("vcmpps $6, 0x00 + %[knee], %%ymm4, %%ymm5") \
844 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm0, %%ymm2") /* ymm2 = [x0 < end] */ \
845 __ASM_EMIT("vcmpps $1, 0x20 + %[knee], %%ymm4, %%ymm6") \
846 __ASM_EMIT("vandps %%ymm2, %%ymm1, %%ymm3") /* ymm3 = [x0 > start] && [x0 < end] */ \
847 __ASM_EMIT("vandps %%ymm6, %%ymm5, %%ymm7") \
848 __ASM_EMIT("vorps %%ymm7, %%ymm3, %%ymm3") \
849 __ASM_EMIT("vmovmskps %%ymm3, %[mask]") \
850 __ASM_EMIT("test %[mask], %[mask]") \
851 __ASM_EMIT("jnz 100f") \
852 __ASM_EMIT("vmovaps 0x40 + %[knee], %%ymm0") /* ymm0 = gain_start */ \
853 __ASM_EMIT("vmovaps 0x40 + %[knee], %%ymm4") \
854 __ASM_EMIT("vblendvps %%ymm1, 0x60 + %[knee], %%ymm0, %%ymm0")/* ymm0 = [x0 > start] ? gain_end : gain_start */ \
855 __ASM_EMIT("vblendvps %%ymm5, 0x60 + %[knee], %%ymm4, %%ymm4") \
856 __ASM_EMIT("jmp 200f") \
857 __ASM_EMIT("100:") \
858 __ASM_EMIT("vmovaps %%ymm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
859 __ASM_EMIT("vmovaps %%ymm4, 0x20 + %[mem]") \
860 LOGE_CORE_X16_FMA3 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
861 PROCESS_KNEE_SINGLE_X16_FMA3 /* apply knee */ \
862 __ASM_EMIT("200:") \
863 /* out: ymm0 = g0, ymm4 = g1 */
864
865 #define PROCESS_GATE_FULL_X8_FMA3 \
866 /* in: ymm0 = x0, ymm4 = x1 */ \
867 __ASM_EMIT("vandps 0x00 + %[G2C], %%ymm0, %%ymm0") /* ymm0 = fabsf(x0) */ \
868 __ASM_EMIT("vmovaps %%ymm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
869 LOGE_CORE_X8_FMA3 /* ymm0 = lx0 = logf(fabsf(x0)) */ \
870 PROCESS_KNEE_SINGLE_X8_FMA3 /* apply knee */ \
871 /* out: ymm0 = g */
872
873 #define PROCESS_GATE_FULL_X4_FMA3 \
874 /* in: xmm0 = x0, xmm4 = x1 */ \
875 __ASM_EMIT("vandps 0x00 + %[G2C], %%xmm0, %%xmm0") /* xmm0 = fabsf(x0) */ \
876 __ASM_EMIT("vmovaps %%xmm0, 0x00 + %[mem]") /* store fabsf(x0) */ \
877 LOGE_CORE_X4_FMA3 /* xmm0 = lx0 = logf(fabsf(x0)) */ \
878 PROCESS_KNEE_SINGLE_X4_FMA3 /* apply knee */ \
879 /* out: xmm0 = G0 */
880
881 void gate_x1_gain_fma3(float *dst, const float *src, const dsp::gate_knee_t *c, size_t count)
882 {
883 IF_ARCH_X86(
884 gate_knee_t knee __lsp_aligned32;
885 float mem[16] __lsp_aligned32;
886 float stub[8] __lsp_aligned32;
887 size_t mask;
888 );
889
890 ARCH_X86_ASM
891 (
892 // Prepare stuff
893 UNPACK_GATE_KNEE("knee", "gate")
894
895 // 16x blocks
896 __ASM_EMIT("sub $16, %[count]")
897 __ASM_EMIT("jb 2f")
898 __ASM_EMIT("1:")
899 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
900 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
901 PROCESS_GATE_FULL_X16_FMA3
902 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
903 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
904 __ASM_EMIT("add $0x40, %[src]")
905 __ASM_EMIT("add $0x40, %[dst]")
906 __ASM_EMIT("sub $16, %[count]")
907 __ASM_EMIT("jae 1b")
908 __ASM_EMIT("2:")
909 // 8x blocks
910 __ASM_EMIT("add $8, %[count]")
911 __ASM_EMIT("jl 4f")
912 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
913 PROCESS_GATE_FULL_X8_FMA3
914 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
915 __ASM_EMIT("add $0x20, %[src]")
916 __ASM_EMIT("add $0x20, %[dst]")
917 __ASM_EMIT("sub $8, %[count]")
918 __ASM_EMIT("4:")
919 // 4x blocks
920 __ASM_EMIT("add $4, %[count]")
921 __ASM_EMIT("jl 6f")
922 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
923 PROCESS_GATE_FULL_X4_FMA3
924 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
925 __ASM_EMIT("sub $4, %[count]")
926 __ASM_EMIT("add $0x10, %[src]")
927 __ASM_EMIT("add $0x10, %[dst]")
928 __ASM_EMIT("6:")
929 // Tail: 1x-3x block
930 __ASM_EMIT("add $4, %[count]")
931 __ASM_EMIT("jle 14f")
932 __ASM_EMIT("test $1, %[count]")
933 __ASM_EMIT("jz 8f")
934 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
935 __ASM_EMIT("add $4, %[src]")
936 __ASM_EMIT("8:")
937 __ASM_EMIT("test $2, %[count]")
938 __ASM_EMIT("jz 10f")
939 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
940 __ASM_EMIT("10:")
941 PROCESS_GATE_FULL_X4_FMA3
942 __ASM_EMIT("test $1, %[count]")
943 __ASM_EMIT("jz 12f")
944 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
945 __ASM_EMIT("add $4, %[dst]")
946 __ASM_EMIT("12:")
947 __ASM_EMIT("test $2, %[count]")
948 __ASM_EMIT("jz 14f")
949 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
950 __ASM_EMIT("14:")
951
952 : [dst] "+r" (dst), [src] "+r" (src),
953 [count] "+r" (count),
954 [mask] "=&r" (mask)
955 : [gate] "r" (c),
956 [knee] "o" (knee),
957 [mem] "o" (mem),
958 [stub] "o" (stub),
959 [G2C] "o" (gate_const),
960 [L2C] "o" (LOG2_CONST),
961 [LOGC] "o" (LOGE_C),
962 [E2C] "o" (EXP2_CONST),
963 [LOG2E] "m" (EXP_LOG2E)
964 : "cc", "memory",
965 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
966 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
967 );
968 }
969
970 IF_ARCH_X86_64(
971 void x64_gate_x1_gain_fma3(float *dst, const float *src, const dsp::gate_knee_t *c, size_t count)
972 {
973 IF_ARCH_X86(
974 gate_knee_t knee __lsp_aligned32;
975 float mem[32] __lsp_aligned32;
976 float stub[8] __lsp_aligned32;
977 size_t mask;
978 );
979
980 ARCH_X86_ASM
981 (
982 // Prepare stuff
983 UNPACK_GATE_KNEE("knee", "gate")
984
985 // 32x blocks
986 __ASM_EMIT("sub $32, %[count]")
987 __ASM_EMIT("jb 2f")
988 __ASM_EMIT("1:")
989 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
990 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
991 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
992 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
993 PROCESS_GATE_FULL_X32_FMA3
994 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
995 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
996 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
997 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
998 __ASM_EMIT("add $0x80, %[src]")
999 __ASM_EMIT("add $0x80, %[dst]")
1000 __ASM_EMIT("sub $32, %[count]")
1001 __ASM_EMIT("jae 1b")
1002 __ASM_EMIT("2:")
1003 // 16x blocks
1004 __ASM_EMIT("add $16, %[count]")
1005 __ASM_EMIT("jl 4f")
1006 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1007 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1008 PROCESS_GATE_FULL_X16_FMA3
1009 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1010 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1011 __ASM_EMIT("add $0x40, %[src]")
1012 __ASM_EMIT("add $0x40, %[dst]")
1013 __ASM_EMIT("sub $16, %[count]")
1014 __ASM_EMIT("4:")
1015 // 8x blocks
1016 __ASM_EMIT("add $8, %[count]")
1017 __ASM_EMIT("jl 6f")
1018 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1019 PROCESS_GATE_FULL_X8_FMA3
1020 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1021 __ASM_EMIT("add $0x20, %[src]")
1022 __ASM_EMIT("add $0x20, %[dst]")
1023 __ASM_EMIT("sub $8, %[count]")
1024 __ASM_EMIT("6:")
1025 // 4x blocks
1026 __ASM_EMIT("add $4, %[count]")
1027 __ASM_EMIT("jl 8f")
1028 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1029 PROCESS_GATE_FULL_X4_FMA3
1030 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1031 __ASM_EMIT("sub $4, %[count]")
1032 __ASM_EMIT("add $0x10, %[src]")
1033 __ASM_EMIT("add $0x10, %[dst]")
1034 __ASM_EMIT("8:")
1035 // Tail: 1x-3x block
1036 __ASM_EMIT("add $4, %[count]")
1037 __ASM_EMIT("jle 16f")
1038 __ASM_EMIT("test $1, %[count]")
1039 __ASM_EMIT("jz 10f")
1040 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1041 __ASM_EMIT("add $4, %[src]")
1042 __ASM_EMIT("10:")
1043 __ASM_EMIT("test $2, %[count]")
1044 __ASM_EMIT("jz 12f")
1045 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1046 __ASM_EMIT("12:")
1047 PROCESS_GATE_FULL_X4_FMA3
1048 __ASM_EMIT("test $1, %[count]")
1049 __ASM_EMIT("jz 14f")
1050 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1051 __ASM_EMIT("add $4, %[dst]")
1052 __ASM_EMIT("14:")
1053 __ASM_EMIT("test $2, %[count]")
1054 __ASM_EMIT("jz 16f")
1055 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1056 __ASM_EMIT("16:")
1057
1058 : [dst] "+r" (dst), [src] "+r" (src),
1059 [count] "+r" (count),
1060 [mask] "=&r" (mask)
1061 : [gate] "r" (c),
1062 [knee] "o" (knee),
1063 [mem] "o" (mem),
1064 [stub] "o" (stub),
1065 [G2C] "o" (gate_const),
1066 [L2C] "o" (LOG2_CONST),
1067 [LOGC] "o" (LOGE_C),
1068 [E2C] "o" (EXP2_CONST),
1069 [LOG2E] "m" (EXP_LOG2E)
1070 : "cc", "memory",
1071 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1072 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1073 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
1074 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1075 );
1076 }
1077 )
1078
1079 void gate_x1_curve_fma3(float *dst, const float *src, const dsp::gate_knee_t *c, size_t count)
1080 {
1081 IF_ARCH_X86(
1082 gate_knee_t knee __lsp_aligned32;
1083 float mem[16] __lsp_aligned32;
1084 float stub[8] __lsp_aligned32;
1085 size_t mask;
1086 );
1087
1088 ARCH_X86_ASM
1089 (
1090 // Prepare stuff
1091 UNPACK_GATE_KNEE("knee", "gate")
1092
1093 // 16x blocks
1094 __ASM_EMIT("sub $16, %[count]")
1095 __ASM_EMIT("jb 2f")
1096 __ASM_EMIT("1:")
1097 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1098 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1099 PROCESS_GATE_FULL_X16_FMA3
1100 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
1101 __ASM_EMIT("vmulps 0x20(%[src]), %%ymm4, %%ymm4")
1102 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1103 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1104 __ASM_EMIT("add $0x40, %[src]")
1105 __ASM_EMIT("add $0x40, %[dst]")
1106 __ASM_EMIT("sub $16, %[count]")
1107 __ASM_EMIT("jae 1b")
1108 __ASM_EMIT("2:")
1109 // 8x blocks
1110 __ASM_EMIT("add $8, %[count]")
1111 __ASM_EMIT("jl 4f")
1112 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1113 PROCESS_GATE_FULL_X8_FMA3
1114 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
1115 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1116 __ASM_EMIT("add $0x20, %[src]")
1117 __ASM_EMIT("add $0x20, %[dst]")
1118 __ASM_EMIT("sub $8, %[count]")
1119 __ASM_EMIT("4:")
1120 // 4x blocks
1121 __ASM_EMIT("add $4, %[count]")
1122 __ASM_EMIT("jl 6f")
1123 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1124 PROCESS_GATE_FULL_X4_FMA3
1125 __ASM_EMIT("vmulps 0x00(%[src]), %%xmm0, %%xmm0")
1126 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1127 __ASM_EMIT("sub $4, %[count]")
1128 __ASM_EMIT("add $0x10, %[src]")
1129 __ASM_EMIT("add $0x10, %[dst]")
1130 __ASM_EMIT("6:")
1131 // Tail: 1x-3x block
1132 __ASM_EMIT("add $4, %[count]")
1133 __ASM_EMIT("jle 14f")
1134 __ASM_EMIT("test $1, %[count]")
1135 __ASM_EMIT("jz 8f")
1136 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1137 __ASM_EMIT("add $4, %[src]")
1138 __ASM_EMIT("8:")
1139 __ASM_EMIT("test $2, %[count]")
1140 __ASM_EMIT("jz 10f")
1141 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1142 __ASM_EMIT("10:")
1143 __ASM_EMIT("vmovaps %%xmm0, %%xmm4")
1144 PROCESS_GATE_FULL_X4_FMA3
1145 __ASM_EMIT("vmulps %%xmm4, %%xmm0, %%xmm0")
1146 __ASM_EMIT("test $1, %[count]")
1147 __ASM_EMIT("jz 12f")
1148 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1149 __ASM_EMIT("add $4, %[dst]")
1150 __ASM_EMIT("12:")
1151 __ASM_EMIT("test $2, %[count]")
1152 __ASM_EMIT("jz 14f")
1153 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1154 __ASM_EMIT("14:")
1155
1156 : [dst] "+r" (dst), [src] "+r" (src),
1157 [count] "+r" (count),
1158 [mask] "=&r" (mask)
1159 : [gate] "r" (c),
1160 [knee] "o" (knee),
1161 [mem] "o" (mem),
1162 [stub] "o" (stub),
1163 [G2C] "o" (gate_const),
1164 [L2C] "o" (LOG2_CONST),
1165 [LOGC] "o" (LOGE_C),
1166 [E2C] "o" (EXP2_CONST),
1167 [LOG2E] "m" (EXP_LOG2E)
1168 : "cc", "memory",
1169 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1170 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1171 );
1172 }
1173
1174 IF_ARCH_X86_64(
1175 void x64_gate_x1_curve_fma3(float *dst, const float *src, const dsp::gate_knee_t *c, size_t count)
1176 {
1177 IF_ARCH_X86(
1178 comp_knee_t knee __lsp_aligned32;
1179 float mem[32] __lsp_aligned32;
1180 float stub[8] __lsp_aligned32;
1181 size_t mask;
1182 );
1183
1184 ARCH_X86_ASM
1185 (
1186 // Prepare stuff
1187 UNPACK_GATE_KNEE("knee", "gate")
1188
1189 // 32x blocks
1190 __ASM_EMIT("sub $32, %[count]")
1191 __ASM_EMIT("jb 2f")
1192 __ASM_EMIT("1:")
1193 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1194 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1195 __ASM_EMIT("vmovups 0x40(%[src]), %%ymm8")
1196 __ASM_EMIT("vmovups 0x60(%[src]), %%ymm12")
1197 PROCESS_GATE_FULL_X32_FMA3
1198 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
1199 __ASM_EMIT("vmulps 0x20(%[src]), %%ymm4, %%ymm4")
1200 __ASM_EMIT("vmulps 0x40(%[src]), %%ymm8, %%ymm8")
1201 __ASM_EMIT("vmulps 0x60(%[src]), %%ymm12, %%ymm12")
1202 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1203 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1204 __ASM_EMIT("vmovups %%ymm8, 0x40(%[dst])")
1205 __ASM_EMIT("vmovups %%ymm12, 0x60(%[dst])")
1206 __ASM_EMIT("add $0x80, %[src]")
1207 __ASM_EMIT("add $0x80, %[dst]")
1208 __ASM_EMIT("sub $32, %[count]")
1209 __ASM_EMIT("jae 1b")
1210 __ASM_EMIT("2:")
1211 // 16x blocks
1212 __ASM_EMIT("add $16, %[count]")
1213 __ASM_EMIT("jl 4f")
1214 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1215 __ASM_EMIT("vmovups 0x20(%[src]), %%ymm4")
1216 PROCESS_GATE_FULL_X16_FMA3
1217 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
1218 __ASM_EMIT("vmulps 0x20(%[src]), %%ymm4, %%ymm4")
1219 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1220 __ASM_EMIT("vmovups %%ymm4, 0x20(%[dst])")
1221 __ASM_EMIT("add $0x40, %[src]")
1222 __ASM_EMIT("add $0x40, %[dst]")
1223 __ASM_EMIT("sub $16, %[count]")
1224 __ASM_EMIT("4:")
1225 // 8x blocks
1226 __ASM_EMIT("add $8, %[count]")
1227 __ASM_EMIT("jl 6f")
1228 __ASM_EMIT("vmovups 0x00(%[src]), %%ymm0")
1229 PROCESS_GATE_FULL_X8_FMA3
1230 __ASM_EMIT("vmulps 0x00(%[src]), %%ymm0, %%ymm0")
1231 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1232 __ASM_EMIT("add $0x20, %[src]")
1233 __ASM_EMIT("add $0x20, %[dst]")
1234 __ASM_EMIT("sub $8, %[count]")
1235 __ASM_EMIT("6:")
1236 // 4x blocks
1237 __ASM_EMIT("add $4, %[count]")
1238 __ASM_EMIT("jl 8f")
1239 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
1240 PROCESS_GATE_FULL_X4_FMA3
1241 __ASM_EMIT("vmulps 0x00(%[src]), %%xmm0, %%xmm0")
1242 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
1243 __ASM_EMIT("sub $4, %[count]")
1244 __ASM_EMIT("add $0x10, %[src]")
1245 __ASM_EMIT("add $0x10, %[dst]")
1246 __ASM_EMIT("8:")
1247 // Tail: 1x-3x block
1248 __ASM_EMIT("add $4, %[count]")
1249 __ASM_EMIT("jle 16f")
1250 __ASM_EMIT("test $1, %[count]")
1251 __ASM_EMIT("jz 10f")
1252 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
1253 __ASM_EMIT("add $4, %[src]")
1254 __ASM_EMIT("10:")
1255 __ASM_EMIT("test $2, %[count]")
1256 __ASM_EMIT("jz 12f")
1257 __ASM_EMIT("vmovhps 0x00(%[src]), %%xmm0, %%xmm0")
1258 __ASM_EMIT("12:")
1259 __ASM_EMIT("vmovaps %%xmm0, %%xmm4")
1260 PROCESS_GATE_FULL_X4_FMA3
1261 __ASM_EMIT("vmulps %%xmm4, %%xmm0, %%xmm0")
1262 __ASM_EMIT("test $1, %[count]")
1263 __ASM_EMIT("jz 14f")
1264 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1265 __ASM_EMIT("add $4, %[dst]")
1266 __ASM_EMIT("14:")
1267 __ASM_EMIT("test $2, %[count]")
1268 __ASM_EMIT("jz 16f")
1269 __ASM_EMIT("vmovhps %%xmm0, 0x00(%[dst])")
1270 __ASM_EMIT("16:")
1271
1272 : [dst] "+r" (dst), [src] "+r" (src),
1273 [count] "+r" (count),
1274 [mask] "=&r" (mask)
1275 : [gate] "r" (c),
1276 [knee] "o" (knee),
1277 [mem] "o" (mem),
1278 [stub] "o" (stub),
1279 [G2C] "o" (gate_const),
1280 [L2C] "o" (LOG2_CONST),
1281 [LOGC] "o" (LOGE_C),
1282 [E2C] "o" (EXP2_CONST),
1283 [LOG2E] "m" (EXP_LOG2E)
1284 : "cc", "memory",
1285 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1286 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1287 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
1288 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
1289 );
1290 }
1291 )
1292
1293 #undef PROCESS_GATE_FULL_X4_FMA3
1294 #undef PROCESS_GATE_FULL_X8_FMA3
1295 #undef PROCESS_GATE_FULL_X16_FMA3
1296 #undef PROCESS_GATE_FULL_X32_FMA3
1297 #undef PROCESS_KNEE_SINGLE_X4_FMA3
1298 #undef PROCESS_KNEE_SINGLE_X8_FMA3
1299 #undef PROCESS_KNEE_SINGLE_X16_FMA3
1300 #undef PROCESS_KNEE_SINGLE_X32_FMA3
1301
1302 #undef UNPACK_GATE_KNEE
1303
1304 } /* namespace avx2 */
1305 } /* namespace lsp */
1306
1307
1308
1309
1310 #endif /* PRIVATE_DSP_ARCH_X86_AVX2_DYNAMICS_GATE_H_ */