Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx/graphics/axis.h

raw
1 /*
2 * Copyright (C) 2023 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2023 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 24 сент. 2023 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef INCLUDE_PRIVATE_DSP_ARCH_X86_AVX_GRAPHICS_AXIS_H_
23 #define INCLUDE_PRIVATE_DSP_ARCH_X86_AVX_GRAPHICS_AXIS_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX_IMPL */
28
29 namespace lsp
30 {
31 namespace avx
32 {
33 void axis_apply_lin1(float *x, const float *v, float zero, float norm, size_t count)
34 {
35 IF_ARCH_X86(
36 size_t off;
37 );
38
39 ARCH_X86_ASM
40 (
41 __ASM_EMIT("vbroadcastss %[norm], %%ymm0")
42 __ASM_EMIT("vbroadcastss %[zero], %%ymm1")
43 __ASM_EMIT("xor %[off], %[off]")
44 /* blocks x48 */
45 __ASM_EMIT("sub $48, %[count]")
46 __ASM_EMIT("jb 2f")
47 __ASM_EMIT("1:")
48 __ASM_EMIT("vaddps 0x00(%[v], %[off]), %%ymm1, %%ymm2")
49 __ASM_EMIT("vaddps 0x20(%[v], %[off]), %%ymm1, %%ymm3")
50 __ASM_EMIT("vaddps 0x40(%[v], %[off]), %%ymm1, %%ymm4")
51 __ASM_EMIT("vaddps 0x60(%[v], %[off]), %%ymm1, %%ymm5")
52 __ASM_EMIT("vaddps 0x80(%[v], %[off]), %%ymm1, %%ymm6")
53 __ASM_EMIT("vaddps 0xa0(%[v], %[off]), %%ymm1, %%ymm7")
54 __ASM_EMIT("vmulps %%ymm0, %%ymm2, %%ymm2")
55 __ASM_EMIT("vmulps %%ymm0, %%ymm3, %%ymm3")
56 __ASM_EMIT("vmulps %%ymm0, %%ymm4, %%ymm4")
57 __ASM_EMIT("vmulps %%ymm0, %%ymm5, %%ymm5")
58 __ASM_EMIT("vmulps %%ymm0, %%ymm6, %%ymm6")
59 __ASM_EMIT("vmulps %%ymm0, %%ymm7, %%ymm7")
60 __ASM_EMIT("vaddps 0x00(%[x], %[off]), %%ymm2, %%ymm2")
61 __ASM_EMIT("vaddps 0x20(%[x], %[off]), %%ymm3, %%ymm3")
62 __ASM_EMIT("vaddps 0x40(%[x], %[off]), %%ymm4, %%ymm4")
63 __ASM_EMIT("vaddps 0x60(%[x], %[off]), %%ymm5, %%ymm5")
64 __ASM_EMIT("vaddps 0x80(%[x], %[off]), %%ymm6, %%ymm6")
65 __ASM_EMIT("vaddps 0xa0(%[x], %[off]), %%ymm7, %%ymm7")
66 __ASM_EMIT("vmovups %%ymm2, 0x00(%[x], %[off])")
67 __ASM_EMIT("vmovups %%ymm3, 0x20(%[x], %[off])")
68 __ASM_EMIT("vmovups %%ymm4, 0x40(%[x], %[off])")
69 __ASM_EMIT("vmovups %%ymm5, 0x60(%[x], %[off])")
70 __ASM_EMIT("vmovups %%ymm6, 0x80(%[x], %[off])")
71 __ASM_EMIT("vmovups %%ymm7, 0xa0(%[x], %[off])")
72 __ASM_EMIT("add $0xc0, %[off]")
73 __ASM_EMIT("sub $48, %[count]")
74 __ASM_EMIT("jae 1b")
75 __ASM_EMIT("2:")
76 /* block x32 */
77 __ASM_EMIT("add $16, %[count]")
78 __ASM_EMIT("jl 4f")
79 __ASM_EMIT("vaddps 0x00(%[v], %[off]), %%ymm1, %%ymm2")
80 __ASM_EMIT("vaddps 0x20(%[v], %[off]), %%ymm1, %%ymm3")
81 __ASM_EMIT("vaddps 0x40(%[v], %[off]), %%ymm1, %%ymm4")
82 __ASM_EMIT("vaddps 0x60(%[v], %[off]), %%ymm1, %%ymm5")
83 __ASM_EMIT("vmulps %%ymm0, %%ymm2, %%ymm2")
84 __ASM_EMIT("vmulps %%ymm0, %%ymm3, %%ymm3")
85 __ASM_EMIT("vmulps %%ymm0, %%ymm4, %%ymm4")
86 __ASM_EMIT("vmulps %%ymm0, %%ymm5, %%ymm5")
87 __ASM_EMIT("vaddps 0x00(%[x], %[off]), %%ymm2, %%ymm2")
88 __ASM_EMIT("vaddps 0x20(%[x], %[off]), %%ymm3, %%ymm3")
89 __ASM_EMIT("vaddps 0x40(%[x], %[off]), %%ymm4, %%ymm4")
90 __ASM_EMIT("vaddps 0x60(%[x], %[off]), %%ymm5, %%ymm5")
91 __ASM_EMIT("vmovups %%ymm2, 0x00(%[x], %[off])")
92 __ASM_EMIT("vmovups %%ymm3, 0x20(%[x], %[off])")
93 __ASM_EMIT("vmovups %%ymm4, 0x40(%[x], %[off])")
94 __ASM_EMIT("vmovups %%ymm5, 0x60(%[x], %[off])")
95 __ASM_EMIT("sub $32, %[count]")
96 __ASM_EMIT("add $0x80, %[off]")
97 __ASM_EMIT("4:")
98 /* block x16 */
99 __ASM_EMIT("add $16, %[count]")
100 __ASM_EMIT("jl 6f")
101 __ASM_EMIT("vaddps 0x00(%[v], %[off]), %%ymm1, %%ymm2")
102 __ASM_EMIT("vaddps 0x20(%[v], %[off]), %%ymm1, %%ymm3")
103 __ASM_EMIT("vmulps %%ymm0, %%ymm2, %%ymm2")
104 __ASM_EMIT("vmulps %%ymm0, %%ymm3, %%ymm3")
105 __ASM_EMIT("vaddps 0x00(%[x], %[off]), %%ymm2, %%ymm2")
106 __ASM_EMIT("vaddps 0x20(%[x], %[off]), %%ymm3, %%ymm3")
107 __ASM_EMIT("vmovups %%ymm2, 0x00(%[x], %[off])")
108 __ASM_EMIT("vmovups %%ymm3, 0x20(%[x], %[off])")
109 __ASM_EMIT("sub $16, %[count]")
110 __ASM_EMIT("add $0x40, %[off]")
111 __ASM_EMIT("6:")
112 /* block x8 */
113 __ASM_EMIT("add $8, %[count]")
114 __ASM_EMIT("jl 8f")
115 __ASM_EMIT("vaddps 0x00(%[v], %[off]), %%xmm1, %%xmm2")
116 __ASM_EMIT("vaddps 0x10(%[v], %[off]), %%xmm1, %%xmm3")
117 __ASM_EMIT("vmulps %%xmm0, %%xmm2, %%xmm2")
118 __ASM_EMIT("vmulps %%xmm0, %%xmm3, %%xmm3")
119 __ASM_EMIT("vaddps 0x00(%[x], %[off]), %%xmm2, %%xmm2")
120 __ASM_EMIT("vaddps 0x10(%[x], %[off]), %%xmm3, %%xmm3")
121 __ASM_EMIT("vmovups %%xmm2, 0x00(%[x], %[off])")
122 __ASM_EMIT("vmovups %%xmm3, 0x10(%[x], %[off])")
123 __ASM_EMIT("sub $8, %[count]")
124 __ASM_EMIT("add $0x20, %[off]")
125 __ASM_EMIT("8:")
126 /* block x4 */
127 __ASM_EMIT("add $4, %[count]")
128 __ASM_EMIT("jl 10f")
129 __ASM_EMIT("vaddps 0x00(%[v], %[off]), %%xmm1, %%xmm2")
130 __ASM_EMIT("vmulps %%xmm0, %%xmm2, %%xmm2")
131 __ASM_EMIT("vaddps 0x00(%[x], %[off]), %%xmm2, %%xmm2")
132 __ASM_EMIT("vmovups %%xmm2, 0x00(%[x], %[off])")
133 __ASM_EMIT("sub $4, %[count]")
134 __ASM_EMIT("add $0x10, %[off]")
135 __ASM_EMIT("10:")
136 /* block x1 */
137 __ASM_EMIT("add $3, %[count]")
138 __ASM_EMIT("jl 12f")
139 __ASM_EMIT("11:")
140 __ASM_EMIT("vaddss 0x00(%[v], %[off]), %%xmm1, %%xmm2")
141 __ASM_EMIT("vmulss %%xmm0, %%xmm2, %%xmm2")
142 __ASM_EMIT("vaddss 0x00(%[x], %[off]), %%xmm2, %%xmm2")
143 __ASM_EMIT("vmovss %%xmm2, 0x00(%[x], %[off])")
144 __ASM_EMIT("add $4, %[off]")
145 __ASM_EMIT("dec %[count]")
146 __ASM_EMIT("jge 11b")
147 __ASM_EMIT("12:")
148
149 : [count] "+r" (count), [off] "=&r" (off)
150 : [x] "r" (x), [v] "r" (v),
151 [norm] "m" (norm),
152 [zero] "m" (zero)
153 : "cc", "memory",
154 "%xmm1", "%xmm2", "%xmm3",
155 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
156 );
157 }
158
159 void axis_apply_lin1_fma3(float *x, const float *v, float zero, float norm, size_t count)
160 {
161 IF_ARCH_X86(
162 size_t off;
163 );
164
165 ARCH_X86_ASM
166 (
167 __ASM_EMIT("vbroadcastss %[norm], %%ymm0")
168 __ASM_EMIT("vbroadcastss %[zero], %%ymm1")
169 __ASM_EMIT("xor %[off], %[off]")
170 /* blocks x48 */
171 __ASM_EMIT("sub $48, %[count]")
172 __ASM_EMIT("jb 2f")
173 __ASM_EMIT("1:")
174 __ASM_EMIT("vaddps 0x00(%[v], %[off]), %%ymm1, %%ymm2")
175 __ASM_EMIT("vaddps 0x20(%[v], %[off]), %%ymm1, %%ymm3")
176 __ASM_EMIT("vaddps 0x40(%[v], %[off]), %%ymm1, %%ymm4")
177 __ASM_EMIT("vaddps 0x60(%[v], %[off]), %%ymm1, %%ymm5")
178 __ASM_EMIT("vaddps 0x80(%[v], %[off]), %%ymm1, %%ymm6")
179 __ASM_EMIT("vaddps 0xa0(%[v], %[off]), %%ymm1, %%ymm7")
180 __ASM_EMIT("vfmadd213ps 0x00(%[x], %[off]), %%ymm0, %%ymm2")
181 __ASM_EMIT("vfmadd213ps 0x20(%[x], %[off]), %%ymm0, %%ymm3")
182 __ASM_EMIT("vfmadd213ps 0x40(%[x], %[off]), %%ymm0, %%ymm4")
183 __ASM_EMIT("vfmadd213ps 0x60(%[x], %[off]), %%ymm0, %%ymm5")
184 __ASM_EMIT("vfmadd213ps 0x80(%[x], %[off]), %%ymm0, %%ymm6")
185 __ASM_EMIT("vfmadd213ps 0xa0(%[x], %[off]), %%ymm0, %%ymm7")
186 __ASM_EMIT("vmovups %%ymm2, 0x00(%[x], %[off])")
187 __ASM_EMIT("vmovups %%ymm3, 0x20(%[x], %[off])")
188 __ASM_EMIT("vmovups %%ymm4, 0x40(%[x], %[off])")
189 __ASM_EMIT("vmovups %%ymm5, 0x60(%[x], %[off])")
190 __ASM_EMIT("vmovups %%ymm6, 0x80(%[x], %[off])")
191 __ASM_EMIT("vmovups %%ymm7, 0xa0(%[x], %[off])")
192 __ASM_EMIT("add $0xc0, %[off]")
193 __ASM_EMIT("sub $48, %[count]")
194 __ASM_EMIT("jae 1b")
195 __ASM_EMIT("2:")
196 /* block x32 */
197 __ASM_EMIT("add $16, %[count]")
198 __ASM_EMIT("jl 4f")
199 __ASM_EMIT("vaddps 0x00(%[v], %[off]), %%ymm1, %%ymm2")
200 __ASM_EMIT("vaddps 0x20(%[v], %[off]), %%ymm1, %%ymm3")
201 __ASM_EMIT("vaddps 0x40(%[v], %[off]), %%ymm1, %%ymm4")
202 __ASM_EMIT("vaddps 0x60(%[v], %[off]), %%ymm1, %%ymm5")
203 __ASM_EMIT("vfmadd213ps 0x00(%[x], %[off]), %%ymm0, %%ymm2")
204 __ASM_EMIT("vfmadd213ps 0x20(%[x], %[off]), %%ymm0, %%ymm3")
205 __ASM_EMIT("vfmadd213ps 0x40(%[x], %[off]), %%ymm0, %%ymm4")
206 __ASM_EMIT("vfmadd213ps 0x60(%[x], %[off]), %%ymm0, %%ymm5")
207 __ASM_EMIT("vmovups %%ymm2, 0x00(%[x], %[off])")
208 __ASM_EMIT("vmovups %%ymm3, 0x20(%[x], %[off])")
209 __ASM_EMIT("vmovups %%ymm4, 0x40(%[x], %[off])")
210 __ASM_EMIT("vmovups %%ymm5, 0x60(%[x], %[off])")
211 __ASM_EMIT("sub $32, %[count]")
212 __ASM_EMIT("add $0x80, %[off]")
213 __ASM_EMIT("4:")
214 /* block x16 */
215 __ASM_EMIT("add $16, %[count]")
216 __ASM_EMIT("jl 6f")
217 __ASM_EMIT("vaddps 0x00(%[v], %[off]), %%ymm1, %%ymm2")
218 __ASM_EMIT("vaddps 0x20(%[v], %[off]), %%ymm1, %%ymm3")
219 __ASM_EMIT("vfmadd213ps 0x00(%[x], %[off]), %%ymm0, %%ymm2")
220 __ASM_EMIT("vfmadd213ps 0x20(%[x], %[off]), %%ymm0, %%ymm3")
221 __ASM_EMIT("vmovups %%ymm2, 0x00(%[x], %[off])")
222 __ASM_EMIT("vmovups %%ymm3, 0x20(%[x], %[off])")
223 __ASM_EMIT("sub $16, %[count]")
224 __ASM_EMIT("add $0x40, %[off]")
225 __ASM_EMIT("6:")
226 /* block x8 */
227 __ASM_EMIT("add $8, %[count]")
228 __ASM_EMIT("jl 8f")
229 __ASM_EMIT("vaddps 0x00(%[v], %[off]), %%xmm1, %%xmm2")
230 __ASM_EMIT("vaddps 0x10(%[v], %[off]), %%xmm1, %%xmm3")
231 __ASM_EMIT("vfmadd213ps 0x00(%[x], %[off]), %%xmm0, %%xmm2")
232 __ASM_EMIT("vfmadd213ps 0x10(%[x], %[off]), %%xmm0, %%xmm3")
233 __ASM_EMIT("vmovups %%xmm2, 0x00(%[x], %[off])")
234 __ASM_EMIT("vmovups %%xmm3, 0x10(%[x], %[off])")
235 __ASM_EMIT("sub $8, %[count]")
236 __ASM_EMIT("add $0x20, %[off]")
237 __ASM_EMIT("8:")
238 /* block x4 */
239 __ASM_EMIT("add $4, %[count]")
240 __ASM_EMIT("jl 10f")
241 __ASM_EMIT("vaddps 0x00(%[v], %[off]), %%xmm1, %%xmm2")
242 __ASM_EMIT("vfmadd213ps 0x00(%[x], %[off]), %%xmm0, %%xmm2")
243 __ASM_EMIT("vmovups %%xmm2, 0x00(%[x], %[off])")
244 __ASM_EMIT("sub $4, %[count]")
245 __ASM_EMIT("add $0x10, %[off]")
246 __ASM_EMIT("10:")
247 /* block x1 */
248 __ASM_EMIT("add $3, %[count]")
249 __ASM_EMIT("jl 12f")
250 __ASM_EMIT("11:")
251 __ASM_EMIT("vaddss 0x00(%[v], %[off]), %%xmm1, %%xmm2")
252 __ASM_EMIT("vfmadd213ss 0x00(%[x], %[off]), %%xmm0, %%xmm2")
253 __ASM_EMIT("vmovss %%xmm2, 0x00(%[x], %[off])")
254 __ASM_EMIT("add $4, %[off]")
255 __ASM_EMIT("dec %[count]")
256 __ASM_EMIT("jge 11b")
257 __ASM_EMIT("12:")
258
259 : [count] "+r" (count), [off] "=&r" (off)
260 : [x] "r" (x), [v] "r" (v),
261 [norm] "m" (norm),
262 [zero] "m" (zero)
263 : "cc", "memory",
264 "%xmm1", "%xmm2", "%xmm3",
265 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
266 );
267 }
268
269 } /* namespace avx */
270 } /* namespace lsp */
271
272
273
274
275 #endif /* INCLUDE_PRIVATE_DSP_ARCH_X86_AVX_GRAPHICS_AXIS_H_ */