Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx/mix.h

raw
1 /*
2 * Copyright (C) 2024 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2024 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX_MIX_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX_MIX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX_IMPL */
28
29 namespace lsp
30 {
31 namespace avx
32 {
33 void mix2(float *a, const float *b, float k1, float k2, size_t count)
34 {
35 IF_ARCH_X86(size_t off);
36 ARCH_X86_ASM
37 (
38 __ASM_EMIT("vbroadcastss %[k1], %%ymm6")
39 __ASM_EMIT("vbroadcastss %[k2], %%ymm7")
40 __ASM_EMIT("xor %[off], %[off]")
41 // 16x blocks
42 __ASM_EMIT("sub $16, %[count]")
43 __ASM_EMIT("jb 2f")
44 __ASM_EMIT("1:")
45 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%ymm6, %%ymm0")
46 __ASM_EMIT("vmulps 0x20(%[a],%[off]), %%ymm6, %%ymm1")
47 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%ymm7, %%ymm2")
48 __ASM_EMIT("vmulps 0x20(%[b],%[off]), %%ymm7, %%ymm3")
49 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
50 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
51 __ASM_EMIT("vmovups %%ymm0, 0x00(%[a],%[off])")
52 __ASM_EMIT("vmovups %%ymm1, 0x20(%[a],%[off])")
53 __ASM_EMIT("add $0x40, %[off]")
54 __ASM_EMIT("sub $16, %[count]")
55 __ASM_EMIT("jae 1b")
56 // 8x block
57 __ASM_EMIT("2:")
58 __ASM_EMIT("add $8, %[count]")
59 __ASM_EMIT("jl 4f")
60 __ASM_EMIT("1:")
61 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%ymm6, %%ymm0")
62 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%ymm7, %%ymm2")
63 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
64 __ASM_EMIT("vmovups %%ymm0, 0x00(%[a],%[off])")
65 __ASM_EMIT("add $0x20, %[off]")
66 __ASM_EMIT("sub $8, %[count]")
67 // 4x block
68 __ASM_EMIT("4:")
69 __ASM_EMIT("add $4, %[count]")
70 __ASM_EMIT("jl 6f")
71 __ASM_EMIT("1:")
72 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%xmm6, %%xmm0")
73 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%xmm7, %%xmm2")
74 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
75 __ASM_EMIT("vmovups %%xmm0, 0x00(%[a],%[off])")
76 __ASM_EMIT("add $0x10, %[off]")
77 __ASM_EMIT("sub $4, %[count]")
78 // 1x blocks
79 __ASM_EMIT("6:")
80 __ASM_EMIT("add $3, %[count]")
81 __ASM_EMIT("jl 8f")
82 __ASM_EMIT("7:")
83 __ASM_EMIT("vmulss 0x00(%[a],%[off]), %%xmm6, %%xmm0")
84 __ASM_EMIT("vmulss 0x00(%[b],%[off]), %%xmm7, %%xmm2")
85 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
86 __ASM_EMIT("vmovss %%xmm0, 0x00(%[a],%[off])")
87 __ASM_EMIT("add $0x04, %[off]")
88 __ASM_EMIT("dec %[count]")
89 __ASM_EMIT("jge 7b")
90 // End
91 __ASM_EMIT("8:")
92 : [count] "+r" (count),
93 [off] "=&r" (off)
94 : [a] "r" (a), [b] "r" (b),
95 [k1] "m" (k1), [k2] "m" (k2)
96 : "cc", "memory",
97 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
98 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
99 );
100 }
101
102 void mix_copy2(float *dst, const float *a, const float *b, float k1, float k2, size_t count)
103 {
104 IF_ARCH_X86(size_t off);
105 ARCH_X86_ASM
106 (
107 __ASM_EMIT("vbroadcastss %[k1], %%ymm6")
108 __ASM_EMIT("vbroadcastss %[k2], %%ymm7")
109 __ASM_EMIT("xor %[off], %[off]")
110 // 16x blocks
111 __ASM_EMIT("sub $16, %[count]")
112 __ASM_EMIT("jb 2f")
113 __ASM_EMIT("1:")
114 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%ymm6, %%ymm0")
115 __ASM_EMIT("vmulps 0x20(%[a],%[off]), %%ymm6, %%ymm1")
116 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%ymm7, %%ymm2")
117 __ASM_EMIT("vmulps 0x20(%[b],%[off]), %%ymm7, %%ymm3")
118 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
119 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
120 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
121 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
122 __ASM_EMIT("add $0x40, %[off]")
123 __ASM_EMIT("sub $16, %[count]")
124 __ASM_EMIT("jae 1b")
125 // 8x block
126 __ASM_EMIT("2:")
127 __ASM_EMIT("add $8, %[count]")
128 __ASM_EMIT("jl 4f")
129 __ASM_EMIT("1:")
130 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%ymm6, %%ymm0")
131 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%ymm7, %%ymm2")
132 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
133 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
134 __ASM_EMIT("add $0x20, %[off]")
135 __ASM_EMIT("sub $8, %[count]")
136 // 4x block
137 __ASM_EMIT("4:")
138 __ASM_EMIT("add $4, %[count]")
139 __ASM_EMIT("jl 6f")
140 __ASM_EMIT("1:")
141 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%xmm6, %%xmm0")
142 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%xmm7, %%xmm2")
143 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
144 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst],%[off])")
145 __ASM_EMIT("add $0x10, %[off]")
146 __ASM_EMIT("sub $4, %[count]")
147 // 1x blocks
148 __ASM_EMIT("6:")
149 __ASM_EMIT("add $3, %[count]")
150 __ASM_EMIT("jl 8f")
151 __ASM_EMIT("7:")
152 __ASM_EMIT("vmulss 0x00(%[a],%[off]), %%xmm6, %%xmm0")
153 __ASM_EMIT("vmulss 0x00(%[b],%[off]), %%xmm7, %%xmm2")
154 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
155 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
156 __ASM_EMIT("add $0x04, %[off]")
157 __ASM_EMIT("dec %[count]")
158 __ASM_EMIT("jge 7b")
159 // End
160 __ASM_EMIT("8:")
161 : [count] "+r" (count),
162 [off] "=&r" (off)
163 : [dst] "r" (dst), [a] "r" (a), [b] "r" (b),
164 [k1] "m" (k1), [k2] "m" (k2)
165 : "cc", "memory",
166 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
167 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
168 );
169 }
170
171 void mix_add2(float *dst, const float *a, const float *b, float k1, float k2, size_t count)
172 {
173 IF_ARCH_X86(size_t off);
174 ARCH_X86_ASM
175 (
176 __ASM_EMIT("vbroadcastss %[k1], %%ymm6")
177 __ASM_EMIT("vbroadcastss %[k2], %%ymm7")
178 __ASM_EMIT("xor %[off], %[off]")
179 // 16x blocks
180 __ASM_EMIT("sub $16, %[count]")
181 __ASM_EMIT("jb 2f")
182 __ASM_EMIT("1:")
183 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%ymm6, %%ymm0")
184 __ASM_EMIT("vmulps 0x20(%[a],%[off]), %%ymm6, %%ymm1")
185 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%ymm7, %%ymm2")
186 __ASM_EMIT("vmulps 0x20(%[b],%[off]), %%ymm7, %%ymm3")
187 __ASM_EMIT("vaddps 0x00(%[dst],%[off]), %%ymm0, %%ymm0")
188 __ASM_EMIT("vaddps 0x20(%[dst],%[off]), %%ymm1, %%ymm1")
189 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
190 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
191 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
192 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
193 __ASM_EMIT("add $0x40, %[off]")
194 __ASM_EMIT("sub $16, %[count]")
195 __ASM_EMIT("jae 1b")
196 // 8x block
197 __ASM_EMIT("2:")
198 __ASM_EMIT("add $8, %[count]")
199 __ASM_EMIT("jl 4f")
200 __ASM_EMIT("1:")
201 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%ymm6, %%ymm0")
202 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%ymm7, %%ymm2")
203 __ASM_EMIT("vaddps 0x00(%[dst],%[off]), %%ymm0, %%ymm0")
204 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
205 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
206 __ASM_EMIT("add $0x20, %[off]")
207 __ASM_EMIT("sub $8, %[count]")
208 // 4x block
209 __ASM_EMIT("4:")
210 __ASM_EMIT("add $4, %[count]")
211 __ASM_EMIT("jl 6f")
212 __ASM_EMIT("1:")
213 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%xmm6, %%xmm0")
214 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%xmm7, %%xmm2")
215 __ASM_EMIT("vaddps 0x00(%[dst],%[off]), %%xmm0, %%xmm0")
216 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
217 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst],%[off])")
218 __ASM_EMIT("add $0x10, %[off]")
219 __ASM_EMIT("sub $4, %[count]")
220 // 1x blocks
221 __ASM_EMIT("6:")
222 __ASM_EMIT("add $3, %[count]")
223 __ASM_EMIT("jl 8f")
224 __ASM_EMIT("7:")
225 __ASM_EMIT("vmulss 0x00(%[a],%[off]), %%xmm6, %%xmm0")
226 __ASM_EMIT("vmulss 0x00(%[b],%[off]), %%xmm7, %%xmm2")
227 __ASM_EMIT("vaddss 0x00(%[dst],%[off]), %%xmm0, %%xmm0")
228 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
229 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
230 __ASM_EMIT("add $0x04, %[off]")
231 __ASM_EMIT("dec %[count]")
232 __ASM_EMIT("jge 7b")
233 // End
234 __ASM_EMIT("8:")
235 : [count] "+r" (count),
236 [off] "=&r" (off)
237 : [dst] "r" (dst), [a] "r" (a), [b] "r" (b),
238 [k1] "m" (k1), [k2] "m" (k2)
239 : "cc", "memory",
240 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
241 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
242 );
243 }
244
245 void mix3(float *a, const float *b, const float *c,
246 float k1, float k2, float k3, size_t count)
247 {
248 IF_ARCH_X86(size_t off);
249 ARCH_X86_ASM
250 (
251 __ASM_EMIT("vbroadcastss %[k1], %%ymm5")
252 __ASM_EMIT("vbroadcastss %[k2], %%ymm6")
253 __ASM_EMIT("vbroadcastss %[k3], %%ymm7")
254 __ASM_EMIT("xor %[off], %[off]")
255 // 16x blocks
256 __ASM_EMIT("sub $16, %[count]")
257 __ASM_EMIT("jb 2f")
258 __ASM_EMIT("1:")
259 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%ymm5, %%ymm0")
260 __ASM_EMIT("vmulps 0x20(%[a],%[off]), %%ymm5, %%ymm1")
261 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%ymm6, %%ymm2")
262 __ASM_EMIT("vmulps 0x20(%[b],%[off]), %%ymm6, %%ymm3")
263 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
264 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
265 __ASM_EMIT("vmulps 0x00(%[c],%[off]), %%ymm7, %%ymm2")
266 __ASM_EMIT("vmulps 0x20(%[c],%[off]), %%ymm7, %%ymm3")
267 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
268 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
269 __ASM_EMIT("vmovups %%ymm0, 0x00(%[a],%[off])")
270 __ASM_EMIT("vmovups %%ymm1, 0x20(%[a],%[off])")
271 __ASM_EMIT("add $0x40, %[off]")
272 __ASM_EMIT("sub $16, %[count]")
273 __ASM_EMIT("jae 1b")
274 // 8x block
275 __ASM_EMIT("2:")
276 __ASM_EMIT("add $8, %[count]")
277 __ASM_EMIT("jl 4f")
278 __ASM_EMIT("1:")
279 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%ymm5, %%ymm0")
280 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%ymm6, %%ymm2")
281 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
282 __ASM_EMIT("vmulps 0x00(%[c],%[off]), %%ymm7, %%ymm2")
283 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
284 __ASM_EMIT("vmovups %%ymm0, 0x00(%[a],%[off])")
285 __ASM_EMIT("add $0x20, %[off]")
286 __ASM_EMIT("sub $8, %[count]")
287 // 4x block
288 __ASM_EMIT("4:")
289 __ASM_EMIT("add $4, %[count]")
290 __ASM_EMIT("jl 6f")
291 __ASM_EMIT("1:")
292 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%xmm5, %%xmm0")
293 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%xmm6, %%xmm2")
294 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
295 __ASM_EMIT("vmulps 0x00(%[c],%[off]), %%xmm7, %%xmm2")
296 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
297 __ASM_EMIT("vmovups %%xmm0, 0x00(%[a],%[off])")
298 __ASM_EMIT("add $0x10, %[off]")
299 __ASM_EMIT("sub $4, %[count]")
300 // 1x blocks
301 __ASM_EMIT("6:")
302 __ASM_EMIT("add $3, %[count]")
303 __ASM_EMIT("jl 8f")
304 __ASM_EMIT("7:")
305 __ASM_EMIT("vmulss 0x00(%[a],%[off]), %%xmm5, %%xmm0")
306 __ASM_EMIT("vmulss 0x00(%[b],%[off]), %%xmm6, %%xmm2")
307 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
308 __ASM_EMIT("vmulss 0x00(%[c],%[off]), %%xmm7, %%xmm2")
309 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
310 __ASM_EMIT("vmovss %%xmm0, 0x00(%[a],%[off])")
311 __ASM_EMIT("add $0x04, %[off]")
312 __ASM_EMIT("dec %[count]")
313 __ASM_EMIT("jge 7b")
314 // End
315 __ASM_EMIT("8:")
316 : [count] "+r" (count),
317 [off] "=&r" (off)
318 : [a] "r" (a), [b] "r" (b), [c] "r" (c),
319 [k1] "m" (k1), [k2] "m" (k2), [k3] "m" (k3)
320 : "cc", "memory",
321 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
322 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
323 );
324 }
325
326 void mix_copy3(float *dst, const float *a, const float *b, const float *c,
327 float k1, float k2, float k3, size_t count)
328 {
329 IF_ARCH_X86(size_t off);
330 ARCH_X86_ASM
331 (
332 __ASM_EMIT("vbroadcastss %[k1], %%ymm5")
333 __ASM_EMIT("vbroadcastss %[k2], %%ymm6")
334 __ASM_EMIT("vbroadcastss %[k3], %%ymm7")
335 __ASM_EMIT("xor %[off], %[off]")
336 // 16x blocks
337 __ASM_EMIT("sub $16, %[count]")
338 __ASM_EMIT("jb 2f")
339 __ASM_EMIT("1:")
340 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%ymm5, %%ymm0")
341 __ASM_EMIT("vmulps 0x20(%[a],%[off]), %%ymm5, %%ymm1")
342 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%ymm6, %%ymm2")
343 __ASM_EMIT("vmulps 0x20(%[b],%[off]), %%ymm6, %%ymm3")
344 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
345 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
346 __ASM_EMIT("vmulps 0x00(%[c],%[off]), %%ymm7, %%ymm2")
347 __ASM_EMIT("vmulps 0x20(%[c],%[off]), %%ymm7, %%ymm3")
348 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
349 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
350 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
351 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
352 __ASM_EMIT("add $0x40, %[off]")
353 __ASM_EMIT("sub $16, %[count]")
354 __ASM_EMIT("jae 1b")
355 // 8x block
356 __ASM_EMIT("2:")
357 __ASM_EMIT("add $8, %[count]")
358 __ASM_EMIT("jl 4f")
359 __ASM_EMIT("1:")
360 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%ymm5, %%ymm0")
361 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%ymm6, %%ymm2")
362 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
363 __ASM_EMIT("vmulps 0x00(%[c],%[off]), %%ymm7, %%ymm2")
364 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
365 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
366 __ASM_EMIT("add $0x20, %[off]")
367 __ASM_EMIT("sub $8, %[count]")
368 // 4x block
369 __ASM_EMIT("4:")
370 __ASM_EMIT("add $4, %[count]")
371 __ASM_EMIT("jl 6f")
372 __ASM_EMIT("1:")
373 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%xmm5, %%xmm0")
374 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%xmm6, %%xmm2")
375 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
376 __ASM_EMIT("vmulps 0x00(%[c],%[off]), %%xmm7, %%xmm2")
377 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
378 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst],%[off])")
379 __ASM_EMIT("add $0x10, %[off]")
380 __ASM_EMIT("sub $4, %[count]")
381 // 1x blocks
382 __ASM_EMIT("6:")
383 __ASM_EMIT("add $3, %[count]")
384 __ASM_EMIT("jl 8f")
385 __ASM_EMIT("7:")
386 __ASM_EMIT("vmulss 0x00(%[a],%[off]), %%xmm5, %%xmm0")
387 __ASM_EMIT("vmulss 0x00(%[b],%[off]), %%xmm6, %%xmm2")
388 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
389 __ASM_EMIT("vmulss 0x00(%[c],%[off]), %%xmm7, %%xmm2")
390 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
391 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
392 __ASM_EMIT("add $0x04, %[off]")
393 __ASM_EMIT("dec %[count]")
394 __ASM_EMIT("jge 7b")
395 // End
396 __ASM_EMIT("8:")
397 : [count] "+r" (count),
398 [off] "=&r" (off)
399 : [dst] "r" (dst), [a] "r" (a), [b] "r" (b), [c] "r" (c),
400 [k1] "m" (k1), [k2] "m" (k2), [k3] "m" (k3)
401 : "cc", "memory",
402 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
403 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
404 );
405 }
406
407 void mix_add3(float *dst, const float *a, const float *b, const float *c,
408 float k1, float k2, float k3, size_t count)
409 {
410 IF_ARCH_X86(size_t off);
411 ARCH_X86_ASM
412 (
413 __ASM_EMIT("vbroadcastss %[k1], %%ymm5")
414 __ASM_EMIT("vbroadcastss %[k2], %%ymm6")
415 __ASM_EMIT("vbroadcastss %[k3], %%ymm7")
416 __ASM_EMIT("xor %[off], %[off]")
417 // 16x blocks
418 __ASM_EMIT("sub $16, %[count]")
419 __ASM_EMIT("jb 2f")
420 __ASM_EMIT("1:")
421 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%ymm5, %%ymm0")
422 __ASM_EMIT("vmulps 0x20(%[a],%[off]), %%ymm5, %%ymm1")
423 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%ymm6, %%ymm2")
424 __ASM_EMIT("vmulps 0x20(%[b],%[off]), %%ymm6, %%ymm3")
425 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
426 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
427 __ASM_EMIT("vmulps 0x00(%[c],%[off]), %%ymm7, %%ymm2")
428 __ASM_EMIT("vmulps 0x20(%[c],%[off]), %%ymm7, %%ymm3")
429 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
430 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
431 __ASM_EMIT("vaddps 0x00(%[dst],%[off]), %%ymm0, %%ymm0")
432 __ASM_EMIT("vaddps 0x20(%[dst],%[off]), %%ymm1, %%ymm1")
433 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
434 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
435 __ASM_EMIT("add $0x40, %[off]")
436 __ASM_EMIT("sub $16, %[count]")
437 __ASM_EMIT("jae 1b")
438 // 8x block
439 __ASM_EMIT("2:")
440 __ASM_EMIT("add $8, %[count]")
441 __ASM_EMIT("jl 4f")
442 __ASM_EMIT("1:")
443 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%ymm5, %%ymm0")
444 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%ymm6, %%ymm2")
445 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
446 __ASM_EMIT("vmulps 0x00(%[c],%[off]), %%ymm7, %%ymm2")
447 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
448 __ASM_EMIT("vaddps 0x00(%[dst],%[off]), %%ymm0, %%ymm0")
449 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
450 __ASM_EMIT("add $0x20, %[off]")
451 __ASM_EMIT("sub $8, %[count]")
452 // 4x block
453 __ASM_EMIT("4:")
454 __ASM_EMIT("add $4, %[count]")
455 __ASM_EMIT("jl 6f")
456 __ASM_EMIT("1:")
457 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%xmm5, %%xmm0")
458 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%xmm6, %%xmm2")
459 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
460 __ASM_EMIT("vmulps 0x00(%[c],%[off]), %%xmm7, %%xmm2")
461 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
462 __ASM_EMIT("vaddps 0x00(%[dst],%[off]), %%xmm0, %%xmm0")
463 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst],%[off])")
464 __ASM_EMIT("add $0x10, %[off]")
465 __ASM_EMIT("sub $4, %[count]")
466 // 1x blocks
467 __ASM_EMIT("6:")
468 __ASM_EMIT("add $3, %[count]")
469 __ASM_EMIT("jl 8f")
470 __ASM_EMIT("7:")
471 __ASM_EMIT("vmulss 0x00(%[a],%[off]), %%xmm5, %%xmm0")
472 __ASM_EMIT("vmulss 0x00(%[b],%[off]), %%xmm6, %%xmm2")
473 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
474 __ASM_EMIT("vmulss 0x00(%[c],%[off]), %%xmm7, %%xmm2")
475 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
476 __ASM_EMIT("vaddss 0x00(%[dst],%[off]), %%xmm0, %%xmm0")
477 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
478 __ASM_EMIT("add $0x04, %[off]")
479 __ASM_EMIT("dec %[count]")
480 __ASM_EMIT("jge 7b")
481 // End
482 __ASM_EMIT("8:")
483 : [count] "+r" (count),
484 [off] "=&r" (off)
485 : [dst] "r" (dst), [a] "r" (a), [b] "r" (b), [c] "r" (c),
486 [k1] "m" (k1), [k2] "m" (k2), [k3] "m" (k3)
487 : "cc", "memory",
488 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
489 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
490 );
491 }
492
493 void mix4(float *a, const float *b, const float *c, const float *d,
494 float k1, float k2, float k3, float k4, size_t count)
495 {
496 IF_ARCH_X86(size_t off);
497 ARCH_X86_ASM
498 (
499 __ASM_EMIT("vbroadcastss %[k1], %%ymm4")
500 __ASM_EMIT("vbroadcastss %[k2], %%ymm5")
501 __ASM_EMIT("vbroadcastss %[k3], %%ymm6")
502 __ASM_EMIT("vbroadcastss %[k4], %%ymm7")
503 __ASM_EMIT("xor %[off], %[off]")
504 // 16x blocks
505 __ASM_EMIT("sub $16, %[count]")
506 __ASM_EMIT("jb 2f")
507 __ASM_EMIT("1:")
508 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%ymm4, %%ymm0")
509 __ASM_EMIT("vmulps 0x20(%[a],%[off]), %%ymm4, %%ymm1")
510 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%ymm5, %%ymm2")
511 __ASM_EMIT("vmulps 0x20(%[b],%[off]), %%ymm5, %%ymm3")
512 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
513 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
514 __ASM_EMIT("vmulps 0x00(%[c],%[off]), %%ymm6, %%ymm2")
515 __ASM_EMIT("vmulps 0x20(%[c],%[off]), %%ymm6, %%ymm3")
516 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
517 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
518 __ASM_EMIT("vmulps 0x00(%[d],%[off]), %%ymm7, %%ymm2")
519 __ASM_EMIT("vmulps 0x20(%[d],%[off]), %%ymm7, %%ymm3")
520 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
521 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
522 __ASM_EMIT("vmovups %%ymm0, 0x00(%[a],%[off])")
523 __ASM_EMIT("vmovups %%ymm1, 0x20(%[a],%[off])")
524 __ASM_EMIT("add $0x40, %[off]")
525 __ASM_EMIT("sub $16, %[count]")
526 __ASM_EMIT("jae 1b")
527 // 8x block
528 __ASM_EMIT("2:")
529 __ASM_EMIT("add $8, %[count]")
530 __ASM_EMIT("jl 4f")
531 __ASM_EMIT("1:")
532 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%ymm4, %%ymm0")
533 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%ymm5, %%ymm2")
534 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
535 __ASM_EMIT("vmulps 0x00(%[c],%[off]), %%ymm6, %%ymm2")
536 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
537 __ASM_EMIT("vmulps 0x00(%[d],%[off]), %%ymm7, %%ymm2")
538 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
539 __ASM_EMIT("vmovups %%ymm0, 0x00(%[a],%[off])")
540 __ASM_EMIT("add $0x20, %[off]")
541 __ASM_EMIT("sub $8, %[count]")
542 // 4x block
543 __ASM_EMIT("4:")
544 __ASM_EMIT("add $4, %[count]")
545 __ASM_EMIT("jl 6f")
546 __ASM_EMIT("1:")
547 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%xmm4, %%xmm0")
548 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%xmm5, %%xmm2")
549 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
550 __ASM_EMIT("vmulps 0x00(%[c],%[off]), %%xmm6, %%xmm2")
551 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
552 __ASM_EMIT("vmulps 0x00(%[d],%[off]), %%xmm7, %%xmm2")
553 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
554 __ASM_EMIT("vmovups %%xmm0, 0x00(%[a],%[off])")
555 __ASM_EMIT("add $0x10, %[off]")
556 __ASM_EMIT("sub $4, %[count]")
557 // 1x blocks
558 __ASM_EMIT("6:")
559 __ASM_EMIT("add $3, %[count]")
560 __ASM_EMIT("jl 8f")
561 __ASM_EMIT("7:")
562 __ASM_EMIT("vmulss 0x00(%[a],%[off]), %%xmm4, %%xmm0")
563 __ASM_EMIT("vmulss 0x00(%[b],%[off]), %%xmm5, %%xmm2")
564 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
565 __ASM_EMIT("vmulss 0x00(%[c],%[off]), %%xmm6, %%xmm2")
566 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
567 __ASM_EMIT("vmulss 0x00(%[d],%[off]), %%xmm7, %%xmm2")
568 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
569 __ASM_EMIT("vmovss %%xmm0, 0x00(%[a],%[off])")
570 __ASM_EMIT("add $0x04, %[off]")
571 __ASM_EMIT("dec %[count]")
572 __ASM_EMIT("jge 7b")
573 // End
574 __ASM_EMIT("8:")
575 : [count] "+r" (count),
576 [off] "=&r" (off)
577 : [a] "r" (a), [b] "r" (b), [c] "r" (c), [d] "r" (d),
578 [k1] "m" (k1), [k2] "m" (k2), [k3] "m" (k3), [k4] "m" (k4)
579 : "cc", "memory",
580 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
581 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
582 );
583 }
584
585 #if defined(ARCH_I386)
586 void mix_copy4(float *dst, const float *a, const float *b, const float *c, const float *d,
587 float k1, float k2, float k3, float k4, size_t count)
588 {
589 ARCH_X86_ASM
590 (
591 __ASM_EMIT("vbroadcastss %[k1], %%ymm4")
592 __ASM_EMIT("vbroadcastss %[k2], %%ymm5")
593 __ASM_EMIT("vbroadcastss %[k3], %%ymm6")
594 __ASM_EMIT("vbroadcastss %[k4], %%ymm7")
595 // 16x blocks
596 __ASM_EMIT("subl $16, %[count]")
597 __ASM_EMIT("jb 2f")
598 __ASM_EMIT("1:")
599 __ASM_EMIT("vmulps 0x00(%[a]), %%ymm4, %%ymm0")
600 __ASM_EMIT("vmulps 0x20(%[a]), %%ymm4, %%ymm1")
601 __ASM_EMIT("vmulps 0x00(%[b]), %%ymm5, %%ymm2")
602 __ASM_EMIT("vmulps 0x20(%[b]), %%ymm5, %%ymm3")
603 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
604 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
605 __ASM_EMIT("vmulps 0x00(%[c]), %%ymm6, %%ymm2")
606 __ASM_EMIT("vmulps 0x20(%[c]), %%ymm6, %%ymm3")
607 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
608 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
609 __ASM_EMIT("vmulps 0x00(%[d]), %%ymm7, %%ymm2")
610 __ASM_EMIT("vmulps 0x20(%[d]), %%ymm7, %%ymm3")
611 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
612 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
613 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
614 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst])")
615 __ASM_EMIT("add $0x40, %[a]")
616 __ASM_EMIT("add $0x40, %[b]")
617 __ASM_EMIT("add $0x40, %[c]")
618 __ASM_EMIT("add $0x40, %[d]")
619 __ASM_EMIT("add $0x40, %[dst]")
620 __ASM_EMIT("subl $16, %[count]")
621 __ASM_EMIT("jae 1b")
622 // 8x block
623 __ASM_EMIT("2:")
624 __ASM_EMIT("addl $8, %[count]")
625 __ASM_EMIT("jl 4f")
626 __ASM_EMIT("1:")
627 __ASM_EMIT("vmulps 0x00(%[a]), %%ymm4, %%ymm0")
628 __ASM_EMIT("vmulps 0x00(%[b]), %%ymm5, %%ymm2")
629 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
630 __ASM_EMIT("vmulps 0x00(%[c]), %%ymm6, %%ymm2")
631 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
632 __ASM_EMIT("vmulps 0x00(%[d]), %%ymm7, %%ymm2")
633 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
634 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
635 __ASM_EMIT("add $0x20, %[a]")
636 __ASM_EMIT("add $0x20, %[b]")
637 __ASM_EMIT("add $0x20, %[c]")
638 __ASM_EMIT("add $0x20, %[d]")
639 __ASM_EMIT("add $0x20, %[dst]")
640 __ASM_EMIT("subl $8, %[count]")
641 // 4x block
642 __ASM_EMIT("4:")
643 __ASM_EMIT("addl $4, %[count]")
644 __ASM_EMIT("jl 6f")
645 __ASM_EMIT("1:")
646 __ASM_EMIT("vmulps 0x00(%[a]), %%xmm4, %%xmm0")
647 __ASM_EMIT("vmulps 0x00(%[b]), %%xmm5, %%xmm2")
648 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
649 __ASM_EMIT("vmulps 0x00(%[c]), %%xmm6, %%xmm2")
650 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
651 __ASM_EMIT("vmulps 0x00(%[d]), %%xmm7, %%xmm2")
652 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
653 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
654 __ASM_EMIT("add $0x10, %[a]")
655 __ASM_EMIT("add $0x10, %[b]")
656 __ASM_EMIT("add $0x10, %[c]")
657 __ASM_EMIT("add $0x10, %[d]")
658 __ASM_EMIT("add $0x10, %[dst]")
659 __ASM_EMIT("subl $4, %[count]")
660 // 1x blocks
661 __ASM_EMIT("6:")
662 __ASM_EMIT("addl $3, %[count]")
663 __ASM_EMIT("jl 8f")
664 __ASM_EMIT("7:")
665 __ASM_EMIT("vmulss 0x00(%[a]), %%xmm4, %%xmm0")
666 __ASM_EMIT("vmulss 0x00(%[b]), %%xmm5, %%xmm2")
667 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
668 __ASM_EMIT("vmulss 0x00(%[c]), %%xmm6, %%xmm2")
669 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
670 __ASM_EMIT("vmulss 0x00(%[d]), %%xmm7, %%xmm2")
671 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
672 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
673 __ASM_EMIT("add $0x04, %[a]")
674 __ASM_EMIT("add $0x04, %[b]")
675 __ASM_EMIT("add $0x04, %[c]")
676 __ASM_EMIT("add $0x04, %[d]")
677 __ASM_EMIT("add $0x04, %[dst]")
678 __ASM_EMIT("decl %[count]")
679 __ASM_EMIT("jge 7b")
680 // End
681 __ASM_EMIT("8:")
682 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c), [d] "+r" (d),
683 [count] "+r" (count)
684 : [k1] "m" (k1), [k2] "m" (k2), [k3] "m" (k3), [k4] "m" (k4)
685 : "cc", "memory",
686 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
687 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
688 );
689 }
690
691 void mix_add4(float *dst, const float *a, const float *b, const float *c, const float *d,
692 float k1, float k2, float k3, float k4, size_t count)
693 {
694 ARCH_X86_ASM
695 (
696 __ASM_EMIT("vbroadcastss %[k1], %%ymm4")
697 __ASM_EMIT("vbroadcastss %[k2], %%ymm5")
698 __ASM_EMIT("vbroadcastss %[k3], %%ymm6")
699 __ASM_EMIT("vbroadcastss %[k4], %%ymm7")
700 // 16x blocks
701 __ASM_EMIT("subl $16, %[count]")
702 __ASM_EMIT("jb 2f")
703 __ASM_EMIT("1:")
704 __ASM_EMIT("vmulps 0x00(%[a]), %%ymm4, %%ymm0")
705 __ASM_EMIT("vmulps 0x20(%[a]), %%ymm4, %%ymm1")
706 __ASM_EMIT("vmulps 0x00(%[b]), %%ymm5, %%ymm2")
707 __ASM_EMIT("vmulps 0x20(%[b]), %%ymm5, %%ymm3")
708 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
709 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
710 __ASM_EMIT("vmulps 0x00(%[c]), %%ymm6, %%ymm2")
711 __ASM_EMIT("vmulps 0x20(%[c]), %%ymm6, %%ymm3")
712 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
713 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
714 __ASM_EMIT("vmulps 0x00(%[d]), %%ymm7, %%ymm2")
715 __ASM_EMIT("vmulps 0x20(%[d]), %%ymm7, %%ymm3")
716 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
717 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
718 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm0, %%ymm0")
719 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm1, %%ymm1")
720 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
721 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst])")
722 __ASM_EMIT("add $0x40, %[a]")
723 __ASM_EMIT("add $0x40, %[b]")
724 __ASM_EMIT("add $0x40, %[c]")
725 __ASM_EMIT("add $0x40, %[d]")
726 __ASM_EMIT("add $0x40, %[dst]")
727 __ASM_EMIT("subl $16, %[count]")
728 __ASM_EMIT("jae 1b")
729 // 8x block
730 __ASM_EMIT("2:")
731 __ASM_EMIT("addl $8, %[count]")
732 __ASM_EMIT("jl 4f")
733 __ASM_EMIT("1:")
734 __ASM_EMIT("vmulps 0x00(%[a]), %%ymm4, %%ymm0")
735 __ASM_EMIT("vmulps 0x00(%[b]), %%ymm5, %%ymm2")
736 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
737 __ASM_EMIT("vmulps 0x00(%[c]), %%ymm6, %%ymm2")
738 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
739 __ASM_EMIT("vmulps 0x00(%[d]), %%ymm7, %%ymm2")
740 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
741 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm0, %%ymm0")
742 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
743 __ASM_EMIT("add $0x20, %[a]")
744 __ASM_EMIT("add $0x20, %[b]")
745 __ASM_EMIT("add $0x20, %[c]")
746 __ASM_EMIT("add $0x20, %[d]")
747 __ASM_EMIT("add $0x20, %[dst]")
748 __ASM_EMIT("subl $8, %[count]")
749 // 4x block
750 __ASM_EMIT("4:")
751 __ASM_EMIT("addl $4, %[count]")
752 __ASM_EMIT("jl 6f")
753 __ASM_EMIT("1:")
754 __ASM_EMIT("vmulps 0x00(%[a]), %%xmm4, %%xmm0")
755 __ASM_EMIT("vmulps 0x00(%[b]), %%xmm5, %%xmm2")
756 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
757 __ASM_EMIT("vmulps 0x00(%[c]), %%xmm6, %%xmm2")
758 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
759 __ASM_EMIT("vmulps 0x00(%[d]), %%xmm7, %%xmm2")
760 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
761 __ASM_EMIT("vaddps 0x00(%[dst]), %%xmm0, %%xmm0")
762 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
763 __ASM_EMIT("add $0x10, %[a]")
764 __ASM_EMIT("add $0x10, %[b]")
765 __ASM_EMIT("add $0x10, %[c]")
766 __ASM_EMIT("add $0x10, %[d]")
767 __ASM_EMIT("add $0x10, %[dst]")
768 __ASM_EMIT("subl $4, %[count]")
769 // 1x blocks
770 __ASM_EMIT("6:")
771 __ASM_EMIT("addl $3, %[count]")
772 __ASM_EMIT("jl 8f")
773 __ASM_EMIT("7:")
774 __ASM_EMIT("vmulss 0x00(%[a]), %%xmm4, %%xmm0")
775 __ASM_EMIT("vmulss 0x00(%[b]), %%xmm5, %%xmm2")
776 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
777 __ASM_EMIT("vmulss 0x00(%[c]), %%xmm6, %%xmm2")
778 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
779 __ASM_EMIT("vmulss 0x00(%[d]), %%xmm7, %%xmm2")
780 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
781 __ASM_EMIT("vaddss 0x00(%[dst]), %%xmm0, %%xmm0")
782 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
783 __ASM_EMIT("add $0x04, %[a]")
784 __ASM_EMIT("add $0x04, %[b]")
785 __ASM_EMIT("add $0x04, %[c]")
786 __ASM_EMIT("add $0x04, %[d]")
787 __ASM_EMIT("add $0x04, %[dst]")
788 __ASM_EMIT("decl %[count]")
789 __ASM_EMIT("jge 7b")
790 // End
791 __ASM_EMIT("8:")
792 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c), [d] "+r" (d),
793 [count] "+r" (count)
794 : [k1] "m" (k1), [k2] "m" (k2), [k3] "m" (k3), [k4] "m" (k4)
795 : "cc", "memory",
796 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
797 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
798 );
799 }
800 #else
801 void mix_copy4(float *dst, const float *a, const float *b, const float *c, const float *d,
802 float k1, float k2, float k3, float k4, size_t count)
803 {
804 IF_ARCH_X86(size_t off);
805 ARCH_X86_ASM
806 (
807 __ASM_EMIT("vbroadcastss %[k1], %%ymm4")
808 __ASM_EMIT("vbroadcastss %[k2], %%ymm5")
809 __ASM_EMIT("vbroadcastss %[k3], %%ymm6")
810 __ASM_EMIT("vbroadcastss %[k4], %%ymm7")
811 __ASM_EMIT("xor %[off], %[off]")
812 // 16x blocks
813 __ASM_EMIT("sub $16, %[count]")
814 __ASM_EMIT("jb 2f")
815 __ASM_EMIT("1:")
816 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%ymm4, %%ymm0")
817 __ASM_EMIT("vmulps 0x20(%[a],%[off]), %%ymm4, %%ymm1")
818 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%ymm5, %%ymm2")
819 __ASM_EMIT("vmulps 0x20(%[b],%[off]), %%ymm5, %%ymm3")
820 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
821 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
822 __ASM_EMIT("vmulps 0x00(%[c],%[off]), %%ymm6, %%ymm2")
823 __ASM_EMIT("vmulps 0x20(%[c],%[off]), %%ymm6, %%ymm3")
824 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
825 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
826 __ASM_EMIT("vmulps 0x00(%[d],%[off]), %%ymm7, %%ymm2")
827 __ASM_EMIT("vmulps 0x20(%[d],%[off]), %%ymm7, %%ymm3")
828 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
829 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
830 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
831 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
832 __ASM_EMIT("add $0x40, %[off]")
833 __ASM_EMIT("sub $16, %[count]")
834 __ASM_EMIT("jae 1b")
835 // 8x block
836 __ASM_EMIT("2:")
837 __ASM_EMIT("add $8, %[count]")
838 __ASM_EMIT("jl 4f")
839 __ASM_EMIT("1:")
840 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%ymm4, %%ymm0")
841 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%ymm5, %%ymm2")
842 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
843 __ASM_EMIT("vmulps 0x00(%[c],%[off]), %%ymm6, %%ymm2")
844 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
845 __ASM_EMIT("vmulps 0x00(%[d],%[off]), %%ymm7, %%ymm2")
846 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
847 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
848 __ASM_EMIT("add $0x20, %[off]")
849 __ASM_EMIT("sub $8, %[count]")
850 // 4x block
851 __ASM_EMIT("4:")
852 __ASM_EMIT("add $4, %[count]")
853 __ASM_EMIT("jl 6f")
854 __ASM_EMIT("1:")
855 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%xmm4, %%xmm0")
856 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%xmm5, %%xmm2")
857 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
858 __ASM_EMIT("vmulps 0x00(%[c],%[off]), %%xmm6, %%xmm2")
859 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
860 __ASM_EMIT("vmulps 0x00(%[d],%[off]), %%xmm7, %%xmm2")
861 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
862 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst],%[off])")
863 __ASM_EMIT("add $0x10, %[off]")
864 __ASM_EMIT("sub $4, %[count]")
865 // 1x blocks
866 __ASM_EMIT("6:")
867 __ASM_EMIT("add $3, %[count]")
868 __ASM_EMIT("jl 8f")
869 __ASM_EMIT("7:")
870 __ASM_EMIT("vmulss 0x00(%[a],%[off]), %%xmm4, %%xmm0")
871 __ASM_EMIT("vmulss 0x00(%[b],%[off]), %%xmm5, %%xmm2")
872 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
873 __ASM_EMIT("vmulss 0x00(%[c],%[off]), %%xmm6, %%xmm2")
874 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
875 __ASM_EMIT("vmulss 0x00(%[d],%[off]), %%xmm7, %%xmm2")
876 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
877 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
878 __ASM_EMIT("add $0x04, %[off]")
879 __ASM_EMIT("dec %[count]")
880 __ASM_EMIT("jge 7b")
881 // End
882 __ASM_EMIT("8:")
883 : [count] "+r" (count),
884 [off] "=&r" (off)
885 : [dst] "r" (dst), [a] "r" (a), [b] "r" (b), [c] "r" (c), [d] "r" (d),
886 [k1] "m" (k1), [k2] "m" (k2), [k3] "m" (k3), [k4] "m" (k4)
887 : "cc", "memory",
888 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
889 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
890 );
891 }
892
893 void mix_add4(float *dst, const float *a, const float *b, const float *c, const float *d,
894 float k1, float k2, float k3, float k4, size_t count)
895 {
896 IF_ARCH_X86(size_t off);
897 ARCH_X86_ASM
898 (
899 __ASM_EMIT("vbroadcastss %[k1], %%ymm4")
900 __ASM_EMIT("vbroadcastss %[k2], %%ymm5")
901 __ASM_EMIT("vbroadcastss %[k3], %%ymm6")
902 __ASM_EMIT("vbroadcastss %[k4], %%ymm7")
903 __ASM_EMIT("xor %[off], %[off]")
904 // 16x blocks
905 __ASM_EMITNP("sub $16, %[count]")
906 __ASM_EMIT("jb 2f")
907 __ASM_EMIT("1:")
908 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%ymm4, %%ymm0")
909 __ASM_EMIT("vmulps 0x20(%[a],%[off]), %%ymm4, %%ymm1")
910 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%ymm5, %%ymm2")
911 __ASM_EMIT("vmulps 0x20(%[b],%[off]), %%ymm5, %%ymm3")
912 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
913 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
914 __ASM_EMIT("vmulps 0x00(%[c],%[off]), %%ymm6, %%ymm2")
915 __ASM_EMIT("vmulps 0x20(%[c],%[off]), %%ymm6, %%ymm3")
916 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
917 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
918 __ASM_EMIT("vmulps 0x00(%[d],%[off]), %%ymm7, %%ymm2")
919 __ASM_EMIT("vmulps 0x20(%[d],%[off]), %%ymm7, %%ymm3")
920 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
921 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
922 __ASM_EMIT("vaddps 0x00(%[dst],%[off]), %%ymm0, %%ymm0")
923 __ASM_EMIT("vaddps 0x20(%[dst],%[off]), %%ymm1, %%ymm1")
924 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
925 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
926 __ASM_EMIT("add $0x40, %[off]")
927 __ASM_EMIT("sub $16, %[count]")
928 __ASM_EMIT("jae 1b")
929 // 8x block
930 __ASM_EMIT("2:")
931 __ASM_EMIT("add $8, %[count]")
932 __ASM_EMIT("jl 4f")
933 __ASM_EMIT("1:")
934 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%ymm4, %%ymm0")
935 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%ymm5, %%ymm2")
936 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
937 __ASM_EMIT("vmulps 0x00(%[c],%[off]), %%ymm6, %%ymm2")
938 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
939 __ASM_EMIT("vmulps 0x00(%[d],%[off]), %%ymm7, %%ymm2")
940 __ASM_EMIT("vaddps %%ymm2, %%ymm0, %%ymm0")
941 __ASM_EMIT("vaddps 0x00(%[dst],%[off]), %%ymm0, %%ymm0")
942 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
943 __ASM_EMIT("add $0x20, %[off]")
944 __ASM_EMIT("sub $8, %[count]")
945 // 4x block
946 __ASM_EMIT("4:")
947 __ASM_EMIT("add $4, %[count]")
948 __ASM_EMIT("jl 6f")
949 __ASM_EMIT("1:")
950 __ASM_EMIT("vmulps 0x00(%[a],%[off]), %%xmm4, %%xmm0")
951 __ASM_EMIT("vmulps 0x00(%[b],%[off]), %%xmm5, %%xmm2")
952 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
953 __ASM_EMIT("vmulps 0x00(%[c],%[off]), %%xmm6, %%xmm2")
954 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
955 __ASM_EMIT("vmulps 0x00(%[d],%[off]), %%xmm7, %%xmm2")
956 __ASM_EMIT("vaddps %%xmm2, %%xmm0, %%xmm0")
957 __ASM_EMIT("vaddps 0x00(%[dst],%[off]), %%xmm0, %%xmm0")
958 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst],%[off])")
959 __ASM_EMIT("add $0x10, %[off]")
960 __ASM_EMIT("sub $4, %[count]")
961 // 1x blocks
962 __ASM_EMIT("6:")
963 __ASM_EMIT("add $3, %[count]")
964 __ASM_EMIT("jl 8f")
965 __ASM_EMIT("7:")
966 __ASM_EMIT("vmulss 0x00(%[a],%[off]), %%xmm4, %%xmm0")
967 __ASM_EMIT("vmulss 0x00(%[b],%[off]), %%xmm5, %%xmm2")
968 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
969 __ASM_EMIT("vmulss 0x00(%[c],%[off]), %%xmm6, %%xmm2")
970 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
971 __ASM_EMIT("vmulss 0x00(%[d],%[off]), %%xmm7, %%xmm2")
972 __ASM_EMIT("vaddss %%xmm2, %%xmm0, %%xmm0")
973 __ASM_EMIT("vaddss 0x00(%[dst],%[off]), %%xmm0, %%xmm0")
974 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
975 __ASM_EMIT("add $0x04, %[off]")
976 __ASM_EMIT("dec %[count]")
977 __ASM_EMIT("jge 7b")
978 // End
979 __ASM_EMIT("8:")
980 : [count] "+r" (count),
981 [off] "=&r" (off)
982 : [dst] "r" (dst), [a] "r" (a), [b] "r" (b), [c] "r" (c), [d] "r" (d),
983 [k1] "m" (k1), [k2] "m" (k2), [k3] "m" (k3), [k4] "m" (k4)
984 : "cc", "memory",
985 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
986 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
987 );
988 }
989 #endif
990 } /* namespace avx */
991 } /* namespace lsp */
992
993 #endif /* PRIVATE_DSP_ARCH_X86_AVX_MIX_H_ */