Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx512/mix.h

raw
1 /*
2 * Copyright (C) 2024 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2024 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 10 дек. 2024 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_MIX_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX512_MIX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_IMPL */
28
29 namespace lsp
30 {
31 namespace avx512
32 {
33 void mix2(float *a, const float *b, float k1, float k2, size_t count)
34 {
35 IF_ARCH_X86(size_t off);
36 ARCH_X86_ASM
37 (
38 // 64x blocks
39 __ASM_EMIT("xor %[off], %[off]")
40 __ASM_EMIT("sub $64, %[count]")
41 __ASM_EMIT("vbroadcastss %[k1], %%zmm6")
42 __ASM_EMIT("vbroadcastss %[k2], %%zmm7")
43 __ASM_EMIT("jb 2f")
44 __ASM_EMIT("1:")
45 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%zmm6, %%zmm0")
46 __ASM_EMIT("vmulps 0x040(%[a],%[off]), %%zmm6, %%zmm1")
47 __ASM_EMIT("vmulps 0x080(%[a],%[off]), %%zmm6, %%zmm2")
48 __ASM_EMIT("vmulps 0x0c0(%[a],%[off]), %%zmm6, %%zmm3")
49 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%zmm7, %%zmm0")
50 __ASM_EMIT("vfmadd231ps 0x040(%[b],%[off]), %%zmm7, %%zmm1")
51 __ASM_EMIT("vfmadd231ps 0x080(%[b],%[off]), %%zmm7, %%zmm2")
52 __ASM_EMIT("vfmadd231ps 0x0c0(%[b],%[off]), %%zmm7, %%zmm3")
53 __ASM_EMIT("vmovups %%zmm0, 0x000(%[a],%[off])")
54 __ASM_EMIT("vmovups %%zmm1, 0x040(%[a],%[off])")
55 __ASM_EMIT("vmovups %%zmm2, 0x080(%[a],%[off])")
56 __ASM_EMIT("vmovups %%zmm3, 0x0c0(%[a],%[off])")
57 __ASM_EMIT("add $0x100, %[off]")
58 __ASM_EMIT("sub $64, %[count]")
59 __ASM_EMIT("jae 1b")
60 // 32x block
61 __ASM_EMIT("2:")
62 __ASM_EMIT("add $32, %[count]")
63 __ASM_EMIT("jl 4f")
64 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%zmm6, %%zmm0")
65 __ASM_EMIT("vmulps 0x040(%[a],%[off]), %%zmm6, %%zmm1")
66 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%zmm7, %%zmm0")
67 __ASM_EMIT("vfmadd231ps 0x040(%[b],%[off]), %%zmm7, %%zmm1")
68 __ASM_EMIT("vmovups %%zmm0, 0x000(%[a],%[off])")
69 __ASM_EMIT("vmovups %%zmm1, 0x040(%[a],%[off])")
70 __ASM_EMIT("sub $32, %[count]")
71 __ASM_EMIT("add $0x80, %[off]")
72 // 16x block
73 __ASM_EMIT("4:")
74 __ASM_EMIT("add $16, %[count]")
75 __ASM_EMIT("jl 6f")
76 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%ymm6, %%ymm0")
77 __ASM_EMIT("vmulps 0x020(%[a],%[off]), %%ymm6, %%ymm1")
78 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%ymm7, %%ymm0")
79 __ASM_EMIT("vfmadd231ps 0x020(%[b],%[off]), %%ymm7, %%ymm1")
80 __ASM_EMIT("vmovups %%ymm0, 0x000(%[a],%[off])")
81 __ASM_EMIT("vmovups %%ymm1, 0x020(%[a],%[off])")
82 __ASM_EMIT("sub $16, %[count]")
83 __ASM_EMIT("add $0x040, %[off]")
84 // 8x block
85 __ASM_EMIT("6:")
86 __ASM_EMIT("add $8, %[count]")
87 __ASM_EMIT("jl 8f")
88 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%xmm6, %%xmm0")
89 __ASM_EMIT("vmulps 0x010(%[a],%[off]), %%xmm6, %%xmm1")
90 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%xmm7, %%xmm0")
91 __ASM_EMIT("vfmadd231ps 0x010(%[b],%[off]), %%xmm7, %%xmm1")
92 __ASM_EMIT("vmovups %%xmm0, 0x000(%[a],%[off])")
93 __ASM_EMIT("vmovups %%xmm1, 0x010(%[a],%[off])")
94 __ASM_EMIT("sub $8, %[count]")
95 __ASM_EMIT("add $0x020, %[off]")
96 // 4x block
97 __ASM_EMIT("8:")
98 __ASM_EMIT("add $4, %[count]")
99 __ASM_EMIT("jl 10f")
100 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%xmm6, %%xmm0")
101 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%xmm7, %%xmm0")
102 __ASM_EMIT("vmovups %%xmm0, 0x000(%[a],%[off])")
103 __ASM_EMIT("sub $4, %[count]")
104 __ASM_EMIT("add $0x010, %[off]")
105 // 1x blocks
106 __ASM_EMIT("10:")
107 __ASM_EMIT("add $3, %[count]")
108 __ASM_EMIT("jl 12f")
109 __ASM_EMIT("11:")
110 __ASM_EMIT("vmulss 0x00(%[a],%[off]), %%xmm6, %%xmm0")
111 __ASM_EMIT("vfmadd231ss 0x00(%[b],%[off]), %%xmm7, %%xmm0")
112 __ASM_EMIT("vmovss %%xmm0, 0x00(%[a],%[off])")
113 __ASM_EMIT("add $0x04, %[off]")
114 __ASM_EMIT("dec %[count]")
115 __ASM_EMIT("jge 11b")
116 // End
117 __ASM_EMIT("12:")
118 : [count] "+r" (count),
119 [off] "=&r" (off)
120 : [a] "r" (a), [b] "r" (b),
121 [k1] "m" (k1), [k2] "m" (k2)
122 : "cc", "memory",
123 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
124 "%xmm6", "%xmm7"
125 );
126 }
127
128 void mix_copy2(float *dst, const float *a, const float *b, float k1, float k2, size_t count)
129 {
130 IF_ARCH_X86(size_t off);
131 ARCH_X86_ASM
132 (
133 // 64x blocks
134 __ASM_EMIT("xor %[off], %[off]")
135 __ASM_EMIT("sub $64, %[count]")
136 __ASM_EMIT("vbroadcastss %[k1], %%zmm6")
137 __ASM_EMIT("vbroadcastss %[k2], %%zmm7")
138 __ASM_EMIT("jb 2f")
139 __ASM_EMIT("1:")
140 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%zmm6, %%zmm0")
141 __ASM_EMIT("vmulps 0x040(%[a],%[off]), %%zmm6, %%zmm1")
142 __ASM_EMIT("vmulps 0x080(%[a],%[off]), %%zmm6, %%zmm2")
143 __ASM_EMIT("vmulps 0x0c0(%[a],%[off]), %%zmm6, %%zmm3")
144 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%zmm7, %%zmm0")
145 __ASM_EMIT("vfmadd231ps 0x040(%[b],%[off]), %%zmm7, %%zmm1")
146 __ASM_EMIT("vfmadd231ps 0x080(%[b],%[off]), %%zmm7, %%zmm2")
147 __ASM_EMIT("vfmadd231ps 0x0c0(%[b],%[off]), %%zmm7, %%zmm3")
148 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst],%[off])")
149 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst],%[off])")
150 __ASM_EMIT("vmovups %%zmm2, 0x080(%[dst],%[off])")
151 __ASM_EMIT("vmovups %%zmm3, 0x0c0(%[dst],%[off])")
152 __ASM_EMIT("add $0x100, %[off]")
153 __ASM_EMIT("sub $64, %[count]")
154 __ASM_EMIT("jae 1b")
155 // 32x block
156 __ASM_EMIT("2:")
157 __ASM_EMIT("add $32, %[count]")
158 __ASM_EMIT("jl 4f")
159 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%zmm6, %%zmm0")
160 __ASM_EMIT("vmulps 0x040(%[a],%[off]), %%zmm6, %%zmm1")
161 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%zmm7, %%zmm0")
162 __ASM_EMIT("vfmadd231ps 0x040(%[b],%[off]), %%zmm7, %%zmm1")
163 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst],%[off])")
164 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst],%[off])")
165 __ASM_EMIT("sub $32, %[count]")
166 __ASM_EMIT("add $0x80, %[off]")
167 // 16x block
168 __ASM_EMIT("4:")
169 __ASM_EMIT("add $16, %[count]")
170 __ASM_EMIT("jl 6f")
171 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%ymm6, %%ymm0")
172 __ASM_EMIT("vmulps 0x020(%[a],%[off]), %%ymm6, %%ymm1")
173 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%ymm7, %%ymm0")
174 __ASM_EMIT("vfmadd231ps 0x020(%[b],%[off]), %%ymm7, %%ymm1")
175 __ASM_EMIT("vmovups %%ymm0, 0x000(%[dst],%[off])")
176 __ASM_EMIT("vmovups %%ymm1, 0x020(%[dst],%[off])")
177 __ASM_EMIT("sub $16, %[count]")
178 __ASM_EMIT("add $0x040, %[off]")
179 // 8x block
180 __ASM_EMIT("6:")
181 __ASM_EMIT("add $8, %[count]")
182 __ASM_EMIT("jl 8f")
183 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%xmm6, %%xmm0")
184 __ASM_EMIT("vmulps 0x010(%[a],%[off]), %%xmm6, %%xmm1")
185 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%xmm7, %%xmm0")
186 __ASM_EMIT("vfmadd231ps 0x010(%[b],%[off]), %%xmm7, %%xmm1")
187 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst],%[off])")
188 __ASM_EMIT("vmovups %%xmm1, 0x010(%[dst],%[off])")
189 __ASM_EMIT("sub $8, %[count]")
190 __ASM_EMIT("add $0x020, %[off]")
191 // 4x block
192 __ASM_EMIT("8:")
193 __ASM_EMIT("add $4, %[count]")
194 __ASM_EMIT("jl 10f")
195 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%xmm6, %%xmm0")
196 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%xmm7, %%xmm0")
197 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst],%[off])")
198 __ASM_EMIT("sub $4, %[count]")
199 __ASM_EMIT("add $0x010, %[off]")
200 // 1x blocks
201 __ASM_EMIT("10:")
202 __ASM_EMIT("add $3, %[count]")
203 __ASM_EMIT("jl 12f")
204 __ASM_EMIT("11:")
205 __ASM_EMIT("vmulss 0x00(%[a],%[off]), %%xmm6, %%xmm0")
206 __ASM_EMIT("vfmadd231ss 0x00(%[b],%[off]), %%xmm7, %%xmm0")
207 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
208 __ASM_EMIT("add $0x04, %[off]")
209 __ASM_EMIT("dec %[count]")
210 __ASM_EMIT("jge 11b")
211 // End
212 __ASM_EMIT("12:")
213 : [count] "+r" (count),
214 [off] "=&r" (off)
215 : [a] "r" (a), [b] "r" (b), [dst] "r" (dst),
216 [k1] "m" (k1), [k2] "m" (k2)
217 : "cc", "memory",
218 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
219 "%xmm6", "%xmm7"
220 );
221 }
222
223 void mix_add2(float *dst, const float *a, const float *b, float k1, float k2, size_t count)
224 {
225 IF_ARCH_X86(size_t off);
226 ARCH_X86_ASM
227 (
228 // 64x blocks
229 __ASM_EMIT("xor %[off], %[off]")
230 __ASM_EMIT("sub $64, %[count]")
231 __ASM_EMIT("vbroadcastss %[k1], %%zmm6")
232 __ASM_EMIT("vbroadcastss %[k2], %%zmm7")
233 __ASM_EMIT("jb 2f")
234 __ASM_EMIT("1:")
235 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%zmm6, %%zmm0")
236 __ASM_EMIT("vmulps 0x040(%[a],%[off]), %%zmm6, %%zmm1")
237 __ASM_EMIT("vmulps 0x080(%[a],%[off]), %%zmm6, %%zmm2")
238 __ASM_EMIT("vmulps 0x0c0(%[a],%[off]), %%zmm6, %%zmm3")
239 __ASM_EMIT("vaddps 0x000(%[dst],%[off]), %%zmm0, %%zmm0")
240 __ASM_EMIT("vaddps 0x040(%[dst],%[off]), %%zmm1, %%zmm1")
241 __ASM_EMIT("vaddps 0x080(%[dst],%[off]), %%zmm2, %%zmm2")
242 __ASM_EMIT("vaddps 0x0c0(%[dst],%[off]), %%zmm3, %%zmm3")
243 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%zmm7, %%zmm0")
244 __ASM_EMIT("vfmadd231ps 0x040(%[b],%[off]), %%zmm7, %%zmm1")
245 __ASM_EMIT("vfmadd231ps 0x080(%[b],%[off]), %%zmm7, %%zmm2")
246 __ASM_EMIT("vfmadd231ps 0x0c0(%[b],%[off]), %%zmm7, %%zmm3")
247 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst],%[off])")
248 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst],%[off])")
249 __ASM_EMIT("vmovups %%zmm2, 0x080(%[dst],%[off])")
250 __ASM_EMIT("vmovups %%zmm3, 0x0c0(%[dst],%[off])")
251 __ASM_EMIT("add $0x100, %[off]")
252 __ASM_EMIT("sub $64, %[count]")
253 __ASM_EMIT("jae 1b")
254 // 32x block
255 __ASM_EMIT("2:")
256 __ASM_EMIT("add $32, %[count]")
257 __ASM_EMIT("jl 4f")
258 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%zmm6, %%zmm0")
259 __ASM_EMIT("vmulps 0x040(%[a],%[off]), %%zmm6, %%zmm1")
260 __ASM_EMIT("vaddps 0x000(%[dst],%[off]), %%zmm0, %%zmm0")
261 __ASM_EMIT("vaddps 0x040(%[dst],%[off]), %%zmm1, %%zmm1")
262 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%zmm7, %%zmm0")
263 __ASM_EMIT("vfmadd231ps 0x040(%[b],%[off]), %%zmm7, %%zmm1")
264 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst],%[off])")
265 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst],%[off])")
266 __ASM_EMIT("sub $32, %[count]")
267 __ASM_EMIT("add $0x80, %[off]")
268 // 16x block
269 __ASM_EMIT("4:")
270 __ASM_EMIT("add $16, %[count]")
271 __ASM_EMIT("jl 6f")
272 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%ymm6, %%ymm0")
273 __ASM_EMIT("vmulps 0x020(%[a],%[off]), %%ymm6, %%ymm1")
274 __ASM_EMIT("vaddps 0x000(%[dst],%[off]), %%ymm0, %%ymm0")
275 __ASM_EMIT("vaddps 0x020(%[dst],%[off]), %%ymm1, %%ymm1")
276 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%ymm7, %%ymm0")
277 __ASM_EMIT("vfmadd231ps 0x020(%[b],%[off]), %%ymm7, %%ymm1")
278 __ASM_EMIT("vmovups %%ymm0, 0x000(%[dst],%[off])")
279 __ASM_EMIT("vmovups %%ymm1, 0x020(%[dst],%[off])")
280 __ASM_EMIT("sub $16, %[count]")
281 __ASM_EMIT("add $0x040, %[off]")
282 // 8x block
283 __ASM_EMIT("6:")
284 __ASM_EMIT("add $8, %[count]")
285 __ASM_EMIT("jl 8f")
286 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%xmm6, %%xmm0")
287 __ASM_EMIT("vmulps 0x010(%[a],%[off]), %%xmm6, %%xmm1")
288 __ASM_EMIT("vaddps 0x000(%[dst],%[off]), %%xmm0, %%xmm0")
289 __ASM_EMIT("vaddps 0x010(%[dst],%[off]), %%xmm1, %%xmm1")
290 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%xmm7, %%xmm0")
291 __ASM_EMIT("vfmadd231ps 0x010(%[b],%[off]), %%xmm7, %%xmm1")
292 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst],%[off])")
293 __ASM_EMIT("vmovups %%xmm1, 0x010(%[dst],%[off])")
294 __ASM_EMIT("sub $8, %[count]")
295 __ASM_EMIT("add $0x020, %[off]")
296 // 4x block
297 __ASM_EMIT("8:")
298 __ASM_EMIT("add $4, %[count]")
299 __ASM_EMIT("jl 10f")
300 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%xmm6, %%xmm0")
301 __ASM_EMIT("vaddps 0x000(%[dst],%[off]), %%xmm0, %%xmm0")
302 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%xmm7, %%xmm0")
303 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst],%[off])")
304 __ASM_EMIT("sub $4, %[count]")
305 __ASM_EMIT("add $0x010, %[off]")
306 // 1x blocks
307 __ASM_EMIT("10:")
308 __ASM_EMIT("add $3, %[count]")
309 __ASM_EMIT("jl 12f")
310 __ASM_EMIT("11:")
311 __ASM_EMIT("vmulss 0x00(%[a],%[off]), %%xmm6, %%xmm0")
312 __ASM_EMIT("vaddss 0x000(%[dst],%[off]), %%xmm0, %%xmm0")
313 __ASM_EMIT("vfmadd231ss 0x00(%[b],%[off]), %%xmm7, %%xmm0")
314 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
315 __ASM_EMIT("add $0x04, %[off]")
316 __ASM_EMIT("dec %[count]")
317 __ASM_EMIT("jge 11b")
318 // End
319 __ASM_EMIT("12:")
320 : [count] "+r" (count),
321 [off] "=&r" (off)
322 : [a] "r" (a), [b] "r" (b), [dst] "r" (dst),
323 [k1] "m" (k1), [k2] "m" (k2)
324 : "cc", "memory",
325 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
326 "%xmm6", "%xmm7"
327 );
328 }
329
330 void mix3(float *a, const float *b, const float *c, float k1, float k2, float k3, size_t count)
331 {
332 IF_ARCH_X86(size_t off);
333 ARCH_X86_ASM
334 (
335 // 64x blocks
336 __ASM_EMIT("xor %[off], %[off]")
337 __ASM_EMIT("sub $64, %[count]")
338 __ASM_EMIT("vbroadcastss %[k1], %%zmm6")
339 __ASM_EMIT("vbroadcastss %[k2], %%zmm7")
340 __ASM_EMIT("vbroadcastss %[k3], %%zmm5")
341 __ASM_EMIT("jb 2f")
342 __ASM_EMIT("1:")
343 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%zmm6, %%zmm0")
344 __ASM_EMIT("vmulps 0x040(%[a],%[off]), %%zmm6, %%zmm1")
345 __ASM_EMIT("vmulps 0x080(%[a],%[off]), %%zmm6, %%zmm2")
346 __ASM_EMIT("vmulps 0x0c0(%[a],%[off]), %%zmm6, %%zmm3")
347 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%zmm7, %%zmm0")
348 __ASM_EMIT("vfmadd231ps 0x040(%[b],%[off]), %%zmm7, %%zmm1")
349 __ASM_EMIT("vfmadd231ps 0x080(%[b],%[off]), %%zmm7, %%zmm2")
350 __ASM_EMIT("vfmadd231ps 0x0c0(%[b],%[off]), %%zmm7, %%zmm3")
351 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%zmm5, %%zmm0")
352 __ASM_EMIT("vfmadd231ps 0x040(%[c],%[off]), %%zmm5, %%zmm1")
353 __ASM_EMIT("vfmadd231ps 0x080(%[c],%[off]), %%zmm5, %%zmm2")
354 __ASM_EMIT("vfmadd231ps 0x0c0(%[c],%[off]), %%zmm5, %%zmm3")
355 __ASM_EMIT("vmovups %%zmm0, 0x000(%[a],%[off])")
356 __ASM_EMIT("vmovups %%zmm1, 0x040(%[a],%[off])")
357 __ASM_EMIT("vmovups %%zmm2, 0x080(%[a],%[off])")
358 __ASM_EMIT("vmovups %%zmm3, 0x0c0(%[a],%[off])")
359 __ASM_EMIT("add $0x100, %[off]")
360 __ASM_EMIT("sub $64, %[count]")
361 __ASM_EMIT("jae 1b")
362 // 32x block
363 __ASM_EMIT("2:")
364 __ASM_EMIT("add $32, %[count]")
365 __ASM_EMIT("jl 4f")
366 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%zmm6, %%zmm0")
367 __ASM_EMIT("vmulps 0x040(%[a],%[off]), %%zmm6, %%zmm1")
368 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%zmm7, %%zmm0")
369 __ASM_EMIT("vfmadd231ps 0x040(%[b],%[off]), %%zmm7, %%zmm1")
370 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%zmm5, %%zmm0")
371 __ASM_EMIT("vfmadd231ps 0x040(%[c],%[off]), %%zmm5, %%zmm1")
372 __ASM_EMIT("vmovups %%zmm0, 0x000(%[a],%[off])")
373 __ASM_EMIT("vmovups %%zmm1, 0x040(%[a],%[off])")
374 __ASM_EMIT("sub $32, %[count]")
375 __ASM_EMIT("add $0x80, %[off]")
376 // 16x block
377 __ASM_EMIT("4:")
378 __ASM_EMIT("add $16, %[count]")
379 __ASM_EMIT("jl 6f")
380 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%ymm6, %%ymm0")
381 __ASM_EMIT("vmulps 0x020(%[a],%[off]), %%ymm6, %%ymm1")
382 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%ymm7, %%ymm0")
383 __ASM_EMIT("vfmadd231ps 0x020(%[b],%[off]), %%ymm7, %%ymm1")
384 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%ymm5, %%ymm0")
385 __ASM_EMIT("vfmadd231ps 0x020(%[c],%[off]), %%ymm5, %%ymm1")
386 __ASM_EMIT("vmovups %%ymm0, 0x000(%[a],%[off])")
387 __ASM_EMIT("vmovups %%ymm1, 0x020(%[a],%[off])")
388 __ASM_EMIT("sub $16, %[count]")
389 __ASM_EMIT("add $0x040, %[off]")
390 // 8x block
391 __ASM_EMIT("6:")
392 __ASM_EMIT("add $8, %[count]")
393 __ASM_EMIT("jl 8f")
394 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%xmm6, %%xmm0")
395 __ASM_EMIT("vmulps 0x010(%[a],%[off]), %%xmm6, %%xmm1")
396 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%xmm7, %%xmm0")
397 __ASM_EMIT("vfmadd231ps 0x010(%[b],%[off]), %%xmm7, %%xmm1")
398 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%xmm5, %%xmm0")
399 __ASM_EMIT("vfmadd231ps 0x010(%[c],%[off]), %%xmm5, %%xmm1")
400 __ASM_EMIT("vmovups %%xmm0, 0x000(%[a],%[off])")
401 __ASM_EMIT("vmovups %%xmm1, 0x010(%[a],%[off])")
402 __ASM_EMIT("sub $8, %[count]")
403 __ASM_EMIT("add $0x020, %[off]")
404 // 4x block
405 __ASM_EMIT("8:")
406 __ASM_EMIT("add $4, %[count]")
407 __ASM_EMIT("jl 10f")
408 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%xmm6, %%xmm0")
409 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%xmm7, %%xmm0")
410 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%xmm5, %%xmm0")
411 __ASM_EMIT("vmovups %%xmm0, 0x000(%[a],%[off])")
412 __ASM_EMIT("sub $4, %[count]")
413 __ASM_EMIT("add $0x010, %[off]")
414 // 1x blocks
415 __ASM_EMIT("10:")
416 __ASM_EMIT("add $3, %[count]")
417 __ASM_EMIT("jl 12f")
418 __ASM_EMIT("11:")
419 __ASM_EMIT("vmulss 0x000(%[a],%[off]), %%xmm6, %%xmm0")
420 __ASM_EMIT("vfmadd231ss 0x000(%[b],%[off]), %%xmm7, %%xmm0")
421 __ASM_EMIT("vfmadd231ss 0x000(%[c],%[off]), %%xmm5, %%xmm0")
422 __ASM_EMIT("vmovss %%xmm0, 0x00(%[a],%[off])")
423 __ASM_EMIT("add $0x04, %[off]")
424 __ASM_EMIT("dec %[count]")
425 __ASM_EMIT("jge 11b")
426 // End
427 __ASM_EMIT("12:")
428 : [count] "+r" (count),
429 [off] "=&r" (off)
430 : [a] "r" (a), [b] "r" (b), [c] "r" (c),
431 [k1] "m" (k1), [k2] "m" (k2), [k3] "m" (k3)
432 : "cc", "memory",
433 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
434 "%xmm5", "%xmm6", "%xmm7"
435 );
436 }
437
438 void mix_copy3(float *dst, const float *a, const float *b, const float *c, float k1, float k2, float k3, size_t count)
439 {
440 IF_ARCH_X86(size_t off);
441 ARCH_X86_ASM
442 (
443 // 64x blocks
444 __ASM_EMIT("xor %[off], %[off]")
445 __ASM_EMIT("sub $64, %[count]")
446 __ASM_EMIT("vbroadcastss %[k1], %%zmm6")
447 __ASM_EMIT("vbroadcastss %[k2], %%zmm7")
448 __ASM_EMIT("vbroadcastss %[k3], %%zmm5")
449 __ASM_EMIT("jb 2f")
450 __ASM_EMIT("1:")
451 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%zmm6, %%zmm0")
452 __ASM_EMIT("vmulps 0x040(%[a],%[off]), %%zmm6, %%zmm1")
453 __ASM_EMIT("vmulps 0x080(%[a],%[off]), %%zmm6, %%zmm2")
454 __ASM_EMIT("vmulps 0x0c0(%[a],%[off]), %%zmm6, %%zmm3")
455 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%zmm7, %%zmm0")
456 __ASM_EMIT("vfmadd231ps 0x040(%[b],%[off]), %%zmm7, %%zmm1")
457 __ASM_EMIT("vfmadd231ps 0x080(%[b],%[off]), %%zmm7, %%zmm2")
458 __ASM_EMIT("vfmadd231ps 0x0c0(%[b],%[off]), %%zmm7, %%zmm3")
459 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%zmm5, %%zmm0")
460 __ASM_EMIT("vfmadd231ps 0x040(%[c],%[off]), %%zmm5, %%zmm1")
461 __ASM_EMIT("vfmadd231ps 0x080(%[c],%[off]), %%zmm5, %%zmm2")
462 __ASM_EMIT("vfmadd231ps 0x0c0(%[c],%[off]), %%zmm5, %%zmm3")
463 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst],%[off])")
464 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst],%[off])")
465 __ASM_EMIT("vmovups %%zmm2, 0x080(%[dst],%[off])")
466 __ASM_EMIT("vmovups %%zmm3, 0x0c0(%[dst],%[off])")
467 __ASM_EMIT("add $0x100, %[off]")
468 __ASM_EMIT("sub $64, %[count]")
469 __ASM_EMIT("jae 1b")
470 // 32x block
471 __ASM_EMIT("2:")
472 __ASM_EMIT("add $32, %[count]")
473 __ASM_EMIT("jl 4f")
474 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%zmm6, %%zmm0")
475 __ASM_EMIT("vmulps 0x040(%[a],%[off]), %%zmm6, %%zmm1")
476 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%zmm7, %%zmm0")
477 __ASM_EMIT("vfmadd231ps 0x040(%[b],%[off]), %%zmm7, %%zmm1")
478 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%zmm5, %%zmm0")
479 __ASM_EMIT("vfmadd231ps 0x040(%[c],%[off]), %%zmm5, %%zmm1")
480 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst],%[off])")
481 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst],%[off])")
482 __ASM_EMIT("sub $32, %[count]")
483 __ASM_EMIT("add $0x80, %[off]")
484 // 16x block
485 __ASM_EMIT("4:")
486 __ASM_EMIT("add $16, %[count]")
487 __ASM_EMIT("jl 6f")
488 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%ymm6, %%ymm0")
489 __ASM_EMIT("vmulps 0x020(%[a],%[off]), %%ymm6, %%ymm1")
490 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%ymm7, %%ymm0")
491 __ASM_EMIT("vfmadd231ps 0x020(%[b],%[off]), %%ymm7, %%ymm1")
492 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%ymm5, %%ymm0")
493 __ASM_EMIT("vfmadd231ps 0x020(%[c],%[off]), %%ymm5, %%ymm1")
494 __ASM_EMIT("vmovups %%ymm0, 0x000(%[dst],%[off])")
495 __ASM_EMIT("vmovups %%ymm1, 0x020(%[dst],%[off])")
496 __ASM_EMIT("sub $16, %[count]")
497 __ASM_EMIT("add $0x040, %[off]")
498 // 8x block
499 __ASM_EMIT("6:")
500 __ASM_EMIT("add $8, %[count]")
501 __ASM_EMIT("jl 8f")
502 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%xmm6, %%xmm0")
503 __ASM_EMIT("vmulps 0x010(%[a],%[off]), %%xmm6, %%xmm1")
504 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%xmm7, %%xmm0")
505 __ASM_EMIT("vfmadd231ps 0x010(%[b],%[off]), %%xmm7, %%xmm1")
506 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%xmm5, %%xmm0")
507 __ASM_EMIT("vfmadd231ps 0x010(%[c],%[off]), %%xmm5, %%xmm1")
508 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst],%[off])")
509 __ASM_EMIT("vmovups %%xmm1, 0x010(%[dst],%[off])")
510 __ASM_EMIT("sub $8, %[count]")
511 __ASM_EMIT("add $0x020, %[off]")
512 // 4x block
513 __ASM_EMIT("8:")
514 __ASM_EMIT("add $4, %[count]")
515 __ASM_EMIT("jl 10f")
516 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%xmm6, %%xmm0")
517 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%xmm7, %%xmm0")
518 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%xmm5, %%xmm0")
519 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst],%[off])")
520 __ASM_EMIT("sub $4, %[count]")
521 __ASM_EMIT("add $0x010, %[off]")
522 // 1x blocks
523 __ASM_EMIT("10:")
524 __ASM_EMIT("add $3, %[count]")
525 __ASM_EMIT("jl 12f")
526 __ASM_EMIT("11:")
527 __ASM_EMIT("vmulss 0x000(%[a],%[off]), %%xmm6, %%xmm0")
528 __ASM_EMIT("vfmadd231ss 0x000(%[b],%[off]), %%xmm7, %%xmm0")
529 __ASM_EMIT("vfmadd231ss 0x000(%[c],%[off]), %%xmm5, %%xmm0")
530 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
531 __ASM_EMIT("add $0x04, %[off]")
532 __ASM_EMIT("dec %[count]")
533 __ASM_EMIT("jge 11b")
534 // End
535 __ASM_EMIT("12:")
536 : [count] "+r" (count),
537 [off] "=&r" (off)
538 : [dst] "r" (dst), [a] "r" (a), [b] "r" (b), [c] "r" (c),
539 [k1] "m" (k1), [k2] "m" (k2), [k3] "m" (k3)
540 : "cc", "memory",
541 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
542 "%xmm5", "%xmm6", "%xmm7"
543 );
544 }
545
546 void mix_add3(float *dst, const float *a, const float *b, const float *c, float k1, float k2, float k3, size_t count)
547 {
548 IF_ARCH_X86(size_t off);
549 ARCH_X86_ASM
550 (
551 // 64x blocks
552 __ASM_EMIT("xor %[off], %[off]")
553 __ASM_EMIT("sub $64, %[count]")
554 __ASM_EMIT("vbroadcastss %[k1], %%zmm6")
555 __ASM_EMIT("vbroadcastss %[k2], %%zmm7")
556 __ASM_EMIT("vbroadcastss %[k3], %%zmm5")
557 __ASM_EMIT("jb 2f")
558 __ASM_EMIT("1:")
559 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%zmm6, %%zmm0")
560 __ASM_EMIT("vmulps 0x040(%[a],%[off]), %%zmm6, %%zmm1")
561 __ASM_EMIT("vmulps 0x080(%[a],%[off]), %%zmm6, %%zmm2")
562 __ASM_EMIT("vmulps 0x0c0(%[a],%[off]), %%zmm6, %%zmm3")
563 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%zmm7, %%zmm0")
564 __ASM_EMIT("vfmadd231ps 0x040(%[b],%[off]), %%zmm7, %%zmm1")
565 __ASM_EMIT("vfmadd231ps 0x080(%[b],%[off]), %%zmm7, %%zmm2")
566 __ASM_EMIT("vfmadd231ps 0x0c0(%[b],%[off]), %%zmm7, %%zmm3")
567 __ASM_EMIT("vaddps 0x000(%[dst],%[off]), %%zmm0, %%zmm0")
568 __ASM_EMIT("vaddps 0x040(%[dst],%[off]), %%zmm1, %%zmm1")
569 __ASM_EMIT("vaddps 0x080(%[dst],%[off]), %%zmm2, %%zmm2")
570 __ASM_EMIT("vaddps 0x0c0(%[dst],%[off]), %%zmm3, %%zmm3")
571 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%zmm5, %%zmm0")
572 __ASM_EMIT("vfmadd231ps 0x040(%[c],%[off]), %%zmm5, %%zmm1")
573 __ASM_EMIT("vfmadd231ps 0x080(%[c],%[off]), %%zmm5, %%zmm2")
574 __ASM_EMIT("vfmadd231ps 0x0c0(%[c],%[off]), %%zmm5, %%zmm3")
575 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst],%[off])")
576 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst],%[off])")
577 __ASM_EMIT("vmovups %%zmm2, 0x080(%[dst],%[off])")
578 __ASM_EMIT("vmovups %%zmm3, 0x0c0(%[dst],%[off])")
579 __ASM_EMIT("add $0x100, %[off]")
580 __ASM_EMIT("sub $64, %[count]")
581 __ASM_EMIT("jae 1b")
582 // 32x block
583 __ASM_EMIT("2:")
584 __ASM_EMIT("add $32, %[count]")
585 __ASM_EMIT("jl 4f")
586 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%zmm6, %%zmm0")
587 __ASM_EMIT("vmulps 0x040(%[a],%[off]), %%zmm6, %%zmm1")
588 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%zmm7, %%zmm0")
589 __ASM_EMIT("vfmadd231ps 0x040(%[b],%[off]), %%zmm7, %%zmm1")
590 __ASM_EMIT("vaddps 0x000(%[dst],%[off]), %%zmm0, %%zmm0")
591 __ASM_EMIT("vaddps 0x040(%[dst],%[off]), %%zmm1, %%zmm1")
592 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%zmm5, %%zmm0")
593 __ASM_EMIT("vfmadd231ps 0x040(%[c],%[off]), %%zmm5, %%zmm1")
594 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst],%[off])")
595 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst],%[off])")
596 __ASM_EMIT("sub $32, %[count]")
597 __ASM_EMIT("add $0x80, %[off]")
598 // 16x block
599 __ASM_EMIT("4:")
600 __ASM_EMIT("add $16, %[count]")
601 __ASM_EMIT("jl 6f")
602 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%ymm6, %%ymm0")
603 __ASM_EMIT("vmulps 0x020(%[a],%[off]), %%ymm6, %%ymm1")
604 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%ymm7, %%ymm0")
605 __ASM_EMIT("vfmadd231ps 0x020(%[b],%[off]), %%ymm7, %%ymm1")
606 __ASM_EMIT("vaddps 0x000(%[dst],%[off]), %%ymm0, %%ymm0")
607 __ASM_EMIT("vaddps 0x020(%[dst],%[off]), %%ymm1, %%ymm1")
608 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%ymm5, %%ymm0")
609 __ASM_EMIT("vfmadd231ps 0x020(%[c],%[off]), %%ymm5, %%ymm1")
610 __ASM_EMIT("vmovups %%ymm0, 0x000(%[dst],%[off])")
611 __ASM_EMIT("vmovups %%ymm1, 0x020(%[dst],%[off])")
612 __ASM_EMIT("sub $16, %[count]")
613 __ASM_EMIT("add $0x040, %[off]")
614 // 8x block
615 __ASM_EMIT("6:")
616 __ASM_EMIT("add $8, %[count]")
617 __ASM_EMIT("jl 8f")
618 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%xmm6, %%xmm0")
619 __ASM_EMIT("vmulps 0x010(%[a],%[off]), %%xmm6, %%xmm1")
620 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%xmm7, %%xmm0")
621 __ASM_EMIT("vfmadd231ps 0x010(%[b],%[off]), %%xmm7, %%xmm1")
622 __ASM_EMIT("vaddps 0x000(%[dst],%[off]), %%xmm0, %%xmm0")
623 __ASM_EMIT("vaddps 0x010(%[dst],%[off]), %%xmm1, %%xmm1")
624 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%xmm5, %%xmm0")
625 __ASM_EMIT("vfmadd231ps 0x010(%[c],%[off]), %%xmm5, %%xmm1")
626 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst],%[off])")
627 __ASM_EMIT("vmovups %%xmm1, 0x010(%[dst],%[off])")
628 __ASM_EMIT("sub $8, %[count]")
629 __ASM_EMIT("add $0x020, %[off]")
630 // 4x block
631 __ASM_EMIT("8:")
632 __ASM_EMIT("add $4, %[count]")
633 __ASM_EMIT("jl 10f")
634 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%xmm6, %%xmm0")
635 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%xmm7, %%xmm0")
636 __ASM_EMIT("vaddps 0x000(%[dst],%[off]), %%xmm0, %%xmm0")
637 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%xmm5, %%xmm0")
638 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst],%[off])")
639 __ASM_EMIT("sub $4, %[count]")
640 __ASM_EMIT("add $0x010, %[off]")
641 // 1x blocks
642 __ASM_EMIT("10:")
643 __ASM_EMIT("add $3, %[count]")
644 __ASM_EMIT("jl 12f")
645 __ASM_EMIT("11:")
646 __ASM_EMIT("vmulss 0x000(%[a],%[off]), %%xmm6, %%xmm0")
647 __ASM_EMIT("vfmadd231ss 0x000(%[b],%[off]), %%xmm7, %%xmm0")
648 __ASM_EMIT("vaddss 0x000(%[dst],%[off]), %%xmm0, %%xmm0")
649 __ASM_EMIT("vfmadd231ss 0x000(%[c],%[off]), %%xmm5, %%xmm0")
650 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
651 __ASM_EMIT("add $0x04, %[off]")
652 __ASM_EMIT("dec %[count]")
653 __ASM_EMIT("jge 11b")
654 // End
655 __ASM_EMIT("12:")
656 : [count] "+r" (count),
657 [off] "=&r" (off)
658 : [dst] "r" (dst), [a] "r" (a), [b] "r" (b), [c] "r" (c),
659 [k1] "m" (k1), [k2] "m" (k2), [k3] "m" (k3)
660 : "cc", "memory",
661 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
662 "%xmm5", "%xmm6", "%xmm7"
663 );
664 }
665
666 void mix4(float *a, const float *b, const float *c, const float *d, float k1, float k2, float k3, float k4, size_t count)
667 {
668 IF_ARCH_X86(size_t off);
669 ARCH_X86_ASM
670 (
671 // 64x blocks
672 __ASM_EMIT("xor %[off], %[off]")
673 __ASM_EMIT("sub $64, %[count]")
674 __ASM_EMIT("vbroadcastss %[k1], %%zmm6")
675 __ASM_EMIT("vbroadcastss %[k2], %%zmm7")
676 __ASM_EMIT("vbroadcastss %[k3], %%zmm5")
677 __ASM_EMIT("vbroadcastss %[k4], %%zmm4")
678 __ASM_EMIT("jb 2f")
679 __ASM_EMIT("1:")
680 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%zmm6, %%zmm0")
681 __ASM_EMIT("vmulps 0x040(%[a],%[off]), %%zmm6, %%zmm1")
682 __ASM_EMIT("vmulps 0x080(%[a],%[off]), %%zmm6, %%zmm2")
683 __ASM_EMIT("vmulps 0x0c0(%[a],%[off]), %%zmm6, %%zmm3")
684 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%zmm7, %%zmm0")
685 __ASM_EMIT("vfmadd231ps 0x040(%[b],%[off]), %%zmm7, %%zmm1")
686 __ASM_EMIT("vfmadd231ps 0x080(%[b],%[off]), %%zmm7, %%zmm2")
687 __ASM_EMIT("vfmadd231ps 0x0c0(%[b],%[off]), %%zmm7, %%zmm3")
688 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%zmm5, %%zmm0")
689 __ASM_EMIT("vfmadd231ps 0x040(%[c],%[off]), %%zmm5, %%zmm1")
690 __ASM_EMIT("vfmadd231ps 0x080(%[c],%[off]), %%zmm5, %%zmm2")
691 __ASM_EMIT("vfmadd231ps 0x0c0(%[c],%[off]), %%zmm5, %%zmm3")
692 __ASM_EMIT("vfmadd231ps 0x000(%[d],%[off]), %%zmm4, %%zmm0")
693 __ASM_EMIT("vfmadd231ps 0x040(%[d],%[off]), %%zmm4, %%zmm1")
694 __ASM_EMIT("vfmadd231ps 0x080(%[d],%[off]), %%zmm4, %%zmm2")
695 __ASM_EMIT("vfmadd231ps 0x0c0(%[d],%[off]), %%zmm4, %%zmm3")
696 __ASM_EMIT("vmovups %%zmm0, 0x000(%[a],%[off])")
697 __ASM_EMIT("vmovups %%zmm1, 0x040(%[a],%[off])")
698 __ASM_EMIT("vmovups %%zmm2, 0x080(%[a],%[off])")
699 __ASM_EMIT("vmovups %%zmm3, 0x0c0(%[a],%[off])")
700 __ASM_EMIT("add $0x100, %[off]")
701 __ASM_EMIT("sub $64, %[count]")
702 __ASM_EMIT("jae 1b")
703 // 32x block
704 __ASM_EMIT("2:")
705 __ASM_EMIT("add $32, %[count]")
706 __ASM_EMIT("jl 4f")
707 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%zmm6, %%zmm0")
708 __ASM_EMIT("vmulps 0x040(%[a],%[off]), %%zmm6, %%zmm1")
709 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%zmm7, %%zmm0")
710 __ASM_EMIT("vfmadd231ps 0x040(%[b],%[off]), %%zmm7, %%zmm1")
711 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%zmm5, %%zmm0")
712 __ASM_EMIT("vfmadd231ps 0x040(%[c],%[off]), %%zmm5, %%zmm1")
713 __ASM_EMIT("vfmadd231ps 0x000(%[d],%[off]), %%zmm4, %%zmm0")
714 __ASM_EMIT("vfmadd231ps 0x040(%[d],%[off]), %%zmm4, %%zmm1")
715 __ASM_EMIT("vmovups %%zmm0, 0x000(%[a],%[off])")
716 __ASM_EMIT("vmovups %%zmm1, 0x040(%[a],%[off])")
717 __ASM_EMIT("sub $32, %[count]")
718 __ASM_EMIT("add $0x80, %[off]")
719 // 16x block
720 __ASM_EMIT("4:")
721 __ASM_EMIT("add $16, %[count]")
722 __ASM_EMIT("jl 6f")
723 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%ymm6, %%ymm0")
724 __ASM_EMIT("vmulps 0x020(%[a],%[off]), %%ymm6, %%ymm1")
725 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%ymm7, %%ymm0")
726 __ASM_EMIT("vfmadd231ps 0x020(%[b],%[off]), %%ymm7, %%ymm1")
727 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%ymm5, %%ymm0")
728 __ASM_EMIT("vfmadd231ps 0x020(%[c],%[off]), %%ymm5, %%ymm1")
729 __ASM_EMIT("vfmadd231ps 0x000(%[d],%[off]), %%ymm4, %%ymm0")
730 __ASM_EMIT("vfmadd231ps 0x020(%[d],%[off]), %%ymm4, %%ymm1")
731 __ASM_EMIT("vmovups %%ymm0, 0x000(%[a],%[off])")
732 __ASM_EMIT("vmovups %%ymm1, 0x020(%[a],%[off])")
733 __ASM_EMIT("sub $16, %[count]")
734 __ASM_EMIT("add $0x040, %[off]")
735 // 8x block
736 __ASM_EMIT("6:")
737 __ASM_EMIT("add $8, %[count]")
738 __ASM_EMIT("jl 8f")
739 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%xmm6, %%xmm0")
740 __ASM_EMIT("vmulps 0x010(%[a],%[off]), %%xmm6, %%xmm1")
741 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%xmm7, %%xmm0")
742 __ASM_EMIT("vfmadd231ps 0x010(%[b],%[off]), %%xmm7, %%xmm1")
743 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%xmm5, %%xmm0")
744 __ASM_EMIT("vfmadd231ps 0x010(%[c],%[off]), %%xmm5, %%xmm1")
745 __ASM_EMIT("vfmadd231ps 0x000(%[d],%[off]), %%xmm4, %%xmm0")
746 __ASM_EMIT("vfmadd231ps 0x010(%[d],%[off]), %%xmm4, %%xmm1")
747 __ASM_EMIT("vmovups %%xmm0, 0x000(%[a],%[off])")
748 __ASM_EMIT("vmovups %%xmm1, 0x010(%[a],%[off])")
749 __ASM_EMIT("sub $8, %[count]")
750 __ASM_EMIT("add $0x020, %[off]")
751 // 4x block
752 __ASM_EMIT("8:")
753 __ASM_EMIT("add $4, %[count]")
754 __ASM_EMIT("jl 10f")
755 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%xmm6, %%xmm0")
756 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%xmm7, %%xmm0")
757 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%xmm5, %%xmm0")
758 __ASM_EMIT("vfmadd231ps 0x000(%[d],%[off]), %%xmm4, %%xmm0")
759 __ASM_EMIT("vmovups %%xmm0, 0x000(%[a],%[off])")
760 __ASM_EMIT("sub $4, %[count]")
761 __ASM_EMIT("add $0x010, %[off]")
762 // 1x blocks
763 __ASM_EMIT("10:")
764 __ASM_EMIT("add $3, %[count]")
765 __ASM_EMIT("jl 12f")
766 __ASM_EMIT("11:")
767 __ASM_EMIT("vmulss 0x000(%[a],%[off]), %%xmm6, %%xmm0")
768 __ASM_EMIT("vfmadd231ss 0x000(%[b],%[off]), %%xmm7, %%xmm0")
769 __ASM_EMIT("vfmadd231ss 0x000(%[c],%[off]), %%xmm5, %%xmm0")
770 __ASM_EMIT("vfmadd231ss 0x000(%[d],%[off]), %%xmm4, %%xmm0")
771 __ASM_EMIT("vmovss %%xmm0, 0x00(%[a],%[off])")
772 __ASM_EMIT("add $0x04, %[off]")
773 __ASM_EMIT("dec %[count]")
774 __ASM_EMIT("jge 11b")
775 // End
776 __ASM_EMIT("12:")
777 : [count] "+r" (count),
778 [off] "=&r" (off)
779 : [a] "r" (a), [b] "r" (b), [c] "r" (c), [d] "r" (d),
780 [k1] "m" (k1), [k2] "m" (k2), [k3] "m" (k3), [k4] "m" (k4)
781 : "cc", "memory",
782 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
783 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
784 );
785 }
786
787 #if defined(ARCH_I386)
788 void mix_copy4(float *dst, const float *a, const float *b, const float *c, const float *d, float k1, float k2, float k3, float k4, size_t count)
789 {
790 ARCH_X86_ASM
791 (
792 // 64x blocks
793 __ASM_EMIT("sub $64, %[count]")
794 __ASM_EMIT("vbroadcastss %[k1], %%zmm6")
795 __ASM_EMIT("vbroadcastss %[k2], %%zmm7")
796 __ASM_EMIT("vbroadcastss %[k3], %%zmm5")
797 __ASM_EMIT("vbroadcastss %[k4], %%zmm4")
798 __ASM_EMIT("jb 2f")
799 __ASM_EMIT("1:")
800 __ASM_EMIT("vmulps 0x000(%[a]), %%zmm6, %%zmm0")
801 __ASM_EMIT("vmulps 0x040(%[a]), %%zmm6, %%zmm1")
802 __ASM_EMIT("vmulps 0x080(%[a]), %%zmm6, %%zmm2")
803 __ASM_EMIT("vmulps 0x0c0(%[a]), %%zmm6, %%zmm3")
804 __ASM_EMIT("vfmadd231ps 0x000(%[b]), %%zmm7, %%zmm0")
805 __ASM_EMIT("vfmadd231ps 0x040(%[b]), %%zmm7, %%zmm1")
806 __ASM_EMIT("vfmadd231ps 0x080(%[b]), %%zmm7, %%zmm2")
807 __ASM_EMIT("vfmadd231ps 0x0c0(%[b]), %%zmm7, %%zmm3")
808 __ASM_EMIT("vfmadd231ps 0x000(%[c]), %%zmm5, %%zmm0")
809 __ASM_EMIT("vfmadd231ps 0x040(%[c]), %%zmm5, %%zmm1")
810 __ASM_EMIT("vfmadd231ps 0x080(%[c]), %%zmm5, %%zmm2")
811 __ASM_EMIT("vfmadd231ps 0x0c0(%[c]), %%zmm5, %%zmm3")
812 __ASM_EMIT("vfmadd231ps 0x000(%[d]), %%zmm4, %%zmm0")
813 __ASM_EMIT("vfmadd231ps 0x040(%[d]), %%zmm4, %%zmm1")
814 __ASM_EMIT("vfmadd231ps 0x080(%[d]), %%zmm4, %%zmm2")
815 __ASM_EMIT("vfmadd231ps 0x0c0(%[d]), %%zmm4, %%zmm3")
816 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst])")
817 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst])")
818 __ASM_EMIT("vmovups %%zmm2, 0x080(%[dst])")
819 __ASM_EMIT("vmovups %%zmm3, 0x0c0(%[dst])")
820 __ASM_EMIT("add $0x100, %[a]")
821 __ASM_EMIT("add $0x100, %[b]")
822 __ASM_EMIT("add $0x100, %[c]")
823 __ASM_EMIT("add $0x100, %[d]")
824 __ASM_EMIT("add $0x100, %[dst]")
825 __ASM_EMIT("sub $64, %[count]")
826 __ASM_EMIT("jae 1b")
827 // 32x block
828 __ASM_EMIT("2:")
829 __ASM_EMIT("add $32, %[count]")
830 __ASM_EMIT("jl 4f")
831 __ASM_EMIT("vmulps 0x000(%[a]), %%zmm6, %%zmm0")
832 __ASM_EMIT("vmulps 0x040(%[a]), %%zmm6, %%zmm1")
833 __ASM_EMIT("vfmadd231ps 0x000(%[b]), %%zmm7, %%zmm0")
834 __ASM_EMIT("vfmadd231ps 0x040(%[b]), %%zmm7, %%zmm1")
835 __ASM_EMIT("vfmadd231ps 0x000(%[c]), %%zmm5, %%zmm0")
836 __ASM_EMIT("vfmadd231ps 0x040(%[c]), %%zmm5, %%zmm1")
837 __ASM_EMIT("vfmadd231ps 0x000(%[d]), %%zmm4, %%zmm0")
838 __ASM_EMIT("vfmadd231ps 0x040(%[d]), %%zmm4, %%zmm1")
839 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst])")
840 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst])")
841 __ASM_EMIT("sub $32, %[count]")
842 __ASM_EMIT("add $0x080, %[a]")
843 __ASM_EMIT("add $0x080, %[b]")
844 __ASM_EMIT("add $0x080, %[c]")
845 __ASM_EMIT("add $0x080, %[d]")
846 __ASM_EMIT("add $0x080, %[dst]")
847 // 16x block
848 __ASM_EMIT("4:")
849 __ASM_EMIT("add $16, %[count]")
850 __ASM_EMIT("jl 6f")
851 __ASM_EMIT("vmulps 0x000(%[a]), %%ymm6, %%ymm0")
852 __ASM_EMIT("vmulps 0x020(%[a]), %%ymm6, %%ymm1")
853 __ASM_EMIT("vfmadd231ps 0x000(%[b]), %%ymm7, %%ymm0")
854 __ASM_EMIT("vfmadd231ps 0x020(%[b]), %%ymm7, %%ymm1")
855 __ASM_EMIT("vfmadd231ps 0x000(%[c]), %%ymm5, %%ymm0")
856 __ASM_EMIT("vfmadd231ps 0x020(%[c]), %%ymm5, %%ymm1")
857 __ASM_EMIT("vfmadd231ps 0x000(%[d]), %%ymm4, %%ymm0")
858 __ASM_EMIT("vfmadd231ps 0x020(%[d]), %%ymm4, %%ymm1")
859 __ASM_EMIT("vmovups %%ymm0, 0x000(%[dst])")
860 __ASM_EMIT("vmovups %%ymm1, 0x020(%[dst])")
861 __ASM_EMIT("sub $16, %[count]")
862 __ASM_EMIT("add $0x040, %[a]")
863 __ASM_EMIT("add $0x040, %[b]")
864 __ASM_EMIT("add $0x040, %[c]")
865 __ASM_EMIT("add $0x040, %[d]")
866 __ASM_EMIT("add $0x040, %[dst]")
867 // 8x block
868 __ASM_EMIT("6:")
869 __ASM_EMIT("add $8, %[count]")
870 __ASM_EMIT("jl 8f")
871 __ASM_EMIT("vmulps 0x000(%[a]), %%xmm6, %%xmm0")
872 __ASM_EMIT("vmulps 0x010(%[a]), %%xmm6, %%xmm1")
873 __ASM_EMIT("vfmadd231ps 0x000(%[b]), %%xmm7, %%xmm0")
874 __ASM_EMIT("vfmadd231ps 0x010(%[b]), %%xmm7, %%xmm1")
875 __ASM_EMIT("vfmadd231ps 0x000(%[c]), %%xmm5, %%xmm0")
876 __ASM_EMIT("vfmadd231ps 0x010(%[c]), %%xmm5, %%xmm1")
877 __ASM_EMIT("vfmadd231ps 0x000(%[d]), %%xmm4, %%xmm0")
878 __ASM_EMIT("vfmadd231ps 0x010(%[d]), %%xmm4, %%xmm1")
879 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
880 __ASM_EMIT("vmovups %%xmm1, 0x010(%[dst])")
881 __ASM_EMIT("sub $8, %[count]")
882 __ASM_EMIT("add $0x020, %[a]")
883 __ASM_EMIT("add $0x020, %[b]")
884 __ASM_EMIT("add $0x020, %[c]")
885 __ASM_EMIT("add $0x020, %[d]")
886 __ASM_EMIT("add $0x020, %[dst]")
887 // 4x block
888 __ASM_EMIT("8:")
889 __ASM_EMIT("add $4, %[count]")
890 __ASM_EMIT("jl 10f")
891 __ASM_EMIT("vmulps 0x000(%[a]), %%xmm6, %%xmm0")
892 __ASM_EMIT("vfmadd231ps 0x000(%[b]), %%xmm7, %%xmm0")
893 __ASM_EMIT("vfmadd231ps 0x000(%[c]), %%xmm5, %%xmm0")
894 __ASM_EMIT("vfmadd231ps 0x000(%[d]), %%xmm4, %%xmm0")
895 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
896 __ASM_EMIT("sub $4, %[count]")
897 __ASM_EMIT("add $0x010, %[a]")
898 __ASM_EMIT("add $0x010, %[b]")
899 __ASM_EMIT("add $0x010, %[c]")
900 __ASM_EMIT("add $0x010, %[d]")
901 __ASM_EMIT("add $0x010, %[dst]")
902 // 1x blocks
903 __ASM_EMIT("10:")
904 __ASM_EMIT("add $3, %[count]")
905 __ASM_EMIT("jl 12f")
906 __ASM_EMIT("11:")
907 __ASM_EMIT("vmulss 0x000(%[a]), %%xmm6, %%xmm0")
908 __ASM_EMIT("vfmadd231ss 0x000(%[b]), %%xmm7, %%xmm0")
909 __ASM_EMIT("vfmadd231ss 0x000(%[c]), %%xmm5, %%xmm0")
910 __ASM_EMIT("vfmadd231ss 0x000(%[d]), %%xmm4, %%xmm0")
911 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
912 __ASM_EMIT("add $0x004, %[a]")
913 __ASM_EMIT("add $0x004, %[b]")
914 __ASM_EMIT("add $0x004, %[c]")
915 __ASM_EMIT("add $0x004, %[d]")
916 __ASM_EMIT("add $0x004, %[dst]")
917 __ASM_EMIT("dec %[count]")
918 __ASM_EMIT("jge 11b")
919 // End
920 __ASM_EMIT("12:")
921 : [count] "+r" (count),
922 [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c), [d] "+r" (d)
923 : [k1] "m" (k1), [k2] "m" (k2), [k3] "m" (k3), [k4] "m" (k4)
924 : "cc", "memory",
925 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
926 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
927 );
928 }
929
930 void mix_add4(float *dst, const float *a, const float *b, const float *c, const float *d, float k1, float k2, float k3, float k4, size_t count)
931 {
932 ARCH_X86_ASM
933 (
934 // 64x blocks
935 __ASM_EMIT("sub $64, %[count]")
936 __ASM_EMIT("vbroadcastss %[k1], %%zmm6")
937 __ASM_EMIT("vbroadcastss %[k2], %%zmm7")
938 __ASM_EMIT("vbroadcastss %[k3], %%zmm5")
939 __ASM_EMIT("vbroadcastss %[k4], %%zmm4")
940 __ASM_EMIT("jb 2f")
941 __ASM_EMIT("1:")
942 __ASM_EMIT("vmulps 0x000(%[a]), %%zmm6, %%zmm0")
943 __ASM_EMIT("vmulps 0x040(%[a]), %%zmm6, %%zmm1")
944 __ASM_EMIT("vmulps 0x080(%[a]), %%zmm6, %%zmm2")
945 __ASM_EMIT("vmulps 0x0c0(%[a]), %%zmm6, %%zmm3")
946 __ASM_EMIT("vfmadd231ps 0x000(%[b]), %%zmm7, %%zmm0")
947 __ASM_EMIT("vfmadd231ps 0x040(%[b]), %%zmm7, %%zmm1")
948 __ASM_EMIT("vfmadd231ps 0x080(%[b]), %%zmm7, %%zmm2")
949 __ASM_EMIT("vfmadd231ps 0x0c0(%[b]), %%zmm7, %%zmm3")
950 __ASM_EMIT("vaddps 0x000(%[dst]), %%zmm0, %%zmm0")
951 __ASM_EMIT("vaddps 0x040(%[dst]), %%zmm1, %%zmm1")
952 __ASM_EMIT("vaddps 0x080(%[dst]), %%zmm2, %%zmm2")
953 __ASM_EMIT("vaddps 0x0c0(%[dst]), %%zmm3, %%zmm3")
954 __ASM_EMIT("vfmadd231ps 0x000(%[c]), %%zmm5, %%zmm0")
955 __ASM_EMIT("vfmadd231ps 0x040(%[c]), %%zmm5, %%zmm1")
956 __ASM_EMIT("vfmadd231ps 0x080(%[c]), %%zmm5, %%zmm2")
957 __ASM_EMIT("vfmadd231ps 0x0c0(%[c]), %%zmm5, %%zmm3")
958 __ASM_EMIT("vfmadd231ps 0x000(%[d]), %%zmm4, %%zmm0")
959 __ASM_EMIT("vfmadd231ps 0x040(%[d]), %%zmm4, %%zmm1")
960 __ASM_EMIT("vfmadd231ps 0x080(%[d]), %%zmm4, %%zmm2")
961 __ASM_EMIT("vfmadd231ps 0x0c0(%[d]), %%zmm4, %%zmm3")
962 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst])")
963 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst])")
964 __ASM_EMIT("vmovups %%zmm2, 0x080(%[dst])")
965 __ASM_EMIT("vmovups %%zmm3, 0x0c0(%[dst])")
966 __ASM_EMIT("add $0x100, %[a]")
967 __ASM_EMIT("add $0x100, %[b]")
968 __ASM_EMIT("add $0x100, %[c]")
969 __ASM_EMIT("add $0x100, %[d]")
970 __ASM_EMIT("add $0x100, %[dst]")
971 __ASM_EMIT("sub $64, %[count]")
972 __ASM_EMIT("jae 1b")
973 // 32x block
974 __ASM_EMIT("2:")
975 __ASM_EMIT("add $32, %[count]")
976 __ASM_EMIT("jl 4f")
977 __ASM_EMIT("vmulps 0x000(%[a]), %%zmm6, %%zmm0")
978 __ASM_EMIT("vmulps 0x040(%[a]), %%zmm6, %%zmm1")
979 __ASM_EMIT("vfmadd231ps 0x000(%[b]), %%zmm7, %%zmm0")
980 __ASM_EMIT("vfmadd231ps 0x040(%[b]), %%zmm7, %%zmm1")
981 __ASM_EMIT("vaddps 0x000(%[dst]), %%zmm0, %%zmm0")
982 __ASM_EMIT("vaddps 0x040(%[dst]), %%zmm1, %%zmm1")
983 __ASM_EMIT("vfmadd231ps 0x000(%[c]), %%zmm5, %%zmm0")
984 __ASM_EMIT("vfmadd231ps 0x040(%[c]), %%zmm5, %%zmm1")
985 __ASM_EMIT("vfmadd231ps 0x000(%[d]), %%zmm4, %%zmm0")
986 __ASM_EMIT("vfmadd231ps 0x040(%[d]), %%zmm4, %%zmm1")
987 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst])")
988 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst])")
989 __ASM_EMIT("sub $32, %[count]")
990 __ASM_EMIT("add $0x080, %[a]")
991 __ASM_EMIT("add $0x080, %[b]")
992 __ASM_EMIT("add $0x080, %[c]")
993 __ASM_EMIT("add $0x080, %[d]")
994 __ASM_EMIT("add $0x080, %[dst]")
995 // 16x block
996 __ASM_EMIT("4:")
997 __ASM_EMIT("add $16, %[count]")
998 __ASM_EMIT("jl 6f")
999 __ASM_EMIT("vmulps 0x000(%[a]), %%ymm6, %%ymm0")
1000 __ASM_EMIT("vmulps 0x020(%[a]), %%ymm6, %%ymm1")
1001 __ASM_EMIT("vfmadd231ps 0x000(%[b]), %%ymm7, %%ymm0")
1002 __ASM_EMIT("vfmadd231ps 0x020(%[b]), %%ymm7, %%ymm1")
1003 __ASM_EMIT("vaddps 0x000(%[dst]), %%ymm0, %%ymm0")
1004 __ASM_EMIT("vaddps 0x020(%[dst]), %%ymm1, %%ymm1")
1005 __ASM_EMIT("vfmadd231ps 0x000(%[c]), %%ymm5, %%ymm0")
1006 __ASM_EMIT("vfmadd231ps 0x020(%[c]), %%ymm5, %%ymm1")
1007 __ASM_EMIT("vfmadd231ps 0x000(%[d]), %%ymm4, %%ymm0")
1008 __ASM_EMIT("vfmadd231ps 0x020(%[d]), %%ymm4, %%ymm1")
1009 __ASM_EMIT("vmovups %%ymm0, 0x000(%[dst])")
1010 __ASM_EMIT("vmovups %%ymm1, 0x020(%[dst])")
1011 __ASM_EMIT("sub $16, %[count]")
1012 __ASM_EMIT("add $0x040, %[a]")
1013 __ASM_EMIT("add $0x040, %[b]")
1014 __ASM_EMIT("add $0x040, %[c]")
1015 __ASM_EMIT("add $0x040, %[d]")
1016 __ASM_EMIT("add $0x040, %[dst]")
1017 // 8x block
1018 __ASM_EMIT("6:")
1019 __ASM_EMIT("add $8, %[count]")
1020 __ASM_EMIT("jl 8f")
1021 __ASM_EMIT("vmulps 0x000(%[a]), %%xmm6, %%xmm0")
1022 __ASM_EMIT("vmulps 0x010(%[a]), %%xmm6, %%xmm1")
1023 __ASM_EMIT("vfmadd231ps 0x000(%[b]), %%xmm7, %%xmm0")
1024 __ASM_EMIT("vfmadd231ps 0x010(%[b]), %%xmm7, %%xmm1")
1025 __ASM_EMIT("vaddps 0x000(%[dst]), %%xmm0, %%xmm0")
1026 __ASM_EMIT("vaddps 0x010(%[dst]), %%xmm1, %%xmm1")
1027 __ASM_EMIT("vfmadd231ps 0x000(%[c]), %%xmm5, %%xmm0")
1028 __ASM_EMIT("vfmadd231ps 0x010(%[c]), %%xmm5, %%xmm1")
1029 __ASM_EMIT("vfmadd231ps 0x000(%[d]), %%xmm4, %%xmm0")
1030 __ASM_EMIT("vfmadd231ps 0x010(%[d]), %%xmm4, %%xmm1")
1031 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
1032 __ASM_EMIT("vmovups %%xmm1, 0x010(%[dst])")
1033 __ASM_EMIT("sub $8, %[count]")
1034 __ASM_EMIT("add $0x020, %[a]")
1035 __ASM_EMIT("add $0x020, %[b]")
1036 __ASM_EMIT("add $0x020, %[c]")
1037 __ASM_EMIT("add $0x020, %[d]")
1038 __ASM_EMIT("add $0x020, %[dst]")
1039 // 4x block
1040 __ASM_EMIT("8:")
1041 __ASM_EMIT("add $4, %[count]")
1042 __ASM_EMIT("jl 10f")
1043 __ASM_EMIT("vmulps 0x000(%[a]), %%xmm6, %%xmm0")
1044 __ASM_EMIT("vfmadd231ps 0x000(%[b]), %%xmm7, %%xmm0")
1045 __ASM_EMIT("vaddps 0x000(%[dst]), %%xmm0, %%xmm0")
1046 __ASM_EMIT("vfmadd231ps 0x000(%[c]), %%xmm5, %%xmm0")
1047 __ASM_EMIT("vfmadd231ps 0x000(%[d]), %%xmm4, %%xmm0")
1048 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
1049 __ASM_EMIT("sub $4, %[count]")
1050 __ASM_EMIT("add $0x010, %[a]")
1051 __ASM_EMIT("add $0x010, %[b]")
1052 __ASM_EMIT("add $0x010, %[c]")
1053 __ASM_EMIT("add $0x010, %[d]")
1054 __ASM_EMIT("add $0x010, %[dst]")
1055 // 1x blocks
1056 __ASM_EMIT("10:")
1057 __ASM_EMIT("add $3, %[count]")
1058 __ASM_EMIT("jl 12f")
1059 __ASM_EMIT("11:")
1060 __ASM_EMIT("vmulss 0x000(%[a]), %%xmm6, %%xmm0")
1061 __ASM_EMIT("vfmadd231ss 0x000(%[b]), %%xmm7, %%xmm0")
1062 __ASM_EMIT("vaddss 0x000(%[dst]), %%xmm0, %%xmm0")
1063 __ASM_EMIT("vfmadd231ss 0x000(%[c]), %%xmm5, %%xmm0")
1064 __ASM_EMIT("vfmadd231ss 0x000(%[d]), %%xmm4, %%xmm0")
1065 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
1066 __ASM_EMIT("add $0x004, %[a]")
1067 __ASM_EMIT("add $0x004, %[b]")
1068 __ASM_EMIT("add $0x004, %[c]")
1069 __ASM_EMIT("add $0x004, %[d]")
1070 __ASM_EMIT("add $0x004, %[dst]")
1071 __ASM_EMIT("dec %[count]")
1072 __ASM_EMIT("jge 11b")
1073 // End
1074 __ASM_EMIT("12:")
1075 : [count] "+r" (count),
1076 [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [c] "+r" (c), [d] "+r" (d)
1077 : [k1] "m" (k1), [k2] "m" (k2), [k3] "m" (k3), [k4] "m" (k4)
1078 : "cc", "memory",
1079 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1080 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1081 );
1082 }
1083
1084 #else
1085 void mix_copy4(float *dst, const float *a, const float *b, const float *c, const float *d, float k1, float k2, float k3, float k4, size_t count)
1086 {
1087 IF_ARCH_X86(size_t off);
1088 ARCH_X86_ASM
1089 (
1090 // 64x blocks
1091 __ASM_EMIT("xor %[off], %[off]")
1092 __ASM_EMIT("sub $64, %[count]")
1093 __ASM_EMIT("vbroadcastss %[k1], %%zmm6")
1094 __ASM_EMIT("vbroadcastss %[k2], %%zmm7")
1095 __ASM_EMIT("vbroadcastss %[k3], %%zmm5")
1096 __ASM_EMIT("vbroadcastss %[k4], %%zmm4")
1097 __ASM_EMIT("jb 2f")
1098 __ASM_EMIT("1:")
1099 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%zmm6, %%zmm0")
1100 __ASM_EMIT("vmulps 0x040(%[a],%[off]), %%zmm6, %%zmm1")
1101 __ASM_EMIT("vmulps 0x080(%[a],%[off]), %%zmm6, %%zmm2")
1102 __ASM_EMIT("vmulps 0x0c0(%[a],%[off]), %%zmm6, %%zmm3")
1103 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%zmm7, %%zmm0")
1104 __ASM_EMIT("vfmadd231ps 0x040(%[b],%[off]), %%zmm7, %%zmm1")
1105 __ASM_EMIT("vfmadd231ps 0x080(%[b],%[off]), %%zmm7, %%zmm2")
1106 __ASM_EMIT("vfmadd231ps 0x0c0(%[b],%[off]), %%zmm7, %%zmm3")
1107 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%zmm5, %%zmm0")
1108 __ASM_EMIT("vfmadd231ps 0x040(%[c],%[off]), %%zmm5, %%zmm1")
1109 __ASM_EMIT("vfmadd231ps 0x080(%[c],%[off]), %%zmm5, %%zmm2")
1110 __ASM_EMIT("vfmadd231ps 0x0c0(%[c],%[off]), %%zmm5, %%zmm3")
1111 __ASM_EMIT("vfmadd231ps 0x000(%[d],%[off]), %%zmm4, %%zmm0")
1112 __ASM_EMIT("vfmadd231ps 0x040(%[d],%[off]), %%zmm4, %%zmm1")
1113 __ASM_EMIT("vfmadd231ps 0x080(%[d],%[off]), %%zmm4, %%zmm2")
1114 __ASM_EMIT("vfmadd231ps 0x0c0(%[d],%[off]), %%zmm4, %%zmm3")
1115 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst],%[off])")
1116 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst],%[off])")
1117 __ASM_EMIT("vmovups %%zmm2, 0x080(%[dst],%[off])")
1118 __ASM_EMIT("vmovups %%zmm3, 0x0c0(%[dst],%[off])")
1119 __ASM_EMIT("add $0x100, %[off]")
1120 __ASM_EMIT("sub $64, %[count]")
1121 __ASM_EMIT("jae 1b")
1122 // 32x block
1123 __ASM_EMIT("2:")
1124 __ASM_EMIT("add $32, %[count]")
1125 __ASM_EMIT("jl 4f")
1126 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%zmm6, %%zmm0")
1127 __ASM_EMIT("vmulps 0x040(%[a],%[off]), %%zmm6, %%zmm1")
1128 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%zmm7, %%zmm0")
1129 __ASM_EMIT("vfmadd231ps 0x040(%[b],%[off]), %%zmm7, %%zmm1")
1130 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%zmm5, %%zmm0")
1131 __ASM_EMIT("vfmadd231ps 0x040(%[c],%[off]), %%zmm5, %%zmm1")
1132 __ASM_EMIT("vfmadd231ps 0x000(%[d],%[off]), %%zmm4, %%zmm0")
1133 __ASM_EMIT("vfmadd231ps 0x040(%[d],%[off]), %%zmm4, %%zmm1")
1134 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst],%[off])")
1135 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst],%[off])")
1136 __ASM_EMIT("sub $32, %[count]")
1137 __ASM_EMIT("add $0x80, %[off]")
1138 // 16x block
1139 __ASM_EMIT("4:")
1140 __ASM_EMIT("add $16, %[count]")
1141 __ASM_EMIT("jl 6f")
1142 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%ymm6, %%ymm0")
1143 __ASM_EMIT("vmulps 0x020(%[a],%[off]), %%ymm6, %%ymm1")
1144 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%ymm7, %%ymm0")
1145 __ASM_EMIT("vfmadd231ps 0x020(%[b],%[off]), %%ymm7, %%ymm1")
1146 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%ymm5, %%ymm0")
1147 __ASM_EMIT("vfmadd231ps 0x020(%[c],%[off]), %%ymm5, %%ymm1")
1148 __ASM_EMIT("vfmadd231ps 0x000(%[d],%[off]), %%ymm4, %%ymm0")
1149 __ASM_EMIT("vfmadd231ps 0x020(%[d],%[off]), %%ymm4, %%ymm1")
1150 __ASM_EMIT("vmovups %%ymm0, 0x000(%[dst],%[off])")
1151 __ASM_EMIT("vmovups %%ymm1, 0x020(%[dst],%[off])")
1152 __ASM_EMIT("sub $16, %[count]")
1153 __ASM_EMIT("add $0x040, %[off]")
1154 // 8x block
1155 __ASM_EMIT("6:")
1156 __ASM_EMIT("add $8, %[count]")
1157 __ASM_EMIT("jl 8f")
1158 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%xmm6, %%xmm0")
1159 __ASM_EMIT("vmulps 0x010(%[a],%[off]), %%xmm6, %%xmm1")
1160 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%xmm7, %%xmm0")
1161 __ASM_EMIT("vfmadd231ps 0x010(%[b],%[off]), %%xmm7, %%xmm1")
1162 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%xmm5, %%xmm0")
1163 __ASM_EMIT("vfmadd231ps 0x010(%[c],%[off]), %%xmm5, %%xmm1")
1164 __ASM_EMIT("vfmadd231ps 0x000(%[d],%[off]), %%xmm4, %%xmm0")
1165 __ASM_EMIT("vfmadd231ps 0x010(%[d],%[off]), %%xmm4, %%xmm1")
1166 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst],%[off])")
1167 __ASM_EMIT("vmovups %%xmm1, 0x010(%[dst],%[off])")
1168 __ASM_EMIT("sub $8, %[count]")
1169 __ASM_EMIT("add $0x020, %[off]")
1170 // 4x block
1171 __ASM_EMIT("8:")
1172 __ASM_EMIT("add $4, %[count]")
1173 __ASM_EMIT("jl 10f")
1174 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%xmm6, %%xmm0")
1175 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%xmm7, %%xmm0")
1176 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%xmm5, %%xmm0")
1177 __ASM_EMIT("vfmadd231ps 0x000(%[d],%[off]), %%xmm4, %%xmm0")
1178 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst],%[off])")
1179 __ASM_EMIT("sub $4, %[count]")
1180 __ASM_EMIT("add $0x010, %[off]")
1181 // 1x blocks
1182 __ASM_EMIT("10:")
1183 __ASM_EMIT("add $3, %[count]")
1184 __ASM_EMIT("jl 12f")
1185 __ASM_EMIT("11:")
1186 __ASM_EMIT("vmulss 0x000(%[a],%[off]), %%xmm6, %%xmm0")
1187 __ASM_EMIT("vfmadd231ss 0x000(%[b],%[off]), %%xmm7, %%xmm0")
1188 __ASM_EMIT("vfmadd231ss 0x000(%[c],%[off]), %%xmm5, %%xmm0")
1189 __ASM_EMIT("vfmadd231ss 0x000(%[d],%[off]), %%xmm4, %%xmm0")
1190 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
1191 __ASM_EMIT("add $0x04, %[off]")
1192 __ASM_EMIT("dec %[count]")
1193 __ASM_EMIT("jge 11b")
1194 // End
1195 __ASM_EMIT("12:")
1196 : [count] "+r" (count),
1197 [off] "=&r" (off)
1198 : [dst] "r" (dst), [a] "r" (a), [b] "r" (b), [c] "r" (c), [d] "r" (d),
1199 [k1] "m" (k1), [k2] "m" (k2), [k3] "m" (k3), [k4] "m" (k4)
1200 : "cc", "memory",
1201 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1202 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1203 );
1204 }
1205
1206 void mix_add4(float *dst, const float *a, const float *b, const float *c, const float *d, float k1, float k2, float k3, float k4, size_t count)
1207 {
1208 IF_ARCH_X86(size_t off);
1209 ARCH_X86_ASM
1210 (
1211 // 64x blocks
1212 __ASM_EMIT("xor %[off], %[off]")
1213 __ASM_EMIT("sub $64, %[count]")
1214 __ASM_EMIT("vbroadcastss %[k1], %%zmm6")
1215 __ASM_EMIT("vbroadcastss %[k2], %%zmm7")
1216 __ASM_EMIT("vbroadcastss %[k3], %%zmm5")
1217 __ASM_EMIT("vbroadcastss %[k4], %%zmm4")
1218 __ASM_EMIT("jb 2f")
1219 __ASM_EMIT("1:")
1220 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%zmm6, %%zmm0")
1221 __ASM_EMIT("vmulps 0x040(%[a],%[off]), %%zmm6, %%zmm1")
1222 __ASM_EMIT("vmulps 0x080(%[a],%[off]), %%zmm6, %%zmm2")
1223 __ASM_EMIT("vmulps 0x0c0(%[a],%[off]), %%zmm6, %%zmm3")
1224 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%zmm7, %%zmm0")
1225 __ASM_EMIT("vfmadd231ps 0x040(%[b],%[off]), %%zmm7, %%zmm1")
1226 __ASM_EMIT("vfmadd231ps 0x080(%[b],%[off]), %%zmm7, %%zmm2")
1227 __ASM_EMIT("vfmadd231ps 0x0c0(%[b],%[off]), %%zmm7, %%zmm3")
1228 __ASM_EMIT("vaddps 0x000(%[dst],%[off]), %%zmm0, %%zmm0")
1229 __ASM_EMIT("vaddps 0x040(%[dst],%[off]), %%zmm1, %%zmm1")
1230 __ASM_EMIT("vaddps 0x080(%[dst],%[off]), %%zmm2, %%zmm2")
1231 __ASM_EMIT("vaddps 0x0c0(%[dst],%[off]), %%zmm3, %%zmm3")
1232 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%zmm5, %%zmm0")
1233 __ASM_EMIT("vfmadd231ps 0x040(%[c],%[off]), %%zmm5, %%zmm1")
1234 __ASM_EMIT("vfmadd231ps 0x080(%[c],%[off]), %%zmm5, %%zmm2")
1235 __ASM_EMIT("vfmadd231ps 0x0c0(%[c],%[off]), %%zmm5, %%zmm3")
1236 __ASM_EMIT("vfmadd231ps 0x000(%[d],%[off]), %%zmm4, %%zmm0")
1237 __ASM_EMIT("vfmadd231ps 0x040(%[d],%[off]), %%zmm4, %%zmm1")
1238 __ASM_EMIT("vfmadd231ps 0x080(%[d],%[off]), %%zmm4, %%zmm2")
1239 __ASM_EMIT("vfmadd231ps 0x0c0(%[d],%[off]), %%zmm4, %%zmm3")
1240 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst],%[off])")
1241 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst],%[off])")
1242 __ASM_EMIT("vmovups %%zmm2, 0x080(%[dst],%[off])")
1243 __ASM_EMIT("vmovups %%zmm3, 0x0c0(%[dst],%[off])")
1244 __ASM_EMIT("add $0x100, %[off]")
1245 __ASM_EMIT("sub $64, %[count]")
1246 __ASM_EMIT("jae 1b")
1247 // 32x block
1248 __ASM_EMIT("2:")
1249 __ASM_EMIT("add $32, %[count]")
1250 __ASM_EMIT("jl 4f")
1251 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%zmm6, %%zmm0")
1252 __ASM_EMIT("vmulps 0x040(%[a],%[off]), %%zmm6, %%zmm1")
1253 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%zmm7, %%zmm0")
1254 __ASM_EMIT("vfmadd231ps 0x040(%[b],%[off]), %%zmm7, %%zmm1")
1255 __ASM_EMIT("vaddps 0x000(%[dst],%[off]), %%zmm0, %%zmm0")
1256 __ASM_EMIT("vaddps 0x040(%[dst],%[off]), %%zmm1, %%zmm1")
1257 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%zmm5, %%zmm0")
1258 __ASM_EMIT("vfmadd231ps 0x040(%[c],%[off]), %%zmm5, %%zmm1")
1259 __ASM_EMIT("vfmadd231ps 0x000(%[d],%[off]), %%zmm4, %%zmm0")
1260 __ASM_EMIT("vfmadd231ps 0x040(%[d],%[off]), %%zmm4, %%zmm1")
1261 __ASM_EMIT("vmovups %%zmm0, 0x000(%[dst],%[off])")
1262 __ASM_EMIT("vmovups %%zmm1, 0x040(%[dst],%[off])")
1263 __ASM_EMIT("sub $32, %[count]")
1264 __ASM_EMIT("add $0x80, %[off]")
1265 // 16x block
1266 __ASM_EMIT("4:")
1267 __ASM_EMIT("add $16, %[count]")
1268 __ASM_EMIT("jl 6f")
1269 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%ymm6, %%ymm0")
1270 __ASM_EMIT("vmulps 0x020(%[a],%[off]), %%ymm6, %%ymm1")
1271 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%ymm7, %%ymm0")
1272 __ASM_EMIT("vfmadd231ps 0x020(%[b],%[off]), %%ymm7, %%ymm1")
1273 __ASM_EMIT("vaddps 0x000(%[dst],%[off]), %%ymm0, %%ymm0")
1274 __ASM_EMIT("vaddps 0x020(%[dst],%[off]), %%ymm1, %%ymm1")
1275 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%ymm5, %%ymm0")
1276 __ASM_EMIT("vfmadd231ps 0x020(%[c],%[off]), %%ymm5, %%ymm1")
1277 __ASM_EMIT("vfmadd231ps 0x000(%[d],%[off]), %%ymm4, %%ymm0")
1278 __ASM_EMIT("vfmadd231ps 0x020(%[d],%[off]), %%ymm4, %%ymm1")
1279 __ASM_EMIT("vmovups %%ymm0, 0x000(%[dst],%[off])")
1280 __ASM_EMIT("vmovups %%ymm1, 0x020(%[dst],%[off])")
1281 __ASM_EMIT("sub $16, %[count]")
1282 __ASM_EMIT("add $0x040, %[off]")
1283 // 8x block
1284 __ASM_EMIT("6:")
1285 __ASM_EMIT("add $8, %[count]")
1286 __ASM_EMIT("jl 8f")
1287 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%xmm6, %%xmm0")
1288 __ASM_EMIT("vmulps 0x010(%[a],%[off]), %%xmm6, %%xmm1")
1289 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%xmm7, %%xmm0")
1290 __ASM_EMIT("vfmadd231ps 0x010(%[b],%[off]), %%xmm7, %%xmm1")
1291 __ASM_EMIT("vaddps 0x000(%[dst],%[off]), %%xmm0, %%xmm0")
1292 __ASM_EMIT("vaddps 0x010(%[dst],%[off]), %%xmm1, %%xmm1")
1293 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%xmm5, %%xmm0")
1294 __ASM_EMIT("vfmadd231ps 0x010(%[c],%[off]), %%xmm5, %%xmm1")
1295 __ASM_EMIT("vfmadd231ps 0x000(%[d],%[off]), %%xmm4, %%xmm0")
1296 __ASM_EMIT("vfmadd231ps 0x010(%[d],%[off]), %%xmm4, %%xmm1")
1297 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst],%[off])")
1298 __ASM_EMIT("vmovups %%xmm1, 0x010(%[dst],%[off])")
1299 __ASM_EMIT("sub $8, %[count]")
1300 __ASM_EMIT("add $0x020, %[off]")
1301 // 4x block
1302 __ASM_EMIT("8:")
1303 __ASM_EMIT("add $4, %[count]")
1304 __ASM_EMIT("jl 10f")
1305 __ASM_EMIT("vmulps 0x000(%[a],%[off]), %%xmm6, %%xmm0")
1306 __ASM_EMIT("vfmadd231ps 0x000(%[b],%[off]), %%xmm7, %%xmm0")
1307 __ASM_EMIT("vaddps 0x000(%[dst],%[off]), %%xmm0, %%xmm0")
1308 __ASM_EMIT("vfmadd231ps 0x000(%[c],%[off]), %%xmm5, %%xmm0")
1309 __ASM_EMIT("vfmadd231ps 0x000(%[d],%[off]), %%xmm4, %%xmm0")
1310 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst],%[off])")
1311 __ASM_EMIT("sub $4, %[count]")
1312 __ASM_EMIT("add $0x010, %[off]")
1313 // 1x blocks
1314 __ASM_EMIT("10:")
1315 __ASM_EMIT("add $3, %[count]")
1316 __ASM_EMIT("jl 12f")
1317 __ASM_EMIT("11:")
1318 __ASM_EMIT("vmulss 0x000(%[a],%[off]), %%xmm6, %%xmm0")
1319 __ASM_EMIT("vfmadd231ss 0x000(%[b],%[off]), %%xmm7, %%xmm0")
1320 __ASM_EMIT("vaddss 0x000(%[dst],%[off]), %%xmm0, %%xmm0")
1321 __ASM_EMIT("vfmadd231ss 0x000(%[c],%[off]), %%xmm5, %%xmm0")
1322 __ASM_EMIT("vfmadd231ss 0x000(%[d],%[off]), %%xmm4, %%xmm0")
1323 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
1324 __ASM_EMIT("add $0x04, %[off]")
1325 __ASM_EMIT("dec %[count]")
1326 __ASM_EMIT("jge 11b")
1327 // End
1328 __ASM_EMIT("12:")
1329 : [count] "+r" (count),
1330 [off] "=&r" (off)
1331 : [dst] "r" (dst), [a] "r" (a), [b] "r" (b), [c] "r" (c), [d] "r" (d),
1332 [k1] "m" (k1), [k2] "m" (k2), [k3] "m" (k3), [k4] "m" (k4)
1333 : "cc", "memory",
1334 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1335 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1336 );
1337 }
1338 #endif
1339
1340 } /* namespace avx512 */
1341 } /* namespace lsp */
1342
1343 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_MIX_H_ */