Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx/copy.h

raw
1 /*
2 * Copyright (C) 2023 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2023 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX_COPY_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX_COPY_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX_IMPL */
28
29 namespace lsp
30 {
31 namespace avx
32 {
33 void copy(float *dst, const float *src, size_t count)
34 {
35 size_t off;
36
37 ARCH_X86_ASM
38 (
39 __ASM_EMIT("cmp %[dst], %[src]")
40 __ASM_EMIT("je 10f")
41
42 /* Destination is aligned */
43 __ASM_EMIT("xor %[off], %[off]")
44 __ASM_EMIT("sub $0x40, %[count]")
45 __ASM_EMIT("jb 2f")
46
47 /* Block of 64 items */
48 __ASM_EMIT("1:")
49 __ASM_EMIT("vlddqu 0x00(%[src], %[off]), %%ymm0")
50 __ASM_EMIT("vlddqu 0x20(%[src], %[off]), %%ymm1")
51 __ASM_EMIT("vlddqu 0x40(%[src], %[off]), %%ymm2")
52 __ASM_EMIT("vlddqu 0x60(%[src], %[off]), %%ymm3")
53 __ASM_EMIT("vlddqu 0x80(%[src], %[off]), %%ymm4")
54 __ASM_EMIT("vlddqu 0xa0(%[src], %[off]), %%ymm5")
55 __ASM_EMIT("vlddqu 0xc0(%[src], %[off]), %%ymm6")
56 __ASM_EMIT("vlddqu 0xe0(%[src], %[off]), %%ymm7")
57 __ASM_EMIT("vmovdqu %%ymm0, 0x00(%[dst], %[off])")
58 __ASM_EMIT("vmovdqu %%ymm1, 0x20(%[dst], %[off])")
59 __ASM_EMIT("vmovdqu %%ymm2, 0x40(%[dst], %[off])")
60 __ASM_EMIT("vmovdqu %%ymm3, 0x60(%[dst], %[off])")
61 __ASM_EMIT("vmovdqu %%ymm4, 0x80(%[dst], %[off])")
62 __ASM_EMIT("vmovdqu %%ymm5, 0xa0(%[dst], %[off])")
63 __ASM_EMIT("vmovdqu %%ymm6, 0xc0(%[dst], %[off])")
64 __ASM_EMIT("vmovdqu %%ymm7, 0xe0(%[dst], %[off])")
65 __ASM_EMIT("add $0x100, %[off]")
66 __ASM_EMIT("sub $0x40, %[count]")
67 __ASM_EMIT("jae 1b")
68 /* Block of 32 items */
69 __ASM_EMIT("2:")
70 __ASM_EMIT("add $0x20, %[count]")
71 __ASM_EMIT("jl 4f")
72 __ASM_EMIT("vlddqu 0x00(%[src], %[off]), %%ymm0")
73 __ASM_EMIT("vlddqu 0x20(%[src], %[off]), %%ymm1")
74 __ASM_EMIT("vlddqu 0x40(%[src], %[off]), %%ymm2")
75 __ASM_EMIT("vlddqu 0x60(%[src], %[off]), %%ymm3")
76 __ASM_EMIT("sub $0x20, %[count]")
77 __ASM_EMIT("vmovdqu %%ymm0, 0x00(%[dst], %[off])")
78 __ASM_EMIT("vmovdqu %%ymm1, 0x20(%[dst], %[off])")
79 __ASM_EMIT("vmovdqu %%ymm2, 0x40(%[dst], %[off])")
80 __ASM_EMIT("vmovdqu %%ymm3, 0x60(%[dst], %[off])")
81 __ASM_EMIT("add $0x80, %[off]")
82 /* Block of 16 items */
83 __ASM_EMIT("4:")
84 __ASM_EMIT("add $0x10, %[count]")
85 __ASM_EMIT("jl 6f")
86 __ASM_EMIT("vlddqu 0x00(%[src], %[off]), %%ymm0")
87 __ASM_EMIT("vlddqu 0x20(%[src], %[off]), %%ymm1")
88 __ASM_EMIT("sub $0x10, %[count]")
89 __ASM_EMIT("vmovdqu %%ymm0, 0x00(%[dst], %[off])")
90 __ASM_EMIT("vmovdqu %%ymm1, 0x20(%[dst], %[off])")
91 __ASM_EMIT("add $0x40, %[off]")
92 /* Block of 8 items */
93 __ASM_EMIT("6:")
94 __ASM_EMIT("add $0x8, %[count]")
95 __ASM_EMIT("jl 8f")
96 __ASM_EMIT("vlddqu 0x00(%[src], %[off]), %%ymm0")
97 __ASM_EMIT("sub $0x8, %[count]")
98 __ASM_EMIT("vmovdqu %%ymm0, 0x00(%[dst], %[off])")
99 __ASM_EMIT("add $0x20, %[off]")
100 /* 1x items */
101 __ASM_EMIT("8:")
102 __ASM_EMIT("add $0x07, %[count]")
103 __ASM_EMIT("jl 10f")
104 __ASM_EMIT("9:")
105 __ASM_EMIT("vmovd 0x00(%[src], %[off]), %%xmm0")
106 __ASM_EMIT("vmovd %%xmm0, 0x00(%[dst], %[off])")
107 __ASM_EMIT("add $0x04, %[off]")
108 __ASM_EMIT("dec %[count]")
109 __ASM_EMIT("jge 9b")
110
111 __ASM_EMIT("10:")
112
113 : [src] "+r" (src), [dst] "+r"(dst),
114 [count] "+r" (count), [off] "=&r" (off)
115 :
116 : "cc", "memory",
117 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
118 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
119 );
120 }
121
122 void copy_backward(float *dst, const float *src, size_t count)
123 {
124 size_t off;
125
126 ARCH_X86_ASM
127 (
128 __ASM_EMIT("cmp %[dst], %[src]")
129 __ASM_EMIT("je 10f")
130
131 __ASM_EMIT("lea (,%[count], 4), %[off]")
132 __ASM_EMIT("sub $0x40, %[count]")
133 __ASM_EMIT("jb 2f")
134
135 /* Block of 64 items */
136 __ASM_EMIT("1:")
137 __ASM_EMIT("sub $0x100, %[off]")
138 __ASM_EMIT("vlddqu 0x00(%[src], %[off]), %%ymm0")
139 __ASM_EMIT("vlddqu 0x20(%[src], %[off]), %%ymm1")
140 __ASM_EMIT("vlddqu 0x40(%[src], %[off]), %%ymm2")
141 __ASM_EMIT("vlddqu 0x60(%[src], %[off]), %%ymm3")
142 __ASM_EMIT("vlddqu 0x80(%[src], %[off]), %%ymm4")
143 __ASM_EMIT("vlddqu 0xa0(%[src], %[off]), %%ymm5")
144 __ASM_EMIT("vlddqu 0xc0(%[src], %[off]), %%ymm6")
145 __ASM_EMIT("vlddqu 0xe0(%[src], %[off]), %%ymm7")
146 __ASM_EMIT("vmovdqu %%ymm0, 0x00(%[dst], %[off])")
147 __ASM_EMIT("vmovdqu %%ymm1, 0x20(%[dst], %[off])")
148 __ASM_EMIT("vmovdqu %%ymm2, 0x40(%[dst], %[off])")
149 __ASM_EMIT("vmovdqu %%ymm3, 0x60(%[dst], %[off])")
150 __ASM_EMIT("vmovdqu %%ymm4, 0x80(%[dst], %[off])")
151 __ASM_EMIT("vmovdqu %%ymm5, 0xa0(%[dst], %[off])")
152 __ASM_EMIT("vmovdqu %%ymm6, 0xc0(%[dst], %[off])")
153 __ASM_EMIT("vmovdqu %%ymm7, 0xe0(%[dst], %[off])")
154 __ASM_EMIT("sub $0x40, %[count]")
155 __ASM_EMIT("jae 1b")
156 /* Block of 32 items */
157 __ASM_EMIT("2:")
158 __ASM_EMIT("add $0x20, %[count]")
159 __ASM_EMIT("jl 4f")
160 __ASM_EMIT("sub $0x80, %[off]")
161 __ASM_EMIT("vlddqu 0x00(%[src], %[off]), %%ymm0")
162 __ASM_EMIT("vlddqu 0x20(%[src], %[off]), %%ymm1")
163 __ASM_EMIT("vlddqu 0x40(%[src], %[off]), %%ymm2")
164 __ASM_EMIT("vlddqu 0x60(%[src], %[off]), %%ymm3")
165 __ASM_EMIT("sub $0x20, %[count]")
166 __ASM_EMIT("vmovdqu %%ymm0, 0x00(%[dst], %[off])")
167 __ASM_EMIT("vmovdqu %%ymm1, 0x20(%[dst], %[off])")
168 __ASM_EMIT("vmovdqu %%ymm2, 0x40(%[dst], %[off])")
169 __ASM_EMIT("vmovdqu %%ymm3, 0x60(%[dst], %[off])")
170 /* Block of 16 items */
171 __ASM_EMIT("4:")
172 __ASM_EMIT("add $0x10, %[count]")
173 __ASM_EMIT("jl 6f")
174 __ASM_EMIT("sub $0x40, %[off]")
175 __ASM_EMIT("vlddqu 0x00(%[src], %[off]), %%ymm0")
176 __ASM_EMIT("vlddqu 0x20(%[src], %[off]), %%ymm1")
177 __ASM_EMIT("sub $0x10, %[count]")
178 __ASM_EMIT("vmovdqu %%ymm0, 0x00(%[dst], %[off])")
179 __ASM_EMIT("vmovdqu %%ymm1, 0x20(%[dst], %[off])")
180 /* Block of 8 items */
181 __ASM_EMIT("6:")
182 __ASM_EMIT("add $0x8, %[count]")
183 __ASM_EMIT("jl 8f")
184 __ASM_EMIT("sub $0x20, %[off]")
185 __ASM_EMIT("vlddqu 0x00(%[src], %[off]), %%ymm0")
186 __ASM_EMIT("sub $0x8, %[count]")
187 __ASM_EMIT("vmovdqu %%ymm0, 0x00(%[dst], %[off])")
188 /* 1x items */
189 __ASM_EMIT("8:")
190 __ASM_EMIT("add $0x07, %[count]")
191 __ASM_EMIT("jl 10f")
192 __ASM_EMIT("9:")
193 __ASM_EMIT("sub $0x04, %[off]")
194 __ASM_EMIT("vmovd 0x00(%[src], %[off]), %%xmm0")
195 __ASM_EMIT("vmovd %%xmm0, 0x00(%[dst], %[off])")
196 __ASM_EMIT("dec %[count]")
197 __ASM_EMIT("jge 9b")
198
199 __ASM_EMIT("10:")
200
201 : [src] "+r" (src), [dst] "+r"(dst),
202 [count] "+r" (count), [off] "=&r" (off)
203 :
204 : "cc", "memory",
205 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
206 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
207 );
208 }
209
210 void move(float *dst, const float *src, size_t count)
211 {
212 if (dst < src)
213 avx::copy(dst, src, count);
214 else if (dst > src)
215 avx::copy_backward(dst, src, count);
216 }
217
218 void reverse1(float *dst, size_t count)
219 {
220 IF_ARCH_X86(float *src);
221
222 ARCH_X86_ASM
223 (
224 __ASM_EMIT("lea (%[dst],%[count],4), %[src]")
225 __ASM_EMIT("shr $1, %[count]")
226 __ASM_EMIT("sub $32, %[count]")
227 __ASM_EMIT("jb 2f")
228
229 /* 32x blocks */
230 __ASM_EMIT("1:")
231 __ASM_EMIT("sub $0x80, %[src]")
232 __ASM_EMIT("vperm2f128 $0x23, 0x00(%[dst]), %%ymm4, %%ymm4")
233 __ASM_EMIT("vperm2f128 $0x23, 0x20(%[dst]), %%ymm5, %%ymm5")
234 __ASM_EMIT("vperm2f128 $0x23, 0x40(%[dst]), %%ymm6, %%ymm6")
235 __ASM_EMIT("vperm2f128 $0x23, 0x60(%[dst]), %%ymm7, %%ymm7")
236 __ASM_EMIT("vperm2f128 $0x23, 0x00(%[src]), %%ymm0, %%ymm0")
237 __ASM_EMIT("vperm2f128 $0x23, 0x20(%[src]), %%ymm1, %%ymm1")
238 __ASM_EMIT("vperm2f128 $0x23, 0x40(%[src]), %%ymm2, %%ymm2")
239 __ASM_EMIT("vperm2f128 $0x23, 0x60(%[src]), %%ymm3, %%ymm3")
240 __ASM_EMIT("vshufps $0x1b, %%ymm0, %%ymm0, %%ymm0")
241 __ASM_EMIT("vshufps $0x1b, %%ymm1, %%ymm1, %%ymm1")
242 __ASM_EMIT("vshufps $0x1b, %%ymm2, %%ymm2, %%ymm2")
243 __ASM_EMIT("vshufps $0x1b, %%ymm3, %%ymm3, %%ymm3")
244 __ASM_EMIT("vshufps $0x1b, %%ymm4, %%ymm4, %%ymm4")
245 __ASM_EMIT("vshufps $0x1b, %%ymm5, %%ymm5, %%ymm5")
246 __ASM_EMIT("vshufps $0x1b, %%ymm6, %%ymm6, %%ymm6")
247 __ASM_EMIT("vshufps $0x1b, %%ymm7, %%ymm7, %%ymm7")
248 __ASM_EMIT("vmovups %%ymm3, 0x00(%[dst])")
249 __ASM_EMIT("vmovups %%ymm2, 0x20(%[dst])")
250 __ASM_EMIT("vmovups %%ymm1, 0x40(%[dst])")
251 __ASM_EMIT("vmovups %%ymm0, 0x60(%[dst])")
252 __ASM_EMIT("vmovups %%ymm7, 0x00(%[src])")
253 __ASM_EMIT("vmovups %%ymm6, 0x20(%[src])")
254 __ASM_EMIT("vmovups %%ymm5, 0x40(%[src])")
255 __ASM_EMIT("vmovups %%ymm4, 0x60(%[src])")
256 __ASM_EMIT("add $0x80, %[dst]")
257 __ASM_EMIT("sub $32, %[count]")
258 __ASM_EMIT("jae 1b")
259 /* 16x block */
260 __ASM_EMIT("2:")
261 __ASM_EMIT("add $16, %[count]")
262 __ASM_EMIT("jl 4f")
263 __ASM_EMIT("sub $0x40, %[src]")
264 __ASM_EMIT("vperm2f128 $0x23, 0x00(%[dst]), %%ymm4, %%ymm4")
265 __ASM_EMIT("vperm2f128 $0x23, 0x20(%[dst]), %%ymm5, %%ymm5")
266 __ASM_EMIT("vperm2f128 $0x23, 0x00(%[src]), %%ymm0, %%ymm0")
267 __ASM_EMIT("vperm2f128 $0x23, 0x20(%[src]), %%ymm1, %%ymm1")
268 __ASM_EMIT("vshufps $0x1b, %%ymm0, %%ymm0, %%ymm0")
269 __ASM_EMIT("vshufps $0x1b, %%ymm1, %%ymm1, %%ymm1")
270 __ASM_EMIT("vshufps $0x1b, %%ymm4, %%ymm4, %%ymm4")
271 __ASM_EMIT("vshufps $0x1b, %%ymm5, %%ymm5, %%ymm5")
272 __ASM_EMIT("vmovups %%ymm1, 0x00(%[dst])")
273 __ASM_EMIT("vmovups %%ymm0, 0x20(%[dst])")
274 __ASM_EMIT("vmovups %%ymm5, 0x00(%[src])")
275 __ASM_EMIT("vmovups %%ymm4, 0x20(%[src])")
276 __ASM_EMIT("sub $16, %[count]")
277 __ASM_EMIT("add $0x40, %[dst]")
278 /* 8x block */
279 __ASM_EMIT("4:")
280 __ASM_EMIT("add $8, %[count]")
281 __ASM_EMIT("jl 6f")
282 __ASM_EMIT("sub $0x20, %[src]")
283 __ASM_EMIT("vperm2f128 $0x23, 0x00(%[dst]), %%ymm4, %%ymm4")
284 __ASM_EMIT("vperm2f128 $0x23, 0x00(%[src]), %%ymm0, %%ymm0")
285 __ASM_EMIT("vshufps $0x1b, %%ymm0, %%ymm0, %%ymm0")
286 __ASM_EMIT("vshufps $0x1b, %%ymm4, %%ymm4, %%ymm4")
287 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
288 __ASM_EMIT("vmovups %%ymm4, 0x00(%[src])")
289 __ASM_EMIT("sub $8, %[count]")
290 __ASM_EMIT("add $0x20, %[dst]")
291 /* 4x block */
292 __ASM_EMIT("6:")
293 __ASM_EMIT("add $4, %[count]")
294 __ASM_EMIT("jl 8f")
295 __ASM_EMIT("sub $0x10, %[src]")
296 __ASM_EMIT("vmovups 0x00(%[dst]), %%xmm4")
297 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
298 __ASM_EMIT("vshufps $0x1b, %%xmm0, %%xmm0, %%xmm0")
299 __ASM_EMIT("vshufps $0x1b, %%xmm4, %%xmm4, %%xmm4")
300 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
301 __ASM_EMIT("vmovups %%xmm4, 0x00(%[src])")
302 __ASM_EMIT("sub $4, %[count]")
303 __ASM_EMIT("add $0x10, %[dst]")
304 /* 1x blocks */
305 __ASM_EMIT("8:")
306 __ASM_EMIT("add $3, %[count]")
307 __ASM_EMIT("jl 10f")
308 __ASM_EMIT("9:")
309 __ASM_EMIT("sub $0x4, %[src]")
310 __ASM_EMIT("vmovss 0x00(%[dst]), %%xmm4")
311 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
312 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
313 __ASM_EMIT("vmovss %%xmm4, 0x00(%[src])")
314 __ASM_EMIT("add $0x04, %[dst]")
315 __ASM_EMIT("dec %[count]")
316 __ASM_EMIT("jge 9b")
317 /* end of reverse */
318 __ASM_EMIT("10:")
319 : [dst] "+r"(dst), [src] "=&r" (src),
320 [count] "+r" (count)
321 :
322 : "cc", "memory",
323 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
324 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
325 );
326 }
327
328 void reverse2(float *dst, const float *src, size_t count)
329 {
330 if (dst == src)
331 {
332 reverse1(dst, count);
333 return;
334 }
335
336 ARCH_X86_ASM
337 (
338 __ASM_EMIT("lea (%[dst], %[count], 4), %[dst]")
339 __ASM_EMIT("sub $64, %[count]")
340 __ASM_EMIT("jb 2f")
341
342 /* 64x blocks */
343 __ASM_EMIT("1:")
344 __ASM_EMIT("sub $0x100, %[dst]")
345 __ASM_EMIT("vperm2f128 $0x23, 0x00(%[src]), %%ymm0, %%ymm0")
346 __ASM_EMIT("vperm2f128 $0x23, 0x20(%[src]), %%ymm1, %%ymm1")
347 __ASM_EMIT("vperm2f128 $0x23, 0x40(%[src]), %%ymm2, %%ymm2")
348 __ASM_EMIT("vperm2f128 $0x23, 0x60(%[src]), %%ymm3, %%ymm3")
349 __ASM_EMIT("vperm2f128 $0x23, 0x80(%[src]), %%ymm4, %%ymm4")
350 __ASM_EMIT("vperm2f128 $0x23, 0xa0(%[src]), %%ymm5, %%ymm5")
351 __ASM_EMIT("vperm2f128 $0x23, 0xc0(%[src]), %%ymm6, %%ymm6")
352 __ASM_EMIT("vperm2f128 $0x23, 0xe0(%[src]), %%ymm7, %%ymm7")
353 __ASM_EMIT("vshufps $0x1b, %%ymm0, %%ymm0, %%ymm0")
354 __ASM_EMIT("vshufps $0x1b, %%ymm1, %%ymm1, %%ymm1")
355 __ASM_EMIT("vshufps $0x1b, %%ymm2, %%ymm2, %%ymm2")
356 __ASM_EMIT("vshufps $0x1b, %%ymm3, %%ymm3, %%ymm3")
357 __ASM_EMIT("vshufps $0x1b, %%ymm4, %%ymm4, %%ymm4")
358 __ASM_EMIT("vshufps $0x1b, %%ymm5, %%ymm5, %%ymm5")
359 __ASM_EMIT("vshufps $0x1b, %%ymm6, %%ymm6, %%ymm6")
360 __ASM_EMIT("vshufps $0x1b, %%ymm7, %%ymm7, %%ymm7")
361 __ASM_EMIT("vmovups %%ymm7, 0x00(%[dst])")
362 __ASM_EMIT("vmovups %%ymm6, 0x20(%[dst])")
363 __ASM_EMIT("vmovups %%ymm5, 0x40(%[dst])")
364 __ASM_EMIT("vmovups %%ymm4, 0x60(%[dst])")
365 __ASM_EMIT("vmovups %%ymm3, 0x80(%[dst])")
366 __ASM_EMIT("vmovups %%ymm2, 0xa0(%[dst])")
367 __ASM_EMIT("vmovups %%ymm1, 0xc0(%[dst])")
368 __ASM_EMIT("vmovups %%ymm0, 0xe0(%[dst])")
369 __ASM_EMIT("add $0x100, %[src]")
370 __ASM_EMIT("sub $64, %[count]")
371 __ASM_EMIT("jae 1b")
372 /* 32x block */
373 __ASM_EMIT("2:")
374 __ASM_EMIT("add $32, %[count]")
375 __ASM_EMIT("jl 4f")
376 __ASM_EMIT("sub $0x80, %[dst]")
377 __ASM_EMIT("vperm2f128 $0x23, 0x00(%[src]), %%ymm0, %%ymm0")
378 __ASM_EMIT("vperm2f128 $0x23, 0x20(%[src]), %%ymm1, %%ymm1")
379 __ASM_EMIT("vperm2f128 $0x23, 0x40(%[src]), %%ymm2, %%ymm2")
380 __ASM_EMIT("vperm2f128 $0x23, 0x60(%[src]), %%ymm3, %%ymm3")
381 __ASM_EMIT("vshufps $0x1b, %%ymm0, %%ymm0, %%ymm0")
382 __ASM_EMIT("vshufps $0x1b, %%ymm1, %%ymm1, %%ymm1")
383 __ASM_EMIT("vshufps $0x1b, %%ymm2, %%ymm2, %%ymm2")
384 __ASM_EMIT("vshufps $0x1b, %%ymm3, %%ymm3, %%ymm3")
385 __ASM_EMIT("vmovups %%ymm3, 0x00(%[dst])")
386 __ASM_EMIT("vmovups %%ymm2, 0x20(%[dst])")
387 __ASM_EMIT("vmovups %%ymm1, 0x40(%[dst])")
388 __ASM_EMIT("vmovups %%ymm0, 0x60(%[dst])")
389 __ASM_EMIT("sub $32, %[count]")
390 __ASM_EMIT("add $0x80, %[src]")
391 /* 16x block */
392 __ASM_EMIT("4:")
393 __ASM_EMIT("add $16, %[count]")
394 __ASM_EMIT("jl 6f")
395 __ASM_EMIT("sub $0x40, %[dst]")
396 __ASM_EMIT("vperm2f128 $0x23, 0x00(%[src]), %%ymm0, %%ymm0")
397 __ASM_EMIT("vperm2f128 $0x23, 0x20(%[src]), %%ymm1, %%ymm1")
398 __ASM_EMIT("vshufps $0x1b, %%ymm0, %%ymm0, %%ymm0")
399 __ASM_EMIT("vshufps $0x1b, %%ymm1, %%ymm1, %%ymm1")
400 __ASM_EMIT("vmovups %%ymm1, 0x00(%[dst])")
401 __ASM_EMIT("vmovups %%ymm0, 0x20(%[dst])")
402 __ASM_EMIT("sub $16, %[count]")
403 __ASM_EMIT("add $0x40, %[src]")
404 /* 8x block */
405 __ASM_EMIT("6:")
406 __ASM_EMIT("add $8, %[count]")
407 __ASM_EMIT("jl 8f")
408 __ASM_EMIT("sub $0x20, %[dst]")
409 __ASM_EMIT("vperm2f128 $0x23, 0x00(%[src]), %%ymm0, %%ymm0")
410 __ASM_EMIT("vshufps $0x1b, %%ymm0, %%ymm0, %%ymm0")
411 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
412 __ASM_EMIT("sub $8, %[count]")
413 __ASM_EMIT("add $0x20, %[src]")
414 /* 4x block */
415 __ASM_EMIT("8:")
416 __ASM_EMIT("add $4, %[count]")
417 __ASM_EMIT("jl 10f")
418 __ASM_EMIT("sub $0x10, %[dst]")
419 __ASM_EMIT("vmovups 0x00(%[src]), %%xmm0")
420 __ASM_EMIT("vshufps $0x1b, %%xmm0, %%xmm0, %%xmm0")
421 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
422 __ASM_EMIT("sub $4, %[count]")
423 __ASM_EMIT("add $0x10, %[src]")
424 /* 1x blocks */
425 __ASM_EMIT("10:")
426 __ASM_EMIT("add $3, %[count]")
427 __ASM_EMIT("jl 12f")
428 __ASM_EMIT("11:")
429 __ASM_EMIT("sub $0x04, %[dst]")
430 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0")
431 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
432 __ASM_EMIT("add $0x04, %[src]")
433 __ASM_EMIT("dec %[count]")
434 __ASM_EMIT("jge 11b")
435 /* end of reverse */
436 __ASM_EMIT("12:")
437 : [dst] "+r"(dst), [src] "+r" (src),
438 [count] "+r" (count)
439 :
440 : "cc", "memory",
441 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
442 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
443 );
444 }
445
446 void fill(float *dst, float value, size_t count)
447 {
448 ARCH_X86_ASM
449 (
450 __ASM_EMIT("test %[count], %[count]")
451 __ASM_EMIT("jz 2000f")
452 __ASM_EMIT("vbroadcastss %[value], %%ymm0")
453
454 /* Align destination */
455 __ASM_EMIT("1:")
456 __ASM_EMIT("test $0x01f, %[dst]")
457 __ASM_EMIT("jz 2f")
458 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
459 __ASM_EMIT("add $0x4, %[dst]")
460 __ASM_EMIT("dec %[count]")
461 __ASM_EMIT("jnz 1b")
462 __ASM_EMIT("jmp 2000f")
463 __ASM_EMIT("2:")
464 __ASM_EMIT("vmovaps %%ymm0, %%ymm1")
465 __ASM_EMIT("vmovaps %%ymm0, %%ymm2")
466 __ASM_EMIT("vmovaps %%ymm1, %%ymm3")
467
468 /* Destination is aligned */
469 /* x64 blocks */
470 __ASM_EMIT("sub $0x40, %[count]")
471 __ASM_EMIT("jb 4f")
472 __ASM_EMIT("vmovaps %%ymm0, %%ymm4")
473 __ASM_EMIT("vmovaps %%ymm1, %%ymm5")
474 __ASM_EMIT("vmovaps %%ymm2, %%ymm6")
475 __ASM_EMIT("vmovaps %%ymm3, %%ymm7")
476 __ASM_EMIT("3:")
477 __ASM_EMIT("vmovaps %%ymm0, 0x00(%[dst])")
478 __ASM_EMIT("vmovaps %%ymm1, 0x20(%[dst])")
479 __ASM_EMIT("vmovaps %%ymm2, 0x40(%[dst])")
480 __ASM_EMIT("vmovaps %%ymm3, 0x60(%[dst])")
481 __ASM_EMIT("vmovaps %%ymm4, 0x80(%[dst])")
482 __ASM_EMIT("vmovaps %%ymm5, 0xa0(%[dst])")
483 __ASM_EMIT("vmovaps %%ymm6, 0xc0(%[dst])")
484 __ASM_EMIT("vmovaps %%ymm7, 0xe0(%[dst])")
485 __ASM_EMIT("add $0x100, %[dst]")
486 __ASM_EMIT("sub $0x40, %[count]")
487 __ASM_EMIT("jae 3b")
488 __ASM_EMIT("4:")
489 /* x32 block */
490 __ASM_EMIT("add $0x20, %[count]")
491 __ASM_EMIT("jl 6f")
492 __ASM_EMIT("vmovaps %%ymm0, 0x00(%[dst])")
493 __ASM_EMIT("vmovaps %%ymm1, 0x20(%[dst])")
494 __ASM_EMIT("vmovaps %%ymm2, 0x40(%[dst])")
495 __ASM_EMIT("vmovaps %%ymm3, 0x60(%[dst])")
496 __ASM_EMIT("sub $0x20, %[count]")
497 __ASM_EMIT("add $0x80, %[dst]")
498 __ASM_EMIT("6:")
499 /* x16 block */
500 __ASM_EMIT("add $0x10, %[count]")
501 __ASM_EMIT("jl 8f")
502 __ASM_EMIT("vmovaps %%xmm0, 0x00(%[dst])")
503 __ASM_EMIT("vmovaps %%xmm1, 0x10(%[dst])")
504 __ASM_EMIT("vmovaps %%xmm2, 0x20(%[dst])")
505 __ASM_EMIT("vmovaps %%xmm3, 0x30(%[dst])")
506 __ASM_EMIT("sub $0x10, %[count]")
507 __ASM_EMIT("add $0x40, %[dst]")
508 __ASM_EMIT("8:")
509 /* x8 block */
510 __ASM_EMIT("add $0x8, %[count]")
511 __ASM_EMIT("jl 10f")
512 __ASM_EMIT("vmovaps %%xmm0, 0x00(%[dst])")
513 __ASM_EMIT("vmovaps %%xmm1, 0x10(%[dst])")
514 __ASM_EMIT("sub $0x8, %[count]")
515 __ASM_EMIT("add $0x20, %[dst]")
516 __ASM_EMIT("10:")
517 /* x4 block */
518 __ASM_EMIT("add $0x4, %[count]")
519 __ASM_EMIT("jl 12f")
520 __ASM_EMIT("vmovaps %%xmm0, 0x00(%[dst])")
521 __ASM_EMIT("sub $0x4, %[count]")
522 __ASM_EMIT("add $0x10, %[dst]")
523 __ASM_EMIT("12:")
524 /* x1 block */
525 __ASM_EMIT("add $0x3, %[count]")
526 __ASM_EMIT("jl 14f")
527 __ASM_EMIT("13:")
528 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
529 __ASM_EMIT("add $0x04, %[dst]")
530 __ASM_EMIT("dec %[count]")
531 __ASM_EMIT("jge 13b")
532 __ASM_EMIT("14:")
533 /* end */
534 __ASM_EMIT("2000:")
535
536 : [dst] "+r"(dst), [count] "+r" (count)
537 : [value] "o" (value)
538 : "cc", "memory",
539 "%xmm1", "%xmm2", "%xmm3", "%xmm4",
540 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
541 );
542
543 #undef FILL_CORE
544 }
545
546 void fill_zero(float *dst, size_t count)
547 {
548 fill(dst, 0.0f, count);
549 }
550
551 void fill_one(float *dst, size_t count)
552 {
553 fill(dst, 1.0f, count);
554 }
555
556 void fill_minus_one(float *dst, size_t count)
557 {
558 fill(dst, -1.0f, count);
559 }
560
561 } /* namespace avx */
562 } /* namespace lsp */
563
564 #endif /* PRIVATE_DSP_ARCH_X86_AVX_COPY_H_ */