Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx/pmath/normalize.h

raw
1 /*
2 * Copyright (C) 2022 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2022 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 6 нояб. 2022 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef INCLUDE_PRIVATE_DSP_ARCH_X86_AVX_PMATH_NORMALIZE_H_
23 #define INCLUDE_PRIVATE_DSP_ARCH_X86_AVX_PMATH_NORMALIZE_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX_IMPL */
28
29 namespace lsp
30 {
31 namespace avx
32 {
33
34 IF_ARCH_X86(
35 static const uint32_t normalize_const[] __lsp_aligned32 =
36 {
37 LSP_DSP_VEC8(0x7fffffff),
38 LSP_DSP_VEC8(0x3f800000) /* 1.0f */
39 };
40 );
41
42 void normalize1(float *dst, size_t count)
43 {
44 IF_ARCH_X86( size_t off, count2 );
45
46 ARCH_X86_ASM
47 (
48 __ASM_EMIT("test %[count], %[count]")
49 __ASM_EMIT("jz 2000f")
50
51 /* Search minimum */
52 __ASM_EMIT("vxorps %%ymm1, %%ymm1, %%ymm1") /* ymm1 = 0 */
53 __ASM_EMIT("vmovaps 0x00(%[MASK]), %%ymm2") /* ymm2 = abs mask */
54 __ASM_EMIT("xor %[off], %[off]") /* off = 0 */
55 __ASM_EMIT("mov %[count], %[count2]")
56
57 /* Perform search of absolute max value */
58 __ASM_EMIT("sub $32, %[count]")
59 __ASM_EMIT("vmovaps %%ymm1, %%ymm0") /* ymm0 = 0 */
60 __ASM_EMIT("vmovaps %%ymm2, %%ymm3") /* ymm3 = abs mask */
61 __ASM_EMIT("jb 2f")
62 /* x32 blocks */
63 __ASM_EMIT("1:")
64 __ASM_EMIT("vandps 0x00(%[dst], %[off]), %%ymm2, %%ymm4")
65 __ASM_EMIT("vandps 0x20(%[dst], %[off]), %%ymm2, %%ymm5")
66 __ASM_EMIT("vandps 0x40(%[dst], %[off]), %%ymm2, %%ymm6")
67 __ASM_EMIT("vandps 0x60(%[dst], %[off]), %%ymm2, %%ymm7")
68 __ASM_EMIT("vmaxps %%ymm4, %%ymm0, %%ymm0")
69 __ASM_EMIT("vmaxps %%ymm5, %%ymm1, %%ymm1")
70 __ASM_EMIT("vmaxps %%ymm6, %%ymm0, %%ymm0")
71 __ASM_EMIT("vmaxps %%ymm7, %%ymm1, %%ymm1")
72 __ASM_EMIT("add $0x80, %[off]")
73 __ASM_EMIT("sub $32, %[count]")
74 __ASM_EMIT("jae 1b")
75 /* x16 block */
76 __ASM_EMIT("2:")
77 __ASM_EMIT("add $16, %[count]")
78 __ASM_EMIT("jl 4f")
79 __ASM_EMIT("vandps 0x00(%[dst], %[off]), %%ymm2, %%ymm4")
80 __ASM_EMIT("vandps 0x20(%[dst], %[off]), %%ymm2, %%ymm5")
81 __ASM_EMIT("vmaxps %%ymm4, %%ymm0, %%ymm0")
82 __ASM_EMIT("vmaxps %%ymm5, %%ymm1, %%ymm1")
83 __ASM_EMIT("sub $16, %[count]")
84 __ASM_EMIT("add $0x40, %[off]")
85 /* x8 block */
86 __ASM_EMIT("4:")
87 __ASM_EMIT("vmaxps %%ymm0, %%ymm1, %%ymm0")
88 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm1")
89 __ASM_EMIT("add $8, %[count]")
90 __ASM_EMIT("jl 6f")
91 __ASM_EMIT("vandps 0x00(%[dst], %[off]), %%xmm2, %%xmm4")
92 __ASM_EMIT("vandps 0x10(%[dst], %[off]), %%xmm3, %%xmm5")
93 __ASM_EMIT("vmaxps %%xmm4, %%xmm0, %%xmm0")
94 __ASM_EMIT("vmaxps %%xmm5, %%xmm1, %%xmm1")
95 __ASM_EMIT("sub $8, %[count]")
96 __ASM_EMIT("add $0x20, %[off]")
97 /* x4 block */
98 __ASM_EMIT("6:")
99 __ASM_EMIT("add $4, %[count]")
100 __ASM_EMIT("jl 8f")
101 __ASM_EMIT("vandps 0x00(%[dst], %[off]), %%xmm2, %%xmm4")
102 __ASM_EMIT("vmaxps %%xmm4, %%xmm0, %%xmm0")
103 __ASM_EMIT("sub $4, %[count]")
104 __ASM_EMIT("add $0x10, %[off]")
105 /* x1 block */
106 __ASM_EMIT("8:")
107 __ASM_EMIT("vmaxps %%xmm0, %%xmm1, %%xmm1")
108 __ASM_EMIT("vmovhlps %%xmm1, %%xmm0, %%xmm0")
109 __ASM_EMIT("vmaxps %%xmm0, %%xmm1, %%xmm1")
110 __ASM_EMIT("vunpcklps %%xmm0, %%xmm1, %%xmm1")
111 __ASM_EMIT("vmovhlps %%xmm1, %%xmm0, %%xmm0")
112 __ASM_EMIT("vmaxss %%xmm0, %%xmm1, %%xmm1")
113 __ASM_EMIT("add $3, %[count]")
114 __ASM_EMIT("jl 10f")
115 __ASM_EMIT("9:")
116 __ASM_EMIT("vmovss 0x00(%[dst], %[off]), %%xmm4")
117 __ASM_EMIT("vandps %%xmm2, %%xmm4, %%xmm4")
118 __ASM_EMIT("vmaxss %%xmm4, %%xmm1, %%xmm1")
119 __ASM_EMIT("add $0x04, %[off]")
120 __ASM_EMIT("dec %[count]")
121 __ASM_EMIT("jge 9b")
122 __ASM_EMIT("10:")
123 /* xmm1 = max { abs{ src } } */
124 __ASM_EMIT("mov %[count2], %[count]") /* restore count */
125 __ASM_EMIT("vxorps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = 0.0f */
126 __ASM_EMIT("xor %[off], %[off]") /* off = 0 */
127 __ASM_EMIT("vucomiss %%xmm1, %%xmm0") /* abs mask <=> 0.0f */
128 __ASM_EMIT("jle 2000f")
129 __ASM_EMIT("vshufps $0x00, %%xmm1, %%xmm1, %%xmm1")
130 __ASM_EMIT("vmovaps 0x20(%[MASK]), %%ymm0") /* ymm0 = 1.0f */
131 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm1, %%ymm1")
132 __ASM_EMIT("vdivps %%ymm1, %%ymm0, %%ymm0") /* ymm0 = 1.0f / max { abs { src } } */
133
134 /* Scale data by the coefficient stored in xmm0 and store to destination */
135 __ASM_EMIT("sub $32, %[count]")
136 __ASM_EMIT("vmovaps %%ymm0, %%ymm1")
137 __ASM_EMIT("jb 2f")
138 /* x32 blocks */
139 __ASM_EMIT("1:")
140 __ASM_EMIT("vmulps 0x00(%[dst], %[off]), %%ymm0, %%ymm2")
141 __ASM_EMIT("vmulps 0x20(%[dst], %[off]), %%ymm1, %%ymm3")
142 __ASM_EMIT("vmulps 0x40(%[dst], %[off]), %%ymm0, %%ymm4")
143 __ASM_EMIT("vmulps 0x60(%[dst], %[off]), %%ymm1, %%ymm5")
144 __ASM_EMIT("vmovups %%ymm2, 0x00(%[dst], %[off])")
145 __ASM_EMIT("vmovups %%ymm3, 0x20(%[dst], %[off])")
146 __ASM_EMIT("vmovups %%ymm4, 0x40(%[dst], %[off])")
147 __ASM_EMIT("vmovups %%ymm5, 0x60(%[dst], %[off])")
148 __ASM_EMIT("add $0x80, %[off]")
149 __ASM_EMIT("sub $32, %[count]")
150 __ASM_EMIT("jae 1b")
151 /* x16 block */
152 __ASM_EMIT("2:")
153 __ASM_EMIT("add $16, %[count]")
154 __ASM_EMIT("jl 4f")
155 __ASM_EMIT("vmulps 0x00(%[dst], %[off]), %%ymm0, %%ymm2")
156 __ASM_EMIT("vmulps 0x20(%[dst], %[off]), %%ymm1, %%ymm3")
157 __ASM_EMIT("vmovups %%ymm2, 0x00(%[dst], %[off])")
158 __ASM_EMIT("vmovups %%ymm3, 0x20(%[dst], %[off])")
159 __ASM_EMIT("sub $16, %[count]")
160 __ASM_EMIT("add $0x40, %[off]")
161 /* x8 block */
162 __ASM_EMIT("4:")
163 __ASM_EMIT("add $8, %[count]")
164 __ASM_EMIT("jl 6f")
165 __ASM_EMIT("vmulps 0x00(%[dst], %[off]), %%xmm0, %%xmm2")
166 __ASM_EMIT("vmulps 0x10(%[dst], %[off]), %%xmm1, %%xmm3")
167 __ASM_EMIT("vmovups %%xmm2, 0x00(%[dst], %[off])")
168 __ASM_EMIT("vmovups %%xmm3, 0x10(%[dst], %[off])")
169 __ASM_EMIT("sub $8, %[count]")
170 __ASM_EMIT("add $0x20, %[off]")
171 /* x4 block */
172 __ASM_EMIT("6:")
173 __ASM_EMIT("add $4, %[count]")
174 __ASM_EMIT("jl 8f")
175 __ASM_EMIT("vmulps 0x00(%[dst], %[off]), %%xmm0, %%xmm2")
176 __ASM_EMIT("vmovups %%xmm2, 0x00(%[dst], %[off])")
177 __ASM_EMIT("sub $4, %[count]")
178 __ASM_EMIT("add $0x10, %[off]")
179 /* x1 block */
180 __ASM_EMIT("8:")
181 __ASM_EMIT("add $3, %[count]")
182 __ASM_EMIT("jl 2000f")
183 __ASM_EMIT("9:")
184 __ASM_EMIT("vmovss 0x00(%[dst], %[off]), %%xmm2")
185 __ASM_EMIT("vmulss %%xmm0, %%xmm2, %%xmm2")
186 __ASM_EMIT("vmovss %%xmm2, 0x00(%[dst], %[off])")
187 __ASM_EMIT("add $0x04, %[off]")
188 __ASM_EMIT("dec %[count]")
189 __ASM_EMIT("jge 9b")
190
191 __ASM_EMIT("2000:")
192
193 : [off] "=&r" (off), [count] "+r" (count), [count2] "=&r" (count2)
194 : [dst] "r" (dst),
195 [MASK] "r" (normalize_const)
196 : "cc", "memory",
197 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
198 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
199 );
200 }
201
202 void normalize2(float *dst, const float *src, size_t count)
203 {
204 IF_ARCH_X86( size_t off, count2 );
205
206 ARCH_X86_ASM
207 (
208 __ASM_EMIT("test %[count], %[count]")
209 __ASM_EMIT("jz 2000f")
210
211 /* Search minimum */
212 __ASM_EMIT("vxorps %%ymm1, %%ymm1, %%ymm1") /* ymm1 = 0 */
213 __ASM_EMIT("vmovaps 0x00(%[MASK]), %%ymm2") /* ymm2 = abs mask */
214 __ASM_EMIT("xor %[off], %[off]") /* off = 0 */
215 __ASM_EMIT("mov %[count], %[count2]")
216
217 /* Perform search of absolute max value */
218 __ASM_EMIT("sub $32, %[count]")
219 __ASM_EMIT("vmovaps %%ymm1, %%ymm0") /* ymm0 = 0 */
220 __ASM_EMIT("vmovaps %%ymm2, %%ymm3") /* ymm3 = abs mask */
221 __ASM_EMIT("jb 2f")
222 /* x32 blocks */
223 __ASM_EMIT("1:")
224 __ASM_EMIT("vandps 0x00(%[src], %[off]), %%ymm2, %%ymm4")
225 __ASM_EMIT("vandps 0x20(%[src], %[off]), %%ymm2, %%ymm5")
226 __ASM_EMIT("vandps 0x40(%[src], %[off]), %%ymm2, %%ymm6")
227 __ASM_EMIT("vandps 0x60(%[src], %[off]), %%ymm2, %%ymm7")
228 __ASM_EMIT("vmaxps %%ymm4, %%ymm0, %%ymm0")
229 __ASM_EMIT("vmaxps %%ymm5, %%ymm1, %%ymm1")
230 __ASM_EMIT("vmaxps %%ymm6, %%ymm0, %%ymm0")
231 __ASM_EMIT("vmaxps %%ymm7, %%ymm1, %%ymm1")
232 __ASM_EMIT("add $0x80, %[off]")
233 __ASM_EMIT("sub $32, %[count]")
234 __ASM_EMIT("jae 1b")
235 /* x16 block */
236 __ASM_EMIT("2:")
237 __ASM_EMIT("add $16, %[count]")
238 __ASM_EMIT("jl 4f")
239 __ASM_EMIT("vandps 0x00(%[src], %[off]), %%ymm2, %%ymm4")
240 __ASM_EMIT("vandps 0x20(%[src], %[off]), %%ymm2, %%ymm5")
241 __ASM_EMIT("vmaxps %%ymm4, %%ymm0, %%ymm0")
242 __ASM_EMIT("vmaxps %%ymm5, %%ymm1, %%ymm1")
243 __ASM_EMIT("sub $16, %[count]")
244 __ASM_EMIT("add $0x40, %[off]")
245 /* x8 block */
246 __ASM_EMIT("4:")
247 __ASM_EMIT("vmaxps %%ymm0, %%ymm1, %%ymm0")
248 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm1")
249 __ASM_EMIT("add $8, %[count]")
250 __ASM_EMIT("jl 6f")
251 __ASM_EMIT("vandps 0x00(%[src], %[off]), %%xmm2, %%xmm4")
252 __ASM_EMIT("vandps 0x10(%[src], %[off]), %%xmm3, %%xmm5")
253 __ASM_EMIT("vmaxps %%xmm4, %%xmm0, %%xmm0")
254 __ASM_EMIT("vmaxps %%xmm5, %%xmm1, %%xmm1")
255 __ASM_EMIT("sub $8, %[count]")
256 __ASM_EMIT("add $0x20, %[off]")
257 /* x4 block */
258 __ASM_EMIT("6:")
259 __ASM_EMIT("add $4, %[count]")
260 __ASM_EMIT("jl 8f")
261 __ASM_EMIT("vandps 0x00(%[src], %[off]), %%xmm2, %%xmm4")
262 __ASM_EMIT("vmaxps %%xmm4, %%xmm0, %%xmm0")
263 __ASM_EMIT("sub $4, %[count]")
264 __ASM_EMIT("add $0x10, %[off]")
265 /* x1 block */
266 __ASM_EMIT("8:")
267 __ASM_EMIT("vmaxps %%xmm0, %%xmm1, %%xmm1")
268 __ASM_EMIT("vmovhlps %%xmm1, %%xmm0, %%xmm0")
269 __ASM_EMIT("vmaxps %%xmm0, %%xmm1, %%xmm1")
270 __ASM_EMIT("vunpcklps %%xmm0, %%xmm1, %%xmm1")
271 __ASM_EMIT("vmovhlps %%xmm1, %%xmm0, %%xmm0")
272 __ASM_EMIT("vmaxss %%xmm0, %%xmm1, %%xmm1")
273 __ASM_EMIT("add $3, %[count]")
274 __ASM_EMIT("jl 10f")
275 __ASM_EMIT("9:")
276 __ASM_EMIT("vmovss 0x00(%[src], %[off]), %%xmm4")
277 __ASM_EMIT("vandps %%xmm2, %%xmm4, %%xmm4")
278 __ASM_EMIT("vmaxss %%xmm4, %%xmm1, %%xmm1")
279 __ASM_EMIT("add $0x04, %[off]")
280 __ASM_EMIT("dec %[count]")
281 __ASM_EMIT("jge 9b")
282 __ASM_EMIT("10:")
283 /* xmm1 = max { abs{ src } } */
284 __ASM_EMIT("mov %[count2], %[count]") /* restore count */
285 __ASM_EMIT("vxorps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = 0.0f */
286 __ASM_EMIT("xor %[off], %[off]") /* off = 0 */
287 __ASM_EMIT("vucomiss %%xmm1, %%xmm0") /* abs mask <=> 0.0f */
288 __ASM_EMIT("jle 1000f")
289 __ASM_EMIT("vshufps $0x00, %%xmm1, %%xmm1, %%xmm1")
290 __ASM_EMIT("vmovaps 0x20(%[MASK]), %%ymm0") /* ymm0 = 1.0f */
291 __ASM_EMIT("vinsertf128 $1, %%xmm1, %%ymm1, %%ymm1")
292 __ASM_EMIT("vdivps %%ymm1, %%ymm0, %%ymm0") /* ymm0 = 1.0f / max { abs { src } } */
293
294 /* Scale data by the coefficient stored in xmm0 and store to destination */
295 __ASM_EMIT("sub $32, %[count]")
296 __ASM_EMIT("vmovaps %%ymm0, %%ymm1")
297 __ASM_EMIT("jb 2f")
298 /* x32 blocks */
299 __ASM_EMIT("1:")
300 __ASM_EMIT("vmulps 0x00(%[src], %[off]), %%ymm0, %%ymm2")
301 __ASM_EMIT("vmulps 0x20(%[src], %[off]), %%ymm1, %%ymm3")
302 __ASM_EMIT("vmulps 0x40(%[src], %[off]), %%ymm0, %%ymm4")
303 __ASM_EMIT("vmulps 0x60(%[src], %[off]), %%ymm1, %%ymm5")
304 __ASM_EMIT("vmovups %%ymm2, 0x00(%[dst], %[off])")
305 __ASM_EMIT("vmovups %%ymm3, 0x20(%[dst], %[off])")
306 __ASM_EMIT("vmovups %%ymm4, 0x40(%[dst], %[off])")
307 __ASM_EMIT("vmovups %%ymm5, 0x60(%[dst], %[off])")
308 __ASM_EMIT("add $0x80, %[off]")
309 __ASM_EMIT("sub $32, %[count]")
310 __ASM_EMIT("jae 1b")
311 /* x16 block */
312 __ASM_EMIT("2:")
313 __ASM_EMIT("add $16, %[count]")
314 __ASM_EMIT("jl 4f")
315 __ASM_EMIT("vmulps 0x00(%[src], %[off]), %%ymm0, %%ymm2")
316 __ASM_EMIT("vmulps 0x20(%[src], %[off]), %%ymm1, %%ymm3")
317 __ASM_EMIT("vmovups %%ymm2, 0x00(%[dst], %[off])")
318 __ASM_EMIT("vmovups %%ymm3, 0x20(%[dst], %[off])")
319 __ASM_EMIT("sub $16, %[count]")
320 __ASM_EMIT("add $0x40, %[off]")
321 /* x8 block */
322 __ASM_EMIT("4:")
323 __ASM_EMIT("add $8, %[count]")
324 __ASM_EMIT("jl 6f")
325 __ASM_EMIT("vmulps 0x00(%[src], %[off]), %%xmm0, %%xmm2")
326 __ASM_EMIT("vmulps 0x10(%[src], %[off]), %%xmm1, %%xmm3")
327 __ASM_EMIT("vmovups %%xmm2, 0x00(%[dst], %[off])")
328 __ASM_EMIT("vmovups %%xmm3, 0x10(%[dst], %[off])")
329 __ASM_EMIT("sub $8, %[count]")
330 __ASM_EMIT("add $0x20, %[off]")
331 /* x4 block */
332 __ASM_EMIT("6:")
333 __ASM_EMIT("add $4, %[count]")
334 __ASM_EMIT("jl 8f")
335 __ASM_EMIT("vmulps 0x00(%[src], %[off]), %%xmm0, %%xmm2")
336 __ASM_EMIT("vmovups %%xmm2, 0x00(%[dst], %[off])")
337 __ASM_EMIT("sub $4, %[count]")
338 __ASM_EMIT("add $0x10, %[off]")
339 /* x1 block */
340 __ASM_EMIT("8:")
341 __ASM_EMIT("add $3, %[count]")
342 __ASM_EMIT("jl 2000f")
343 __ASM_EMIT("9:")
344 __ASM_EMIT("vmovss 0x00(%[src], %[off]), %%xmm2")
345 __ASM_EMIT("vmulss %%xmm0, %%xmm2, %%xmm2")
346 __ASM_EMIT("vmovss %%xmm2, 0x00(%[dst], %[off])")
347 __ASM_EMIT("add $0x04, %[off]")
348 __ASM_EMIT("dec %[count]")
349 __ASM_EMIT("jge 9b")
350 __ASM_EMIT("jmp 2000f")
351
352 /* Copy data to destination */
353 __ASM_EMIT("1000:")
354 __ASM_EMIT("cmp %[src], %[dst]")
355 __ASM_EMIT("je 2000f")
356 __ASM_EMIT("sub $0x40, %[count]")
357 __ASM_EMIT("jb 2f")
358
359 /* x64 block */
360 __ASM_EMIT("1:")
361 __ASM_EMIT("vlddqu 0x00(%[src], %[off]), %%ymm0")
362 __ASM_EMIT("vlddqu 0x20(%[src], %[off]), %%ymm1")
363 __ASM_EMIT("vlddqu 0x40(%[src], %[off]), %%ymm2")
364 __ASM_EMIT("vlddqu 0x60(%[src], %[off]), %%ymm3")
365 __ASM_EMIT("vlddqu 0x80(%[src], %[off]), %%ymm4")
366 __ASM_EMIT("vlddqu 0xa0(%[src], %[off]), %%ymm5")
367 __ASM_EMIT("vlddqu 0xc0(%[src], %[off]), %%ymm6")
368 __ASM_EMIT("vlddqu 0xe0(%[src], %[off]), %%ymm7")
369 __ASM_EMIT("vmovdqu %%ymm0, 0x00(%[dst], %[off])")
370 __ASM_EMIT("vmovdqu %%ymm1, 0x20(%[dst], %[off])")
371 __ASM_EMIT("vmovdqu %%ymm2, 0x40(%[dst], %[off])")
372 __ASM_EMIT("vmovdqu %%ymm3, 0x60(%[dst], %[off])")
373 __ASM_EMIT("vmovdqu %%ymm4, 0x80(%[dst], %[off])")
374 __ASM_EMIT("vmovdqu %%ymm5, 0xa0(%[dst], %[off])")
375 __ASM_EMIT("vmovdqu %%ymm6, 0xc0(%[dst], %[off])")
376 __ASM_EMIT("vmovdqu %%ymm7, 0xe0(%[dst], %[off])")
377 __ASM_EMIT("add $0x100, %[off]")
378 __ASM_EMIT("sub $0x40, %[count]")
379 __ASM_EMIT("jae 1b")
380 /* x32 block */
381 __ASM_EMIT("2:")
382 __ASM_EMIT("add $0x20, %[count]")
383 __ASM_EMIT("jl 4f")
384 __ASM_EMIT("vlddqu 0x00(%[src], %[off]), %%ymm0")
385 __ASM_EMIT("vlddqu 0x20(%[src], %[off]), %%ymm1")
386 __ASM_EMIT("vlddqu 0x40(%[src], %[off]), %%ymm2")
387 __ASM_EMIT("vlddqu 0x60(%[src], %[off]), %%ymm3")
388 __ASM_EMIT("sub $0x20, %[count]")
389 __ASM_EMIT("vmovdqu %%ymm0, 0x00(%[dst], %[off])")
390 __ASM_EMIT("vmovdqu %%ymm1, 0x20(%[dst], %[off])")
391 __ASM_EMIT("vmovdqu %%ymm2, 0x40(%[dst], %[off])")
392 __ASM_EMIT("vmovdqu %%ymm3, 0x60(%[dst], %[off])")
393 __ASM_EMIT("add $0x80, %[off]")
394 /* x16 block */
395 __ASM_EMIT("4:")
396 __ASM_EMIT("add $0x10, %[count]")
397 __ASM_EMIT("jl 6f")
398 __ASM_EMIT("vlddqu 0x00(%[src], %[off]), %%ymm0")
399 __ASM_EMIT("vlddqu 0x20(%[src], %[off]), %%ymm1")
400 __ASM_EMIT("sub $0x10, %[count]")
401 __ASM_EMIT("vmovdqu %%ymm0, 0x00(%[dst], %[off])")
402 __ASM_EMIT("vmovdqu %%ymm1, 0x20(%[dst], %[off])")
403 __ASM_EMIT("add $0x40, %[off]")
404 /* x8 block */
405 __ASM_EMIT("6:")
406 __ASM_EMIT("add $0x8, %[count]")
407 __ASM_EMIT("jl 8f")
408 __ASM_EMIT("vlddqu 0x00(%[src], %[off]), %%ymm0")
409 __ASM_EMIT("sub $0x8, %[count]")
410 __ASM_EMIT("vmovdqu %%ymm0, 0x00(%[dst], %[off])")
411 __ASM_EMIT("add $0x20, %[off]")
412 /* x1 items */
413 __ASM_EMIT("8:")
414 __ASM_EMIT("add $0x07, %[count]")
415 __ASM_EMIT("jl 2000f")
416 __ASM_EMIT("9:")
417 __ASM_EMIT("vmovd 0x00(%[src], %[off]), %%xmm0")
418 __ASM_EMIT("vmovd %%xmm0, 0x00(%[dst], %[off])")
419 __ASM_EMIT("add $0x04, %[off]")
420 __ASM_EMIT("dec %[count]")
421 __ASM_EMIT("jge 9b")
422
423 __ASM_EMIT("2000:")
424
425 : [off] "=&r" (off), [count] "+r" (count)
426 __IF_64(, [count2] "=&r" (count2))
427 : [dst] "r" (dst), [src] "r" (src),
428 [MASK] "r" (normalize_const)
429 __IF_32(, [count2] "m" (count2))
430 : "cc", "memory",
431 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
432 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
433 );
434 }
435
436 } /* namespace avx */
437 } /* namespace lsp */
438
439
440
441 #endif /* INCLUDE_PRIVATE_DSP_ARCH_X86_AVX_PMATH_NORMALIZE_H_ */