Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx/resampling.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX_RESAMPLING_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX_RESAMPLING_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX_IMPL */
28
29 namespace lsp
30 {
31 namespace avx
32 {
33 // Lanczos kernel 2x2: 1 AVX register
34 IF_ARCH_X86(
35 static const float lanczos_2x2[] __lsp_aligned16 =
36 {
37 +0.5731591682507563f, // k0
38 -0.0636843520278618f // k1
39 };
40 )
41
42 void lanczos_resample_2x2(float *dst, const float *src, size_t count)
43 {
44 ARCH_X86_ASM (
45 __ASM_EMIT("vmovss 0x00(%[k]), %%xmm6") // xmm6 = k0
46 __ASM_EMIT("vmovss 0x04(%[k]), %%xmm7") // xmm7 = k1
47 // 2x blocks
48 __ASM_EMIT("sub $2, %[count]")
49 __ASM_EMIT("jb 2f")
50 __ASM_EMIT(".align 16")
51 __ASM_EMIT("1:")
52 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0") // xmm0 = s0
53 __ASM_EMIT("vmovss 0x04(%[src]), %%xmm1") // xmm1 = s1
54 __ASM_EMIT("vmulss %%xmm7, %%xmm0, %%xmm2") // xmm2 = k1*s0
55 __ASM_EMIT("vmulss %%xmm7, %%xmm1, %%xmm3") // xmm3 = k1*s1
56 __ASM_EMIT("vaddss 0x04(%[dst]), %%xmm2, %%xmm4") // xmm4 = k1*s0 + d1
57 __ASM_EMIT("vaddss 0x24(%[dst]), %%xmm3, %%xmm5") // xmm5 = k1*s1 + d9
58 __ASM_EMIT("vmovss %%xmm4, 0x04(%[dst])") // d1 += k1*s0
59 __ASM_EMIT("vmovss %%xmm5, 0x24(%[dst])") // d9 += k1*s1
60 __ASM_EMIT("vmulss %%xmm6, %%xmm0, %%xmm4") // xmm4 = k0*s0
61 __ASM_EMIT("vmulss %%xmm6, %%xmm1, %%xmm5") // xmm5 = k0*s1
62 __ASM_EMIT("vaddss %%xmm4, %%xmm3, %%xmm3") // xmm3 = k1*s1 + k0*s0
63 __ASM_EMIT("vaddss %%xmm5, %%xmm2, %%xmm2") // xmm2 = k1*s0 + k0*s1
64 __ASM_EMIT("vaddss 0x0c(%[dst]), %%xmm3, %%xmm3") // xmm3 = k1*s1 + k0*s0 + d3
65 __ASM_EMIT("vaddss 0x1c(%[dst]), %%xmm2, %%xmm2") // xmm2 = k1*s0 + k0*s1 + d7
66 __ASM_EMIT("vmovss %%xmm3, 0x0c(%[dst])") // d3 += k1*s1 + k0*s0
67 __ASM_EMIT("vmovss %%xmm2, 0x1c(%[dst])") // d7 += k1*s0 + k0*s1
68 __ASM_EMIT("vaddss %%xmm5, %%xmm4, %%xmm4") // xmm4 = k0*s0 + k0*s1
69 __ASM_EMIT("vaddss 0x10(%[dst]), %%xmm0, %%xmm0") // xmm0 = s0 + d4
70 __ASM_EMIT("vaddss 0x18(%[dst]), %%xmm1, %%xmm1") // xmm1 = s1 + d6
71 __ASM_EMIT("vaddss 0x14(%[dst]), %%xmm4, %%xmm4") // xmm4 = k0*s0 + k0*s1 + d5
72 __ASM_EMIT("vmovss %%xmm0, 0x10(%[dst])") // d4 += s0
73 __ASM_EMIT("vmovss %%xmm4, 0x14(%[dst])") // d5 += k0*s0 + k0*s1
74 __ASM_EMIT("vmovss %%xmm1, 0x18(%[dst])") // d6 += s1
75 __ASM_EMIT("add $0x08, %[src]")
76 __ASM_EMIT("add $0x10, %[dst]")
77 __ASM_EMIT("sub $2, %[count]")
78 __ASM_EMIT("jae 1b")
79 __ASM_EMIT("2:")
80 // 1x block
81 __ASM_EMIT("add $1, %[count]")
82 __ASM_EMIT("jl 3f")
83 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm2") // xmm2 = s0
84 __ASM_EMIT("vmulss %%xmm7, %%xmm2, %%xmm7") // xmm7 = k1*s0
85 __ASM_EMIT("vmulss %%xmm6, %%xmm2, %%xmm6") // xmm6 = k0*s0
86 __ASM_EMIT("vaddss 0x04(%[dst]), %%xmm7, %%xmm0") // xmm0 = d1 + k1*s0
87 __ASM_EMIT("vaddss 0x0c(%[dst]), %%xmm6, %%xmm1") // xmm1 = d3 + k0*s0
88 __ASM_EMIT("vaddss 0x10(%[dst]), %%xmm2, %%xmm2") // xmm2 = d4 + s0
89 __ASM_EMIT("vaddss 0x14(%[dst]), %%xmm6, %%xmm3") // xmm3 = d5 + k0*s0
90 __ASM_EMIT("vaddss 0x1c(%[dst]), %%xmm7, %%xmm4") // xmm4 = d7 + k1*s0
91 __ASM_EMIT("vmovss %%xmm0, 0x04(%[dst])") // d1 += k1*s0
92 __ASM_EMIT("vmovss %%xmm1, 0x0c(%[dst])") // d3 += k0*s0
93 __ASM_EMIT("vmovss %%xmm2, 0x10(%[dst])") // d4 += s0
94 __ASM_EMIT("vmovss %%xmm3, 0x14(%[dst])") // d5 += k0*s0
95 __ASM_EMIT("vmovss %%xmm4, 0x1c(%[dst])") // d7 += k1*s0
96 __ASM_EMIT("3:")
97
98 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
99 : [k] "r" (lanczos_2x2)
100 : "cc", "memory",
101 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
102 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
103 );
104 }
105
106 IF_ARCH_X86(
107 static const float lanczos_2x3[] __lsp_aligned16 =
108 {
109 +0.0243170840741611f, // k2
110 +0.6079271018540265f, // k0
111 -0.1350949115231170f // k1
112 };
113 )
114
115 void lanczos_resample_2x3(float *dst, const float *src, size_t count)
116 {
117 ARCH_X86_ASM (
118 // 2x blocks
119 __ASM_EMIT("vmovss 0x04(%[k]), %%xmm6") // xmm6 = k0
120 __ASM_EMIT("vmovss 0x08(%[k]), %%xmm7") // xmm7 = k1
121 __ASM_EMIT("sub $2, %[count]")
122 __ASM_EMIT("jb 2f")
123 __ASM_EMIT(".align 16")
124 __ASM_EMIT("1:")
125 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0") // xmm0 = s0
126 __ASM_EMIT("vmovss 0x04(%[src]), %%xmm1") // xmm1 = s1
127
128 __ASM_EMIT("vmulss (%[k]), %%xmm0, %%xmm2") // xmm2 = k2*s0
129 __ASM_EMIT("vmulss (%[k]), %%xmm1, %%xmm3") // xmm3 = k2*s1
130 __ASM_EMIT("vaddss 0x04(%[dst]), %%xmm2, %%xmm4") // xmm4 = k2*s0 + d1
131 __ASM_EMIT("vaddss 0x34(%[dst]), %%xmm3, %%xmm5") // xmm5 = k2*s1 + d13
132 __ASM_EMIT("vmovss %%xmm4, 0x04(%[dst])") // d1 += k2*s0
133 __ASM_EMIT("vmovss %%xmm5, 0x34(%[dst])") // d13 += k2*s1
134
135 __ASM_EMIT("vmulss %%xmm7, %%xmm0, %%xmm4") // xmm4 = k1*s0
136 __ASM_EMIT("vmulss %%xmm7, %%xmm1, %%xmm5") // xmm5 = k1*s1
137 __ASM_EMIT("vaddss %%xmm4, %%xmm3, %%xmm3") // xmm3 = k2*s1 + k1*s0
138 __ASM_EMIT("vaddss %%xmm5, %%xmm2, %%xmm2") // xmm2 = k2*s0 + k1*s1
139 __ASM_EMIT("vaddss 0x0c(%[dst]), %%xmm3, %%xmm3") // xmm3 = k2*s1 + k1*s0 + d3
140 __ASM_EMIT("vaddss 0x2c(%[dst]), %%xmm2, %%xmm2") // xmm2 = k2*s0 + k1*s1 + d11
141 __ASM_EMIT("vmovss %%xmm3, 0x0c(%[dst])") // d3 += k2*s1 + k1*s0
142 __ASM_EMIT("vmovss %%xmm2, 0x2c(%[dst])") // d11 += k2*s0 + k1*s1
143
144 __ASM_EMIT("vmulss %%xmm6, %%xmm0, %%xmm2") // xmm2 = k0*s0
145 __ASM_EMIT("vmulss %%xmm6, %%xmm1, %%xmm3") // xmm3 = k0*s1
146 __ASM_EMIT("vaddss %%xmm2, %%xmm5, %%xmm5") // xmm5 = k1*s1 + k0*s0
147 __ASM_EMIT("vaddss %%xmm3, %%xmm4, %%xmm4") // xmm4 = k1*s0 + k0*s1
148 __ASM_EMIT("vaddss 0x14(%[dst]), %%xmm5, %%xmm5") // xmm5 = k1*s1 + k0*s0 + d5
149 __ASM_EMIT("vaddss 0x24(%[dst]), %%xmm4, %%xmm4") // xmm4 = k1*s0 + k0*s1 + d9
150 __ASM_EMIT("vmovss %%xmm5, 0x14(%[dst])") // d5 += k1*s1 + k0*s0
151 __ASM_EMIT("vmovss %%xmm4, 0x24(%[dst])") // d9 += k1*s0 + k0*s1
152
153 __ASM_EMIT("vaddss %%xmm3, %%xmm2, %%xmm2") // xmm2 = k0*s0 + k0*s1
154 __ASM_EMIT("vaddss 0x18(%[dst]), %%xmm0, %%xmm0") // xmm0 = s0 + d6
155 __ASM_EMIT("vaddss 0x20(%[dst]), %%xmm1, %%xmm1") // xmm1 = s1 + d8
156 __ASM_EMIT("vaddss 0x1c(%[dst]), %%xmm2, %%xmm2") // xmm2 = k0*s0 + k0*s1 + d7
157 __ASM_EMIT("vmovss %%xmm0, 0x18(%[dst])") // d6 += s0
158 __ASM_EMIT("vmovss %%xmm2, 0x1c(%[dst])") // d7 += k0*s0 + k0*s1
159 __ASM_EMIT("vmovss %%xmm1, 0x20(%[dst])") // d8 += s1
160 __ASM_EMIT("add $0x08, %[src]")
161 __ASM_EMIT("add $0x10, %[dst]")
162 __ASM_EMIT("sub $2, %[count]")
163 __ASM_EMIT("jae 1b")
164 __ASM_EMIT("2:")
165 // 1x block
166 __ASM_EMIT("add $1, %[count]")
167 __ASM_EMIT("jl 3f")
168 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm3") // xmm2 = s0
169 __ASM_EMIT("vmulss 0x00(%[k]), %%xmm3, %%xmm6") // xmm6 = k2*s0
170 __ASM_EMIT("vmulss 0x04(%[k]), %%xmm3, %%xmm4") // xmm4 = k0*s0
171 __ASM_EMIT("vmulss 0x08(%[k]), %%xmm3, %%xmm5") // xmm5 = k1*s0
172 __ASM_EMIT("vaddss 0x04(%[dst]), %%xmm6, %%xmm0") // xmm0 = d1 + k2*s0
173 __ASM_EMIT("vaddss 0x0c(%[dst]), %%xmm5, %%xmm1") // xmm1 = d3 + k1*s0
174 __ASM_EMIT("vaddss 0x14(%[dst]), %%xmm4, %%xmm2") // xmm2 = d5 + k0*s0
175 __ASM_EMIT("vaddss 0x18(%[dst]), %%xmm3, %%xmm3") // xmm3 = d6 + s0
176 __ASM_EMIT("vaddss 0x1c(%[dst]), %%xmm4, %%xmm4") // xmm4 = d7 + k0*s0
177 __ASM_EMIT("vaddss 0x24(%[dst]), %%xmm5, %%xmm5") // xmm5 = d9 + k1*s0
178 __ASM_EMIT("vaddss 0x2c(%[dst]), %%xmm6, %%xmm6") // xmm6 = d11 + k2*s0
179 __ASM_EMIT("vmovss %%xmm0, 0x04(%[dst])")
180 __ASM_EMIT("vmovss %%xmm1, 0x0c(%[dst])")
181 __ASM_EMIT("vmovss %%xmm2, 0x14(%[dst])")
182 __ASM_EMIT("vmovss %%xmm3, 0x18(%[dst])")
183 __ASM_EMIT("vmovss %%xmm4, 0x1c(%[dst])")
184 __ASM_EMIT("vmovss %%xmm5, 0x24(%[dst])")
185 __ASM_EMIT("vmovss %%xmm6, 0x2c(%[dst])")
186 __ASM_EMIT("3:")
187
188 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
189 : [k] "r" (lanczos_2x3)
190 : "cc", "memory",
191 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
192 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
193 );
194 }
195
196 IF_ARCH_X86(
197 // Lanczos kernel 2x4: 4 SSE registers
198 static const float lanczos_2x4[] __lsp_aligned16 =
199 {
200 +0.6203830132406946f, // k0
201 -0.1664152316035080f, // k1
202 +0.0599094833772629f, // k2
203 -0.0126608778212387f // k3
204 };
205 )
206
207 void lanczos_resample_2x4(float *dst, const float *src, size_t count)
208 {
209 ARCH_X86_ASM (
210 // 2x blocks
211 __ASM_EMIT("sub $2, %[count]")
212 __ASM_EMIT("jb 2f")
213 __ASM_EMIT(".align 16")
214 __ASM_EMIT("1:")
215 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0") // xmm0 = s0
216 __ASM_EMIT("vmovss 0x04(%[src]), %%xmm1") // xmm1 = s1
217
218 // Part 1 (tails)
219 __ASM_EMIT("vmulss 0x08(%[k]), %%xmm0, %%xmm2") // xmm2 = k2*s0
220 __ASM_EMIT("vmulss 0x08(%[k]), %%xmm1, %%xmm3") // xmm3 = k2*s1
221 __ASM_EMIT("vmulss 0x0c(%[k]), %%xmm0, %%xmm4") // xmm4 = k3*s0
222 __ASM_EMIT("vmulss 0x0c(%[k]), %%xmm1, %%xmm5") // xmm5 = k3*s1
223 __ASM_EMIT("vaddss %%xmm4, %%xmm3, %%xmm7") // xmm6 = k2*s1 + k3*s0
224 __ASM_EMIT("vaddss %%xmm5, %%xmm2, %%xmm6") // xmm7 = k2*s0 + k3*s1
225 __ASM_EMIT("vaddss 0x04(%[dst]), %%xmm4, %%xmm4") // xmm4 = d1 + k3*s0
226 __ASM_EMIT("vaddss 0x0c(%[dst]), %%xmm6, %%xmm6") // xmm6 = d3 + k2*s0 + k3*s1
227 __ASM_EMIT("vaddss 0x3c(%[dst]), %%xmm7, %%xmm7") // xmm7 = d15 + k2*s1 + k3*s0
228 __ASM_EMIT("vaddss 0x44(%[dst]), %%xmm5, %%xmm5") // xmm5 = d17 + k3*s1
229 __ASM_EMIT("vmovss %%xmm4, 0x04(%[dst])") // d1 += k3*s0
230 __ASM_EMIT("vmovss %%xmm6, 0x0c(%[dst])") // d3 += k2*s0 + k3*s1
231 __ASM_EMIT("vmovss %%xmm7, 0x3c(%[dst])") // d15 += k2*s1 + k3*s0
232 __ASM_EMIT("vmovss %%xmm5, 0x44(%[dst])") // d17 += k3*s1
233
234 // Part 2 (main body)
235 // xmm0 = s0, xmm1 = s1, xmm2 = k2*s0, xmm3 = k2*s1
236 __ASM_EMIT("vmulss 0x00(%[k]), %%xmm0, %%xmm6") // xmm6 = k0*s0
237 __ASM_EMIT("vmulss 0x00(%[k]), %%xmm1, %%xmm7") // xmm7 = k0*s1
238 __ASM_EMIT("vmulss 0x04(%[k]), %%xmm0, %%xmm4") // xmm4 = k1*s0
239 __ASM_EMIT("vmulss 0x04(%[k]), %%xmm1, %%xmm5") // xmm5 = k1*s1
240 __ASM_EMIT("vaddss 0x20(%[dst]), %%xmm0, %%xmm0") // xmm0 = d8 + s0
241 __ASM_EMIT("vaddss 0x28(%[dst]), %%xmm1, %%xmm1") // xmm1 = d10 + s1
242 __ASM_EMIT("vaddss %%xmm5, %%xmm2, %%xmm2") // xmm2 = k2*s0 + k1*s1
243 __ASM_EMIT("vaddss %%xmm4, %%xmm3, %%xmm3") // xmm3 = k2*s1 + k1*s0
244 __ASM_EMIT("vmovss %%xmm0, 0x20(%[dst])") // d8 += s0
245 __ASM_EMIT("vmovss %%xmm1, 0x28(%[dst])") // d10 += s1
246 __ASM_EMIT("vaddss %%xmm5, %%xmm6, %%xmm0") // xmm0 = k0*s0 + k1*s1
247 __ASM_EMIT("vaddss %%xmm4, %%xmm7, %%xmm1") // xmm1 = k1*s0 + k0*s1
248 __ASM_EMIT("vaddss %%xmm6, %%xmm7, %%xmm6") // xmm6 = k0*s0 + k0*s1
249
250 __ASM_EMIT("vaddss 0x14(%[dst]), %%xmm3, %%xmm3") // xmm3 = d5 + k2*s1 + k1*s0
251 __ASM_EMIT("vaddss 0x1c(%[dst]), %%xmm0, %%xmm0") // xmm0 = d7 + k0*s0 + k1*s1
252 __ASM_EMIT("vaddss 0x24(%[dst]), %%xmm6, %%xmm6") // xmm6 = d9 + k0*s0 + k0*s1
253 __ASM_EMIT("vaddss 0x2c(%[dst]), %%xmm1, %%xmm1") // xmm1 = d11 + k1*s0 + k0*s1
254 __ASM_EMIT("vaddss 0x34(%[dst]), %%xmm2, %%xmm2") // xmm2 = d13 + k2*s0 + k1*s1
255
256 __ASM_EMIT("vmovss %%xmm3, 0x14(%[dst])") // d5 += k2*s1 + k1*s0
257 __ASM_EMIT("vmovss %%xmm0, 0x1c(%[dst])") // d7 += k0*s0 + k1*s1
258 __ASM_EMIT("vmovss %%xmm6, 0x24(%[dst])") // d9 += k0*s0 + k0*s1
259 __ASM_EMIT("vmovss %%xmm1, 0x2c(%[dst])") // d11 += k1*s0 + k0*s1
260 __ASM_EMIT("vmovss %%xmm2, 0x34(%[dst])") // d13 += k2*s0 + k1*s1
261
262 __ASM_EMIT("add $0x08, %[src]")
263 __ASM_EMIT("add $0x10, %[dst]")
264 __ASM_EMIT("sub $2, %[count]")
265 __ASM_EMIT("jae 1b")
266 __ASM_EMIT("2:")
267
268 // 1x block
269 __ASM_EMIT("add $1, %[count]")
270 __ASM_EMIT("jl 3f")
271 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm7") // xmm7 = s0
272 __ASM_EMIT("vmulss 0x0c(%[k]), %%xmm7, %%xmm0") // xmm0 = k3*s0
273 __ASM_EMIT("vmulss 0x08(%[k]), %%xmm7, %%xmm1") // xmm1 = k2*s0
274 __ASM_EMIT("vmulss 0x04(%[k]), %%xmm7, %%xmm2") // xmm2 = k1*s0
275 __ASM_EMIT("vmulss 0x00(%[k]), %%xmm7, %%xmm3") // xmm3 = k0*s0
276
277 __ASM_EMIT("vaddss 0x20(%[dst]), %%xmm7, %%xmm7") // xmm7 = d8 + s0
278 __ASM_EMIT("vaddss 0x04(%[dst]), %%xmm0, %%xmm4") // xmm0 = d1 + k3*s0
279 __ASM_EMIT("vaddss 0x0c(%[dst]), %%xmm1, %%xmm5") // xmm1 = d3 + k2*s0
280 __ASM_EMIT("vmovss %%xmm7, 0x20(%[dst])") // d8 += s0
281 __ASM_EMIT("vaddss 0x14(%[dst]), %%xmm2, %%xmm6") // xmm2 = d5 + k1*s0
282 __ASM_EMIT("vaddss 0x1c(%[dst]), %%xmm3, %%xmm7") // xmm3 = d7 + k0*s0
283 __ASM_EMIT("vmovss %%xmm4, 0x04(%[dst])") // d1 += k3*s0
284 __ASM_EMIT("vmovss %%xmm5, 0x0c(%[dst])") // d3 += k2*s0
285 __ASM_EMIT("vmovss %%xmm6, 0x14(%[dst])") // d5 += k1*s0
286 __ASM_EMIT("vmovss %%xmm7, 0x1c(%[dst])") // d7 += k0*s0
287
288 __ASM_EMIT("vaddss 0x24(%[dst]), %%xmm3, %%xmm4") // xmm4 = d9 + k0*s0
289 __ASM_EMIT("vaddss 0x2c(%[dst]), %%xmm2, %%xmm5") // xmm5 = d11 + k1*s0
290 __ASM_EMIT("vaddss 0x34(%[dst]), %%xmm1, %%xmm6") // xmm6 = d13 + k2*s0
291 __ASM_EMIT("vaddss 0x3c(%[dst]), %%xmm0, %%xmm7") // xmm7 = d15 + k3*s0
292 __ASM_EMIT("vmovss %%xmm4, 0x24(%[dst])") // d9 += k0*s0
293 __ASM_EMIT("vmovss %%xmm5, 0x2c(%[dst])") // d11 += k1*s0
294 __ASM_EMIT("vmovss %%xmm6, 0x34(%[dst])") // d13 += k2*s0
295 __ASM_EMIT("vmovss %%xmm7, 0x3c(%[dst])") // d15 += k3*s0
296
297 __ASM_EMIT("3:")
298
299 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
300 : [k] "r" (lanczos_2x4)
301 : "cc", "memory",
302 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
303 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
304 );
305 }
306
307 // Lanczos kernel 3x2: 2 SSE registers, 2 AVX registers
308 IF_ARCH_I386(
309 static const float lanczos_3x2[] __lsp_aligned16 =
310 {
311 +0.0000000000000000f,
312 -0.0315888188312782f,
313 -0.0854897486982225f,
314 +0.0000000000000000f,
315
316 +0.3419589947928900f,
317 +0.7897204707819555f,
318 +1.0000000000000000f,
319 +0.7897204707819555f,
320
321 +0.3419589947928900f,
322 +0.0000000000000000f,
323 -0.0854897486982225f,
324 -0.0315888188312782f,
325
326 // Shifted by 1 left
327 -0.0315888188312782f,
328 -0.0854897486982225f,
329 +0.0000000000000000f,
330 +0.3419589947928900f,
331
332 +0.7897204707819555f,
333 +1.0000000000000000f,
334 +0.7897204707819555f,
335 +0.3419589947928900f,
336
337 +0.0000000000000000f,
338 -0.0854897486982225f,
339 -0.0315888188312782f,
340 +0.0000000000000000f
341 };
342 )
343
344 IF_ARCH_X86_64(
345 static const float lanczos_3x2[] __lsp_aligned16 =
346 {
347 +0.7897204707819555f, // k0
348 +0.3419589947928900f, // k1
349 -0.0854897486982225f, // k2
350 -0.0315888188312782f // k3
351 };
352 )
353
354 void lanczos_resample_3x2(float *dst, const float *src, size_t count)
355 {
356 ARCH_I386_ASM (
357 __ASM_EMIT("vmovaps 0x00(%[k]), %%xmm4") // ymm4 = 0 k3 k2 0 0 0 0 0
358 __ASM_EMIT("vmovups 0x10(%[k]), %%ymm5") // ymm5 = k1 k0 1 k0 k1 0 k2 k3
359 __ASM_EMIT("vmovups 0x30(%[k]), %%ymm6") // ymm6 = k3 k2 0 k1 k0 1 k0 k1
360 __ASM_EMIT("vmovaps 0x50(%[k]), %%xmm7") // ymm7 = 0 k2 k3 0 0 0 0 0
361 // 2x blocks
362 __ASM_EMIT("sub $2, %[count]")
363 __ASM_EMIT("jb 2f")
364 __ASM_EMIT(".align 16")
365 __ASM_EMIT("1:")
366 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") // ymm0 = s0
367 __ASM_EMIT("vbroadcastss 0x04(%[src]), %%ymm3") // ymm3 = s1
368 __ASM_EMIT("vmulps %%ymm5, %%ymm0, %%ymm1") // ymm1 = k1*s0 k0*s0 1*s0 k0*s0 k1*s0 0*s0 k2*s0 k3*s0
369 __ASM_EMIT("vmulps %%ymm6, %%ymm3, %%ymm2") // ymm2 = k3*s1 k2*s1 0*s1 k1*s1 k0*s1 1*s1 k0*s1 k1*s1
370 __ASM_EMIT("vmulps %%xmm4, %%xmm0, %%xmm0") // xmm0 = 0*s0 k3*s0 k2*s0 0*s0
371 __ASM_EMIT("vmulps %%xmm7, %%xmm3, %%xmm3") // xmm3 = 0*s1 k2*s1 k3*s1 0*s1
372 __ASM_EMIT("vaddps 0x00(%[dst]), %%xmm0, %%xmm0") // xmm0 = d0 d1+k3*s0 d2+k2*s0 d3
373 __ASM_EMIT("vaddps 0x10(%[dst]), %%ymm1, %%ymm1") // ymm1 = d4+k1*s0 d5+k0*s0 d6+s0 d7+k0*s0 d8+k1*s0 d9 d10+k2*s0 d11+k3*s0
374 __ASM_EMIT("vaddps 0x30(%[dst]), %%xmm3, %%xmm3") // xmm3 = d12 d13+k2*s1 d14+k3*s1 d15
375 __ASM_EMIT("vaddps %%ymm2, %%ymm1, %%ymm1") // ymm1 = d4+k1*s0+k3*s1 d5+k0*s0+k2*s1 d6+s0 d7+k0*s0+k1*s1 d8+k1*s0+k0*s1 d9+s1 d10+k2*s0+k0*s1 d11+k3*s0+k1*s1
376 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
377 __ASM_EMIT("vmovups %%ymm1, 0x10(%[dst])")
378 __ASM_EMIT("vmovups %%xmm3, 0x30(%[dst])")
379 __ASM_EMIT("add $0x08, %[src]")
380 __ASM_EMIT("add $0x18, %[dst]")
381 __ASM_EMIT("sub $2, %[count]")
382 __ASM_EMIT("jae 1b")
383 __ASM_EMIT("2:")
384 // 1x block
385 __ASM_EMIT("add $1, %[count]")
386 __ASM_EMIT("jl 3f")
387 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") // ymm0 = s0
388 __ASM_EMIT("vmulps %%ymm5, %%ymm0, %%ymm1") // ymm1 = k1*s0 k0*s0 1*s0 k0*s0 k1*s0 0*s0 k2*s0 k3*s0
389 __ASM_EMIT("vmulps %%xmm4, %%xmm0, %%xmm0") // xmm0 = 0*s0 k3*s0 k2*s0 0*s0
390 __ASM_EMIT("vaddps 0x00(%[dst]), %%xmm0, %%xmm0") // xmm0 = d0 d1+k3*s0 d2+k2*s0 d3
391 __ASM_EMIT("vaddps 0x10(%[dst]), %%ymm1, %%ymm1") // ymm1 = d4+k1*s0 d5+k0*s0 d6+s0 d7+k0*s0 d8+k1*s0 d9 d10+k2*s0 d11+k3*s0
392 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
393 __ASM_EMIT("vmovups %%ymm1, 0x10(%[dst])")
394 __ASM_EMIT("3:")
395
396 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
397 : [k] "r" (lanczos_3x2)
398 : "cc", "memory",
399 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
400 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
401 );
402
403 ARCH_X86_64_ASM (
404 __ASM_EMIT("vmovss 0x00(%[k]), %%xmm12") // xmm12 = k0
405 __ASM_EMIT("vmovss 0x04(%[k]), %%xmm13") // xmm13 = k1
406 __ASM_EMIT("vmovss 0x08(%[k]), %%xmm14") // xmm14 = k2
407 __ASM_EMIT("vmovss 0x0c(%[k]), %%xmm15") // xmm15 = k3
408 // 2x blocks
409 __ASM_EMIT("sub $2, %[count]")
410 __ASM_EMIT("jb 2f")
411 __ASM_EMIT(".align 16")
412 __ASM_EMIT("1:")
413 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0") // xmm0 = s0
414 __ASM_EMIT("vmovss 0x04(%[src]), %%xmm1") // xmm1 = s1
415 __ASM_EMIT("vmulss %%xmm14, %%xmm0, %%xmm4") // xmm4 = k2*s0
416 __ASM_EMIT("vmulss %%xmm12, %%xmm1, %%xmm6") // xmm6 = k0*s1
417 __ASM_EMIT("vmulss %%xmm15, %%xmm0, %%xmm5") // xmm5 = k3*s0
418 __ASM_EMIT("vmulss %%xmm13, %%xmm1, %%xmm7") // xmm7 = k1*s1
419 __ASM_EMIT("vaddss 0x04(%[dst]), %%xmm5, %%xmm10") // xmm10= d1 + k3*s0
420 __ASM_EMIT("vaddss 0x08(%[dst]), %%xmm4, %%xmm11") // xmm11= d2 + k2*s0
421 __ASM_EMIT("vmulss %%xmm12, %%xmm0, %%xmm2") // xmm2 = k0*s0
422 __ASM_EMIT("vmulss %%xmm14, %%xmm1, %%xmm8") // xmm8 = k2*s1
423 __ASM_EMIT("vmovss %%xmm10, 0x04(%[dst])")
424 __ASM_EMIT("vmovss %%xmm11, 0x08(%[dst])")
425 __ASM_EMIT("vmulss %%xmm13, %%xmm0, %%xmm3") // xmm3 = k1*s0
426 __ASM_EMIT("vmulss %%xmm15, %%xmm1, %%xmm9") // xmm9 = k3*s1
427 __ASM_EMIT("vaddss 0x10(%[dst]), %%xmm3, %%xmm10") // xmm10= d4 + k1*s0
428 __ASM_EMIT("vaddss 0x14(%[dst]), %%xmm2, %%xmm11") // xmm11= d5 + k0*s0
429 __ASM_EMIT("vaddss 0x18(%[dst]), %%xmm0, %%xmm0") // xmm0 = d6 + s0
430 __ASM_EMIT("vaddss %%xmm9, %%xmm10, %%xmm10") // xmm10= d4 + k1*s0 + k3*s1
431 __ASM_EMIT("vaddss %%xmm8, %%xmm11, %%xmm11") // xmm11= d5 + k0*s0 + k2*s1
432 __ASM_EMIT("vmovss %%xmm10, 0x10(%[dst])")
433 __ASM_EMIT("vmovss %%xmm11, 0x14(%[dst])")
434 __ASM_EMIT("vmovss %%xmm0, 0x18(%[dst])")
435 __ASM_EMIT("vaddss 0x1c(%[dst]), %%xmm2, %%xmm2") // xmm2 = d7 + k0*s0
436 __ASM_EMIT("vaddss 0x20(%[dst]), %%xmm3, %%xmm3") // xmm3 = d8 + k1*s0
437 __ASM_EMIT("vaddss 0x24(%[dst]), %%xmm1, %%xmm1") // xmm1 = d9 + s1
438 __ASM_EMIT("vaddss %%xmm7, %%xmm2, %%xmm2") // xmm2 = d7 + k0*s0 + k1*s1
439 __ASM_EMIT("vaddss %%xmm6, %%xmm3, %%xmm3") // xmm3 = d8 + k1*s0 + k0*s1
440 __ASM_EMIT("vaddss 0x28(%[dst]), %%xmm4, %%xmm4") // xmm4 = d10+ k2*s0
441 __ASM_EMIT("vaddss 0x2c(%[dst]), %%xmm5, %%xmm5") // xmm5 = d11+ k3*s0
442 __ASM_EMIT("vaddss 0x34(%[dst]), %%xmm8, %%xmm8") // xmm8 = d13+ k2*s1
443 __ASM_EMIT("vaddss 0x38(%[dst]), %%xmm9, %%xmm9") // xmm9 = d14+ k3*s1
444 __ASM_EMIT("vaddss %%xmm6, %%xmm4, %%xmm4") // xmm4 = d10+ k2*s0 + k0*s1
445 __ASM_EMIT("vaddss %%xmm7, %%xmm5, %%xmm5") // xmm5 = d11+ k3*s0 + k1*s1
446 __ASM_EMIT("vmovss %%xmm2, 0x1c(%[dst])")
447 __ASM_EMIT("vmovss %%xmm3, 0x20(%[dst])")
448 __ASM_EMIT("vmovss %%xmm1, 0x24(%[dst])")
449 __ASM_EMIT("vmovss %%xmm4, 0x28(%[dst])")
450 __ASM_EMIT("vmovss %%xmm5, 0x2c(%[dst])")
451 __ASM_EMIT("vmovss %%xmm8, 0x34(%[dst])")
452 __ASM_EMIT("vmovss %%xmm9, 0x38(%[dst])")
453 __ASM_EMIT("add $0x08, %[src]")
454 __ASM_EMIT("add $0x18, %[dst]")
455 __ASM_EMIT("sub $2, %[count]")
456 __ASM_EMIT("jae 1b")
457 __ASM_EMIT("2:")
458 // 1x block
459 __ASM_EMIT("add $1, %[count]")
460 __ASM_EMIT("jl 3f")
461 __ASM_EMIT("vmovss 0x00(%[src]), %%xmm0") // xmm0 = s0
462 __ASM_EMIT("vmulss %%xmm0, %%xmm15, %%xmm15") // xmm15 = k0*s3
463 __ASM_EMIT("vmulss %%xmm0, %%xmm14, %%xmm14") // xmm14 = k0*s2
464 __ASM_EMIT("vaddss 0x04(%[dst]), %%xmm15, %%xmm1") // xmm1 = d1 + k0*s3
465 __ASM_EMIT("vaddss 0x08(%[dst]), %%xmm14, %%xmm2") // xmm2 = d2 + k0*s2
466 __ASM_EMIT("vmulss %%xmm0, %%xmm13, %%xmm13") // xmm13 = k0*s1
467 __ASM_EMIT("vmulss %%xmm0, %%xmm12, %%xmm12") // xmm12 = k0*s0
468 __ASM_EMIT("vmovss %%xmm1, 0x04(%[dst])")
469 __ASM_EMIT("vmovss %%xmm2, 0x08(%[dst])")
470 __ASM_EMIT("vaddss 0x10(%[dst]), %%xmm13, %%xmm3") // xmm3 = d4 + k0*s1
471 __ASM_EMIT("vaddss 0x14(%[dst]), %%xmm12, %%xmm4") // xmm4 = d5 + k0*s0
472 __ASM_EMIT("vaddss 0x18(%[dst]), %%xmm0, %%xmm0") // xmm0 = d6 + s0
473 __ASM_EMIT("vaddss 0x1c(%[dst]), %%xmm12, %%xmm5") // xmm5 = d7 + k0*s0
474 __ASM_EMIT("vmovss %%xmm3, 0x10(%[dst])")
475 __ASM_EMIT("vmovss %%xmm4, 0x14(%[dst])")
476 __ASM_EMIT("vaddss 0x20(%[dst]), %%xmm13, %%xmm6") // xmm6 = d8 + k1*s0
477 __ASM_EMIT("vaddss 0x28(%[dst]), %%xmm14, %%xmm7") // xmm7 = d10+ k2*s0
478 __ASM_EMIT("vaddss 0x2c(%[dst]), %%xmm15, %%xmm8") // xmm8 = d11+ k3*s0
479 __ASM_EMIT("vmovss %%xmm0, 0x18(%[dst])")
480 __ASM_EMIT("vmovss %%xmm5, 0x1c(%[dst])")
481 __ASM_EMIT("vmovss %%xmm6, 0x20(%[dst])")
482 __ASM_EMIT("vmovss %%xmm7, 0x28(%[dst])")
483 __ASM_EMIT("vmovss %%xmm8, 0x2c(%[dst])")
484 __ASM_EMIT("3:")
485
486 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
487 : [k] "r" (lanczos_3x2)
488 : "cc", "memory",
489 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
490 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
491 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
492 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
493 );
494 }
495
496 // Lanczos kernel 3x3: 9 SSE registers
497 IF_ARCH_X86(
498 static const float lanczos_3x3[] __lsp_aligned32 =
499 {
500 // Shifted by 0 left (head)
501 +0.0000000000000000f,
502 +0.0126609519658153f,
503 +0.0310789306368038f,
504 +0.0000000000000000f,
505
506 // Shifted by 1 left (tail)
507 +0.0126609519658153f,
508 +0.0000000000000000f,
509 +0.0000000000000000f,
510 +0.0000000000000000f,
511
512 // Shifted by 0 left
513 -0.0933267410806225f,
514 -0.1458230329384726f,
515 +0.0000000000000000f,
516 +0.3807169003008463f,
517
518 +0.8103009258121772f,
519 +1.0000000000000000f,
520 +0.8103009258121772f,
521 +0.3807169003008463f,
522
523 +0.0000000000000000f,
524 -0.1458230329384726f,
525 -0.0933267410806225f,
526 +0.0000000000000000f,
527
528 +0.0310789306368038f,
529 +0.0126609519658153f,
530 +0.0000000000000000f,
531 +0.0000000000000000f,
532
533 // Shifted by 1 left
534 +0.0126609519658153f,
535 +0.0310789306368038f,
536 +0.0000000000000000f,
537 -0.0933267410806225f,
538
539 -0.1458230329384726f,
540 +0.0000000000000000f,
541 +0.3807169003008463f,
542 +0.8103009258121772f,
543
544 +1.0000000000000000f,
545 +0.8103009258121772f,
546 +0.3807169003008463f,
547 +0.0000000000000000f,
548
549 -0.1458230329384726f,
550 -0.0933267410806225f,
551 +0.0000000000000000f,
552 +0.0310789306368038f
553 };
554 )
555
556 void lanczos_resample_3x3(float *dst, const float *src, size_t count)
557 {
558 ARCH_I386_ASM (
559 // 2x blocks
560 __ASM_EMIT("sub $2, %[count]")
561 __ASM_EMIT("jb 2f")
562 __ASM_EMIT(".align 16")
563 __ASM_EMIT("1:")
564 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") // ymm0 = s0
565 __ASM_EMIT("vbroadcastss 0x04(%[src]), %%ymm1") // ymm1 = s1
566 __ASM_EMIT("vmulps 0x00(%[k]), %%xmm0, %%xmm2") // xmm2 = m0
567 __ASM_EMIT("vmulss 0x10(%[k]), %%xmm1, %%xmm3") // xmm3 = m5
568 __ASM_EMIT("vmulps 0x20(%[k]), %%ymm0, %%ymm4") // ymm4 = m1
569 __ASM_EMIT("vmulps 0x40(%[k]), %%ymm0, %%ymm5") // ymm5 = m2
570 __ASM_EMIT("vmulps 0x60(%[k]), %%ymm1, %%ymm6") // ymm6 = m3
571 __ASM_EMIT("vmulps 0x80(%[k]), %%ymm1, %%ymm7") // ymm7 = m4
572 __ASM_EMIT("vaddps %%ymm6, %%ymm4, %%ymm4") // ymm4 = m1+m3
573 __ASM_EMIT("vaddps %%ymm7, %%ymm5, %%ymm5") // ymm5 = m2+m4
574 __ASM_EMIT("vaddps 0x00(%[dst]), %%xmm2, %%xmm2")
575 __ASM_EMIT("vaddps 0x10(%[dst]), %%ymm4, %%ymm4")
576 __ASM_EMIT("vaddps 0x30(%[dst]), %%ymm5, %%ymm5")
577 __ASM_EMIT("vaddss 0x50(%[dst]), %%xmm3, %%xmm3")
578 __ASM_EMIT("vmovups %%xmm2, 0x00(%[dst])")
579 __ASM_EMIT("vmovups %%ymm4, 0x10(%[dst])")
580 __ASM_EMIT("vmovups %%ymm5, 0x30(%[dst])")
581 __ASM_EMIT("vmovss %%xmm3, 0x50(%[dst])")
582 __ASM_EMIT("add $0x08, %[src]")
583 __ASM_EMIT("add $0x18, %[dst]")
584 __ASM_EMIT("sub $2, %[count]")
585 __ASM_EMIT("jae 1b")
586 __ASM_EMIT("2:")
587 // 1x block
588 __ASM_EMIT("add $1, %[count]")
589 __ASM_EMIT("jl 3f")
590 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") // ymm0 = s0
591 __ASM_EMIT("vmulps 0x00(%[k]), %%xmm0, %%xmm2") // xmm2 = m0
592 __ASM_EMIT("vmulps 0x20(%[k]), %%ymm0, %%ymm4") // ymm4 = m1
593 __ASM_EMIT("vmulps 0x40(%[k]), %%ymm0, %%ymm5") // ymm5 = m2
594 __ASM_EMIT("vaddps 0x00(%[dst]), %%xmm2, %%xmm2")
595 __ASM_EMIT("vaddps 0x10(%[dst]), %%ymm4, %%ymm4")
596 __ASM_EMIT("vaddps 0x30(%[dst]), %%ymm5, %%ymm5")
597 __ASM_EMIT("vmovups %%xmm2, 0x00(%[dst])")
598 __ASM_EMIT("vmovups %%ymm4, 0x10(%[dst])")
599 __ASM_EMIT("vmovups %%ymm5, 0x30(%[dst])")
600 __ASM_EMIT("3:")
601
602 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
603 : [k] "r" (lanczos_3x3)
604 : "cc", "memory",
605 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
606 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
607 );
608
609 ARCH_X86_64_ASM (
610 // 2x blocks
611 __ASM_EMIT("vmovaps 0x00(%[k]), %%xmm8")
612 __ASM_EMIT("vmovss 0x10(%[k]), %%xmm9")
613 __ASM_EMIT("vmovaps 0x20(%[k]), %%ymm10")
614 __ASM_EMIT("vmovaps 0x40(%[k]), %%ymm11")
615 __ASM_EMIT("vmovaps 0x60(%[k]), %%ymm12")
616 __ASM_EMIT("vmovaps 0x80(%[k]), %%ymm13")
617 __ASM_EMIT("sub $2, %[count]")
618 __ASM_EMIT("jb 2f")
619 __ASM_EMIT(".align 16")
620 __ASM_EMIT("1:")
621 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") // ymm0 = s0
622 __ASM_EMIT("vbroadcastss 0x04(%[src]), %%ymm1") // ymm1 = s1
623 __ASM_EMIT("vmulps %%xmm8, %%xmm0, %%xmm2") // xmm2 = m0
624 __ASM_EMIT("vmulss %%xmm9, %%xmm1, %%xmm3") // xmm3 = m5
625 __ASM_EMIT("vmulps %%ymm10, %%ymm0, %%ymm4") // ymm4 = m1
626 __ASM_EMIT("vmulps %%ymm11, %%ymm0, %%ymm5") // ymm5 = m2
627 __ASM_EMIT("vmulps %%ymm12, %%ymm1, %%ymm6") // ymm6 = m3
628 __ASM_EMIT("vmulps %%ymm13, %%ymm1, %%ymm7") // ymm7 = m4
629 __ASM_EMIT("vaddps %%ymm6, %%ymm4, %%ymm4") // ymm4 = m1+m3
630 __ASM_EMIT("vaddps %%ymm7, %%ymm5, %%ymm5") // ymm5 = m2+m4
631 __ASM_EMIT("vaddps 0x00(%[dst]), %%xmm2, %%xmm2")
632 __ASM_EMIT("vaddps 0x10(%[dst]), %%ymm4, %%ymm4")
633 __ASM_EMIT("vaddps 0x30(%[dst]), %%ymm5, %%ymm5")
634 __ASM_EMIT("vaddss 0x50(%[dst]), %%xmm3, %%xmm3")
635 __ASM_EMIT("vmovups %%xmm2, 0x00(%[dst])")
636 __ASM_EMIT("vmovups %%ymm4, 0x10(%[dst])")
637 __ASM_EMIT("vmovups %%ymm5, 0x30(%[dst])")
638 __ASM_EMIT("vmovss %%xmm3, 0x50(%[dst])")
639 __ASM_EMIT("add $0x08, %[src]")
640 __ASM_EMIT("add $0x18, %[dst]")
641 __ASM_EMIT("sub $2, %[count]")
642 __ASM_EMIT("jae 1b")
643 __ASM_EMIT("2:")
644 // 1x block
645 __ASM_EMIT("add $1, %[count]")
646 __ASM_EMIT("jl 3f")
647 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") // ymm0 = s0
648 __ASM_EMIT("vmulps %%xmm8, %%xmm0, %%xmm2") // xmm2 = m0
649 __ASM_EMIT("vmulps %%ymm10, %%ymm0, %%ymm4") // ymm4 = m1
650 __ASM_EMIT("vmulps %%ymm11, %%ymm0, %%ymm5") // ymm5 = m2
651 __ASM_EMIT("vaddps 0x00(%[dst]), %%xmm2, %%xmm2")
652 __ASM_EMIT("vaddps 0x10(%[dst]), %%ymm4, %%ymm4")
653 __ASM_EMIT("vaddps 0x30(%[dst]), %%ymm5, %%ymm5")
654 __ASM_EMIT("vmovups %%xmm2, 0x00(%[dst])")
655 __ASM_EMIT("vmovups %%ymm4, 0x10(%[dst])")
656 __ASM_EMIT("vmovups %%ymm5, 0x30(%[dst])")
657 __ASM_EMIT("3:")
658
659 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
660 : [k] "r" (lanczos_3x3)
661 : "cc", "memory",
662 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
663 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
664 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
665 "%xmm12"
666 );
667 }
668
669 // Lanczos kernel 3x3: 6 AVX registers
670 IF_ARCH_X86(
671 static const float lanczos_3x4[] __lsp_aligned32 =
672 {
673 // k0 k5
674 +0.0000000000000000f,
675 -0.0067568495254777f,
676 -0.0157944094156391f,
677 +0.0000000000000000f,
678
679 +0.0427448743491113f,
680 +0.0000000000000000f,
681 -0.0157944094156391f,
682 -0.0067568495254777f,
683
684 // k1 k2
685 +0.0427448743491113f,
686 +0.0622703182267308f,
687 +0.0000000000000000f,
688 -0.1220498237243924f,
689 -0.1709794973964449f,
690 +0.0000000000000000f,
691 +0.3948602353909778f,
692 +0.8175787925827955f,
693
694 // k3 k4
695 +1.0000000000000000f,
696 +0.8175787925827955f,
697 +0.3948602353909778f,
698 +0.0000000000000000f,
699 -0.1709794973964449f,
700 -0.1220498237243924f,
701 +0.0000000000000000f,
702 +0.0622703182267308f,
703
704 // shifted k0 k1
705 -0.0067568495254777f,
706 -0.0157944094156391f,
707 +0.0000000000000000f,
708 +0.0427448743491113f,
709 +0.0622703182267308f,
710 +0.0000000000000000f,
711 -0.1220498237243924f,
712 -0.1709794973964449f,
713
714 // shifted k2 k3
715 +0.0000000000000000f,
716 +0.3948602353909778f,
717 +0.8175787925827955f,
718 +1.0000000000000000f,
719 +0.8175787925827955f,
720 +0.3948602353909778f,
721 +0.0000000000000000f,
722 -0.1709794973964449f,
723
724 // shifted k4 k5
725 -0.1220498237243924f,
726 +0.0000000000000000f,
727 +0.0622703182267308f,
728 +0.0427448743491113f,
729 +0.0000000000000000f,
730 -0.0157944094156391f,
731 -0.0067568495254777f,
732 +0.0000000000000000f
733
734 };
735 )
736
737 void lanczos_resample_3x4(float *dst, const float *src, size_t count)
738 {
739 ARCH_X86_ASM (
740 // 2x blocks
741 __ASM_EMIT("sub $2, %[count]")
742 __ASM_EMIT("jb 2f")
743 __ASM_EMIT(".align 16")
744 __ASM_EMIT("1:")
745 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") // ymm0 = s0
746 __ASM_EMIT("vbroadcastss 0x04(%[src]), %%ymm1") // ymm1 = s1
747
748 __ASM_EMIT("vmulps 0x00(%[k]), %%xmm0, %%xmm6") // xmm6 = k0 * s0
749 __ASM_EMIT("vmulps 0x10(%[k]), %%xmm0, %%xmm7") // xmm7 = k5 * s0
750 __ASM_EMIT("vmulps 0x20(%[k]), %%ymm0, %%ymm2") // ymm2 = [k1 k2] * s0
751 __ASM_EMIT("vmulps 0x40(%[k]), %%ymm0, %%ymm3") // ymm3 = [k3 k4] * s0
752 __ASM_EMIT("vmulps 0x60(%[k]), %%ymm1, %%ymm4") // ymm4 = [k0 k1] * s1
753 __ASM_EMIT("vmulps 0x80(%[k]), %%ymm1, %%ymm5") // ymm5 = [k2 k3] * s1
754 __ASM_EMIT("vaddps %%ymm4, %%ymm2, %%ymm2") // ymm2 = [k1 k2] * s0 + [k0 k1] * s1
755 __ASM_EMIT("vaddps %%ymm5, %%ymm3, %%ymm3") // ymm3 = [k3 k4] * s0 + [k2 k3] * s1
756 __ASM_EMIT("vmulps 0xa0(%[k]), %%xmm1, %%xmm4") // xmm4 = k4 * s1
757 __ASM_EMIT("vmulps 0xb0(%[k]), %%xmm1, %%xmm5") // xmm5 = k5 * s1
758 __ASM_EMIT("vaddps 0x00(%[dst]), %%xmm6, %%xmm6") // xmm6 = d0 + k0 * s0
759 __ASM_EMIT("vaddps 0x10(%[dst]), %%ymm2, %%ymm2") // ymm2 = [d1 d2] + [k1 k2] * s0 + [k0 k1] * s1
760 __ASM_EMIT("vaddps 0x30(%[dst]), %%ymm3, %%ymm3") // ymm3 = [d3 d4] + [k3 k4] * s0 + [k2 k3] * s1
761 __ASM_EMIT("vaddps 0x50(%[dst]), %%xmm7, %%xmm7") // xmm7 = d5 + k5 * s0
762 __ASM_EMIT("vaddps 0x60(%[dst]), %%xmm5, %%xmm5") // xmm5 = d6 + k5 * s1
763 __ASM_EMIT("vaddps %%xmm4, %%xmm7, %%xmm7") // xmm7 = d5 + k5 * s0 + k4 * s1
764
765 __ASM_EMIT("vmovups %%xmm6, 0x00(%[dst])")
766 __ASM_EMIT("vmovups %%ymm2, 0x10(%[dst])")
767 __ASM_EMIT("vmovups %%ymm3, 0x30(%[dst])")
768 __ASM_EMIT("vmovups %%xmm7, 0x50(%[dst])")
769 __ASM_EMIT("vmovups %%xmm5, 0x60(%[dst])")
770
771 __ASM_EMIT("add $0x08, %[src]")
772 __ASM_EMIT("add $0x18, %[dst]")
773 __ASM_EMIT("sub $2, %[count]")
774 __ASM_EMIT("jae 1b")
775 __ASM_EMIT("2:")
776 // 1x block
777 __ASM_EMIT("add $1, %[count]")
778 __ASM_EMIT("jl 3f")
779 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") // ymm0 = s0
780 __ASM_EMIT("vmulps 0x00(%[k]), %%xmm0, %%xmm2") // xmm2 = k0 * s0
781 __ASM_EMIT("vmulps 0x10(%[k]), %%xmm0, %%xmm5") // xmm5 = k5 * s0
782 __ASM_EMIT("vmulps 0x20(%[k]), %%ymm0, %%ymm3") // ymm3 = [k1 k2] * s0
783 __ASM_EMIT("vmulps 0x40(%[k]), %%ymm0, %%ymm4") // ymm4 = [k3 k4] * s0
784
785 __ASM_EMIT("vaddps 0x00(%[dst]), %%xmm2, %%xmm2")
786 __ASM_EMIT("vaddps 0x10(%[dst]), %%ymm3, %%ymm3")
787 __ASM_EMIT("vaddps 0x30(%[dst]), %%ymm4, %%ymm4")
788 __ASM_EMIT("vaddps 0x50(%[dst]), %%xmm5, %%xmm5")
789
790 __ASM_EMIT("vmovups %%xmm2, 0x00(%[dst])")
791 __ASM_EMIT("vmovups %%ymm3, 0x10(%[dst])")
792 __ASM_EMIT("vmovups %%ymm4, 0x30(%[dst])")
793 __ASM_EMIT("vmovups %%xmm5, 0x50(%[dst])")
794
795 __ASM_EMIT("3:")
796
797 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
798 : [k] "r" (lanczos_3x4)
799 : "cc", "memory",
800 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
801 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
802 );
803 }
804
805 // Lanczos kernel 4x2: 4 SSE registers
806 IF_ARCH_X86(
807 static const float lanczos_4x2[] __lsp_aligned32 =
808 {
809 +0.0000000000000000f,
810 -0.0179051851263444f,
811 -0.0636843520278618f,
812 -0.0847248039068907f,
813 +0.0000000000000000f,
814 +0.2353466775191407f,
815 +0.5731591682507563f,
816 +0.8773540711908775f,
817
818 +1.0000000000000000f,
819 +0.8773540711908775f,
820 +0.5731591682507563f,
821 +0.2353466775191407f,
822 +0.0000000000000000f,
823 -0.0847248039068907f,
824 -0.0636843520278618f,
825 -0.0179051851263444f
826 };
827 )
828
829 void lanczos_resample_4x2(float *dst, const float *src, size_t count)
830 {
831 ARCH_I386_ASM(
832 // 2x blocks
833 __ASM_EMIT("sub $2, %[count]")
834 __ASM_EMIT("jb 2f")
835 __ASM_EMIT(".align 16")
836 __ASM_EMIT("1:")
837 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") // ymm0 = s0
838 __ASM_EMIT("vbroadcastss 0x04(%[src]), %%ymm1") // ymm1 = s1
839 __ASM_EMIT("vmulps 0x00(%[k]), %%xmm0, %%xmm2") // xmm2 = m0
840 __ASM_EMIT("vmulps 0x00(%[k]), %%ymm1, %%ymm5") // ymm5 = m3
841 __ASM_EMIT("vmulps 0x10(%[k]), %%ymm0, %%ymm3") // ymm3 = m1
842 __ASM_EMIT("vmulps 0x20(%[k]), %%ymm1, %%ymm6") // ymm6 = m4
843 __ASM_EMIT("vmulps 0x30(%[k]), %%xmm0, %%xmm4") // xmm4 = m2
844 __ASM_EMIT("vaddps 0x00(%[dst]), %%xmm2, %%xmm2")
845 __ASM_EMIT("vaddps 0x10(%[dst]), %%ymm5, %%ymm5")
846 __ASM_EMIT("vaddps 0x30(%[dst]), %%ymm6, %%ymm6")
847 __ASM_EMIT("vaddps %%ymm3, %%ymm5, %%ymm3")
848 __ASM_EMIT("vaddps %%ymm4, %%ymm6, %%ymm4")
849 __ASM_EMIT("vmovups %%xmm2, 0x00(%[dst])")
850 __ASM_EMIT("vmovups %%ymm3, 0x10(%[dst])")
851 __ASM_EMIT("vmovups %%ymm4, 0x30(%[dst])")
852 __ASM_EMIT("add $0x08, %[src]")
853 __ASM_EMIT("add $0x20, %[dst]")
854 __ASM_EMIT("sub $2, %[count]")
855 __ASM_EMIT("jae 1b")
856 __ASM_EMIT("2:")
857 // 1x block
858 __ASM_EMIT("add $1, %[count]")
859 __ASM_EMIT("jl 3f")
860 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") // ymm0 = s0
861 __ASM_EMIT("vmulps 0x00(%[k]), %%ymm0, %%ymm1") // xmm1 = m0
862 __ASM_EMIT("vmulps 0x20(%[k]), %%ymm0, %%ymm2") // ymm2 = m1
863 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm1, %%ymm1")
864 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm2, %%ymm2")
865 __ASM_EMIT("vmovups %%ymm1, 0x00(%[dst])")
866 __ASM_EMIT("vmovups %%ymm2, 0x20(%[dst])")
867 __ASM_EMIT("3:")
868
869 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
870 : [k] "r" (lanczos_4x2)
871 : "cc", "memory",
872 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
873 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
874 );
875
876 ARCH_X86_64_ASM(
877 // 2x blocks
878 __ASM_EMIT("vmovaps 0x00(%[k]), %%ymm8")
879 __ASM_EMIT("vmovups 0x10(%[k]), %%ymm9")
880 __ASM_EMIT("vmovaps 0x20(%[k]), %%ymm10")
881 __ASM_EMIT("vmovaps 0x30(%[k]), %%xmm11")
882 __ASM_EMIT("sub $2, %[count]")
883 __ASM_EMIT("jb 2f")
884 __ASM_EMIT(".align 16")
885 __ASM_EMIT("1:")
886 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") // ymm0 = s0
887 __ASM_EMIT("vbroadcastss 0x04(%[src]), %%ymm1") // ymm1 = s1
888 __ASM_EMIT("vmulps %%xmm8, %%xmm0, %%xmm2") // xmm2 = m0
889 __ASM_EMIT("vmulps %%ymm8, %%ymm1, %%ymm5") // ymm5 = m3
890 __ASM_EMIT("vaddps 0x00(%[dst]), %%xmm2, %%xmm2")
891 __ASM_EMIT("vmulps %%ymm9, %%ymm0, %%ymm3") // ymm3 = m1
892 __ASM_EMIT("vaddps 0x10(%[dst]), %%ymm5, %%ymm5")
893 __ASM_EMIT("vmulps %%ymm10, %%ymm1, %%ymm6") // ymm6 = m4
894 __ASM_EMIT("vmovups %%xmm2, 0x00(%[dst])")
895 __ASM_EMIT("vaddps %%ymm3, %%ymm5, %%ymm3")
896 __ASM_EMIT("vmulps %%xmm11, %%xmm0, %%xmm4") // xmm4 = m2
897 __ASM_EMIT("vaddps 0x30(%[dst]), %%ymm6, %%ymm6")
898 __ASM_EMIT("vaddps %%ymm4, %%ymm6, %%ymm4")
899 __ASM_EMIT("vmovups %%ymm3, 0x10(%[dst])")
900 __ASM_EMIT("vmovups %%ymm4, 0x30(%[dst])")
901 __ASM_EMIT("add $0x08, %[src]")
902 __ASM_EMIT("add $0x20, %[dst]")
903 __ASM_EMIT("sub $2, %[count]")
904 __ASM_EMIT("jae 1b")
905 __ASM_EMIT("2:")
906 // 1x block
907 __ASM_EMIT("add $1, %[count]")
908 __ASM_EMIT("jl 3f")
909 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") // ymm0 = s0
910 __ASM_EMIT("vmulps %%ymm8, %%ymm0, %%ymm1") // xmm1 = m0
911 __ASM_EMIT("vmulps %%ymm10, %%ymm0, %%ymm2") // ymm2 = m1
912 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm1, %%ymm1")
913 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm2, %%ymm2")
914 __ASM_EMIT("vmovups %%ymm1, 0x00(%[dst])")
915 __ASM_EMIT("vmovups %%ymm2, 0x20(%[dst])")
916 __ASM_EMIT("3:")
917
918 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
919 : [k] "r" (lanczos_4x2)
920 : "cc", "memory",
921 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
922 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
923 "%xmm8", "%xmm9", "%xmm10", "%xmm11"
924 );
925 }
926
927 IF_ARCH_X86(
928 static const float lanczos_4x3[] __lsp_aligned32 =
929 {
930 +0.0000000000000000f,
931 +0.0073559260471942f,
932 +0.0243170840741611f,
933 +0.0300210914495816f,
934 +0.0000000000000000f,
935 -0.0677913359005429f,
936 -0.1350949115231170f,
937 -0.1328710183650640f,
938
939 +0.0000000000000000f,
940 +0.2701898230462341f,
941 +0.6079271018540265f,
942 +0.8900670517104946f,
943 +1.0000000000000000f,
944 +0.8900670517104946f,
945 +0.6079271018540265f,
946 +0.2701898230462341f,
947
948 +0.0000000000000000f,
949 -0.1328710183650640f,
950 -0.1350949115231170f,
951 -0.0677913359005429f,
952 +0.0000000000000000f,
953 +0.0300210914495816f,
954 +0.0243170840741611f,
955 +0.0073559260471942f
956 };
957 )
958
959 void lanczos_resample_4x3(float *dst, const float *src, size_t count)
960 {
961 ARCH_I386_ASM(
962 // 2x blocks
963 __ASM_EMIT("sub $2, %[count]")
964 __ASM_EMIT("jb 2f")
965 __ASM_EMIT(".align 16")
966 __ASM_EMIT("1:")
967 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") // ymm0 = s0
968 __ASM_EMIT("vbroadcastss 0x04(%[src]), %%ymm1") // ymm1 = s1
969 __ASM_EMIT("vmulps 0x00(%[k]), %%xmm0, %%xmm2") // xmm2 = m0
970 __ASM_EMIT("vmulps 0x00(%[k]), %%ymm1, %%ymm3") // ymm3 = m4
971 __ASM_EMIT("vmulps 0x10(%[k]), %%ymm0, %%ymm4") // ymm4 = m1
972 __ASM_EMIT("vmulps 0x20(%[k]), %%ymm1, %%ymm5") // ymm5 = m5
973 __ASM_EMIT("vmulps 0x30(%[k]), %%ymm0, %%ymm6") // ymm6 = m2
974 __ASM_EMIT("vmulps 0x40(%[k]), %%ymm1, %%ymm1") // ymm1 = m6
975 __ASM_EMIT("vmulps 0x50(%[k]), %%xmm0, %%xmm0") // ymm0 = m3
976 __ASM_EMIT("vaddps 0x00(%[dst]), %%xmm2, %%xmm2")
977 __ASM_EMIT("vaddps 0x10(%[dst]), %%ymm3, %%ymm3")
978 __ASM_EMIT("vaddps 0x30(%[dst]), %%ymm5, %%ymm5")
979 __ASM_EMIT("vaddps 0x50(%[dst]), %%ymm1, %%ymm1")
980 __ASM_EMIT("vaddps %%ymm3, %%ymm4, %%ymm3")
981 __ASM_EMIT("vaddps %%ymm5, %%ymm6, %%ymm5")
982 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm1")
983 __ASM_EMIT("vmovups %%xmm2, 0x00(%[dst])")
984 __ASM_EMIT("vmovups %%ymm3, 0x10(%[dst])")
985 __ASM_EMIT("vmovups %%ymm5, 0x30(%[dst])")
986 __ASM_EMIT("vmovups %%ymm1, 0x50(%[dst])")
987 __ASM_EMIT("add $0x08, %[src]")
988 __ASM_EMIT("add $0x20, %[dst]")
989 __ASM_EMIT("sub $2, %[count]")
990 __ASM_EMIT("jae 1b")
991 __ASM_EMIT("2:")
992 // 1x block
993 __ASM_EMIT("add $1, %[count]")
994 __ASM_EMIT("jl 3f")
995 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") // ymm0 = s0
996 __ASM_EMIT("vmulps 0x00(%[k]), %%ymm0, %%ymm1") // xmm1 = m0
997 __ASM_EMIT("vmulps 0x20(%[k]), %%ymm0, %%ymm2") // ymm2 = m1
998 __ASM_EMIT("vmulps 0x40(%[k]), %%ymm0, %%ymm3") // ymm3 = m2
999 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm1, %%ymm1")
1000 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm2, %%ymm2")
1001 __ASM_EMIT("vaddps 0x40(%[dst]), %%ymm3, %%ymm3")
1002 __ASM_EMIT("vmovups %%ymm1, 0x00(%[dst])")
1003 __ASM_EMIT("vmovups %%ymm2, 0x20(%[dst])")
1004 __ASM_EMIT("vmovups %%ymm3, 0x40(%[dst])")
1005 __ASM_EMIT("3:")
1006
1007 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1008 : [k] "r" (lanczos_4x3)
1009 : "cc", "memory",
1010 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1011 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1012 );
1013
1014 ARCH_X86_64_ASM(
1015 __ASM_EMIT("vmovaps 0x00(%[k]), %%ymm8")
1016 __ASM_EMIT("vmovups 0x10(%[k]), %%ymm9")
1017 __ASM_EMIT("vmovaps 0x20(%[k]), %%ymm10")
1018 __ASM_EMIT("vmovups 0x30(%[k]), %%ymm11")
1019 __ASM_EMIT("vmovaps 0x40(%[k]), %%ymm12")
1020 __ASM_EMIT("vmovaps 0x50(%[k]), %%xmm13")
1021 // 2x blocks
1022 __ASM_EMIT("sub $2, %[count]")
1023 __ASM_EMIT("jb 2f")
1024 __ASM_EMIT(".align 16")
1025 __ASM_EMIT("1:")
1026 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") // ymm0 = s0
1027 __ASM_EMIT("vbroadcastss 0x04(%[src]), %%ymm1") // ymm1 = s1
1028 __ASM_EMIT("vmulps %%xmm8, %%xmm0, %%xmm2") // xmm2 = m0
1029 __ASM_EMIT("vmulps %%ymm8, %%ymm1, %%ymm3") // ymm3 = m4
1030 __ASM_EMIT("vaddps 0x00(%[dst]), %%xmm2, %%xmm2")
1031 __ASM_EMIT("vmulps %%ymm9, %%ymm0, %%ymm4") // ymm4 = m1
1032 __ASM_EMIT("vmulps %%ymm10, %%ymm1, %%ymm5") // ymm5 = m5
1033 __ASM_EMIT("vaddps 0x10(%[dst]), %%ymm3, %%ymm3")
1034 __ASM_EMIT("vmulps %%ymm11, %%ymm0, %%ymm6") // ymm6 = m2
1035 __ASM_EMIT("vmovups %%xmm2, 0x00(%[dst])")
1036 __ASM_EMIT("vaddps %%ymm3, %%ymm4, %%ymm3")
1037 __ASM_EMIT("vmulps %%ymm12, %%ymm1, %%ymm1") // ymm1 = m6
1038 __ASM_EMIT("vaddps 0x30(%[dst]), %%ymm5, %%ymm5")
1039 __ASM_EMIT("vmulps %%xmm13, %%xmm0, %%xmm0") // ymm0 = m3
1040 __ASM_EMIT("vmovups %%ymm3, 0x10(%[dst])")
1041 __ASM_EMIT("vaddps 0x50(%[dst]), %%ymm1, %%ymm1")
1042 __ASM_EMIT("vaddps %%ymm5, %%ymm6, %%ymm5")
1043 __ASM_EMIT("vaddps %%ymm1, %%ymm0, %%ymm1")
1044 __ASM_EMIT("vmovups %%ymm5, 0x30(%[dst])")
1045 __ASM_EMIT("vmovups %%ymm1, 0x50(%[dst])")
1046 __ASM_EMIT("add $0x08, %[src]")
1047 __ASM_EMIT("add $0x20, %[dst]")
1048 __ASM_EMIT("sub $2, %[count]")
1049 __ASM_EMIT("jae 1b")
1050 __ASM_EMIT("2:")
1051 // 1x block
1052 __ASM_EMIT("add $1, %[count]")
1053 __ASM_EMIT("jl 3f")
1054 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") // ymm0 = s0
1055 __ASM_EMIT("vmulps %%ymm8, %%ymm0, %%ymm1") // xmm1 = m0
1056 __ASM_EMIT("vmulps %%ymm10, %%ymm0, %%ymm2") // ymm2 = m1
1057 __ASM_EMIT("vmulps %%ymm12, %%ymm0, %%ymm3") // ymm3 = m2
1058 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm1, %%ymm1")
1059 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm2, %%ymm2")
1060 __ASM_EMIT("vaddps 0x40(%[dst]), %%ymm3, %%ymm3")
1061 __ASM_EMIT("vmovups %%ymm1, 0x00(%[dst])")
1062 __ASM_EMIT("vmovups %%ymm2, 0x20(%[dst])")
1063 __ASM_EMIT("vmovups %%ymm3, 0x40(%[dst])")
1064 __ASM_EMIT("3:")
1065
1066 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1067 : [k] "r" (lanczos_4x3)
1068 : "cc", "memory",
1069 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1070 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1071 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
1072 "%xmm12", "%xmm13"
1073 );
1074 }
1075
1076 IF_ARCH_X86(
1077 // Lanczos kernel 4x4: 4 AVX registers
1078 static const float lanczos_4x4[] __lsp_aligned32 =
1079 {
1080 +0.0000000000000000f,
1081 -0.0039757442382413f,
1082 -0.0126608778212387f,
1083 -0.0150736176408234f,
1084
1085 +0.0000000000000000f,
1086 +0.0315083921595442f,
1087 +0.0599094833772629f,
1088 +0.0555206000541729f,
1089
1090 +0.0000000000000000f,
1091 -0.0917789511099593f,
1092 -0.1664152316035080f,
1093 -0.1525006180521938f,
1094
1095 +0.0000000000000000f,
1096 +0.2830490423665725f,
1097 +0.6203830132406946f,
1098 +0.8945424536042901f,
1099
1100 +1.0000000000000000f,
1101 +0.8945424536042901f,
1102 +0.6203830132406946f,
1103 +0.2830490423665725f,
1104
1105 +0.0000000000000000f,
1106 -0.1525006180521938f,
1107 -0.1664152316035080f,
1108 -0.0917789511099593f,
1109
1110 +0.0000000000000000f,
1111 +0.0555206000541729f,
1112 +0.0599094833772629f,
1113 +0.0315083921595442f,
1114
1115 +0.0000000000000000f,
1116 -0.0150736176408234f,
1117 -0.0126608778212387f,
1118 -0.0039757442382413f
1119 };
1120 )
1121
1122 void lanczos_resample_4x4(float *dst, const float *src, size_t count)
1123 {
1124 ARCH_X86_ASM(
1125 // 4x blocks
1126 __ASM_EMIT("sub $4, %[count]")
1127 __ASM_EMIT("jb 2f")
1128 __ASM_EMIT(".align 16")
1129 __ASM_EMIT("1:")
1130
1131 // Step 1: samples s0 and s2 (odd)
1132 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm3") // ymm3 = s0
1133 __ASM_EMIT("vbroadcastss 0x08(%[src]), %%ymm7") // ymm7 = s2
1134
1135 __ASM_EMIT("vmulps 0x00(%[k]), %%ymm3, %%ymm0") // ymm0 = [k0 k1] * s0
1136 __ASM_EMIT("vmulps 0x20(%[k]), %%ymm3, %%ymm1") // ymm1 = [k2 k3] * s0
1137 __ASM_EMIT("vmulps 0x00(%[k]), %%ymm7, %%ymm4") // ymm4 = [k0 k1] * s2
1138 __ASM_EMIT("vmulps 0x40(%[k]), %%ymm3, %%ymm2") // ymm2 = [k4 k5] * s0
1139 __ASM_EMIT("vaddps %%ymm4, %%ymm1, %%ymm1") // ymm1 = [k2 k3] * s0 + [k0 k1] * s2
1140 __ASM_EMIT("vmulps 0x20(%[k]), %%ymm7, %%ymm5") // ymm5 = [k2 k3] * s2
1141 __ASM_EMIT("vmulps 0x60(%[k]), %%ymm3, %%ymm3") // ymm3 = [k6 k7] * s0
1142 __ASM_EMIT("vmulps 0x40(%[k]), %%ymm7, %%ymm6") // ymm6 = [k4 k5] * s2
1143 __ASM_EMIT("vaddps %%ymm5, %%ymm2, %%ymm2") // ymm2 = [k4 k5] * s0 + [k2 k3] * s2
1144 __ASM_EMIT("vmulps 0x60(%[k]), %%ymm7, %%ymm7") // ymm7 = [k6 k7] * s2
1145 __ASM_EMIT("vaddps %%ymm6, %%ymm3, %%ymm3") // ymm3 = [k6 k7] * s0 + [k4 k5] * s2
1146
1147 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm0, %%ymm0")
1148 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm1, %%ymm1")
1149 __ASM_EMIT("vaddps 0x40(%[dst]), %%ymm2, %%ymm2")
1150 __ASM_EMIT("vaddps 0x60(%[dst]), %%ymm3, %%ymm3")
1151 __ASM_EMIT("vaddps 0x80(%[dst]), %%ymm7, %%ymm4")
1152
1153 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1154 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst])")
1155 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst])")
1156 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst])")
1157 __ASM_EMIT("vmovups %%ymm4, 0x80(%[dst])")
1158
1159 // Step 2: samples s1 and s3 (even)
1160 __ASM_EMIT("vbroadcastss 0x04(%[src]), %%ymm3") // ymm3 = s1
1161 __ASM_EMIT("vbroadcastss 0x0c(%[src]), %%ymm7") // ymm7 = s3
1162
1163 __ASM_EMIT("vmulps 0x00(%[k]), %%ymm3, %%ymm0") // ymm0 = [k0 k1] * s1
1164 __ASM_EMIT("vmulps 0x20(%[k]), %%ymm3, %%ymm1") // ymm1 = [k2 k3] * s1
1165 __ASM_EMIT("vmulps 0x00(%[k]), %%ymm7, %%ymm4") // ymm4 = [k0 k1] * s3
1166 __ASM_EMIT("vmulps 0x40(%[k]), %%ymm3, %%ymm2") // ymm2 = [k4 k5] * s1
1167 __ASM_EMIT("vaddps %%ymm4, %%ymm1, %%ymm1") // ymm1 = [k2 k3] * s1 + [k0 k1] * s3
1168 __ASM_EMIT("vmulps 0x20(%[k]), %%ymm7, %%ymm5") // ymm5 = [k2 k3] * s3
1169 __ASM_EMIT("vmulps 0x60(%[k]), %%ymm3, %%ymm3") // ymm3 = [k6 k7] * s1
1170 __ASM_EMIT("vmulps 0x40(%[k]), %%ymm7, %%ymm6") // ymm6 = [k4 k5] * s3
1171 __ASM_EMIT("vaddps %%ymm5, %%ymm2, %%ymm2") // ymm2 = [k4 k5] * s1 + [k2 k3] * s3
1172 __ASM_EMIT("vmulps 0x60(%[k]), %%ymm7, %%ymm7") // ymm7 = [k6 k7] * s3
1173 __ASM_EMIT("vaddps %%ymm6, %%ymm3, %%ymm3") // ymm3 = [k6 k7] * s1 + [k4 k5] * s3
1174
1175 __ASM_EMIT("vaddps 0x10(%[dst]), %%ymm0, %%ymm0")
1176 __ASM_EMIT("vaddps 0x30(%[dst]), %%ymm1, %%ymm1")
1177 __ASM_EMIT("vaddps 0x50(%[dst]), %%ymm2, %%ymm2")
1178 __ASM_EMIT("vaddps 0x70(%[dst]), %%ymm3, %%ymm3")
1179 __ASM_EMIT("vaddps 0x90(%[dst]), %%ymm7, %%ymm4")
1180
1181 __ASM_EMIT("vmovups %%ymm0, 0x10(%[dst])")
1182 __ASM_EMIT("vmovups %%ymm1, 0x30(%[dst])")
1183 __ASM_EMIT("vmovups %%ymm2, 0x50(%[dst])")
1184 __ASM_EMIT("vmovups %%ymm3, 0x70(%[dst])")
1185 __ASM_EMIT("vmovups %%ymm4, 0x90(%[dst])")
1186
1187 __ASM_EMIT("add $0x10, %[src]")
1188 __ASM_EMIT("add $0x40, %[dst]")
1189 __ASM_EMIT("sub $4, %[count]")
1190 __ASM_EMIT("jae 1b")
1191
1192 // 1x blocks
1193 __ASM_EMIT("2:")
1194 __ASM_EMIT("add $3, %[count]")
1195 __ASM_EMIT("jl 4f")
1196 __ASM_EMIT("3:")
1197
1198 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm7") // ymm7 = s0
1199
1200 __ASM_EMIT("vmulps 0x00(%[k]), %%ymm7, %%ymm0")
1201 __ASM_EMIT("vmulps 0x20(%[k]), %%ymm7, %%ymm1")
1202 __ASM_EMIT("vmulps 0x40(%[k]), %%ymm7, %%ymm2")
1203 __ASM_EMIT("vmulps 0x60(%[k]), %%ymm7, %%ymm3")
1204
1205 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm0, %%ymm0")
1206 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm1, %%ymm1")
1207 __ASM_EMIT("vaddps 0x40(%[dst]), %%ymm2, %%ymm2")
1208 __ASM_EMIT("vaddps 0x60(%[dst]), %%ymm3, %%ymm3")
1209
1210 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1211 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst])")
1212 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst])")
1213 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst])")
1214
1215 __ASM_EMIT("add $0x04, %[src]")
1216 __ASM_EMIT("add $0x10, %[dst]")
1217 __ASM_EMIT("dec %[count]")
1218 __ASM_EMIT("jge 3b")
1219
1220 __ASM_EMIT("4:")
1221
1222 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1223 : [k] "r" (lanczos_4x4)
1224 : "cc", "memory",
1225 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1226 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1227 );
1228 }
1229
1230 // Lanczos kernel 6x2: 3 AVX registers
1231 IF_ARCH_X86(
1232 static const float lanczos_6x2[] __lsp_aligned32 =
1233 {
1234 +0.0000000000000000f,
1235 -0.0078021377848166f,
1236 -0.0315888188312782f,
1237 -0.0636843520278618f,
1238 -0.0854897486982225f,
1239 -0.0719035699814534f,
1240 +0.0000000000000000f,
1241 +0.1409309971636486f,
1242
1243 +0.3419589947928900f,
1244 +0.5731591682507563f,
1245 +0.7897204707819555f,
1246 +0.9440586719628122f,
1247 +1.0000000000000000f,
1248 +0.9440586719628122f,
1249 +0.7897204707819555f,
1250 +0.5731591682507563f,
1251
1252 +0.3419589947928900f,
1253 +0.1409309971636486f,
1254 +0.0000000000000000f,
1255 -0.0719035699814534f,
1256 -0.0854897486982225f,
1257 -0.0636843520278618f,
1258 -0.0315888188312782f,
1259 -0.0078021377848166f
1260 };
1261 )
1262
1263 void lanczos_resample_6x2(float *dst, const float *src, size_t count)
1264 {
1265 ARCH_X86_ASM(
1266 // 1x blocks
1267 __ASM_EMIT("vmovaps 0x00(%[k]), %%ymm5")
1268 __ASM_EMIT("vmovaps 0x20(%[k]), %%ymm6")
1269 __ASM_EMIT("vmovaps 0x40(%[k]), %%ymm7")
1270 __ASM_EMIT("dec %[count]")
1271 __ASM_EMIT("js 2f")
1272 __ASM_EMIT(".align 16")
1273 __ASM_EMIT("1:")
1274 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") // ymm0 = s0
1275 __ASM_EMIT("vmulps %%ymm5, %%ymm0, %%ymm1") // ymm1 = m0
1276 __ASM_EMIT("vmulps %%ymm6, %%ymm0, %%ymm2") // ymm2 = m1
1277 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm1, %%ymm1")
1278 __ASM_EMIT("vmulps %%ymm7, %%ymm0, %%ymm3") // ymm3 = m2
1279 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm2, %%ymm2")
1280 __ASM_EMIT("vmovups %%ymm1, 0x00(%[dst])")
1281 __ASM_EMIT("vaddps 0x40(%[dst]), %%ymm3, %%ymm3")
1282 __ASM_EMIT("vmovups %%ymm2, 0x20(%[dst])")
1283 __ASM_EMIT("vmovups %%ymm3, 0x40(%[dst])")
1284 __ASM_EMIT("add $0x04, %[src]")
1285 __ASM_EMIT("add $0x18, %[dst]")
1286 __ASM_EMIT("dec %[count]")
1287 __ASM_EMIT("jns 1b")
1288 __ASM_EMIT("2:")
1289
1290 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1291 : [k] "r" (lanczos_6x2)
1292 : "cc", "memory",
1293 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1294 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1295 );
1296 }
1297
1298 // Lanczos kernel 6x3: 4 AVX + 1 SSE registers
1299 IF_ARCH_X86(
1300 static const float lanczos_6x3[] __lsp_aligned32 =
1301 {
1302 +0.0000000000000000f,
1303 +0.0032875048460955f,
1304 +0.0126609519658153f,
1305 +0.0243170840741611f,
1306
1307 +0.0310789306368038f,
1308 +0.0248005479513036f,
1309 +0.0000000000000000f,
1310 -0.0424907562338176f,
1311
1312 -0.0933267410806225f,
1313 -0.1350949115231170f,
1314 -0.1458230329384726f,
1315 -0.1049261531488149f,
1316
1317 +0.0000000000000000f,
1318 +0.1676517041508127f,
1319 +0.3807169003008463f,
1320 +0.6079271018540265f,
1321
1322 +0.8103009258121772f,
1323 +0.9500889005216107f,
1324 +1.0000000000000000f,
1325 +0.9500889005216107f,
1326
1327 +0.8103009258121772f,
1328 +0.6079271018540265f,
1329 +0.3807169003008463f,
1330 +0.1676517041508127f,
1331
1332 +0.0000000000000000f,
1333 -0.1049261531488149f,
1334 -0.1458230329384726f,
1335 -0.1350949115231170f,
1336
1337 -0.0933267410806225f,
1338 -0.0424907562338176f,
1339 +0.0000000000000000f,
1340 +0.0248005479513036f,
1341
1342 +0.0310789306368038f,
1343 +0.0243170840741611f,
1344 +0.0126609519658153f,
1345 +0.0032875048460955f
1346 };
1347 )
1348
1349 void lanczos_resample_6x3(float *dst, const float *src, size_t count)
1350 {
1351 ARCH_X86_ASM(
1352 // 1x blocks
1353 __ASM_EMIT("vmovaps 0x00(%[k]), %%ymm3")
1354 __ASM_EMIT("vmovaps 0x20(%[k]), %%ymm4")
1355 __ASM_EMIT("vmovaps 0x40(%[k]), %%ymm5")
1356 __ASM_EMIT("vmovaps 0x60(%[k]), %%ymm6")
1357 __ASM_EMIT("vmovaps 0x80(%[k]), %%xmm7")
1358 __ASM_EMIT("dec %[count]")
1359 __ASM_EMIT("js 2f")
1360 __ASM_EMIT(".align 16")
1361 __ASM_EMIT("1:")
1362 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0")
1363 __ASM_EMIT("vmulps %%ymm3, %%ymm0, %%ymm1") // ymm1 = m0
1364 __ASM_EMIT("vmulps %%ymm4, %%ymm0, %%ymm2") // ymm2 = m1
1365 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm1, %%ymm1")
1366 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm2, %%ymm2")
1367 __ASM_EMIT("vmovups %%ymm1, 0x00(%[dst])")
1368 __ASM_EMIT("vmovups %%ymm2, 0x20(%[dst])")
1369 __ASM_EMIT("vmulps %%ymm5, %%ymm0, %%ymm1") // ymm1 = m2
1370 __ASM_EMIT("vmulps %%ymm6, %%ymm0, %%ymm2") // ymm2 = m3
1371 __ASM_EMIT("vaddps 0x40(%[dst]), %%ymm1, %%ymm1")
1372 __ASM_EMIT("vmulps %%xmm7, %%xmm0, %%xmm0") // xmm0 = m4
1373 __ASM_EMIT("vaddps 0x60(%[dst]), %%ymm2, %%ymm2")
1374 __ASM_EMIT("vaddps 0x80(%[dst]), %%xmm0, %%xmm0")
1375 __ASM_EMIT("vmovups %%ymm1, 0x40(%[dst])")
1376 __ASM_EMIT("vmovups %%ymm2, 0x60(%[dst])")
1377 __ASM_EMIT("vmovups %%xmm0, 0x80(%[dst])")
1378 __ASM_EMIT("add $0x04, %[src]")
1379 __ASM_EMIT("add $0x18, %[dst]")
1380 __ASM_EMIT("dec %[count]")
1381 __ASM_EMIT("jns 1b")
1382 __ASM_EMIT("2:")
1383
1384 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1385 : [k] "r" (lanczos_6x3)
1386 : "cc", "memory",
1387 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1388 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1389 );
1390 }
1391
1392 // Lanczos kernel 6x4: 6 AVX registers
1393 IF_ARCH_X86(
1394 static const float lanczos_6x4[] __lsp_aligned32 =
1395 {
1396 +0.0000000000000000f,
1397 -0.0018000092949500f,
1398 -0.0067568495254777f,
1399 -0.0126608778212387f,
1400 -0.0157944094156391f,
1401 -0.0123019137260206f,
1402 +0.0000000000000000f,
1403 +0.0200263389720192f,
1404
1405 +0.0427448743491113f,
1406 +0.0599094833772629f,
1407 +0.0622703182267308f,
1408 +0.0427971267140625f,
1409 +0.0000000000000000f,
1410 -0.0597744992948478f,
1411 -0.1220498237243924f,
1412 -0.1664152316035080f,
1413
1414 -0.1709794973964449f,
1415 -0.1181145298553785f,
1416 +0.0000000000000000f,
1417 +0.1776396342037379f,
1418 +0.3948602353909778f,
1419 +0.6203830132406946f,
1420 +0.8175787925827955f,
1421 +0.9522049170285306f,
1422
1423 +1.0000000000000000f,
1424 +0.9522049170285306f,
1425 +0.8175787925827955f,
1426 +0.6203830132406946f,
1427 +0.3948602353909778f,
1428 +0.1776396342037379f,
1429 +0.0000000000000000f,
1430 -0.1181145298553785f,
1431
1432 -0.1709794973964449f,
1433 -0.1664152316035080f,
1434 -0.1220498237243924f,
1435 -0.0597744992948478f,
1436 +0.0000000000000000f,
1437 +0.0427971267140625f,
1438 +0.0622703182267308f,
1439 +0.0599094833772629f,
1440
1441 +0.0427448743491113f,
1442 +0.0200263389720192f,
1443 +0.0000000000000000f,
1444 -0.0123019137260206f,
1445 -0.0157944094156391f,
1446 -0.0126608778212387f,
1447 -0.0067568495254777f,
1448 -0.0018000092949500f
1449 };
1450 )
1451
1452 void lanczos_resample_6x4(float *dst, const float *src, size_t count)
1453 {
1454 ARCH_I386_ASM(
1455 // 1x blocks
1456 __ASM_EMIT("dec %[count]")
1457 __ASM_EMIT("js 2f")
1458 __ASM_EMIT(".align 16")
1459 __ASM_EMIT("1:")
1460 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm7")
1461
1462 __ASM_EMIT("vmulps 0x00(%[k]), %%ymm7, %%ymm0")
1463 __ASM_EMIT("vmulps 0x20(%[k]), %%ymm7, %%ymm1")
1464 __ASM_EMIT("vmulps 0x40(%[k]), %%ymm7, %%ymm2")
1465 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm0, %%ymm0")
1466 __ASM_EMIT("vmulps 0x60(%[k]), %%ymm7, %%ymm3")
1467 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm1, %%ymm1")
1468 __ASM_EMIT("vmulps 0x80(%[k]), %%ymm7, %%ymm4")
1469 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1470 __ASM_EMIT("vaddps 0x40(%[dst]), %%ymm2, %%ymm2")
1471 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst])")
1472 __ASM_EMIT("vmulps 0xa0(%[k]), %%ymm7, %%ymm5")
1473 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst])")
1474 __ASM_EMIT("vaddps 0x60(%[dst]), %%ymm3, %%ymm3")
1475 __ASM_EMIT("vaddps 0x80(%[dst]), %%ymm4, %%ymm4")
1476 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst])")
1477 __ASM_EMIT("vaddps 0xa0(%[dst]), %%ymm5, %%ymm5")
1478 __ASM_EMIT("vmovups %%ymm4, 0x80(%[dst])")
1479 __ASM_EMIT("vmovups %%ymm5, 0xa0(%[dst])")
1480
1481 __ASM_EMIT("add $0x04, %[src]")
1482 __ASM_EMIT("add $0x18, %[dst]")
1483 __ASM_EMIT("dec %[count]")
1484 __ASM_EMIT("jns 1b")
1485 __ASM_EMIT("2:")
1486
1487 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1488 : [k] "r" (lanczos_6x4)
1489 : "cc", "memory",
1490 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1491 "%xmm4", "%xmm5", "%xmm7"
1492 );
1493
1494 ARCH_X86_64_ASM(
1495 // 1x blocks
1496 __ASM_EMIT("dec %[count]")
1497 __ASM_EMIT("js 2f")
1498
1499 __ASM_EMIT("vmovaps 0x00(%[k]), %%ymm7")
1500 __ASM_EMIT("vmovaps 0x20(%[k]), %%ymm8")
1501 __ASM_EMIT("vmovaps 0x40(%[k]), %%ymm9")
1502 __ASM_EMIT("vmovaps 0x60(%[k]), %%ymm10")
1503 __ASM_EMIT("vmovaps 0x80(%[k]), %%ymm11")
1504 __ASM_EMIT("vmovaps 0xa0(%[k]), %%ymm12")
1505
1506 __ASM_EMIT(".align 16")
1507 __ASM_EMIT("1:")
1508 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm6")
1509
1510 __ASM_EMIT("vmulps %%ymm7, %%ymm6, %%ymm0")
1511 __ASM_EMIT("vmulps %%ymm8, %%ymm6, %%ymm1")
1512 __ASM_EMIT("vmulps %%ymm9, %%ymm6, %%ymm2")
1513 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm0, %%ymm0")
1514 __ASM_EMIT("vmulps %%ymm10, %%ymm6, %%ymm3")
1515 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm1, %%ymm1")
1516 __ASM_EMIT("vmulps %%ymm11, %%ymm6, %%ymm4")
1517 __ASM_EMIT("vaddps 0x40(%[dst]), %%ymm2, %%ymm2")
1518 __ASM_EMIT("vmulps %%ymm12, %%ymm6, %%ymm5")
1519 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1520 __ASM_EMIT("vaddps 0x60(%[dst]), %%ymm3, %%ymm3")
1521 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst])")
1522 __ASM_EMIT("vaddps 0x80(%[dst]), %%ymm4, %%ymm4")
1523 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst])")
1524 __ASM_EMIT("vaddps 0xa0(%[dst]), %%ymm5, %%ymm5")
1525 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst])")
1526 __ASM_EMIT("vmovups %%ymm4, 0x80(%[dst])")
1527 __ASM_EMIT("vmovups %%ymm5, 0xa0(%[dst])")
1528
1529 __ASM_EMIT("add $0x04, %[src]")
1530 __ASM_EMIT("add $0x18, %[dst]")
1531 __ASM_EMIT("dec %[count]")
1532 __ASM_EMIT("jns 1b")
1533 __ASM_EMIT("2:")
1534
1535 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1536 : [k] "r" (lanczos_6x4)
1537 : "cc", "memory",
1538 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1539 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1540 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
1541 "%xmm12"
1542 );
1543 }
1544
1545 // Lanczos kernel 8x2: 4 AVX registers
1546 IF_ARCH_X86(
1547 static const float lanczos_8x2[] __lsp_aligned32 =
1548 {
1549 +0.0000000000000000f,
1550 -0.0043033145538298f,
1551 -0.0179051851263444f,
1552 -0.0393892611124141f,
1553 -0.0636843520278618f,
1554 -0.0823353965569232f,
1555 -0.0847248039068907f,
1556 -0.0600950644541902f,
1557
1558 +0.0000000000000000f,
1559 +0.0993408208324369f,
1560 +0.2353466775191407f,
1561 +0.3985033193355084f,
1562 +0.5731591682507563f,
1563 +0.7396427919997760f,
1564 +0.8773540711908775f,
1565 +0.9682457746117045f,
1566
1567 +1.0000000000000000f,
1568 +0.9682457746117045f,
1569 +0.8773540711908775f,
1570 +0.7396427919997760f,
1571 +0.5731591682507563f,
1572 +0.3985033193355084f,
1573 +0.2353466775191407f,
1574 +0.0993408208324369f,
1575
1576 +0.0000000000000000f,
1577 -0.0600950644541902f,
1578 -0.0847248039068907f,
1579 -0.0823353965569232f,
1580 -0.0636843520278618f,
1581 -0.0393892611124141f,
1582 -0.0179051851263444f,
1583 -0.0043033145538298f
1584 };
1585 )
1586
1587 void lanczos_resample_8x2(float *dst, const float *src, size_t count)
1588 {
1589 ARCH_I386_ASM(
1590 // 1x blocks
1591 __ASM_EMIT("vmovaps 0x00(%[k]), %%ymm4")
1592 __ASM_EMIT("vmovaps 0x20(%[k]), %%ymm5")
1593 __ASM_EMIT("vmovaps 0x40(%[k]), %%ymm6")
1594 __ASM_EMIT("vmovaps 0x60(%[k]), %%ymm7")
1595 __ASM_EMIT("dec %[count]")
1596 __ASM_EMIT("js 2f")
1597 __ASM_EMIT(".align 16")
1598 __ASM_EMIT("1:")
1599 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm3") // ymm4 = s0
1600 __ASM_EMIT("vmulps %%ymm4, %%ymm3, %%ymm0") // ymm0 = m0
1601 __ASM_EMIT("vmulps %%ymm5, %%ymm3, %%ymm1") // ymm1 = m1
1602 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm0, %%ymm0")
1603 __ASM_EMIT("vmulps %%ymm6, %%ymm3, %%ymm2") // ymm2 = m2
1604 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm1, %%ymm1")
1605 __ASM_EMIT("vmulps %%ymm7, %%ymm3, %%ymm3") // ymm3 = m3
1606 __ASM_EMIT("vaddps 0x40(%[dst]), %%ymm2, %%ymm2")
1607 __ASM_EMIT("vaddps 0x60(%[dst]), %%ymm3, %%ymm3")
1608 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1609 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst])")
1610 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst])")
1611 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst])")
1612 __ASM_EMIT("add $0x04, %[src]")
1613 __ASM_EMIT("add $0x20, %[dst]")
1614 __ASM_EMIT("dec %[count]")
1615 __ASM_EMIT("jns 1b")
1616 __ASM_EMIT("2:")
1617
1618 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1619 : [k] "r" (lanczos_8x2)
1620 : "cc", "memory",
1621 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1622 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1623 );
1624
1625 ARCH_X86_64_ASM(
1626 // 1x blocks
1627 __ASM_EMIT("vmovaps 0x00(%[k]), %%ymm8")
1628 __ASM_EMIT("vmovaps 0x20(%[k]), %%ymm9")
1629 __ASM_EMIT("vmovaps 0x40(%[k]), %%ymm10")
1630 __ASM_EMIT("vmovaps 0x60(%[k]), %%ymm11")
1631 __ASM_EMIT("sub $2, %[count]")
1632 __ASM_EMIT("jb 2f")
1633 // 2x blocks
1634 __ASM_EMIT(".align 16")
1635 __ASM_EMIT("1:")
1636 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm3") // ymm0 = s0
1637 __ASM_EMIT("vbroadcastss 0x04(%[src]), %%ymm7") // ymm7 = s1
1638 __ASM_EMIT("vmulps %%ymm8, %%ymm3, %%ymm0") // ymm0 = m0
1639 __ASM_EMIT("vmulps %%ymm8, %%ymm7, %%ymm4") // ymm4 = m4
1640 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm0, %%ymm0")
1641 __ASM_EMIT("vmulps %%ymm9, %%ymm3, %%ymm1") // ymm1 = m1
1642 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1643 __ASM_EMIT("vmulps %%ymm9, %%ymm7, %%ymm5") // ymm5 = m5
1644 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm1, %%ymm1")
1645 __ASM_EMIT("vmulps %%ymm10, %%ymm3, %%ymm2") // ymm2 = m2
1646 __ASM_EMIT("vaddps %%ymm4, %%ymm1, %%ymm1")
1647 __ASM_EMIT("vmulps %%ymm10, %%ymm7, %%ymm6") // ymm6 = m6
1648 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst])")
1649 __ASM_EMIT("vaddps 0x40(%[dst]), %%ymm2, %%ymm2")
1650 __ASM_EMIT("vmulps %%ymm11, %%ymm3, %%ymm3") // ymm3 = m3
1651 __ASM_EMIT("vaddps %%ymm5, %%ymm2, %%ymm2")
1652 __ASM_EMIT("vaddps 0x60(%[dst]), %%ymm3, %%ymm3")
1653 __ASM_EMIT("vmulps %%ymm11, %%ymm7, %%ymm7") // ymm7 = m7
1654 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst])")
1655 __ASM_EMIT("vaddps %%ymm6, %%ymm3, %%ymm3")
1656 __ASM_EMIT("vaddps 0x80(%[dst]), %%ymm7, %%ymm7")
1657 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst])")
1658 __ASM_EMIT("vmovups %%ymm7, 0x80(%[dst])")
1659 __ASM_EMIT("add $0x08, %[src]")
1660 __ASM_EMIT("add $0x40, %[dst]")
1661 __ASM_EMIT("sub $2, %[count]")
1662 __ASM_EMIT("jae 1b")
1663 __ASM_EMIT("2:")
1664 // 1x block
1665 __ASM_EMIT("add $1, %[count]")
1666 __ASM_EMIT("jl 4f")
1667 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm3")
1668 __ASM_EMIT("vmulps %%ymm8, %%ymm3, %%ymm0") // ymm0 = m0
1669 __ASM_EMIT("vmulps %%ymm9, %%ymm3, %%ymm1") // ymm1 = m1
1670 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm0, %%ymm0")
1671 __ASM_EMIT("vmulps %%ymm10, %%ymm3, %%ymm2") // ymm2 = m2
1672 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm1, %%ymm1")
1673 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1674 __ASM_EMIT("vmulps %%ymm11, %%ymm3, %%ymm3") // ymm3 = m3
1675 __ASM_EMIT("vaddps 0x40(%[dst]), %%ymm2, %%ymm2")
1676 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst])")
1677 __ASM_EMIT("vaddps 0x60(%[dst]), %%ymm3, %%ymm3")
1678 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst])")
1679 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst])")
1680 __ASM_EMIT("4:")
1681
1682 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1683 : [k] "r" (lanczos_8x2)
1684 : "cc", "memory",
1685 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1686 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1687 "%xmm8", "%xmm9", "%xmm10", "%xmm11"
1688 );
1689 }
1690
1691 IF_ARCH_X86(
1692 static const float lanczos_8x3[] __lsp_aligned32 =
1693 {
1694 +0.0000000000000000f,
1695 +0.0018368899607481f,
1696 +0.0073559260471942f,
1697 +0.0155961678435580f,
1698 +0.0243170840741611f,
1699 +0.0303079634725070f,
1700 +0.0300210914495816f,
1701 +0.0204366616947175f,
1702
1703 +0.0000000000000000f,
1704 -0.0305684889733737f,
1705 -0.0677913359005429f,
1706 -0.1054383717904384f,
1707 -0.1350949115231170f,
1708 -0.1472651639056537f,
1709 -0.1328710183650640f,
1710 -0.0849124693704824f,
1711
1712 +0.0000000000000000f,
1713 +0.1205345965259870f,
1714 +0.2701898230462341f,
1715 +0.4376469925430009f,
1716 +0.6079271018540265f,
1717 +0.7642122243343417f,
1718 +0.8900670517104946f,
1719 +0.9717147892357163f,
1720
1721 +1.0000000000000000f,
1722 +0.9717147892357163f,
1723 +0.8900670517104946f,
1724 +0.7642122243343417f,
1725 +0.6079271018540265f,
1726 +0.4376469925430009f,
1727 +0.2701898230462341f,
1728 +0.1205345965259870f,
1729
1730 +0.0000000000000000f,
1731 -0.0849124693704824f,
1732 -0.1328710183650640f,
1733 -0.1472651639056537f,
1734 -0.1350949115231170f,
1735 -0.1054383717904384f,
1736 -0.0677913359005429f,
1737 -0.0305684889733737f,
1738
1739 +0.0000000000000000f,
1740 +0.0204366616947175f,
1741 +0.0300210914495816f,
1742 +0.0303079634725070f,
1743 +0.0243170840741611f,
1744 +0.0155961678435580f,
1745 +0.0073559260471942f,
1746 +0.0018368899607481f
1747 };
1748 )
1749
1750 void lanczos_resample_8x3(float *dst, const float *src, size_t count)
1751 {
1752 ARCH_I386_ASM(
1753 // 1x blocks
1754 __ASM_EMIT("vmovaps 0x40(%[k]), %%ymm4")
1755 __ASM_EMIT("vmovaps 0x60(%[k]), %%ymm5")
1756 __ASM_EMIT("vmovaps 0x80(%[k]), %%ymm6")
1757 __ASM_EMIT("vmovaps 0xa0(%[k]), %%ymm7")
1758 __ASM_EMIT("dec %[count]")
1759 __ASM_EMIT("js 2f")
1760 __ASM_EMIT(".align 16")
1761 __ASM_EMIT("1:")
1762 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm3") // ymm4 = s0
1763 __ASM_EMIT("vmulps 0x00(%[k]), %%ymm3, %%ymm0") // ymm0 = m0
1764 __ASM_EMIT("vmulps 0x20(%[k]), %%ymm3, %%ymm1") // ymm1 = m1
1765 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm0, %%ymm0")
1766 __ASM_EMIT("vmulps %%ymm4, %%ymm3, %%ymm2") // ymm2 = m2
1767 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm1, %%ymm1")
1768 __ASM_EMIT("vaddps 0x40(%[dst]), %%ymm2, %%ymm2")
1769 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1770 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst])")
1771 __ASM_EMIT("vmulps %%ymm5, %%ymm3, %%ymm0") // ymm0 = m3
1772 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst])")
1773 __ASM_EMIT("vmulps %%ymm6, %%ymm3, %%ymm1") // ymm1 = m4
1774 __ASM_EMIT("vaddps 0x60(%[dst]), %%ymm0, %%ymm0")
1775 __ASM_EMIT("vmulps %%ymm7, %%ymm3, %%ymm2") // ymm2 = m5
1776 __ASM_EMIT("vaddps 0x80(%[dst]), %%ymm1, %%ymm1")
1777 __ASM_EMIT("vmovups %%ymm0, 0x60(%[dst])")
1778 __ASM_EMIT("vaddps 0xa0(%[dst]), %%ymm2, %%ymm2")
1779 __ASM_EMIT("vmovups %%ymm1, 0x80(%[dst])")
1780 __ASM_EMIT("vmovups %%ymm2, 0xa0(%[dst])")
1781 __ASM_EMIT("add $0x04, %[src]")
1782 __ASM_EMIT("add $0x20, %[dst]")
1783 __ASM_EMIT("dec %[count]")
1784 __ASM_EMIT("jns 1b")
1785 __ASM_EMIT("2:")
1786
1787 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1788 : [k] "r" (lanczos_8x3)
1789 : "cc", "memory",
1790 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1791 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
1792 );
1793
1794 ARCH_X86_64_ASM(
1795 // 1x blocks
1796 __ASM_EMIT("vmovaps 0x00(%[k]), %%ymm8")
1797 __ASM_EMIT("vmovaps 0x20(%[k]), %%ymm9")
1798 __ASM_EMIT("vmovaps 0x40(%[k]), %%ymm10")
1799 __ASM_EMIT("vmovaps 0x60(%[k]), %%ymm11")
1800 __ASM_EMIT("vmovaps 0x80(%[k]), %%ymm12")
1801 __ASM_EMIT("vmovaps 0xa0(%[k]), %%ymm13")
1802 __ASM_EMIT("sub $2, %[count]")
1803 __ASM_EMIT("jb 2f")
1804 // 2x blocks
1805 __ASM_EMIT(".align 16")
1806 __ASM_EMIT("1:")
1807 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm6") // ymm6 = s0
1808 __ASM_EMIT("vbroadcastss 0x04(%[src]), %%ymm7") // ymm7 = s1
1809 __ASM_EMIT("vmulps %%ymm8, %%ymm6, %%ymm0") // ymm0 = m0
1810 __ASM_EMIT("vmulps %%ymm8, %%ymm7, %%ymm3") // ymm3 = m6
1811 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm0, %%ymm0")
1812 __ASM_EMIT("vmulps %%ymm9, %%ymm6, %%ymm1") // ymm1 = m1
1813 __ASM_EMIT("vmulps %%ymm9, %%ymm7, %%ymm4") // ymm4 = m7
1814 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1815 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm1, %%ymm1")
1816 __ASM_EMIT("vmulps %%ymm10, %%ymm6, %%ymm2") // ymm2 = m2
1817 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
1818 __ASM_EMIT("vmulps %%ymm10, %%ymm7, %%ymm5") // ymm5 = m8
1819 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst])")
1820 __ASM_EMIT("vaddps 0x40(%[dst]), %%ymm2, %%ymm2")
1821 __ASM_EMIT("vmulps %%ymm11, %%ymm6, %%ymm0") // ymm0 = m3
1822 __ASM_EMIT("vaddps %%ymm4, %%ymm2, %%ymm2")
1823 __ASM_EMIT("vmulps %%ymm11, %%ymm7, %%ymm3") // ymm3 = m9
1824 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst])")
1825 __ASM_EMIT("vmulps %%ymm12, %%ymm6, %%ymm1") // ymm1 = m4
1826 __ASM_EMIT("vaddps 0x60(%[dst]), %%ymm0, %%ymm0")
1827 __ASM_EMIT("vmulps %%ymm12, %%ymm7, %%ymm4") // ymm4 = m10
1828 __ASM_EMIT("vaddps %%ymm5, %%ymm0, %%ymm0")
1829 __ASM_EMIT("vaddps 0x80(%[dst]), %%ymm1, %%ymm1")
1830 __ASM_EMIT("vmulps %%ymm13, %%ymm6, %%ymm2") // ymm2 = m5
1831 __ASM_EMIT("vmovups %%ymm0, 0x60(%[dst])")
1832 __ASM_EMIT("vaddps %%ymm3, %%ymm1, %%ymm1")
1833 __ASM_EMIT("vaddps 0xa0(%[dst]), %%ymm2, %%ymm2")
1834 __ASM_EMIT("vmovups %%ymm1, 0x80(%[dst])")
1835 __ASM_EMIT("vmulps %%ymm13, %%ymm7, %%ymm7") // ymm7 = m11
1836 __ASM_EMIT("vaddps %%ymm4, %%ymm2, %%ymm2")
1837 __ASM_EMIT("vaddps 0xc0(%[dst]), %%ymm7, %%ymm7")
1838 __ASM_EMIT("vmovups %%ymm2, 0xa0(%[dst])")
1839 __ASM_EMIT("vmovups %%ymm7, 0xc0(%[dst])")
1840 __ASM_EMIT("add $0x08, %[src]")
1841 __ASM_EMIT("add $0x40, %[dst]")
1842 __ASM_EMIT("sub $2, %[count]")
1843 __ASM_EMIT("jae 1b")
1844 __ASM_EMIT("2:")
1845 // 1x block
1846 __ASM_EMIT("add $1, %[count]")
1847 __ASM_EMIT("jl 4f")
1848 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm5") // ymm4 = s0
1849 __ASM_EMIT("vmulps %%ymm8, %%ymm5, %%ymm0") // ymm0 = m0
1850 __ASM_EMIT("vmulps %%ymm9, %%ymm5, %%ymm1") // ymm1 = m1
1851 __ASM_EMIT("vmulps %%ymm10, %%ymm5, %%ymm2") // ymm2 = m2
1852 __ASM_EMIT("vmulps %%ymm11, %%ymm5, %%ymm3") // ymm3 = m3
1853 __ASM_EMIT("vmulps %%ymm12, %%ymm5, %%ymm4") // ymm4 = m4
1854 __ASM_EMIT("vmulps %%ymm13, %%ymm5, %%ymm5") // ymm5 = m5
1855 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm0, %%ymm0")
1856 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm1, %%ymm1")
1857 __ASM_EMIT("vaddps 0x40(%[dst]), %%ymm2, %%ymm2")
1858 __ASM_EMIT("vaddps 0x60(%[dst]), %%ymm3, %%ymm3")
1859 __ASM_EMIT("vaddps 0x80(%[dst]), %%ymm4, %%ymm4")
1860 __ASM_EMIT("vaddps 0xa0(%[dst]), %%ymm5, %%ymm5")
1861 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1862 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst])")
1863 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst])")
1864 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst])")
1865 __ASM_EMIT("vmovups %%ymm4, 0x80(%[dst])")
1866 __ASM_EMIT("vmovups %%ymm5, 0xa0(%[dst])")
1867 __ASM_EMIT("4:")
1868
1869 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
1870 : [k] "r" (lanczos_8x3)
1871 : "cc", "memory",
1872 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
1873 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
1874 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
1875 "%xmm12", "%xmm13"
1876 );
1877 }
1878
1879 IF_ARCH_X86(
1880 // Lanczos kernel 8x4: 8 AVX registers
1881 static const float lanczos_8x4[] __lsp_aligned16 =
1882 {
1883 +0.0000000000000000f,
1884 -0.0010124148822791f,
1885 -0.0039757442382413f,
1886 -0.0082714887261119f,
1887 -0.0126608778212387f,
1888 -0.0154958216565010f,
1889 -0.0150736176408234f,
1890 -0.0100753105205530f,
1891
1892 +0.0000000000000000f,
1893 +0.0145047275409824f,
1894 +0.0315083921595442f,
1895 +0.0479233082326825f,
1896 +0.0599094833772629f,
1897 +0.0635233253590927f,
1898 +0.0555206000541729f,
1899 +0.0341810767869351f,
1900
1901 +0.0000000000000000f,
1902 -0.0439036941841078f,
1903 -0.0917789511099593f,
1904 -0.1356918370096595f,
1905 -0.1664152316035080f,
1906 -0.1746626357901899f,
1907 -0.1525006180521938f,
1908 -0.0947284057923417f,
1909
1910 +0.0000000000000000f,
1911 +0.1285116137825641f,
1912 +0.2830490423665725f,
1913 +0.4518581595035692f,
1914 +0.6203830132406946f,
1915 +0.7729246687400148f,
1916 +0.8945424536042901f,
1917 +0.9729307018702211f,
1918
1919 +1.0000000000000000f,
1920 +0.9729307018702211f,
1921 +0.8945424536042901f,
1922 +0.7729246687400148f,
1923 +0.6203830132406946f,
1924 +0.4518581595035692f,
1925 +0.2830490423665725f,
1926 +0.1285116137825641f,
1927
1928 +0.0000000000000000f,
1929 -0.0947284057923417f,
1930 -0.1525006180521938f,
1931 -0.1746626357901899f,
1932 -0.1664152316035080f,
1933 -0.1356918370096595f,
1934 -0.0917789511099593f,
1935 -0.0439036941841078f,
1936
1937 +0.0000000000000000f,
1938 +0.0341810767869351f,
1939 +0.0555206000541729f,
1940 +0.0635233253590927f,
1941 +0.0599094833772629f,
1942 +0.0479233082326825f,
1943 +0.0315083921595442f,
1944 +0.0145047275409824f,
1945
1946 +0.0000000000000000f,
1947 -0.0100753105205530f,
1948 -0.0150736176408234f,
1949 -0.0154958216565010f,
1950 -0.0126608778212387f,
1951 -0.0082714887261119f,
1952 -0.0039757442382413f,
1953 -0.0010124148822791f
1954 };
1955 )
1956
1957 void lanczos_resample_8x4(float *dst, const float *src, size_t count)
1958 {
1959 ARCH_I386_ASM(
1960 // 1x blocks
1961 __ASM_EMIT("dec %[count]")
1962 __ASM_EMIT("js 2f")
1963 __ASM_EMIT(".align 16")
1964 __ASM_EMIT("1:")
1965 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm7") // ymm7 = s0
1966
1967 __ASM_EMIT("vmulps 0x00(%[k]), %%ymm7, %%ymm0")
1968 __ASM_EMIT("vmulps 0x20(%[k]), %%ymm7, %%ymm1")
1969 __ASM_EMIT("vmulps 0x40(%[k]), %%ymm7, %%ymm2")
1970 __ASM_EMIT("vmulps 0x60(%[k]), %%ymm7, %%ymm3")
1971 __ASM_EMIT("vmulps 0x80(%[k]), %%ymm7, %%ymm4")
1972 __ASM_EMIT("vmulps 0xa0(%[k]), %%ymm7, %%ymm5")
1973 __ASM_EMIT("vmulps 0xc0(%[k]), %%ymm7, %%ymm6")
1974 __ASM_EMIT("vmulps 0xe0(%[k]), %%ymm7, %%ymm7")
1975
1976 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm0, %%ymm0")
1977 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm1, %%ymm1")
1978 __ASM_EMIT("vaddps 0x40(%[dst]), %%ymm2, %%ymm2")
1979 __ASM_EMIT("vaddps 0x60(%[dst]), %%ymm3, %%ymm3")
1980 __ASM_EMIT("vaddps 0x80(%[dst]), %%ymm4, %%ymm4")
1981 __ASM_EMIT("vaddps 0xa0(%[dst]), %%ymm5, %%ymm5")
1982 __ASM_EMIT("vaddps 0xc0(%[dst]), %%ymm6, %%ymm6")
1983 __ASM_EMIT("vaddps 0xe0(%[dst]), %%ymm7, %%ymm7")
1984
1985 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
1986 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst])")
1987 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst])")
1988 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst])")
1989 __ASM_EMIT("vmovups %%ymm4, 0x80(%[dst])")
1990 __ASM_EMIT("vmovups %%ymm5, 0xa0(%[dst])")
1991 __ASM_EMIT("vmovups %%ymm6, 0xc0(%[dst])")
1992 __ASM_EMIT("vmovups %%ymm7, 0xe0(%[dst])")
1993
1994 __ASM_EMIT("add $0x04, %[src]")
1995 __ASM_EMIT("add $0x20, %[dst]")
1996 __ASM_EMIT("dec %[count]")
1997 __ASM_EMIT("jns 1b")
1998 __ASM_EMIT("2:")
1999
2000 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
2001 : [k] "r" (lanczos_8x4)
2002 : "cc", "memory",
2003 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
2004 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
2005 );
2006
2007 ARCH_X86_64_ASM(
2008 // 1x blocks
2009 __ASM_EMIT("dec %[count]")
2010 __ASM_EMIT("js 2f")
2011 __ASM_EMIT("vmovaps 0x00(%[k]), %%ymm8")
2012 __ASM_EMIT("vmovaps 0x20(%[k]), %%ymm9")
2013 __ASM_EMIT("vmovaps 0x40(%[k]), %%ymm10")
2014 __ASM_EMIT("vmovaps 0x60(%[k]), %%ymm11")
2015 __ASM_EMIT("vmovaps 0x80(%[k]), %%ymm12")
2016 __ASM_EMIT("vmovaps 0xa0(%[k]), %%ymm13")
2017 __ASM_EMIT("vmovaps 0xc0(%[k]), %%ymm14")
2018 __ASM_EMIT("vmovaps 0xe0(%[k]), %%ymm15")
2019
2020 __ASM_EMIT(".align 16")
2021 __ASM_EMIT("1:")
2022 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm7") // ymm7 = s0
2023
2024 __ASM_EMIT("vmulps %%ymm8, %%ymm7, %%ymm0")
2025 __ASM_EMIT("vmulps %%ymm9, %%ymm7, %%ymm1")
2026 __ASM_EMIT("vmulps %%ymm10, %%ymm7, %%ymm2")
2027 __ASM_EMIT("vaddps 0x00(%[dst]), %%ymm0, %%ymm0")
2028 __ASM_EMIT("vmulps %%ymm11, %%ymm7, %%ymm3")
2029 __ASM_EMIT("vaddps 0x20(%[dst]), %%ymm1, %%ymm1")
2030 __ASM_EMIT("vmulps %%ymm12, %%ymm7, %%ymm4")
2031 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
2032 __ASM_EMIT("vaddps 0x40(%[dst]), %%ymm2, %%ymm2")
2033 __ASM_EMIT("vmulps %%ymm13, %%ymm7, %%ymm5")
2034 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst])")
2035 __ASM_EMIT("vaddps 0x60(%[dst]), %%ymm3, %%ymm3")
2036 __ASM_EMIT("vmulps %%ymm14, %%ymm7, %%ymm6")
2037 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst])")
2038 __ASM_EMIT("vaddps 0x80(%[dst]), %%ymm4, %%ymm4")
2039 __ASM_EMIT("vmulps %%ymm15, %%ymm7, %%ymm7")
2040 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst])")
2041 __ASM_EMIT("vaddps 0xa0(%[dst]), %%ymm5, %%ymm5")
2042 __ASM_EMIT("vmovups %%ymm4, 0x80(%[dst])")
2043 __ASM_EMIT("vaddps 0xc0(%[dst]), %%ymm6, %%ymm6")
2044 __ASM_EMIT("vmovups %%ymm5, 0xa0(%[dst])")
2045 __ASM_EMIT("vaddps 0xe0(%[dst]), %%ymm7, %%ymm7")
2046 __ASM_EMIT("vmovups %%ymm6, 0xc0(%[dst])")
2047 __ASM_EMIT("vmovups %%ymm7, 0xe0(%[dst])")
2048
2049 __ASM_EMIT("add $0x04, %[src]")
2050 __ASM_EMIT("add $0x20, %[dst]")
2051 __ASM_EMIT("dec %[count]")
2052 __ASM_EMIT("jns 1b")
2053 __ASM_EMIT("2:")
2054
2055 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
2056 : [k] "r" (lanczos_8x4)
2057 : "cc", "memory",
2058 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
2059 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
2060 "%xmm8", "%xmm9", "%xmm10", "%xmm11",
2061 "%xmm12", "%xmm13", "%xmm14", "%xmm15"
2062 );
2063 }
2064
2065 void downsample_2x(float *dst, const float *src, size_t count)
2066 {
2067 ARCH_X86_ASM(
2068 // 32x blocks
2069 __ASM_EMIT("sub $32, %[count]")
2070 __ASM_EMIT("jb 2f")
2071 __ASM_EMIT(".align 16")
2072 __ASM_EMIT("1:")
2073 __ASM_EMIT("vmovups 0x000(%[src]), %%xmm0") // xmm0 = s0 ? s1 ?
2074 __ASM_EMIT("vmovups 0x010(%[src]), %%xmm1") // xmm1 = s2 ? s3 ?
2075 __ASM_EMIT("vmovups 0x020(%[src]), %%xmm2") // xmm2 = s4 ? s5 ?
2076 __ASM_EMIT("vmovups 0x030(%[src]), %%xmm3") // xmm3 = s6 ? s7 ?
2077 __ASM_EMIT("vmovups 0x040(%[src]), %%xmm4") // xmm4 = s8 ? s9 ?
2078 __ASM_EMIT("vmovups 0x050(%[src]), %%xmm5") // xmm5 = s10 ? s11 ?
2079 __ASM_EMIT("vmovups 0x060(%[src]), %%xmm6") // xmm6 = s12 ? s13 ?
2080 __ASM_EMIT("vmovups 0x070(%[src]), %%xmm7") // xmm7 = s14 ? s15 ?
2081 __ASM_EMIT("vinsertf128 $1, 0x080(%[src]), %%ymm0, %%ymm0") // ymm0 = s0 ? s1 ? s16 ? s17
2082 __ASM_EMIT("vinsertf128 $1, 0x090(%[src]), %%ymm1, %%ymm1") // ymm1 = s2 ? s3 ? s18 ? s19
2083 __ASM_EMIT("vinsertf128 $1, 0x0a0(%[src]), %%ymm2, %%ymm2") // ymm2 = s4 ? s5 ? s20 ? s21
2084 __ASM_EMIT("vinsertf128 $1, 0x0b0(%[src]), %%ymm3, %%ymm3") // ymm3 = s6 ? s7 ? s22 ? s23
2085 __ASM_EMIT("vinsertf128 $1, 0x0c0(%[src]), %%ymm4, %%ymm4") // ymm4 = s8 ? s9 ? s24 ? s25
2086 __ASM_EMIT("vinsertf128 $1, 0x0d0(%[src]), %%ymm5, %%ymm5") // ymm5 = s10 ? s11 ? s26 ? s27
2087 __ASM_EMIT("vinsertf128 $1, 0x0e0(%[src]), %%ymm6, %%ymm6") // ymm6 = s12 ? s13 ? s28 ? s29
2088 __ASM_EMIT("vinsertf128 $1, 0x0f0(%[src]), %%ymm7, %%ymm7") // ymm7 = s14 ? s15 ? s30 ? s31
2089 __ASM_EMIT("vshufps $0x88, %%ymm1, %%ymm0, %%ymm0") // ymm0 = s0 s1 s2 s3 s17 s17 s18 s19
2090 __ASM_EMIT("vshufps $0x88, %%ymm3, %%ymm2, %%ymm2") // ymm2 = s4 s5 s6 s7 s20 s21 s22 s23
2091 __ASM_EMIT("vshufps $0x88, %%ymm5, %%ymm4, %%ymm4") // ymm4 = s8 s9 s10 s11 s24 s25 s26 s27
2092 __ASM_EMIT("vshufps $0x88, %%ymm7, %%ymm6, %%ymm6") // ymm6 = s12 s13 s14 s15 s28 s29 s30 s31
2093 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
2094 __ASM_EMIT("vmovups %%xmm2, 0x010(%[dst])")
2095 __ASM_EMIT("vmovups %%xmm4, 0x020(%[dst])")
2096 __ASM_EMIT("vmovups %%xmm6, 0x030(%[dst])")
2097 __ASM_EMIT("vextractf128 $1, %%ymm0, 0x040(%[dst])")
2098 __ASM_EMIT("vextractf128 $1, %%ymm2, 0x050(%[dst])")
2099 __ASM_EMIT("vextractf128 $1, %%ymm4, 0x060(%[dst])")
2100 __ASM_EMIT("vextractf128 $1, %%ymm6, 0x070(%[dst])")
2101 __ASM_EMIT("add $0x100, %[src]")
2102 __ASM_EMIT("add $0x80, %[dst]")
2103 __ASM_EMIT("sub $32, %[count]")
2104 __ASM_EMIT("jae 1b")
2105 __ASM_EMIT("2:")
2106 // 16x block
2107 __ASM_EMIT("add $16, %[count]")
2108 __ASM_EMIT("jl 4f")
2109 __ASM_EMIT("vmovups 0x000(%[src]), %%xmm0") // xmm0 = s0 ? s1 ?
2110 __ASM_EMIT("vmovups 0x010(%[src]), %%xmm1") // xmm1 = s2 ? s3 ?
2111 __ASM_EMIT("vmovups 0x020(%[src]), %%xmm2") // xmm2 = s4 ? s5 ?
2112 __ASM_EMIT("vmovups 0x030(%[src]), %%xmm3") // xmm3 = s6 ? s7 ?
2113 __ASM_EMIT("vinsertf128 $1, 0x040(%[src]), %%ymm0, %%ymm0")
2114 __ASM_EMIT("vinsertf128 $1, 0x050(%[src]), %%ymm1, %%ymm1")
2115 __ASM_EMIT("vinsertf128 $1, 0x060(%[src]), %%ymm2, %%ymm2")
2116 __ASM_EMIT("vinsertf128 $1, 0x070(%[src]), %%ymm3, %%ymm3")
2117 __ASM_EMIT("vshufps $0x88, %%ymm1, %%ymm0, %%ymm0")
2118 __ASM_EMIT("vshufps $0x88, %%ymm3, %%ymm2, %%ymm2")
2119 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
2120 __ASM_EMIT("vmovups %%xmm2, 0x010(%[dst])")
2121 __ASM_EMIT("vextractf128 $1, %%ymm0, 0x020(%[dst])")
2122 __ASM_EMIT("vextractf128 $1, %%ymm2, 0x030(%[dst])")
2123 __ASM_EMIT("sub $16, %[count]")
2124 __ASM_EMIT("add $0x80, %[src]")
2125 __ASM_EMIT("add $0x40, %[dst]")
2126 __ASM_EMIT("4:")
2127 // 8x block
2128 __ASM_EMIT("add $8, %[count]")
2129 __ASM_EMIT("jl 6f")
2130 __ASM_EMIT("vmovups 0x000(%[src]), %%xmm0") // xmm0 = s0 ? s1 ?
2131 __ASM_EMIT("vmovups 0x010(%[src]), %%xmm1") // xmm1 = s2 ? s3 ?
2132 __ASM_EMIT("vmovups 0x020(%[src]), %%xmm2") // xmm2 = s4 ? s5 ?
2133 __ASM_EMIT("vmovups 0x030(%[src]), %%xmm3") // xmm3 = s6 ? s7 ?
2134 __ASM_EMIT("vshufps $0x88, %%xmm1, %%xmm0, %%xmm0")
2135 __ASM_EMIT("vshufps $0x88, %%xmm3, %%xmm2, %%xmm2")
2136 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
2137 __ASM_EMIT("vmovups %%xmm2, 0x010(%[dst])")
2138 __ASM_EMIT("sub $8, %[count]")
2139 __ASM_EMIT("add $0x40, %[src]")
2140 __ASM_EMIT("add $0x20, %[dst]")
2141 __ASM_EMIT("6:")
2142 // 4x block
2143 __ASM_EMIT("add $4, %[count]")
2144 __ASM_EMIT("jl 8f")
2145 __ASM_EMIT("vmovups 0x000(%[src]), %%xmm0") // xmm0 = s0 ? s1 ?
2146 __ASM_EMIT("vmovups 0x010(%[src]), %%xmm1") // xmm1 = s2 ? s3 ?
2147 __ASM_EMIT("vshufps $0x88, %%xmm1, %%xmm0, %%xmm0")
2148 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
2149 __ASM_EMIT("sub $4, %[count]")
2150 __ASM_EMIT("add $0x20, %[src]")
2151 __ASM_EMIT("add $0x10, %[dst]")
2152 __ASM_EMIT("8:")
2153 // 2x block
2154 __ASM_EMIT("add $2, %[count]")
2155 __ASM_EMIT("jl 10f")
2156 __ASM_EMIT("vmovups 0x000(%[src]), %%xmm0") // xmm0 = s0 ? s1 ?
2157 __ASM_EMIT("vshufps $0x88, %%xmm0, %%xmm0, %%xmm0") // xmm0 = s0 s1 s0 s1
2158 __ASM_EMIT("vmovlps %%xmm0, 0x000(%[dst])")
2159 __ASM_EMIT("sub $2, %[count]")
2160 __ASM_EMIT("add $0x10, %[src]")
2161 __ASM_EMIT("add $0x08, %[dst]")
2162 __ASM_EMIT("10:")
2163 // 1x block
2164 __ASM_EMIT("add $1, %[count]")
2165 __ASM_EMIT("jl 12f")
2166 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm0") // xmm0 = s0
2167 __ASM_EMIT("vmovss %%xmm0, 0x000(%[dst])")
2168 __ASM_EMIT("12:")
2169
2170 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
2171 :
2172 : "cc", "memory",
2173 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
2174 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
2175 );
2176 }
2177
2178 void downsample_3x(float *dst, const float *src, size_t count)
2179 {
2180 ARCH_X86_ASM(
2181 // 32x blocks
2182 __ASM_EMIT("sub $32, %[count]")
2183 __ASM_EMIT("jb 2f")
2184 __ASM_EMIT(".align 16")
2185 __ASM_EMIT("1:")
2186 __ASM_EMIT("vmovups 0x000(%[src]), %%xmm0") // xmm0 = s0 ? ? s1
2187 __ASM_EMIT("vmovups 0x018(%[src]), %%xmm1") // xmm1 = s2 ? ? s3
2188 __ASM_EMIT("vmovups 0x030(%[src]), %%xmm2") // xmm2 = s4 ? ? s5
2189 __ASM_EMIT("vmovups 0x048(%[src]), %%xmm3") // xmm3 = s6 ? ? s7
2190 __ASM_EMIT("vmovups 0x060(%[src]), %%xmm4") // xmm4 = s8 ? ? s9
2191 __ASM_EMIT("vmovups 0x078(%[src]), %%xmm5") // xmm5 = s10 ? ? s11
2192 __ASM_EMIT("vmovups 0x090(%[src]), %%xmm6") // xmm6 = s12 ? ? s13
2193 __ASM_EMIT("vmovups 0x0a8(%[src]), %%xmm7") // xmm7 = s14 ? ? s15
2194 __ASM_EMIT("vinsertf128 $1, 0x0c0(%[src]), %%ymm0, %%ymm0")
2195 __ASM_EMIT("vinsertf128 $1, 0x0d8(%[src]), %%ymm1, %%ymm1")
2196 __ASM_EMIT("vinsertf128 $1, 0x0f0(%[src]), %%ymm2, %%ymm2")
2197 __ASM_EMIT("vinsertf128 $1, 0x108(%[src]), %%ymm3, %%ymm3")
2198 __ASM_EMIT("vinsertf128 $1, 0x120(%[src]), %%ymm4, %%ymm4")
2199 __ASM_EMIT("vinsertf128 $1, 0x138(%[src]), %%ymm5, %%ymm5")
2200 __ASM_EMIT("vinsertf128 $1, 0x150(%[src]), %%ymm6, %%ymm6")
2201 __ASM_EMIT("vinsertf128 $1, 0x168(%[src]), %%ymm7, %%ymm7")
2202 __ASM_EMIT("vshufps $0xcc, %%ymm1, %%ymm0, %%ymm0") // ymm0 = s0 s1 s2 s3 s17 s17 s18 s19
2203 __ASM_EMIT("vshufps $0xcc, %%ymm3, %%ymm2, %%ymm2") // ymm2 = s4 s5 s6 s7 s20 s21 s22 s23
2204 __ASM_EMIT("vshufps $0xcc, %%ymm5, %%ymm4, %%ymm4") // ymm4 = s8 s9 s10 s11 s24 s25 s26 s27
2205 __ASM_EMIT("vshufps $0xcc, %%ymm7, %%ymm6, %%ymm6") // ymm6 = s12 s13 s14 s15 s28 s29 s30 s31
2206 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
2207 __ASM_EMIT("vmovups %%xmm2, 0x010(%[dst])")
2208 __ASM_EMIT("vmovups %%xmm4, 0x020(%[dst])")
2209 __ASM_EMIT("vmovups %%xmm6, 0x030(%[dst])")
2210 __ASM_EMIT("vextractf128 $1, %%ymm0, 0x040(%[dst])")
2211 __ASM_EMIT("vextractf128 $1, %%ymm2, 0x050(%[dst])")
2212 __ASM_EMIT("vextractf128 $1, %%ymm4, 0x060(%[dst])")
2213 __ASM_EMIT("vextractf128 $1, %%ymm6, 0x070(%[dst])")
2214 __ASM_EMIT("add $0x180, %[src]")
2215 __ASM_EMIT("add $0x80, %[dst]")
2216 __ASM_EMIT("sub $32, %[count]")
2217 __ASM_EMIT("jae 1b")
2218 __ASM_EMIT("2:")
2219 // 16x block
2220 __ASM_EMIT("add $16, %[count]")
2221 __ASM_EMIT("jl 4f")
2222 __ASM_EMIT("vmovups 0x000(%[src]), %%xmm0") // xmm0 = s0 ? ? s1
2223 __ASM_EMIT("vmovups 0x018(%[src]), %%xmm1") // xmm1 = s2 ? ? s3
2224 __ASM_EMIT("vmovups 0x030(%[src]), %%xmm2") // xmm2 = s4 ? ? s5
2225 __ASM_EMIT("vmovups 0x048(%[src]), %%xmm3") // xmm3 = s6 ? ? s7
2226 __ASM_EMIT("vinsertf128 $1, 0x060(%[src]), %%ymm0, %%ymm0")
2227 __ASM_EMIT("vinsertf128 $1, 0x078(%[src]), %%ymm1, %%ymm1")
2228 __ASM_EMIT("vinsertf128 $1, 0x090(%[src]), %%ymm2, %%ymm2")
2229 __ASM_EMIT("vinsertf128 $1, 0x0a8(%[src]), %%ymm3, %%ymm3")
2230 __ASM_EMIT("vshufps $0xcc, %%ymm1, %%ymm0, %%ymm0")
2231 __ASM_EMIT("vshufps $0xcc, %%ymm3, %%ymm2, %%ymm2")
2232 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
2233 __ASM_EMIT("vmovups %%xmm2, 0x010(%[dst])")
2234 __ASM_EMIT("vextractf128 $1, %%ymm0, 0x020(%[dst])")
2235 __ASM_EMIT("vextractf128 $1, %%ymm2, 0x030(%[dst])")
2236 __ASM_EMIT("sub $16, %[count]")
2237 __ASM_EMIT("add $0xc0, %[src]")
2238 __ASM_EMIT("add $0x40, %[dst]")
2239 __ASM_EMIT("4:")
2240 // 8x block
2241 __ASM_EMIT("add $8, %[count]")
2242 __ASM_EMIT("jl 6f")
2243 __ASM_EMIT("vmovups 0x000(%[src]), %%xmm0") // xmm0 = s0 ? ? s1
2244 __ASM_EMIT("vmovups 0x018(%[src]), %%xmm1") // xmm1 = s2 ? ? s3
2245 __ASM_EMIT("vmovups 0x030(%[src]), %%xmm2") // xmm2 = s4 ? ? s5
2246 __ASM_EMIT("vmovups 0x048(%[src]), %%xmm3") // xmm3 = s6 ? ? s7
2247 __ASM_EMIT("vshufps $0xcc, %%xmm1, %%xmm0, %%xmm0")
2248 __ASM_EMIT("vshufps $0xcc, %%xmm3, %%xmm2, %%xmm2")
2249 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
2250 __ASM_EMIT("vmovups %%xmm2, 0x010(%[dst])")
2251 __ASM_EMIT("sub $8, %[count]")
2252 __ASM_EMIT("add $0x60, %[src]")
2253 __ASM_EMIT("add $0x20, %[dst]")
2254 __ASM_EMIT("6:")
2255 // 4x block
2256 __ASM_EMIT("add $4, %[count]")
2257 __ASM_EMIT("jl 8f")
2258 __ASM_EMIT("vmovups 0x000(%[src]), %%xmm0") // xmm0 = s0 ? ? s1
2259 __ASM_EMIT("vmovups 0x018(%[src]), %%xmm1") // xmm1 = s2 ? ? s3
2260 __ASM_EMIT("vshufps $0xcc, %%xmm1, %%xmm0, %%xmm0")
2261 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
2262 __ASM_EMIT("sub $4, %[count]")
2263 __ASM_EMIT("add $0x30, %[src]")
2264 __ASM_EMIT("add $0x10, %[dst]")
2265 __ASM_EMIT("8:")
2266 // 2x block
2267 __ASM_EMIT("add $2, %[count]")
2268 __ASM_EMIT("jl 10f")
2269 __ASM_EMIT("vmovups 0x000(%[src]), %%xmm0") // xmm0 = s0 ? ? s1
2270 __ASM_EMIT("vshufps $0xcc, %%xmm0, %%xmm0, %%xmm0") // xmm0 = s0 s1 s0 s1
2271 __ASM_EMIT("vmovlps %%xmm0, 0x000(%[dst])")
2272 __ASM_EMIT("sub $2, %[count]")
2273 __ASM_EMIT("add $0x18, %[src]")
2274 __ASM_EMIT("add $0x08, %[dst]")
2275 __ASM_EMIT("10:")
2276 // 1x block
2277 __ASM_EMIT("add $1, %[count]")
2278 __ASM_EMIT("jl 12f")
2279 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm0") // xmm0 = s0
2280 __ASM_EMIT("vmovss %%xmm0, 0x000(%[dst])")
2281 __ASM_EMIT("12:")
2282
2283 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
2284 :
2285 : "cc", "memory",
2286 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
2287 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
2288 );
2289 }
2290
2291 void downsample_4x(float *dst, const float *src, size_t count)
2292 {
2293 ARCH_X86_ASM(
2294 // 16x blocks
2295 __ASM_EMIT("sub $16, %[count]")
2296 __ASM_EMIT("jb 2f")
2297 __ASM_EMIT(".align 16")
2298 __ASM_EMIT("1:")
2299 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm4") // xmm4 = s0 ? ? ?
2300 __ASM_EMIT("vmovss 0x010(%[src]), %%xmm5") // xmm5 = s1 ? ? ?
2301 __ASM_EMIT("vmovss 0x020(%[src]), %%xmm6") // xmm6 = s2 ? ? ?
2302 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm0") // xmm0 = s0 s1 ? ?
2303 __ASM_EMIT("vmovss 0x030(%[src]), %%xmm7") // xmm7 = s3 ? ? ?
2304 __ASM_EMIT("vunpcklps %%xmm7, %%xmm6, %%xmm1") // xmm1 = s2 s3 ? ?
2305 __ASM_EMIT("vmovss 0x040(%[src]), %%xmm4") // xmm4 = s4 ? ? ?
2306 __ASM_EMIT("vmovss 0x050(%[src]), %%xmm5") // xmm5 = s5 ? ? ?
2307 __ASM_EMIT("vmovss 0x060(%[src]), %%xmm6") // xmm6 = s6 ? ? ?
2308 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm2") // xmm2 = s4 s5 ? ?
2309 __ASM_EMIT("vmovss 0x070(%[src]), %%xmm7") // xmm7 = s7 ? ? ?
2310 __ASM_EMIT("vunpcklps %%xmm7, %%xmm6, %%xmm3") // xmm3 = s6 s7 ? ?
2311 __ASM_EMIT("vmovss 0x080(%[src]), %%xmm4") // xmm4 = s8 ? ? ?
2312 __ASM_EMIT("vmovlhps %%xmm1, %%xmm0, %%xmm0") // xmm0 = s0 s1 s2 s3
2313 __ASM_EMIT("vmovss 0x090(%[src]), %%xmm5") // xmm5 = s9 ? ? ?
2314 __ASM_EMIT("vmovlhps %%xmm3, %%xmm2, %%xmm2") // xmm2 = s4 s5 s6 s7
2315 __ASM_EMIT("vmovss 0x0a0(%[src]), %%xmm6") // xmm6 = s10 ? ? ?
2316 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm1") // xmm1 = s8 s9 ? ?
2317 __ASM_EMIT("vmovss 0x0b0(%[src]), %%xmm7") // xmm7 = s11 ? ? ?
2318 __ASM_EMIT("vunpcklps %%xmm7, %%xmm6, %%xmm3") // xmm3 = s10 s11 ? ?
2319 __ASM_EMIT("vmovss 0x0c0(%[src]), %%xmm4") // xmm4 = s12 ? ? ?
2320 __ASM_EMIT("vmovss 0x0d0(%[src]), %%xmm5") // xmm5 = s13 ? ? ?
2321 __ASM_EMIT("vmovss 0x0e0(%[src]), %%xmm6") // xmm6 = s14 ? ? ?
2322 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm4") // xmm4 = s12 s13 ? ?
2323 __ASM_EMIT("vmovss 0x0f0(%[src]), %%xmm7") // xmm7 = s15 ? ? ?
2324 __ASM_EMIT("vunpcklps %%xmm7, %%xmm6, %%xmm6") // xmm6 = s14 s15 ? ?
2325 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
2326 __ASM_EMIT("vmovlhps %%xmm3, %%xmm1, %%xmm1") // xmm3 = s8 s9 s10 s11
2327 __ASM_EMIT("vmovups %%xmm2, 0x010(%[dst])")
2328 __ASM_EMIT("vmovlhps %%xmm6, %%xmm4, %%xmm4") // xmm4 = s12 s13 s14 s15
2329 __ASM_EMIT("vmovups %%xmm1, 0x020(%[dst])")
2330 __ASM_EMIT("vmovups %%xmm4, 0x030(%[dst])")
2331 __ASM_EMIT("add $0x100, %[src]")
2332 __ASM_EMIT("add $0x40, %[dst]")
2333 __ASM_EMIT("sub $16, %[count]")
2334 __ASM_EMIT("jae 1b")
2335 __ASM_EMIT("2:")
2336 // 8x block
2337 __ASM_EMIT("add $8, %[count]")
2338 __ASM_EMIT("jl 4f")
2339 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm4") // xmm4 = s0 ? ? ?
2340 __ASM_EMIT("vmovss 0x010(%[src]), %%xmm5") // xmm5 = s1 ? ? ?
2341 __ASM_EMIT("vmovss 0x020(%[src]), %%xmm6") // xmm6 = s2 ? ? ?
2342 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm0") // xmm0 = s0 s1 ? ?
2343 __ASM_EMIT("vmovss 0x030(%[src]), %%xmm7") // xmm7 = s3 ? ? ?
2344 __ASM_EMIT("vunpcklps %%xmm7, %%xmm6, %%xmm1") // xmm1 = s2 s3 ? ?
2345 __ASM_EMIT("vmovss 0x040(%[src]), %%xmm4") // xmm4 = s4 ? ? ?
2346 __ASM_EMIT("vmovss 0x050(%[src]), %%xmm5") // xmm5 = s5 ? ? ?
2347 __ASM_EMIT("vmovss 0x060(%[src]), %%xmm6") // xmm6 = s6 ? ? ?
2348 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm2") // xmm2 = s4 s5 ? ?
2349 __ASM_EMIT("vmovss 0x070(%[src]), %%xmm7") // xmm7 = s7 ? ? ?
2350 __ASM_EMIT("vunpcklps %%xmm7, %%xmm6, %%xmm3") // xmm3 = s6 s7 ? ?
2351 __ASM_EMIT("vmovlhps %%xmm1, %%xmm0, %%xmm0") // xmm0 = s0 s1 s2 s3
2352 __ASM_EMIT("vmovlhps %%xmm3, %%xmm2, %%xmm2") // xmm2 = s4 s5 s6 s7
2353 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
2354 __ASM_EMIT("vmovups %%xmm2, 0x010(%[dst])")
2355 __ASM_EMIT("sub $8, %[count]")
2356 __ASM_EMIT("add $0x80, %[src]")
2357 __ASM_EMIT("add $0x20, %[dst]")
2358 __ASM_EMIT("4:")
2359 // 4x block
2360 __ASM_EMIT("add $4, %[count]")
2361 __ASM_EMIT("jl 6f")
2362 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm0") // xmm0 = s0 ? ? ?
2363 __ASM_EMIT("vmovss 0x010(%[src]), %%xmm1") // xmm1 = s1 ? ? ?
2364 __ASM_EMIT("vinsertps $0x10, 0x020(%[src]), %%xmm0, %%xmm0") // xmm0 = s0 s2 ? ?
2365 __ASM_EMIT("vinsertps $0x10, 0x030(%[src]), %%xmm1, %%xmm1") // xmm1 = s1 s3 ? ?
2366 __ASM_EMIT("vunpcklps %%xmm1, %%xmm0, %%xmm0") // xmm0 = s0 s1 s2 s3
2367 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
2368 __ASM_EMIT("sub $4, %[count]")
2369 __ASM_EMIT("add $0x40, %[src]")
2370 __ASM_EMIT("add $0x10, %[dst]")
2371 __ASM_EMIT("6:")
2372 // 2x block
2373 __ASM_EMIT("add $2, %[count]")
2374 __ASM_EMIT("jl 8f")
2375 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm0") // xmm0 = s0 ? ? ?
2376 __ASM_EMIT("vinsertps $0x10, 0x010(%[src]), %%xmm0, %%xmm0") // xmm0 = s0 s1 ? ?
2377 __ASM_EMIT("vmovlps %%xmm0, 0x000(%[dst])")
2378 __ASM_EMIT("sub $2, %[count]")
2379 __ASM_EMIT("add $0x20, %[src]")
2380 __ASM_EMIT("add $0x08, %[dst]")
2381 __ASM_EMIT("8:")
2382 // 1x block
2383 __ASM_EMIT("add $1, %[count]")
2384 __ASM_EMIT("jl 12f")
2385 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm0") // xmm0 = s0
2386 __ASM_EMIT("vmovss %%xmm0, 0x000(%[dst])")
2387 __ASM_EMIT("12:")
2388
2389 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
2390 :
2391 : "cc", "memory",
2392 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
2393 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
2394 );
2395 }
2396
2397 void downsample_6x(float *dst, const float *src, size_t count)
2398 {
2399 ARCH_X86_ASM(
2400 // 16x blocks
2401 __ASM_EMIT("sub $16, %[count]")
2402 __ASM_EMIT("jb 2f")
2403 __ASM_EMIT(".align 16")
2404 __ASM_EMIT("1:")
2405 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm4") // xmm4 = s0 ? ? ?
2406 __ASM_EMIT("vmovss 0x018(%[src]), %%xmm5") // xmm5 = s1 ? ? ?
2407 __ASM_EMIT("vmovss 0x030(%[src]), %%xmm6") // xmm6 = s2 ? ? ?
2408 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm0") // xmm0 = s0 s1 ? ?
2409 __ASM_EMIT("vmovss 0x048(%[src]), %%xmm7") // xmm7 = s3 ? ? ?
2410 __ASM_EMIT("vunpcklps %%xmm7, %%xmm6, %%xmm1") // xmm1 = s2 s3 ? ?
2411 __ASM_EMIT("vmovss 0x060(%[src]), %%xmm4") // xmm4 = s4 ? ? ?
2412 __ASM_EMIT("vmovss 0x078(%[src]), %%xmm5") // xmm5 = s5 ? ? ?
2413 __ASM_EMIT("vmovss 0x090(%[src]), %%xmm6") // xmm6 = s6 ? ? ?
2414 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm2") // xmm2 = s4 s5 ? ?
2415 __ASM_EMIT("vmovss 0x0a8(%[src]), %%xmm7") // xmm7 = s7 ? ? ?
2416 __ASM_EMIT("vunpcklps %%xmm7, %%xmm6, %%xmm3") // xmm3 = s6 s7 ? ?
2417 __ASM_EMIT("vmovss 0x0c0(%[src]), %%xmm4") // xmm4 = s8 ? ? ?
2418 __ASM_EMIT("vmovlhps %%xmm1, %%xmm0, %%xmm0") // xmm0 = s0 s1 s2 s3
2419 __ASM_EMIT("vmovss 0x0d8(%[src]), %%xmm5") // xmm5 = s9 ? ? ?
2420 __ASM_EMIT("vmovlhps %%xmm3, %%xmm2, %%xmm2") // xmm2 = s4 s5 s6 s7
2421 __ASM_EMIT("vmovss 0x0f0(%[src]), %%xmm6") // xmm6 = s10 ? ? ?
2422 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm1") // xmm1 = s8 s9 ? ?
2423 __ASM_EMIT("vmovss 0x108(%[src]), %%xmm7") // xmm7 = s11 ? ? ?
2424 __ASM_EMIT("vunpcklps %%xmm7, %%xmm6, %%xmm3") // xmm3 = s10 s11 ? ?
2425 __ASM_EMIT("vmovss 0x120(%[src]), %%xmm4") // xmm4 = s12 ? ? ?
2426 __ASM_EMIT("vmovss 0x138(%[src]), %%xmm5") // xmm5 = s13 ? ? ?
2427 __ASM_EMIT("vmovss 0x150(%[src]), %%xmm6") // xmm6 = s14 ? ? ?
2428 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm4") // xmm4 = s12 s13 ? ?
2429 __ASM_EMIT("vmovss 0x168(%[src]), %%xmm7") // xmm7 = s15 ? ? ?
2430 __ASM_EMIT("vunpcklps %%xmm7, %%xmm6, %%xmm6") // xmm6 = s14 s15 ? ?
2431 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
2432 __ASM_EMIT("vmovlhps %%xmm3, %%xmm1, %%xmm1") // xmm3 = s8 s9 s10 s11
2433 __ASM_EMIT("vmovups %%xmm2, 0x010(%[dst])")
2434 __ASM_EMIT("vmovlhps %%xmm6, %%xmm4, %%xmm4") // xmm4 = s12 s13 s14 s15
2435 __ASM_EMIT("vmovups %%xmm1, 0x020(%[dst])")
2436 __ASM_EMIT("vmovups %%xmm4, 0x030(%[dst])")
2437 __ASM_EMIT("add $0x180, %[src]")
2438 __ASM_EMIT("add $0x40, %[dst]")
2439 __ASM_EMIT("sub $16, %[count]")
2440 __ASM_EMIT("jae 1b")
2441 __ASM_EMIT("2:")
2442 // 8x block
2443 __ASM_EMIT("add $8, %[count]")
2444 __ASM_EMIT("jl 4f")
2445 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm4") // xmm4 = s0 ? ? ?
2446 __ASM_EMIT("vmovss 0x018(%[src]), %%xmm5") // xmm5 = s1 ? ? ?
2447 __ASM_EMIT("vmovss 0x030(%[src]), %%xmm6") // xmm6 = s2 ? ? ?
2448 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm0") // xmm0 = s0 s1 ? ?
2449 __ASM_EMIT("vmovss 0x048(%[src]), %%xmm7") // xmm7 = s3 ? ? ?
2450 __ASM_EMIT("vunpcklps %%xmm7, %%xmm6, %%xmm1") // xmm1 = s2 s3 ? ?
2451 __ASM_EMIT("vmovss 0x060(%[src]), %%xmm4") // xmm4 = s4 ? ? ?
2452 __ASM_EMIT("vmovss 0x078(%[src]), %%xmm5") // xmm5 = s5 ? ? ?
2453 __ASM_EMIT("vmovss 0x090(%[src]), %%xmm6") // xmm6 = s6 ? ? ?
2454 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm2") // xmm2 = s4 s5 ? ?
2455 __ASM_EMIT("vmovss 0x0a8(%[src]), %%xmm7") // xmm7 = s7 ? ? ?
2456 __ASM_EMIT("vunpcklps %%xmm7, %%xmm6, %%xmm3") // xmm3 = s6 s7 ? ?
2457 __ASM_EMIT("vmovlhps %%xmm1, %%xmm0, %%xmm0") // xmm0 = s0 s1 s2 s3
2458 __ASM_EMIT("vmovlhps %%xmm3, %%xmm2, %%xmm2") // xmm2 = s4 s5 s6 s7
2459 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
2460 __ASM_EMIT("vmovups %%xmm2, 0x010(%[dst])")
2461 __ASM_EMIT("sub $8, %[count]")
2462 __ASM_EMIT("add $0xc0, %[src]")
2463 __ASM_EMIT("add $0x20, %[dst]")
2464 __ASM_EMIT("4:")
2465 // 4x block
2466 __ASM_EMIT("add $4, %[count]")
2467 __ASM_EMIT("jl 6f")
2468 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm0") // xmm0 = s0 ? ? ?
2469 __ASM_EMIT("vmovss 0x018(%[src]), %%xmm1") // xmm1 = s1 ? ? ?
2470 __ASM_EMIT("vinsertps $0x10, 0x030(%[src]), %%xmm0, %%xmm0") // xmm0 = s0 s2 ? ?
2471 __ASM_EMIT("vinsertps $0x10, 0x048(%[src]), %%xmm1, %%xmm1") // xmm1 = s1 s3 ? ?
2472 __ASM_EMIT("vunpcklps %%xmm1, %%xmm0, %%xmm0") // xmm0 = s0 s1 s2 s3
2473 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
2474 __ASM_EMIT("sub $4, %[count]")
2475 __ASM_EMIT("add $0x60, %[src]")
2476 __ASM_EMIT("add $0x10, %[dst]")
2477 __ASM_EMIT("6:")
2478 // 2x block
2479 __ASM_EMIT("add $2, %[count]")
2480 __ASM_EMIT("jl 8f")
2481 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm0") // xmm0 = s0 ? ? ?
2482 __ASM_EMIT("vinsertps $0x10, 0x018(%[src]), %%xmm0, %%xmm0") // xmm0 = s0 s1 ? ?
2483 __ASM_EMIT("vmovlps %%xmm0, 0x000(%[dst])")
2484 __ASM_EMIT("sub $2, %[count]")
2485 __ASM_EMIT("add $0x30, %[src]")
2486 __ASM_EMIT("add $0x08, %[dst]")
2487 __ASM_EMIT("8:")
2488 // 1x block
2489 __ASM_EMIT("add $1, %[count]")
2490 __ASM_EMIT("jl 12f")
2491 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm0") // xmm0 = s0
2492 __ASM_EMIT("vmovss %%xmm0, 0x000(%[dst])")
2493 __ASM_EMIT("12:")
2494
2495 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
2496 :
2497 : "cc", "memory",
2498 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
2499 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
2500 );
2501 }
2502
2503 void downsample_8x(float *dst, const float *src, size_t count)
2504 {
2505 ARCH_X86_ASM(
2506 // 16x blocks
2507 __ASM_EMIT("sub $16, %[count]")
2508 __ASM_EMIT("jb 2f")
2509 __ASM_EMIT(".align 16")
2510 __ASM_EMIT("1:")
2511 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm4") // xmm4 = s0 ? ? ?
2512 __ASM_EMIT("vmovss 0x020(%[src]), %%xmm5") // xmm5 = s1 ? ? ?
2513 __ASM_EMIT("vmovss 0x040(%[src]), %%xmm6") // xmm6 = s2 ? ? ?
2514 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm0") // xmm0 = s0 s1 ? ?
2515 __ASM_EMIT("vmovss 0x060(%[src]), %%xmm7") // xmm7 = s3 ? ? ?
2516 __ASM_EMIT("vunpcklps %%xmm7, %%xmm6, %%xmm1") // xmm1 = s2 s3 ? ?
2517 __ASM_EMIT("vmovss 0x080(%[src]), %%xmm4") // xmm4 = s4 ? ? ?
2518 __ASM_EMIT("vmovss 0x0a0(%[src]), %%xmm5") // xmm5 = s5 ? ? ?
2519 __ASM_EMIT("vmovss 0x0c0(%[src]), %%xmm6") // xmm6 = s6 ? ? ?
2520 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm2") // xmm2 = s4 s5 ? ?
2521 __ASM_EMIT("vmovss 0x0e0(%[src]), %%xmm7") // xmm7 = s7 ? ? ?
2522 __ASM_EMIT("vunpcklps %%xmm7, %%xmm6, %%xmm3") // xmm3 = s6 s7 ? ?
2523 __ASM_EMIT("vmovss 0x100(%[src]), %%xmm4") // xmm4 = s8 ? ? ?
2524 __ASM_EMIT("vmovlhps %%xmm1, %%xmm0, %%xmm0") // xmm0 = s0 s1 s2 s3
2525 __ASM_EMIT("vmovss 0x120(%[src]), %%xmm5") // xmm5 = s9 ? ? ?
2526 __ASM_EMIT("vmovlhps %%xmm3, %%xmm2, %%xmm2") // xmm2 = s4 s5 s6 s7
2527 __ASM_EMIT("vmovss 0x140(%[src]), %%xmm6") // xmm6 = s10 ? ? ?
2528 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm1") // xmm1 = s8 s9 ? ?
2529 __ASM_EMIT("vmovss 0x160(%[src]), %%xmm7") // xmm7 = s11 ? ? ?
2530 __ASM_EMIT("vunpcklps %%xmm7, %%xmm6, %%xmm3") // xmm3 = s10 s11 ? ?
2531 __ASM_EMIT("vmovss 0x180(%[src]), %%xmm4") // xmm4 = s12 ? ? ?
2532 __ASM_EMIT("vmovss 0x1a0(%[src]), %%xmm5") // xmm5 = s13 ? ? ?
2533 __ASM_EMIT("vmovss 0x1c0(%[src]), %%xmm6") // xmm6 = s14 ? ? ?
2534 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm4") // xmm4 = s12 s13 ? ?
2535 __ASM_EMIT("vmovss 0x1e0(%[src]), %%xmm7") // xmm7 = s15 ? ? ?
2536 __ASM_EMIT("vunpcklps %%xmm7, %%xmm6, %%xmm6") // xmm6 = s14 s15 ? ?
2537 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
2538 __ASM_EMIT("vmovlhps %%xmm3, %%xmm1, %%xmm1") // xmm3 = s8 s9 s10 s11
2539 __ASM_EMIT("vmovups %%xmm2, 0x010(%[dst])")
2540 __ASM_EMIT("vmovlhps %%xmm6, %%xmm4, %%xmm4") // xmm4 = s12 s13 s14 s15
2541 __ASM_EMIT("vmovups %%xmm1, 0x020(%[dst])")
2542 __ASM_EMIT("vmovups %%xmm4, 0x030(%[dst])")
2543 __ASM_EMIT("add $0x200, %[src]")
2544 __ASM_EMIT("add $0x40, %[dst]")
2545 __ASM_EMIT("sub $16, %[count]")
2546 __ASM_EMIT("jae 1b")
2547 __ASM_EMIT("2:")
2548 // 8x block
2549 __ASM_EMIT("add $8, %[count]")
2550 __ASM_EMIT("jl 4f")
2551 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm4") // xmm4 = s0 ? ? ?
2552 __ASM_EMIT("vmovss 0x020(%[src]), %%xmm5") // xmm5 = s1 ? ? ?
2553 __ASM_EMIT("vmovss 0x040(%[src]), %%xmm6") // xmm6 = s2 ? ? ?
2554 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm0") // xmm0 = s0 s1 ? ?
2555 __ASM_EMIT("vmovss 0x060(%[src]), %%xmm7") // xmm7 = s3 ? ? ?
2556 __ASM_EMIT("vunpcklps %%xmm7, %%xmm6, %%xmm1") // xmm1 = s2 s3 ? ?
2557 __ASM_EMIT("vmovss 0x080(%[src]), %%xmm4") // xmm4 = s4 ? ? ?
2558 __ASM_EMIT("vmovss 0x0a0(%[src]), %%xmm5") // xmm5 = s5 ? ? ?
2559 __ASM_EMIT("vmovss 0x0c0(%[src]), %%xmm6") // xmm6 = s6 ? ? ?
2560 __ASM_EMIT("vunpcklps %%xmm5, %%xmm4, %%xmm2") // xmm2 = s4 s5 ? ?
2561 __ASM_EMIT("vmovss 0x0e0(%[src]), %%xmm7") // xmm7 = s7 ? ? ?
2562 __ASM_EMIT("vunpcklps %%xmm7, %%xmm6, %%xmm3") // xmm3 = s6 s7 ? ?
2563 __ASM_EMIT("vmovlhps %%xmm1, %%xmm0, %%xmm0") // xmm0 = s0 s1 s2 s3
2564 __ASM_EMIT("vmovlhps %%xmm3, %%xmm2, %%xmm2") // xmm2 = s4 s5 s6 s7
2565 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
2566 __ASM_EMIT("vmovups %%xmm2, 0x010(%[dst])")
2567 __ASM_EMIT("sub $8, %[count]")
2568 __ASM_EMIT("add $0x100, %[src]")
2569 __ASM_EMIT("add $0x20, %[dst]")
2570 __ASM_EMIT("4:")
2571 // 4x block
2572 __ASM_EMIT("add $4, %[count]")
2573 __ASM_EMIT("jl 6f")
2574 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm0") // xmm0 = s0 ? ? ?
2575 __ASM_EMIT("vmovss 0x020(%[src]), %%xmm1") // xmm1 = s1 ? ? ?
2576 __ASM_EMIT("vinsertps $0x10, 0x040(%[src]), %%xmm0, %%xmm0") // xmm0 = s0 s2 ? ?
2577 __ASM_EMIT("vinsertps $0x10, 0x060(%[src]), %%xmm1, %%xmm1") // xmm1 = s1 s3 ? ?
2578 __ASM_EMIT("vunpcklps %%xmm1, %%xmm0, %%xmm0") // xmm0 = s0 s1 s2 s3
2579 __ASM_EMIT("vmovups %%xmm0, 0x000(%[dst])")
2580 __ASM_EMIT("sub $4, %[count]")
2581 __ASM_EMIT("add $0x80, %[src]")
2582 __ASM_EMIT("add $0x10, %[dst]")
2583 __ASM_EMIT("6:")
2584 // 2x block
2585 __ASM_EMIT("add $2, %[count]")
2586 __ASM_EMIT("jl 8f")
2587 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm0") // xmm0 = s0 ? ? ?
2588 __ASM_EMIT("vinsertps $0x10, 0x020(%[src]), %%xmm0, %%xmm0") // xmm0 = s0 s1 ? ?
2589 __ASM_EMIT("vmovlps %%xmm0, 0x000(%[dst])")
2590 __ASM_EMIT("sub $2, %[count]")
2591 __ASM_EMIT("add $0x40, %[src]")
2592 __ASM_EMIT("add $0x08, %[dst]")
2593 __ASM_EMIT("8:")
2594 // 1x block
2595 __ASM_EMIT("add $1, %[count]")
2596 __ASM_EMIT("jl 12f")
2597 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm0") // xmm0 = s0
2598 __ASM_EMIT("vmovss %%xmm0, 0x000(%[dst])")
2599 __ASM_EMIT("12:")
2600
2601 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
2602 :
2603 : "cc", "memory",
2604 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
2605 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
2606 );
2607 }
2608 }
2609 }
2610
2611 #endif /* PRIVATE_DSP_ARCH_X86_AVX_RESAMPLING_H_ */