Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/sse/interpolation/linear.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 13 дек. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_SSE_INTERPOLATION_LINEAR_H_
23 #define PRIVATE_DSP_ARCH_X86_SSE_INTERPOLATION_LINEAR_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_SSE_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_SSE_IMPL */
28
29 namespace lsp
30 {
31 namespace sse
32 {
33 static const float lin_inter_const[] __lsp_aligned16 =
34 {
35 0.0f, 1.0f, 2.0f, 3.0f, // Initial values 0..3
36 4.0f, 5.0f, 6.0f, 7.0f, // Initial values 4..7
37 8.0f, 8.0f, 8.0f, 8.0f // Step
38 };
39
40 void lin_inter_set(float *dst, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
41 {
42 IF_ARCH_X86(
43 float dx = x1 - x0;
44 float dy = y1 - y0;
45 float xx = x - x0;
46 ssize_t off;
47 )
48
49 ARCH_X86_ASM(
50 __ASM_EMIT("xor %[off], %[off]")
51 __ASM_EMIT("movss %[dy], %%xmm7") // xmm7 = dy
52 __ASM_EMIT("movss %[dx], %%xmm0") // xmm0 = dx
53 __ASM_EMIT("movss %[y0], %%xmm6") // xmm6 = y0
54 __ASM_EMIT("movss %[xx], %%xmm3") // xmm3 = xx
55 __ASM_EMIT("divss %%xmm0, %%xmm7") // xmm7 = k = dy / dx
56 __ASM_EMIT("shufps $0x00, %%xmm6, %%xmm6") // xmm6 = y0
57 __ASM_EMIT("shufps $0x00, %%xmm3, %%xmm3") // xmm3 = xx
58 __ASM_EMIT("shufps $0x00, %%xmm7, %%xmm7") // xmm7 = k
59 __ASM_EMIT("movaps %%xmm3, %%xmm4") // xmm4 = xx
60 __ASM_EMIT("addps 0x00(%[CC]), %%xmm3") // xmm3 = x[0]
61 __ASM_EMIT("addps 0x10(%[CC]), %%xmm4") // xmm4 = x[1]
62 __ASM_EMIT("movaps 0x20(%[CC]), %%xmm5") // xmm5 = d
63
64 __ASM_EMIT("sub $8, %[n]")
65 __ASM_EMIT("jb 2f")
66 // 8x blocks
67 __ASM_EMIT("1:")
68 __ASM_EMIT("movaps %%xmm3, %%xmm0") // xmm0 = x[0]
69 __ASM_EMIT("movaps %%xmm4, %%xmm1") // xmm1 = x[1]
70 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = k*x[0]
71 __ASM_EMIT("addps %%xmm5, %%xmm3") // xmm3 = x[0]' = x[0] + d
72 __ASM_EMIT("mulps %%xmm7, %%xmm1") // xmm1 = k*x[1]
73 __ASM_EMIT("addps %%xmm5, %%xmm4") // xmm4 = x[1]' = x[1] + d
74 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = k*x[0] + y0
75 __ASM_EMIT("addps %%xmm6, %%xmm1") // xmm1 = k*x[1] + y0
76 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
77 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
78 __ASM_EMIT("add $0x20, %[off]")
79 __ASM_EMIT("sub $8, %[n]")
80 __ASM_EMIT("jae 1b")
81
82 // 4x block
83 __ASM_EMIT("2:")
84 __ASM_EMIT("add $4, %[n]")
85 __ASM_EMIT("jl 4f")
86 __ASM_EMIT("movaps %%xmm3, %%xmm0") // xmm0 = x[0]
87 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = k*x[0]
88 __ASM_EMIT("movaps %%xmm4, %%xmm3") // xmm3 = x[0]' = x[1]
89 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = k*x[0] + y0
90 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
91 __ASM_EMIT("add $0x10, %[off]")
92 __ASM_EMIT("sub $4, %[n]")
93
94 // 1x blocks
95 __ASM_EMIT("4:")
96 __ASM_EMIT("add $3, %[n]")
97 __ASM_EMIT("jl 6f")
98 __ASM_EMIT("5:")
99 __ASM_EMIT("movss %%xmm3, %%xmm0") // xmm0 = x
100 __ASM_EMIT("mulss %%xmm7, %%xmm0") // xmm0 = k*x
101 __ASM_EMIT("shufps $0x39, %%xmm3, %%xmm3") // xmm3 = x' = x + d
102 __ASM_EMIT("addss %%xmm6, %%xmm0") // xmm0 = k*x + y0
103 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
104 __ASM_EMIT("add $0x04, %[off]")
105 __ASM_EMIT("dec %[n]")
106 __ASM_EMIT("jge 5b")
107
108 __ASM_EMIT("6:")
109 : [n] "+r" (n), [off] "=&r" (off)
110 : [dst] "r" (dst),
111 [CC] "r" (lin_inter_const),
112 [dx] "m" (dx),
113 [dy] "m" (dy),
114 [xx] "m" (xx),
115 [y0] "m" (y0)
116 : "cc", "memory",
117 "xmm0", "xmm1", "xmm2", "xmm3",
118 "xmm4", "xmm5", "xmm6", "xmm7"
119 );
120 }
121
122 void lin_inter_mul2(float *dst, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
123 {
124 IF_ARCH_X86(
125 float dx = x1 - x0;
126 float dy = y1 - y0;
127 float xx = x - x0;
128 ssize_t off;
129 )
130
131 ARCH_X86_ASM(
132 __ASM_EMIT("xor %[off], %[off]")
133 __ASM_EMIT("movss %[dy], %%xmm7") // xmm7 = dy
134 __ASM_EMIT("movss %[dx], %%xmm0") // xmm0 = dx
135 __ASM_EMIT("movss %[y0], %%xmm6") // xmm6 = y0
136 __ASM_EMIT("movss %[xx], %%xmm4") // xmm4 = xx
137 __ASM_EMIT("divss %%xmm0, %%xmm7") // xmm7 = k = dy / dx
138 __ASM_EMIT("shufps $0x00, %%xmm6, %%xmm6") // xmm6 = y0
139 __ASM_EMIT("shufps $0x00, %%xmm4, %%xmm4") // xmm4 = xx
140 __ASM_EMIT("shufps $0x00, %%xmm7, %%xmm7") // xmm7 = k
141 __ASM_EMIT("movaps %%xmm4, %%xmm5") // xmm5 = xx
142 __ASM_EMIT("addps 0x00(%[CC]), %%xmm4") // xmm4 = x[0]
143 __ASM_EMIT("addps 0x10(%[CC]), %%xmm5") // xmm5 = x[1]
144
145 __ASM_EMIT("sub $8, %[n]")
146 __ASM_EMIT("jb 2f")
147 // 8x blocks
148 __ASM_EMIT("1:")
149 __ASM_EMIT("movaps %%xmm4, %%xmm0") // xmm0 = x[0]
150 __ASM_EMIT("movaps %%xmm5, %%xmm1") // xmm1 = x[1]
151 __ASM_EMIT("movups 0x00(%[dst], %[off]), %%xmm2") // xmm2 = s0[0]
152 __ASM_EMIT("movups 0x10(%[dst], %[off]), %%xmm3") // xmm3 = x0[1]
153 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = k*x[0]
154 __ASM_EMIT("addps 0x20(%[CC]), %%xmm4") // xmm4 = x[0]' = x[0] + d
155 __ASM_EMIT("mulps %%xmm7, %%xmm1") // xmm1 = k*x[1]
156 __ASM_EMIT("addps 0x20(%[CC]), %%xmm5") // xmm5 = x[1]' = x[1] + d
157 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = k*x[0] + y0
158 __ASM_EMIT("addps %%xmm6, %%xmm1") // xmm1 = k*x[1] + y0
159 __ASM_EMIT("mulps %%xmm2, %%xmm0") // xmm0 = s0[0]*(k*x[0] + y0)
160 __ASM_EMIT("mulps %%xmm3, %%xmm1") // xmm1 = s0[1]*(k*x[1] + y0)
161 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
162 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
163 __ASM_EMIT("add $0x20, %[off]")
164 __ASM_EMIT("sub $8, %[n]")
165 __ASM_EMIT("jae 1b")
166
167 // 4x block
168 __ASM_EMIT("2:")
169 __ASM_EMIT("add $4, %[n]")
170 __ASM_EMIT("jl 4f")
171 __ASM_EMIT("movaps %%xmm4, %%xmm0") // xmm0 = x[0]
172 __ASM_EMIT("movups 0x00(%[dst], %[off]), %%xmm2") // xmm2 = s0[0]
173 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = k*x[0]
174 __ASM_EMIT("movaps %%xmm5, %%xmm4") // xmm4 = x[0]' = x[1]
175 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = k*x[0] + y0
176 __ASM_EMIT("mulps %%xmm2, %%xmm0") // xmm0 = s0[0]*(k*x[0] + y0)
177 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
178 __ASM_EMIT("add $0x10, %[off]")
179 __ASM_EMIT("sub $4, %[n]")
180
181 // 1x blocks
182 __ASM_EMIT("4:")
183 __ASM_EMIT("add $3, %[n]")
184 __ASM_EMIT("jl 6f")
185 __ASM_EMIT("5:")
186 __ASM_EMIT("movss %%xmm4, %%xmm0") // xmm0 = x
187 __ASM_EMIT("movss 0x00(%[dst], %[off]), %%xmm2") // xmm2 = s0
188 __ASM_EMIT("mulss %%xmm7, %%xmm0") // xmm0 = k*x
189 __ASM_EMIT("shufps $0x39, %%xmm4, %%xmm4") // xmm4 = x' = x + d
190 __ASM_EMIT("addss %%xmm6, %%xmm0") // xmm0 = k*x + y0
191 __ASM_EMIT("mulss %%xmm2, %%xmm0") // xmm0 = s0*(k*x + y0)
192 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
193 __ASM_EMIT("add $0x04, %[off]")
194 __ASM_EMIT("dec %[n]")
195 __ASM_EMIT("jge 5b")
196
197 __ASM_EMIT("6:")
198 : [n] "+r" (n), [off] "=&r" (off)
199 : [dst] "r" (dst),
200 [CC] "r" (lin_inter_const),
201 [dx] "m" (dx),
202 [dy] "m" (dy),
203 [xx] "m" (xx),
204 [y0] "m" (y0)
205 : "cc", "memory",
206 "xmm0", "xmm1", "xmm2", "xmm3",
207 "xmm4", "xmm5", "xmm6", "xmm7"
208 );
209 }
210
211 void lin_inter_mul3(float *dst, const float *src, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
212 {
213 IF_ARCH_X86(
214 float dx = x1 - x0;
215 float dy = y1 - y0;
216 float xx = x - x0;
217 ssize_t off;
218 )
219
220 ARCH_X86_ASM(
221 __ASM_EMIT("xor %[off], %[off]")
222 __ASM_EMIT("movss %[dy], %%xmm7") // xmm7 = dy
223 __ASM_EMIT("movss %[dx], %%xmm0") // xmm0 = dx
224 __ASM_EMIT("movss %[y0], %%xmm6") // xmm6 = y0
225 __ASM_EMIT("movss %[xx], %%xmm4") // xmm4 = xx
226 __ASM_EMIT("divss %%xmm0, %%xmm7") // xmm7 = k = dy / dx
227 __ASM_EMIT("shufps $0x00, %%xmm6, %%xmm6") // xmm6 = y0
228 __ASM_EMIT("shufps $0x00, %%xmm4, %%xmm4") // xmm4 = xx
229 __ASM_EMIT("shufps $0x00, %%xmm7, %%xmm7") // xmm7 = k
230 __ASM_EMIT("movaps %%xmm4, %%xmm5") // xmm5 = xx
231 __ASM_EMIT("addps 0x00(%[CC]), %%xmm4") // xmm4 = x[0]
232 __ASM_EMIT("addps 0x10(%[CC]), %%xmm5") // xmm5 = x[1]
233
234 __ASM_EMIT("sub $8, %[n]")
235 __ASM_EMIT("jb 2f")
236 // 8x blocks
237 __ASM_EMIT("1:")
238 __ASM_EMIT("movaps %%xmm4, %%xmm0") // xmm0 = x[0]
239 __ASM_EMIT("movaps %%xmm5, %%xmm1") // xmm1 = x[1]
240 __ASM_EMIT("movups 0x00(%[src], %[off]), %%xmm2") // xmm2 = s0[0]
241 __ASM_EMIT("movups 0x10(%[src], %[off]), %%xmm3") // xmm3 = x0[1]
242 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = k*x[0]
243 __ASM_EMIT("addps 0x20(%[CC]), %%xmm4") // xmm4 = x[0]' = x[0] + d
244 __ASM_EMIT("mulps %%xmm7, %%xmm1") // xmm1 = k*x[1]
245 __ASM_EMIT("addps 0x20(%[CC]), %%xmm5") // xmm5 = x[1]' = x[1] + d
246 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = k*x[0] + y0
247 __ASM_EMIT("addps %%xmm6, %%xmm1") // xmm1 = k*x[1] + y0
248 __ASM_EMIT("mulps %%xmm2, %%xmm0") // xmm0 = s0[0]*(k*x[0] + y0)
249 __ASM_EMIT("mulps %%xmm3, %%xmm1") // xmm1 = s0[1]*(k*x[1] + y0)
250 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
251 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
252 __ASM_EMIT("add $0x20, %[off]")
253 __ASM_EMIT("sub $8, %[n]")
254 __ASM_EMIT("jae 1b")
255
256 // 4x block
257 __ASM_EMIT("2:")
258 __ASM_EMIT("add $4, %[n]")
259 __ASM_EMIT("jl 4f")
260 __ASM_EMIT("movaps %%xmm4, %%xmm0") // xmm0 = x[0]
261 __ASM_EMIT("movups 0x00(%[src], %[off]), %%xmm2") // xmm2 = s0[0]
262 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = k*x[0]
263 __ASM_EMIT("movaps %%xmm5, %%xmm4") // xmm4 = x[0]' = x[1]
264 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = k*x[0] + y0
265 __ASM_EMIT("mulps %%xmm2, %%xmm0") // xmm0 = s0[0]*(k*x[0] + y0)
266 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
267 __ASM_EMIT("add $0x10, %[off]")
268 __ASM_EMIT("sub $4, %[n]")
269
270 // 1x blocks
271 __ASM_EMIT("4:")
272 __ASM_EMIT("add $3, %[n]")
273 __ASM_EMIT("jl 6f")
274 __ASM_EMIT("5:")
275 __ASM_EMIT("movss %%xmm4, %%xmm0") // xmm0 = x
276 __ASM_EMIT("movss 0x00(%[src], %[off]), %%xmm2") // xmm2 = s0
277 __ASM_EMIT("mulss %%xmm7, %%xmm0") // xmm0 = k*x
278 __ASM_EMIT("shufps $0x39, %%xmm4, %%xmm4") // xmm4 = x' = x + d
279 __ASM_EMIT("addss %%xmm6, %%xmm0") // xmm0 = k*x + y0
280 __ASM_EMIT("mulss %%xmm2, %%xmm0") // xmm0 = s0*(k*x + y0)
281 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
282 __ASM_EMIT("add $0x04, %[off]")
283 __ASM_EMIT("dec %[n]")
284 __ASM_EMIT("jge 5b")
285
286 __ASM_EMIT("6:")
287 : [n] "+r" (n), [off] "=&r" (off)
288 : [dst] "r" (dst), [src] "r" (src),
289 [CC] "r" (lin_inter_const),
290 [dx] "m" (dx),
291 [dy] "m" (dy),
292 [xx] "m" (xx),
293 [y0] "m" (y0)
294 : "cc", "memory",
295 "xmm0", "xmm1", "xmm2", "xmm3",
296 "xmm4", "xmm5", "xmm6", "xmm7"
297 );
298 }
299
300 void lin_inter_fmadd2(float *dst, const float *src, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
301 {
302 IF_ARCH_X86(
303 float dx = x1 - x0;
304 float dy = y1 - y0;
305 float xx = x - x0;
306 ssize_t off;
307 )
308
309 ARCH_X86_ASM(
310 __ASM_EMIT("xor %[off], %[off]")
311 __ASM_EMIT("movss %[dy], %%xmm7") // xmm7 = dy
312 __ASM_EMIT("movss %[dx], %%xmm0") // xmm0 = dx
313 __ASM_EMIT("movss %[y0], %%xmm6") // xmm6 = y0
314 __ASM_EMIT("movss %[xx], %%xmm4") // xmm4 = xx
315 __ASM_EMIT("divss %%xmm0, %%xmm7") // xmm7 = k = dy / dx
316 __ASM_EMIT("shufps $0x00, %%xmm6, %%xmm6") // xmm6 = y0
317 __ASM_EMIT("shufps $0x00, %%xmm4, %%xmm4") // xmm4 = xx
318 __ASM_EMIT("shufps $0x00, %%xmm7, %%xmm7") // xmm7 = k
319 __ASM_EMIT("movaps %%xmm4, %%xmm5") // xmm5 = xx
320 __ASM_EMIT("addps 0x00(%[CC]), %%xmm4") // xmm4 = x[0]
321 __ASM_EMIT("addps 0x10(%[CC]), %%xmm5") // xmm5 = x[1]
322
323 __ASM_EMIT("sub $8, %[n]")
324 __ASM_EMIT("jb 2f")
325 // 8x blocks
326 __ASM_EMIT("1:")
327 __ASM_EMIT("movaps %%xmm4, %%xmm0") // xmm0 = x[0]
328 __ASM_EMIT("movaps %%xmm5, %%xmm1") // xmm1 = x[1]
329 __ASM_EMIT("movups 0x00(%[src], %[off]), %%xmm2") // xmm2 = s0[0]
330 __ASM_EMIT("movups 0x10(%[src], %[off]), %%xmm3") // xmm3 = x0[1]
331 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = k*x[0]
332 __ASM_EMIT("addps 0x20(%[CC]), %%xmm4") // xmm4 = x[0]' = x[0] + d
333 __ASM_EMIT("mulps %%xmm7, %%xmm1") // xmm1 = k*x[1]
334 __ASM_EMIT("addps 0x20(%[CC]), %%xmm5") // xmm5 = x[1]' = x[1] + d
335 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = k*x[0] + y0
336 __ASM_EMIT("addps %%xmm6, %%xmm1") // xmm1 = k*x[1] + y0
337 __ASM_EMIT("mulps %%xmm2, %%xmm0") // xmm0 = s0[0]*(k*x[0] + y0)
338 __ASM_EMIT("mulps %%xmm3, %%xmm1") // xmm1 = s0[1]*(k*x[1] + y0)
339 __ASM_EMIT("movups 0x00(%[dst], %[off]), %%xmm2") // xmm2 = d0[0]
340 __ASM_EMIT("movups 0x10(%[dst], %[off]), %%xmm3") // xmm3 = d0[1]
341 __ASM_EMIT("addps %%xmm2, %%xmm0") // xmm0 = d0[0] + s0[0]*(k*x[0] + y0)
342 __ASM_EMIT("addps %%xmm3, %%xmm1") // xmm1 = d0[0] + s0[1]*(k*x[1] + y0)
343 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
344 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
345 __ASM_EMIT("add $0x20, %[off]")
346 __ASM_EMIT("sub $8, %[n]")
347 __ASM_EMIT("jae 1b")
348
349 // 4x block
350 __ASM_EMIT("2:")
351 __ASM_EMIT("add $4, %[n]")
352 __ASM_EMIT("jl 4f")
353 __ASM_EMIT("movaps %%xmm4, %%xmm0") // xmm0 = x[0]
354 __ASM_EMIT("movups 0x00(%[src], %[off]), %%xmm2") // xmm2 = s0[0]
355 __ASM_EMIT("movups 0x00(%[dst], %[off]), %%xmm3") // xmm3 = d0[0]
356 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = k*x[0]
357 __ASM_EMIT("movaps %%xmm5, %%xmm4") // xmm4 = x[0]' = x[1]
358 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = k*x[0] + y0
359 __ASM_EMIT("mulps %%xmm2, %%xmm0") // xmm0 = s0[0]*(k*x[0] + y0)
360 __ASM_EMIT("addps %%xmm3, %%xmm0") // xmm0 = d0[0] + s0[0]*(k*x[0] + y0)
361 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
362 __ASM_EMIT("add $0x10, %[off]")
363 __ASM_EMIT("sub $4, %[n]")
364
365 // 1x blocks
366 __ASM_EMIT("4:")
367 __ASM_EMIT("add $3, %[n]")
368 __ASM_EMIT("jl 6f")
369 __ASM_EMIT("5:")
370 __ASM_EMIT("movss %%xmm4, %%xmm0") // xmm0 = x
371 __ASM_EMIT("movss 0x00(%[src], %[off]), %%xmm2") // xmm2 = s0
372 __ASM_EMIT("movss 0x00(%[dst], %[off]), %%xmm3") // xmm3 = d0
373 __ASM_EMIT("mulss %%xmm7, %%xmm0") // xmm0 = k*x
374 __ASM_EMIT("shufps $0x39, %%xmm4, %%xmm4") // xmm4 = x' = x + d
375 __ASM_EMIT("addss %%xmm6, %%xmm0") // xmm0 = k*x + y0
376 __ASM_EMIT("mulss %%xmm2, %%xmm0") // xmm0 = s0*(k*x + y0)
377 __ASM_EMIT("addss %%xmm3, %%xmm0") // xmm0 = d0 + s0*(k*x + y0)
378 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
379 __ASM_EMIT("add $0x04, %[off]")
380 __ASM_EMIT("dec %[n]")
381 __ASM_EMIT("jge 5b")
382
383 __ASM_EMIT("6:")
384 : [n] "+r" (n), [off] "=&r" (off)
385 : [dst] "r" (dst), [src] "r" (src),
386 [CC] "r" (lin_inter_const),
387 [dx] "m" (dx),
388 [dy] "m" (dy),
389 [xx] "m" (xx),
390 [y0] "m" (y0)
391 : "cc", "memory",
392 "xmm0", "xmm1", "xmm2", "xmm3",
393 "xmm4", "xmm5", "xmm6", "xmm7"
394 );
395 }
396
397 void lin_inter_frmadd2(float *dst, const float *src, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
398 {
399 IF_ARCH_X86(
400 float dx = x1 - x0;
401 float dy = y1 - y0;
402 float xx = x - x0;
403 ssize_t off;
404 )
405
406 ARCH_X86_ASM(
407 __ASM_EMIT("xor %[off], %[off]")
408 __ASM_EMIT("movss %[dy], %%xmm7") // xmm7 = dy
409 __ASM_EMIT("movss %[dx], %%xmm0") // xmm0 = dx
410 __ASM_EMIT("movss %[y0], %%xmm6") // xmm6 = y0
411 __ASM_EMIT("movss %[xx], %%xmm4") // xmm4 = xx
412 __ASM_EMIT("divss %%xmm0, %%xmm7") // xmm7 = k = dy / dx
413 __ASM_EMIT("shufps $0x00, %%xmm6, %%xmm6") // xmm6 = y0
414 __ASM_EMIT("shufps $0x00, %%xmm4, %%xmm4") // xmm4 = xx
415 __ASM_EMIT("shufps $0x00, %%xmm7, %%xmm7") // xmm7 = k
416 __ASM_EMIT("movaps %%xmm4, %%xmm5") // xmm5 = xx
417 __ASM_EMIT("addps 0x00(%[CC]), %%xmm4") // xmm4 = x[0]
418 __ASM_EMIT("addps 0x10(%[CC]), %%xmm5") // xmm5 = x[1]
419
420 __ASM_EMIT("sub $8, %[n]")
421 __ASM_EMIT("jb 2f")
422 // 8x blocks
423 __ASM_EMIT("1:")
424 __ASM_EMIT("movaps %%xmm4, %%xmm0") // xmm0 = x[0]
425 __ASM_EMIT("movaps %%xmm5, %%xmm1") // xmm1 = x[1]
426 __ASM_EMIT("movups 0x00(%[dst], %[off]), %%xmm2") // xmm2 = s0[0]
427 __ASM_EMIT("movups 0x10(%[dst], %[off]), %%xmm3") // xmm3 = x0[1]
428 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = k*x[0]
429 __ASM_EMIT("addps 0x20(%[CC]), %%xmm4") // xmm4 = x[0]' = x[0] + d
430 __ASM_EMIT("mulps %%xmm7, %%xmm1") // xmm1 = k*x[1]
431 __ASM_EMIT("addps 0x20(%[CC]), %%xmm5") // xmm5 = x[1]' = x[1] + d
432 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = k*x[0] + y0
433 __ASM_EMIT("addps %%xmm6, %%xmm1") // xmm1 = k*x[1] + y0
434 __ASM_EMIT("mulps %%xmm2, %%xmm0") // xmm0 = s0[0]*(k*x[0] + y0)
435 __ASM_EMIT("mulps %%xmm3, %%xmm1") // xmm1 = s0[1]*(k*x[1] + y0)
436 __ASM_EMIT("movups 0x00(%[src], %[off]), %%xmm2") // xmm2 = d0[0]
437 __ASM_EMIT("movups 0x10(%[src], %[off]), %%xmm3") // xmm3 = d0[1]
438 __ASM_EMIT("addps %%xmm2, %%xmm0") // xmm0 = d0[0] + s0[0]*(k*x[0] + y0)
439 __ASM_EMIT("addps %%xmm3, %%xmm1") // xmm1 = d0[0] + s0[1]*(k*x[1] + y0)
440 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
441 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
442 __ASM_EMIT("add $0x20, %[off]")
443 __ASM_EMIT("sub $8, %[n]")
444 __ASM_EMIT("jae 1b")
445
446 // 4x block
447 __ASM_EMIT("2:")
448 __ASM_EMIT("add $4, %[n]")
449 __ASM_EMIT("jl 4f")
450 __ASM_EMIT("movaps %%xmm4, %%xmm0") // xmm0 = x[0]
451 __ASM_EMIT("movups 0x00(%[dst], %[off]), %%xmm2") // xmm2 = s0[0]
452 __ASM_EMIT("movups 0x00(%[src], %[off]), %%xmm3") // xmm3 = d0[0]
453 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = k*x[0]
454 __ASM_EMIT("movaps %%xmm5, %%xmm4") // xmm4 = x[0]' = x[1]
455 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = k*x[0] + y0
456 __ASM_EMIT("mulps %%xmm2, %%xmm0") // xmm0 = s0[0]*(k*x[0] + y0)
457 __ASM_EMIT("addps %%xmm3, %%xmm0") // xmm0 = d0[0] + s0[0]*(k*x[0] + y0)
458 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
459 __ASM_EMIT("add $0x10, %[off]")
460 __ASM_EMIT("sub $4, %[n]")
461
462 // 1x blocks
463 __ASM_EMIT("4:")
464 __ASM_EMIT("add $3, %[n]")
465 __ASM_EMIT("jl 6f")
466 __ASM_EMIT("5:")
467 __ASM_EMIT("movss %%xmm4, %%xmm0") // xmm0 = x
468 __ASM_EMIT("movss 0x00(%[dst], %[off]), %%xmm2") // xmm2 = s0
469 __ASM_EMIT("movss 0x00(%[src], %[off]), %%xmm3") // xmm3 = d0
470 __ASM_EMIT("mulss %%xmm7, %%xmm0") // xmm0 = k*x
471 __ASM_EMIT("shufps $0x39, %%xmm4, %%xmm4") // xmm4 = x' = x + d
472 __ASM_EMIT("addss %%xmm6, %%xmm0") // xmm0 = k*x + y0
473 __ASM_EMIT("mulss %%xmm2, %%xmm0") // xmm0 = s0*(k*x + y0)
474 __ASM_EMIT("addss %%xmm3, %%xmm0") // xmm0 = d0 + s0*(k*x + y0)
475 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
476 __ASM_EMIT("add $0x04, %[off]")
477 __ASM_EMIT("dec %[n]")
478 __ASM_EMIT("jge 5b")
479
480 __ASM_EMIT("6:")
481 : [n] "+r" (n), [off] "=&r" (off)
482 : [dst] "r" (dst), [src] "r" (src),
483 [CC] "r" (lin_inter_const),
484 [dx] "m" (dx),
485 [dy] "m" (dy),
486 [xx] "m" (xx),
487 [y0] "m" (y0)
488 : "cc", "memory",
489 "xmm0", "xmm1", "xmm2", "xmm3",
490 "xmm4", "xmm5", "xmm6", "xmm7"
491 );
492 }
493
494 void lin_inter_fmadd3(float *dst, const float *src1, const float *src2, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
495 {
496 IF_ARCH_X86(
497 float dx = x1 - x0;
498 float dy = y1 - y0;
499 float xx = x - x0;
500 )
501
502 ARCH_X86_ASM(
503 __ASM_EMIT("movss %[dy], %%xmm7") // xmm7 = dy
504 __ASM_EMIT("movss %[dx], %%xmm0") // xmm0 = dx
505 __ASM_EMIT("movss %[y0], %%xmm6") // xmm6 = y0
506 __ASM_EMIT("movss %[xx], %%xmm4") // xmm4 = xx
507 __ASM_EMIT("divss %%xmm0, %%xmm7") // xmm7 = k = dy / dx
508 __ASM_EMIT("shufps $0x00, %%xmm6, %%xmm6") // xmm6 = y0
509 __ASM_EMIT("shufps $0x00, %%xmm4, %%xmm4") // xmm4 = xx
510 __ASM_EMIT("shufps $0x00, %%xmm7, %%xmm7") // xmm7 = k
511 __ASM_EMIT("movaps %%xmm4, %%xmm5") // xmm5 = xx
512 __ASM_EMIT("addps 0x00(%[CC]), %%xmm4") // xmm4 = x[0]
513 __ASM_EMIT("addps 0x10(%[CC]), %%xmm5") // xmm5 = x[1]
514
515 __ASM_EMIT("sub $8, %[n]")
516 __ASM_EMIT("jb 2f")
517 // 8x blocks
518 __ASM_EMIT("1:")
519 __ASM_EMIT("movaps %%xmm4, %%xmm0") // xmm0 = x[0]
520 __ASM_EMIT("movaps %%xmm5, %%xmm1") // xmm1 = x[1]
521 __ASM_EMIT("movups 0x00(%[src1]), %%xmm2") // xmm2 = s0[0]
522 __ASM_EMIT("movups 0x10(%[src1]), %%xmm3") // xmm3 = x0[1]
523 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = k*x[0]
524 __ASM_EMIT("addps 0x20(%[CC]), %%xmm4") // xmm4 = x[0]' = x[0] + d
525 __ASM_EMIT("mulps %%xmm7, %%xmm1") // xmm1 = k*x[1]
526 __ASM_EMIT("addps 0x20(%[CC]), %%xmm5") // xmm5 = x[1]' = x[1] + d
527 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = k*x[0] + y0
528 __ASM_EMIT("addps %%xmm6, %%xmm1") // xmm1 = k*x[1] + y0
529 __ASM_EMIT("mulps %%xmm2, %%xmm0") // xmm0 = s0[0]*(k*x[0] + y0)
530 __ASM_EMIT("mulps %%xmm3, %%xmm1") // xmm1 = s0[1]*(k*x[1] + y0)
531 __ASM_EMIT("movups 0x00(%[src2]), %%xmm2") // xmm2 = d0[0]
532 __ASM_EMIT("movups 0x10(%[src2]), %%xmm3") // xmm3 = d0[1]
533 __ASM_EMIT("addps %%xmm2, %%xmm0") // xmm0 = d0[0] + s0[0]*(k*x[0] + y0)
534 __ASM_EMIT("addps %%xmm3, %%xmm1") // xmm1 = d0[0] + s0[1]*(k*x[1] + y0)
535 __ASM_EMIT("movups %%xmm0, 0x00(%[dst])")
536 __ASM_EMIT("movups %%xmm1, 0x10(%[dst])")
537 __ASM_EMIT("add $0x20, %[src1]")
538 __ASM_EMIT("add $0x20, %[src2]")
539 __ASM_EMIT("add $0x20, %[dst]")
540 __ASM_EMIT("sub $8, %[n]")
541 __ASM_EMIT("jae 1b")
542
543 // 4x block
544 __ASM_EMIT("2:")
545 __ASM_EMIT("add $4, %[n]")
546 __ASM_EMIT("jl 4f")
547 __ASM_EMIT("movaps %%xmm4, %%xmm0") // xmm0 = x[0]
548 __ASM_EMIT("movups 0x00(%[src1]), %%xmm2") // xmm2 = s0[0]
549 __ASM_EMIT("movups 0x00(%[src2]), %%xmm3") // xmm3 = d0[0]
550 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = k*x[0]
551 __ASM_EMIT("movaps %%xmm5, %%xmm4") // xmm4 = x[0]' = x[1]
552 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = k*x[0] + y0
553 __ASM_EMIT("mulps %%xmm2, %%xmm0") // xmm0 = s0[0]*(k*x[0] + y0)
554 __ASM_EMIT("addps %%xmm3, %%xmm0") // xmm0 = d0[0] + s0[0]*(k*x[0] + y0)
555 __ASM_EMIT("movups %%xmm0, 0x00(%[dst])")
556 __ASM_EMIT("add $0x10, %[src1]")
557 __ASM_EMIT("add $0x10, %[src2]")
558 __ASM_EMIT("add $0x10, %[dst]")
559 __ASM_EMIT("sub $4, %[n]")
560
561 // 1x blocks
562 __ASM_EMIT("4:")
563 __ASM_EMIT("add $3, %[n]")
564 __ASM_EMIT("jl 6f")
565 __ASM_EMIT("5:")
566 __ASM_EMIT("movss %%xmm4, %%xmm0") // xmm0 = x
567 __ASM_EMIT("movss 0x00(%[src1]), %%xmm2") // xmm2 = s0
568 __ASM_EMIT("movss 0x00(%[src2]), %%xmm3") // xmm3 = d0
569 __ASM_EMIT("mulss %%xmm7, %%xmm0") // xmm0 = k*x
570 __ASM_EMIT("shufps $0x39, %%xmm4, %%xmm4") // xmm4 = x' = x + d
571 __ASM_EMIT("addss %%xmm6, %%xmm0") // xmm0 = k*x + y0
572 __ASM_EMIT("mulss %%xmm2, %%xmm0") // xmm0 = s0*(k*x + y0)
573 __ASM_EMIT("addss %%xmm3, %%xmm0") // xmm0 = d0 + s0*(k*x + y0)
574 __ASM_EMIT("movss %%xmm0, 0x00(%[dst])")
575 __ASM_EMIT("add $0x04, %[src1]")
576 __ASM_EMIT("add $0x04, %[src2]")
577 __ASM_EMIT("add $0x04, %[dst]")
578 __ASM_EMIT("dec %[n]")
579 __ASM_EMIT("jge 5b")
580
581 __ASM_EMIT("6:")
582 : [n] "+r" (n), [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2)
583 : [CC] "r" (lin_inter_const),
584 [dx] "m" (dx),
585 [dy] "m" (dy),
586 [xx] "m" (xx),
587 [y0] "m" (y0)
588 : "cc", "memory",
589 "xmm0", "xmm1", "xmm2", "xmm3",
590 "xmm4", "xmm5", "xmm6", "xmm7"
591 );
592 }
593 }
594 }
595
596 #endif /* PRIVATE_DSP_ARCH_X86_SSE_INTERPOLATION_LINEAR_H_ */