Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx/interpolation/linear.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 13 дек. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX_INTERPOLATION_LINEAR_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX_INTERPOLATION_LINEAR_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX_IMPL */
28
29 namespace lsp
30 {
31 namespace avx
32 {
33 static const float lin_inter_const[] __lsp_aligned32 =
34 {
35 0.0f, 1.0f, 2.0f, 3.0f, 4.0f, 5.0f, 6.0f, 7.0f, // Initial values 0..7
36 8.0f, 9.0f, 10.0f, 11.0f, 12.0f, 13.0f, 14.0f, 15.0f, // Initial values 8..15
37 16.0f, 16.0f, 16.0f, 16.0f, 16.0f, 16.0f, 16.0f, 16.0f // Step
38 };
39
40 void lin_inter_set(float *dst, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
41 {
42 IF_ARCH_X86(
43 float dx = x1 - x0;
44 float dy = y1 - y0;
45 float xx = x - x0;
46 ssize_t off;
47 )
48
49 ARCH_X86_ASM(
50 __ASM_EMIT("xor %[off], %[off]")
51 __ASM_EMIT("vbroadcastss %[xx], %%ymm4") // ymm4 = xx
52 __ASM_EMIT("vbroadcastss %[dy], %%ymm7") // ymm7 = dy
53 __ASM_EMIT("vbroadcastss %[dx], %%ymm0") // ymm0 = dx
54 __ASM_EMIT("vaddps 0x20(%[CC]), %%ymm4, %%ymm5") // ymm5 = x[1]
55 __ASM_EMIT("vbroadcastss %[y0], %%ymm6") // ymm6 = y0
56 __ASM_EMIT("vdivps %%ymm0, %%ymm7, %%ymm7") // ymm7 = k = dy / dx
57 __ASM_EMIT("vaddps 0x00(%[CC]), %%ymm4, %%ymm4") // ymm4 = x[0]
58 __ASM_EMIT("vmovaps 0x40(%[CC]), %%ymm3") // ymm3 = d
59 __ASM_EMIT("sub $16, %[n]")
60 __ASM_EMIT("jb 2f")
61
62 // 16x blocks
63 __ASM_EMIT("1:")
64 __ASM_EMIT("vmulps %%ymm7, %%ymm4, %%ymm0") // ymm0 = k*x[0]
65 __ASM_EMIT("vmulps %%ymm7, %%ymm5, %%ymm1") // ymm1 = k*x[1]
66 __ASM_EMIT("vaddps %%ymm3, %%ymm4, %%ymm4") // ymm4 = x[0]' = x[0] + d
67 __ASM_EMIT("vaddps %%ymm6, %%ymm0, %%ymm0") // ymm0 = k*x[0]+y0
68 __ASM_EMIT("vaddps %%ymm3, %%ymm5, %%ymm5") // ymm5 = x[1]' = x[1] + d
69 __ASM_EMIT("vaddps %%ymm6, %%ymm1, %%ymm1") // ymm1 = k*x[1]+y0
70 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
71 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
72 __ASM_EMIT("add $0x40, %[off]")
73 __ASM_EMIT("sub $16, %[n]")
74 __ASM_EMIT("jae 1b")
75
76 // 8x block
77 __ASM_EMIT("2:")
78 __ASM_EMIT("add $8, %[n]")
79 __ASM_EMIT("jl 4f")
80 __ASM_EMIT("vextractf128 $1, %%ymm4, %%xmm3") // xmm3 = x[1]
81 __ASM_EMIT("vmulps %%xmm7, %%xmm4, %%xmm0") // xmm0 = k*x[0]
82 __ASM_EMIT("vmulps %%xmm7, %%xmm3, %%xmm1") // xmm1 = k*x[1]
83 __ASM_EMIT("vmovaps %%ymm5, %%ymm4") // ymm4 = x[0]
84 __ASM_EMIT("vaddps %%xmm6, %%xmm0, %%xmm0") // xmm0 = k*x[0]+y0
85 __ASM_EMIT("vaddps %%xmm6, %%xmm1, %%xmm1") // xmm1 = k*x[1]+y0
86 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
87 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off])")
88 __ASM_EMIT("add $0x20, %[off]")
89 __ASM_EMIT("sub $8, %[n]")
90
91 // 4x block
92 __ASM_EMIT("4:")
93 __ASM_EMIT("add $4, %[n]")
94 __ASM_EMIT("jl 6f")
95 __ASM_EMIT("vmulps %%xmm7, %%xmm4, %%xmm0") // xmm0 = k*x[0]
96 __ASM_EMIT("vextractf128 $1, %%ymm4, %%xmm4") // xmm4 = x[0]
97 __ASM_EMIT("vaddps %%xmm6, %%xmm0, %%xmm0") // xmm0 = k*x[0]+y0
98 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
99 __ASM_EMIT("add $0x10, %[off]")
100 __ASM_EMIT("sub $4, %[n]")
101
102 // 1x blocks
103 __ASM_EMIT("6:")
104 __ASM_EMIT("add $3, %[n]")
105 __ASM_EMIT("jl 8f")
106 __ASM_EMIT("7:")
107 __ASM_EMIT("vmulss %%xmm7, %%xmm4, %%xmm0") // xmm0 = k*x[0]
108 __ASM_EMIT("vshufps $0x39, %%xmm4, %%xmm4, %%xmm4") // xmm4 = x[0]'
109 __ASM_EMIT("vaddss %%xmm6, %%xmm0, %%xmm0") // xmm0 = k*x[0]+y0
110 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
111 __ASM_EMIT("add $0x04, %[off]")
112 __ASM_EMIT("dec %[n]")
113 __ASM_EMIT("jge 7b")
114
115 __ASM_EMIT("8:")
116 : [n] "+r" (n), [off] "=&r" (off)
117 : [dst] "r" (dst),
118 [CC] "r" (lin_inter_const),
119 [dx] "m" (dx),
120 [dy] "m" (dy),
121 [xx] "m" (xx),
122 [y0] "m" (y0)
123 : "cc", "memory",
124 "xmm0", "xmm1", "xmm2", "xmm3",
125 "xmm4", "xmm5", "xmm6", "xmm7"
126 );
127 }
128
129 void lin_inter_mul2(float *dst, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
130 {
131 IF_ARCH_X86(
132 float dx = x1 - x0;
133 float dy = y1 - y0;
134 float xx = x - x0;
135 ssize_t off;
136 )
137
138 ARCH_X86_ASM(
139 __ASM_EMIT("xor %[off], %[off]")
140 __ASM_EMIT("vbroadcastss %[xx], %%ymm4") // ymm4 = xx
141 __ASM_EMIT("vbroadcastss %[dy], %%ymm7") // ymm7 = dy
142 __ASM_EMIT("vbroadcastss %[dx], %%ymm0") // ymm0 = dx
143 __ASM_EMIT("vaddps 0x20(%[CC]), %%ymm4, %%ymm5") // ymm5 = x[1]
144 __ASM_EMIT("vbroadcastss %[y0], %%ymm6") // ymm6 = y0
145 __ASM_EMIT("vdivps %%ymm0, %%ymm7, %%ymm7") // ymm7 = k = dy / dx
146 __ASM_EMIT("vaddps 0x00(%[CC]), %%ymm4, %%ymm4") // ymm4 = x[0]
147 __ASM_EMIT("vmovaps 0x40(%[CC]), %%ymm3") // ymm3 = d
148 __ASM_EMIT("sub $16, %[n]")
149 __ASM_EMIT("jb 2f")
150
151 // 16x blocks
152 __ASM_EMIT("1:")
153 __ASM_EMIT("vmulps %%ymm7, %%ymm4, %%ymm0") // ymm0 = k*x[0]
154 __ASM_EMIT("vmulps %%ymm7, %%ymm5, %%ymm1") // ymm1 = k*x[1]
155 __ASM_EMIT("vaddps %%ymm3, %%ymm4, %%ymm4") // ymm4 = x[0]' = x[0] + d
156 __ASM_EMIT("vaddps %%ymm6, %%ymm0, %%ymm0") // ymm0 = k*x[0]+y0
157 __ASM_EMIT("vaddps %%ymm3, %%ymm5, %%ymm5") // ymm5 = x[1]' = x[1] + d
158 __ASM_EMIT("vaddps %%ymm6, %%ymm1, %%ymm1") // ymm1 = k*x[1]+y0
159 __ASM_EMIT("vmulps 0x00(%[dst], %[off]), %%ymm0, %%ymm0") // ymm0 = s0[0]*(k*x[0]+y0)
160 __ASM_EMIT("vmulps 0x20(%[dst], %[off]), %%ymm1, %%ymm1") // ymm1 = s0[1]*(k*x[1]+y0)
161 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
162 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
163 __ASM_EMIT("add $0x40, %[off]")
164 __ASM_EMIT("sub $16, %[n]")
165 __ASM_EMIT("jae 1b")
166
167 // 8x block
168 __ASM_EMIT("2:")
169 __ASM_EMIT("add $8, %[n]")
170 __ASM_EMIT("jl 4f")
171 __ASM_EMIT("vextractf128 $1, %%ymm4, %%xmm3") // xmm3 = x[1]
172 __ASM_EMIT("vmulps %%xmm7, %%xmm4, %%xmm0") // xmm0 = k*x[0]
173 __ASM_EMIT("vmulps %%xmm7, %%xmm3, %%xmm1") // xmm1 = k*x[1]
174 __ASM_EMIT("vmovaps %%ymm5, %%ymm4") // ymm4 = x[0]
175 __ASM_EMIT("vaddps %%xmm6, %%xmm0, %%xmm0") // xmm0 = k*x[0]+y0
176 __ASM_EMIT("vaddps %%xmm6, %%xmm1, %%xmm1") // xmm1 = k*x[1]+y0
177 __ASM_EMIT("vmulps 0x00(%[dst], %[off]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0)
178 __ASM_EMIT("vmulps 0x10(%[dst], %[off]), %%xmm1, %%xmm1") // xmm1 = s0[1]*(k*x[1]+y0)
179 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
180 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off])")
181 __ASM_EMIT("add $0x20, %[off]")
182 __ASM_EMIT("sub $8, %[n]")
183
184 // 4x block
185 __ASM_EMIT("4:")
186 __ASM_EMIT("add $4, %[n]")
187 __ASM_EMIT("jl 6f")
188 __ASM_EMIT("vmulps %%xmm7, %%xmm4, %%xmm0") // xmm0 = k*x[0]
189 __ASM_EMIT("vextractf128 $1, %%ymm4, %%xmm4") // xmm4 = x[0]
190 __ASM_EMIT("vaddps %%xmm6, %%xmm0, %%xmm0") // xmm0 = k*x[0]+y0
191 __ASM_EMIT("vmulps 0x00(%[dst], %[off]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0)
192 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
193 __ASM_EMIT("add $0x10, %[off]")
194 __ASM_EMIT("sub $4, %[n]")
195
196 // 1x blocks
197 __ASM_EMIT("6:")
198 __ASM_EMIT("add $3, %[n]")
199 __ASM_EMIT("jl 8f")
200 __ASM_EMIT("7:")
201 __ASM_EMIT("vmulss %%xmm7, %%xmm4, %%xmm0") // xmm0 = k*x[0]
202 __ASM_EMIT("vshufps $0x39, %%xmm4, %%xmm4, %%xmm4") // xmm4 = x[0]'
203 __ASM_EMIT("vaddss %%xmm6, %%xmm0, %%xmm0") // xmm0 = k*x[0]+y0
204 __ASM_EMIT("vmulss 0x00(%[dst], %[off]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0)
205 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
206 __ASM_EMIT("add $0x04, %[off]")
207 __ASM_EMIT("dec %[n]")
208 __ASM_EMIT("jge 7b")
209
210 __ASM_EMIT("8:")
211 : [n] "+r" (n), [off] "=&r" (off)
212 : [dst] "r" (dst),
213 [CC] "r" (lin_inter_const),
214 [dx] "m" (dx),
215 [dy] "m" (dy),
216 [xx] "m" (xx),
217 [y0] "m" (y0)
218 : "cc", "memory",
219 "xmm0", "xmm1", "xmm2", "xmm3",
220 "xmm4", "xmm5", "xmm6", "xmm7"
221 );
222 }
223
224 void lin_inter_mul3(float *dst, const float *src, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
225 {
226 IF_ARCH_X86(
227 float dx = x1 - x0;
228 float dy = y1 - y0;
229 float xx = x - x0;
230 ssize_t off;
231 )
232
233 ARCH_X86_ASM(
234 __ASM_EMIT("xor %[off], %[off]")
235 __ASM_EMIT("vbroadcastss %[xx], %%ymm4") // ymm4 = xx
236 __ASM_EMIT("vbroadcastss %[dy], %%ymm7") // ymm7 = dy
237 __ASM_EMIT("vbroadcastss %[dx], %%ymm0") // ymm0 = dx
238 __ASM_EMIT("vaddps 0x20(%[CC]), %%ymm4, %%ymm5") // ymm5 = x[1]
239 __ASM_EMIT("vbroadcastss %[y0], %%ymm6") // ymm6 = y0
240 __ASM_EMIT("vdivps %%ymm0, %%ymm7, %%ymm7") // ymm7 = k = dy / dx
241 __ASM_EMIT("vaddps 0x00(%[CC]), %%ymm4, %%ymm4") // ymm4 = x[0]
242 __ASM_EMIT("vmovaps 0x40(%[CC]), %%ymm3") // ymm3 = d
243 __ASM_EMIT("sub $16, %[n]")
244 __ASM_EMIT("jb 2f")
245
246 // 16x blocks
247 __ASM_EMIT("1:")
248 __ASM_EMIT("vmulps %%ymm7, %%ymm4, %%ymm0") // ymm0 = k*x[0]
249 __ASM_EMIT("vmulps %%ymm7, %%ymm5, %%ymm1") // ymm1 = k*x[1]
250 __ASM_EMIT("vaddps %%ymm3, %%ymm4, %%ymm4") // ymm4 = x[0]' = x[0] + d
251 __ASM_EMIT("vaddps %%ymm6, %%ymm0, %%ymm0") // ymm0 = k*x[0]+y0
252 __ASM_EMIT("vaddps %%ymm3, %%ymm5, %%ymm5") // ymm5 = x[1]' = x[1] + d
253 __ASM_EMIT("vaddps %%ymm6, %%ymm1, %%ymm1") // ymm1 = k*x[1]+y0
254 __ASM_EMIT("vmulps 0x00(%[src], %[off]), %%ymm0, %%ymm0") // ymm0 = s0[0]*(k*x[0]+y0)
255 __ASM_EMIT("vmulps 0x20(%[src], %[off]), %%ymm1, %%ymm1") // ymm1 = s0[1]*(k*x[1]+y0)
256 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
257 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
258 __ASM_EMIT("add $0x40, %[off]")
259 __ASM_EMIT("sub $16, %[n]")
260 __ASM_EMIT("jae 1b")
261
262 // 8x block
263 __ASM_EMIT("2:")
264 __ASM_EMIT("add $8, %[n]")
265 __ASM_EMIT("jl 4f")
266 __ASM_EMIT("vextractf128 $1, %%ymm4, %%xmm3") // xmm3 = x[1]
267 __ASM_EMIT("vmulps %%xmm7, %%xmm4, %%xmm0") // xmm0 = k*x[0]
268 __ASM_EMIT("vmulps %%xmm7, %%xmm3, %%xmm1") // xmm1 = k*x[1]
269 __ASM_EMIT("vmovaps %%ymm5, %%ymm4") // ymm4 = x[0]
270 __ASM_EMIT("vaddps %%xmm6, %%xmm0, %%xmm0") // xmm0 = k*x[0]+y0
271 __ASM_EMIT("vaddps %%xmm6, %%xmm1, %%xmm1") // xmm1 = k*x[1]+y0
272 __ASM_EMIT("vmulps 0x00(%[src], %[off]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0)
273 __ASM_EMIT("vmulps 0x10(%[src], %[off]), %%xmm1, %%xmm1") // xmm1 = s0[1]*(k*x[1]+y0)
274 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
275 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off])")
276 __ASM_EMIT("add $0x20, %[off]")
277 __ASM_EMIT("sub $8, %[n]")
278
279 // 4x block
280 __ASM_EMIT("4:")
281 __ASM_EMIT("add $4, %[n]")
282 __ASM_EMIT("jl 6f")
283 __ASM_EMIT("vmulps %%xmm7, %%xmm4, %%xmm0") // xmm0 = k*x[0]
284 __ASM_EMIT("vextractf128 $1, %%ymm4, %%xmm4") // xmm4 = x[0]
285 __ASM_EMIT("vaddps %%xmm6, %%xmm0, %%xmm0") // xmm0 = k*x[0]+y0
286 __ASM_EMIT("vmulps 0x00(%[src], %[off]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0)
287 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
288 __ASM_EMIT("add $0x10, %[off]")
289 __ASM_EMIT("sub $4, %[n]")
290
291 // 1x blocks
292 __ASM_EMIT("6:")
293 __ASM_EMIT("add $3, %[n]")
294 __ASM_EMIT("jl 8f")
295 __ASM_EMIT("7:")
296 __ASM_EMIT("vmulss %%xmm7, %%xmm4, %%xmm0") // xmm0 = k*x[0]
297 __ASM_EMIT("vshufps $0x39, %%xmm4, %%xmm4, %%xmm4") // xmm4 = x[0]'
298 __ASM_EMIT("vaddss %%xmm6, %%xmm0, %%xmm0") // xmm0 = k*x[0]+y0
299 __ASM_EMIT("vmulss 0x00(%[src], %[off]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0)
300 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
301 __ASM_EMIT("add $0x04, %[off]")
302 __ASM_EMIT("dec %[n]")
303 __ASM_EMIT("jge 7b")
304
305 __ASM_EMIT("8:")
306 : [n] "+r" (n), [off] "=&r" (off)
307 : [dst] "r" (dst), [src] "r" (src),
308 [CC] "r" (lin_inter_const),
309 [dx] "m" (dx),
310 [dy] "m" (dy),
311 [xx] "m" (xx),
312 [y0] "m" (y0)
313 : "cc", "memory",
314 "xmm0", "xmm1", "xmm2", "xmm3",
315 "xmm4", "xmm5", "xmm6", "xmm7"
316 );
317 }
318
319 void lin_inter_fmadd2(float *dst, const float *src, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
320 {
321 IF_ARCH_X86(
322 float dx = x1 - x0;
323 float dy = y1 - y0;
324 float xx = x - x0;
325 ssize_t off;
326 )
327
328 ARCH_X86_ASM(
329 __ASM_EMIT("xor %[off], %[off]")
330 __ASM_EMIT("vbroadcastss %[xx], %%ymm4") // ymm4 = xx
331 __ASM_EMIT("vbroadcastss %[dy], %%ymm7") // ymm7 = dy
332 __ASM_EMIT("vbroadcastss %[dx], %%ymm0") // ymm0 = dx
333 __ASM_EMIT("vaddps 0x20(%[CC]), %%ymm4, %%ymm5") // ymm5 = x[1]
334 __ASM_EMIT("vbroadcastss %[y0], %%ymm6") // ymm6 = y0
335 __ASM_EMIT("vdivps %%ymm0, %%ymm7, %%ymm7") // ymm7 = k = dy / dx
336 __ASM_EMIT("vaddps 0x00(%[CC]), %%ymm4, %%ymm4") // ymm4 = x[0]
337 __ASM_EMIT("vmovaps 0x40(%[CC]), %%ymm3") // ymm3 = d
338 __ASM_EMIT("sub $16, %[n]")
339 __ASM_EMIT("jb 2f")
340
341 // 16x blocks
342 __ASM_EMIT("1:")
343 __ASM_EMIT("vmulps %%ymm7, %%ymm4, %%ymm0") // ymm0 = k*x[0]
344 __ASM_EMIT("vmulps %%ymm7, %%ymm5, %%ymm1") // ymm1 = k*x[1]
345 __ASM_EMIT("vaddps %%ymm3, %%ymm4, %%ymm4") // ymm4 = x[0]' = x[0] + d
346 __ASM_EMIT("vaddps %%ymm6, %%ymm0, %%ymm0") // ymm0 = k*x[0]+y0
347 __ASM_EMIT("vaddps %%ymm3, %%ymm5, %%ymm5") // ymm5 = x[1]' = x[1] + d
348 __ASM_EMIT("vaddps %%ymm6, %%ymm1, %%ymm1") // ymm1 = k*x[1]+y0
349 __ASM_EMIT("vmulps 0x00(%[src], %[off]), %%ymm0, %%ymm0") // ymm0 = s0[0]*(k*x[0]+y0)
350 __ASM_EMIT("vmulps 0x20(%[src], %[off]), %%ymm1, %%ymm1") // ymm1 = s0[1]*(k*x[1]+y0)
351 __ASM_EMIT("vaddps 0x00(%[dst], %[off]), %%ymm0, %%ymm0") // ymm0 = s0[0]*(k*x[0]+y0) + d0[0]
352 __ASM_EMIT("vaddps 0x20(%[dst], %[off]), %%ymm1, %%ymm1") // ymm1 = s0[1]*(k*x[1]+y0) + d0[1]
353 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
354 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
355 __ASM_EMIT("add $0x40, %[off]")
356 __ASM_EMIT("sub $16, %[n]")
357 __ASM_EMIT("jae 1b")
358
359 // 8x block
360 __ASM_EMIT("2:")
361 __ASM_EMIT("add $8, %[n]")
362 __ASM_EMIT("jl 4f")
363 __ASM_EMIT("vextractf128 $1, %%ymm4, %%xmm3") // xmm3 = x[1]
364 __ASM_EMIT("vmulps %%xmm7, %%xmm4, %%xmm0") // xmm0 = k*x[0]
365 __ASM_EMIT("vmulps %%xmm7, %%xmm3, %%xmm1") // xmm1 = k*x[1]
366 __ASM_EMIT("vmovaps %%ymm5, %%ymm4") // ymm4 = x[0]
367 __ASM_EMIT("vaddps %%xmm6, %%xmm0, %%xmm0") // xmm0 = k*x[0]+y0
368 __ASM_EMIT("vaddps %%xmm6, %%xmm1, %%xmm1") // xmm1 = k*x[1]+y0
369 __ASM_EMIT("vmulps 0x00(%[src], %[off]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0)
370 __ASM_EMIT("vmulps 0x10(%[src], %[off]), %%xmm1, %%xmm1") // xmm1 = s0[1]*(k*x[1]+y0)
371 __ASM_EMIT("vaddps 0x00(%[dst], %[off]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0) + d0[0]
372 __ASM_EMIT("vaddps 0x10(%[dst], %[off]), %%xmm1, %%xmm1") // xmm1 = s0[1]*(k*x[1]+y0) + d0[1]
373 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
374 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off])")
375 __ASM_EMIT("add $0x20, %[off]")
376 __ASM_EMIT("sub $8, %[n]")
377
378 // 4x block
379 __ASM_EMIT("4:")
380 __ASM_EMIT("add $4, %[n]")
381 __ASM_EMIT("jl 6f")
382 __ASM_EMIT("vmulps %%xmm7, %%xmm4, %%xmm0") // xmm0 = k*x[0]
383 __ASM_EMIT("vextractf128 $1, %%ymm4, %%xmm4") // xmm4 = x[0]
384 __ASM_EMIT("vaddps %%xmm6, %%xmm0, %%xmm0") // xmm0 = k*x[0]+y0
385 __ASM_EMIT("vmulps 0x00(%[src], %[off]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0)
386 __ASM_EMIT("vaddps 0x00(%[dst], %[off]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0) + d0[0]
387 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
388 __ASM_EMIT("add $0x10, %[off]")
389 __ASM_EMIT("sub $4, %[n]")
390
391 // 1x blocks
392 __ASM_EMIT("6:")
393 __ASM_EMIT("add $3, %[n]")
394 __ASM_EMIT("jl 8f")
395 __ASM_EMIT("7:")
396 __ASM_EMIT("vmulss %%xmm7, %%xmm4, %%xmm0") // xmm0 = k*x[0]
397 __ASM_EMIT("vshufps $0x39, %%xmm4, %%xmm4, %%xmm4") // xmm4 = x[0]'
398 __ASM_EMIT("vaddss %%xmm6, %%xmm0, %%xmm0") // xmm0 = k*x[0]+y0
399 __ASM_EMIT("vmulss 0x00(%[src], %[off]), %%xmm0, %%xmm0") // ymm0 = s0[0]*(k*x[0]+y0)
400 __ASM_EMIT("vaddss 0x00(%[dst], %[off]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0) + d0[0]
401 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
402 __ASM_EMIT("add $0x04, %[off]")
403 __ASM_EMIT("dec %[n]")
404 __ASM_EMIT("jge 7b")
405
406 __ASM_EMIT("8:")
407 : [n] "+r" (n), [off] "=&r" (off)
408 : [dst] "r" (dst), [src] "r" (src),
409 [CC] "r" (lin_inter_const),
410 [dx] "m" (dx),
411 [dy] "m" (dy),
412 [xx] "m" (xx),
413 [y0] "m" (y0)
414 : "cc", "memory",
415 "xmm0", "xmm1", "xmm2", "xmm3",
416 "xmm4", "xmm5", "xmm6", "xmm7"
417 );
418 }
419
420 void lin_inter_frmadd2(float *dst, const float *src, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
421 {
422 IF_ARCH_X86(
423 float dx = x1 - x0;
424 float dy = y1 - y0;
425 float xx = x - x0;
426 ssize_t off;
427 )
428
429 ARCH_X86_ASM(
430 __ASM_EMIT("xor %[off], %[off]")
431 __ASM_EMIT("vbroadcastss %[xx], %%ymm4") // ymm4 = xx
432 __ASM_EMIT("vbroadcastss %[dy], %%ymm7") // ymm7 = dy
433 __ASM_EMIT("vbroadcastss %[dx], %%ymm0") // ymm0 = dx
434 __ASM_EMIT("vaddps 0x20(%[CC]), %%ymm4, %%ymm5") // ymm5 = x[1]
435 __ASM_EMIT("vbroadcastss %[y0], %%ymm6") // ymm6 = y0
436 __ASM_EMIT("vdivps %%ymm0, %%ymm7, %%ymm7") // ymm7 = k = dy / dx
437 __ASM_EMIT("vaddps 0x00(%[CC]), %%ymm4, %%ymm4") // ymm4 = x[0]
438 __ASM_EMIT("vmovaps 0x40(%[CC]), %%ymm3") // ymm3 = d
439 __ASM_EMIT("sub $16, %[n]")
440 __ASM_EMIT("jb 2f")
441
442 // 16x blocks
443 __ASM_EMIT("1:")
444 __ASM_EMIT("vmulps %%ymm7, %%ymm4, %%ymm0") // ymm0 = k*x[0]
445 __ASM_EMIT("vmulps %%ymm7, %%ymm5, %%ymm1") // ymm1 = k*x[1]
446 __ASM_EMIT("vaddps %%ymm3, %%ymm4, %%ymm4") // ymm4 = x[0]' = x[0] + d
447 __ASM_EMIT("vaddps %%ymm6, %%ymm0, %%ymm0") // ymm0 = k*x[0]+y0
448 __ASM_EMIT("vaddps %%ymm3, %%ymm5, %%ymm5") // ymm5 = x[1]' = x[1] + d
449 __ASM_EMIT("vaddps %%ymm6, %%ymm1, %%ymm1") // ymm1 = k*x[1]+y0
450 __ASM_EMIT("vmulps 0x00(%[dst], %[off]), %%ymm0, %%ymm0") // ymm0 = s0[0]*(k*x[0]+y0)
451 __ASM_EMIT("vmulps 0x20(%[dst], %[off]), %%ymm1, %%ymm1") // ymm1 = s0[1]*(k*x[1]+y0)
452 __ASM_EMIT("vaddps 0x00(%[src], %[off]), %%ymm0, %%ymm0") // ymm0 = s0[0]*(k*x[0]+y0) + d0[0]
453 __ASM_EMIT("vaddps 0x20(%[src], %[off]), %%ymm1, %%ymm1") // ymm1 = s0[1]*(k*x[1]+y0) + d0[1]
454 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
455 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
456 __ASM_EMIT("add $0x40, %[off]")
457 __ASM_EMIT("sub $16, %[n]")
458 __ASM_EMIT("jae 1b")
459
460 // 8x block
461 __ASM_EMIT("2:")
462 __ASM_EMIT("add $8, %[n]")
463 __ASM_EMIT("jl 4f")
464 __ASM_EMIT("vextractf128 $1, %%ymm4, %%xmm3") // xmm3 = x[1]
465 __ASM_EMIT("vmulps %%xmm7, %%xmm4, %%xmm0") // xmm0 = k*x[0]
466 __ASM_EMIT("vmulps %%xmm7, %%xmm3, %%xmm1") // xmm1 = k*x[1]
467 __ASM_EMIT("vmovaps %%ymm5, %%ymm4") // ymm4 = x[0]
468 __ASM_EMIT("vaddps %%xmm6, %%xmm0, %%xmm0") // xmm0 = k*x[0]+y0
469 __ASM_EMIT("vaddps %%xmm6, %%xmm1, %%xmm1") // xmm1 = k*x[1]+y0
470 __ASM_EMIT("vmulps 0x00(%[dst], %[off]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0)
471 __ASM_EMIT("vmulps 0x10(%[dst], %[off]), %%xmm1, %%xmm1") // xmm1 = s0[1]*(k*x[1]+y0)
472 __ASM_EMIT("vaddps 0x00(%[src], %[off]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0) + d0[0]
473 __ASM_EMIT("vaddps 0x10(%[src], %[off]), %%xmm1, %%xmm1") // xmm1 = s0[1]*(k*x[1]+y0) + d0[1]
474 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
475 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst], %[off])")
476 __ASM_EMIT("add $0x20, %[off]")
477 __ASM_EMIT("sub $8, %[n]")
478
479 // 4x block
480 __ASM_EMIT("4:")
481 __ASM_EMIT("add $4, %[n]")
482 __ASM_EMIT("jl 6f")
483 __ASM_EMIT("vmulps %%xmm7, %%xmm4, %%xmm0") // xmm0 = k*x[0]
484 __ASM_EMIT("vextractf128 $1, %%ymm4, %%xmm4") // xmm4 = x[0]
485 __ASM_EMIT("vaddps %%xmm6, %%xmm0, %%xmm0") // xmm0 = k*x[0]+y0
486 __ASM_EMIT("vmulps 0x00(%[dst], %[off]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0)
487 __ASM_EMIT("vaddps 0x00(%[src], %[off]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0) + d0[0]
488 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
489 __ASM_EMIT("add $0x10, %[off]")
490 __ASM_EMIT("sub $4, %[n]")
491
492 // 1x blocks
493 __ASM_EMIT("6:")
494 __ASM_EMIT("add $3, %[n]")
495 __ASM_EMIT("jl 8f")
496 __ASM_EMIT("7:")
497 __ASM_EMIT("vmulss %%xmm7, %%xmm4, %%xmm0") // xmm0 = k*x[0]
498 __ASM_EMIT("vshufps $0x39, %%xmm4, %%xmm4, %%xmm4") // xmm4 = x[0]'
499 __ASM_EMIT("vaddss %%xmm6, %%xmm0, %%xmm0") // xmm0 = k*x[0]+y0
500 __ASM_EMIT("vmulss 0x00(%[dst], %[off]), %%xmm0, %%xmm0") // ymm0 = s0[0]*(k*x[0]+y0)
501 __ASM_EMIT("vaddss 0x00(%[src], %[off]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0) + d0[0]
502 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
503 __ASM_EMIT("add $0x04, %[off]")
504 __ASM_EMIT("dec %[n]")
505 __ASM_EMIT("jge 7b")
506
507 __ASM_EMIT("8:")
508 : [n] "+r" (n), [off] "=&r" (off)
509 : [dst] "r" (dst), [src] "r" (src),
510 [CC] "r" (lin_inter_const),
511 [dx] "m" (dx),
512 [dy] "m" (dy),
513 [xx] "m" (xx),
514 [y0] "m" (y0)
515 : "cc", "memory",
516 "xmm0", "xmm1", "xmm2", "xmm3",
517 "xmm4", "xmm5", "xmm6", "xmm7"
518 );
519 }
520
521 void lin_inter_fmadd3(float *dst, const float *src1, const float *src2, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
522 {
523 IF_ARCH_X86(
524 float dx = x1 - x0;
525 float dy = y1 - y0;
526 float xx = x - x0;
527 )
528
529 ARCH_X86_ASM(
530 __ASM_EMIT("vbroadcastss %[xx], %%ymm4") // ymm4 = xx
531 __ASM_EMIT("vbroadcastss %[dy], %%ymm7") // ymm7 = dy
532 __ASM_EMIT("vbroadcastss %[dx], %%ymm0") // ymm0 = dx
533 __ASM_EMIT("vaddps 0x20(%[CC]), %%ymm4, %%ymm5") // ymm5 = x[1]
534 __ASM_EMIT("vbroadcastss %[y0], %%ymm6") // ymm6 = y0
535 __ASM_EMIT("vdivps %%ymm0, %%ymm7, %%ymm7") // ymm7 = k = dy / dx
536 __ASM_EMIT("vaddps 0x00(%[CC]), %%ymm4, %%ymm4") // ymm4 = x[0]
537 __ASM_EMIT("vmovaps 0x40(%[CC]), %%ymm3") // ymm3 = d
538 __ASM_EMIT("sub $16, %[n]")
539 __ASM_EMIT("jb 2f")
540
541 // 16x blocks
542 __ASM_EMIT("1:")
543 __ASM_EMIT("vmulps %%ymm7, %%ymm4, %%ymm0") // ymm0 = k*x[0]
544 __ASM_EMIT("vmulps %%ymm7, %%ymm5, %%ymm1") // ymm1 = k*x[1]
545 __ASM_EMIT("vaddps %%ymm3, %%ymm4, %%ymm4") // ymm4 = x[0]' = x[0] + d
546 __ASM_EMIT("vaddps %%ymm6, %%ymm0, %%ymm0") // ymm0 = k*x[0]+y0
547 __ASM_EMIT("vaddps %%ymm3, %%ymm5, %%ymm5") // ymm5 = x[1]' = x[1] + d
548 __ASM_EMIT("vaddps %%ymm6, %%ymm1, %%ymm1") // ymm1 = k*x[1]+y0
549 __ASM_EMIT("vmulps 0x00(%[src1]), %%ymm0, %%ymm0") // ymm0 = s0[0]*(k*x[0]+y0)
550 __ASM_EMIT("vmulps 0x20(%[src1]), %%ymm1, %%ymm1") // ymm1 = s0[1]*(k*x[1]+y0)
551 __ASM_EMIT("vaddps 0x00(%[src2]), %%ymm0, %%ymm0") // ymm0 = s0[0]*(k*x[0]+y0) + d0[0]
552 __ASM_EMIT("vaddps 0x20(%[src2]), %%ymm1, %%ymm1") // ymm1 = s0[1]*(k*x[1]+y0) + d0[1]
553 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst])")
554 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst])")
555 __ASM_EMIT("add $0x40, %[src1]")
556 __ASM_EMIT("add $0x40, %[src2]")
557 __ASM_EMIT("add $0x40, %[dst]")
558 __ASM_EMIT("sub $16, %[n]")
559 __ASM_EMIT("jae 1b")
560
561 // 8x block
562 __ASM_EMIT("2:")
563 __ASM_EMIT("add $8, %[n]")
564 __ASM_EMIT("jl 4f")
565 __ASM_EMIT("vextractf128 $1, %%ymm4, %%xmm3") // xmm3 = x[1]
566 __ASM_EMIT("vmulps %%xmm7, %%xmm4, %%xmm0") // xmm0 = k*x[0]
567 __ASM_EMIT("vmulps %%xmm7, %%xmm3, %%xmm1") // xmm1 = k*x[1]
568 __ASM_EMIT("vmovaps %%ymm5, %%ymm4") // ymm4 = x[0]
569 __ASM_EMIT("vaddps %%xmm6, %%xmm0, %%xmm0") // xmm0 = k*x[0]+y0
570 __ASM_EMIT("vaddps %%xmm6, %%xmm1, %%xmm1") // xmm1 = k*x[1]+y0
571 __ASM_EMIT("vmulps 0x00(%[src1]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0)
572 __ASM_EMIT("vmulps 0x10(%[src1]), %%xmm1, %%xmm1") // xmm1 = s0[1]*(k*x[1]+y0)
573 __ASM_EMIT("vaddps 0x00(%[src2]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0) + d0[0]
574 __ASM_EMIT("vaddps 0x10(%[src2]), %%xmm1, %%xmm1") // xmm1 = s0[1]*(k*x[1]+y0) + d0[1]
575 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
576 __ASM_EMIT("vmovups %%xmm1, 0x10(%[dst])")
577 __ASM_EMIT("add $0x20, %[src1]")
578 __ASM_EMIT("add $0x20, %[src2]")
579 __ASM_EMIT("add $0x20, %[dst]")
580 __ASM_EMIT("sub $8, %[n]")
581
582 // 4x block
583 __ASM_EMIT("4:")
584 __ASM_EMIT("add $4, %[n]")
585 __ASM_EMIT("jl 6f")
586 __ASM_EMIT("vmulps %%xmm7, %%xmm4, %%xmm0") // xmm0 = k*x[0]
587 __ASM_EMIT("vextractf128 $1, %%ymm4, %%xmm4") // xmm4 = x[0]
588 __ASM_EMIT("vaddps %%xmm6, %%xmm0, %%xmm0") // xmm0 = k*x[0]+y0
589 __ASM_EMIT("vmulps 0x00(%[src1]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0)
590 __ASM_EMIT("vaddps 0x00(%[src2]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0) + d0[0]
591 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst])")
592 __ASM_EMIT("add $0x10, %[src1]")
593 __ASM_EMIT("add $0x10, %[src2]")
594 __ASM_EMIT("add $0x10, %[dst]")
595 __ASM_EMIT("sub $4, %[n]")
596
597 // 1x blocks
598 __ASM_EMIT("6:")
599 __ASM_EMIT("add $3, %[n]")
600 __ASM_EMIT("jl 8f")
601 __ASM_EMIT("7:")
602 __ASM_EMIT("vmulss %%xmm7, %%xmm4, %%xmm0") // xmm0 = k*x[0]
603 __ASM_EMIT("vshufps $0x39, %%xmm4, %%xmm4, %%xmm4") // xmm4 = x[0]'
604 __ASM_EMIT("vaddss %%xmm6, %%xmm0, %%xmm0") // xmm0 = k*x[0]+y0
605 __ASM_EMIT("vmulss 0x00(%[src1]), %%xmm0, %%xmm0") // ymm0 = s0[0]*(k*x[0]+y0)
606 __ASM_EMIT("vaddss 0x00(%[src2]), %%xmm0, %%xmm0") // xmm0 = s0[0]*(k*x[0]+y0) + d0[0]
607 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst])")
608 __ASM_EMIT("add $0x04, %[src1]")
609 __ASM_EMIT("add $0x04, %[src2]")
610 __ASM_EMIT("add $0x04, %[dst]")
611 __ASM_EMIT("dec %[n]")
612 __ASM_EMIT("jge 7b")
613
614 __ASM_EMIT("8:")
615 : [n] "+r" (n), [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2)
616 : [CC] "r" (lin_inter_const),
617 [dx] "m" (dx),
618 [dy] "m" (dy),
619 [xx] "m" (xx),
620 [y0] "m" (y0)
621 : "cc", "memory",
622 "xmm0", "xmm1", "xmm2", "xmm3",
623 "xmm4", "xmm5", "xmm6", "xmm7"
624 );
625 }
626 }
627 }
628
629 #endif /* PRIVATE_DSP_ARCH_X86_AVX_INTERPOLATION_LINEAR_H_ */