Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/sse/pmath/lerp.h

raw
1 /*
2 * Copyright (C) 2026 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2026 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 1 июл. 2026 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_SSE_PMATH_LERP_H_
23 #define PRIVATE_DSP_ARCH_X86_SSE_PMATH_LERP_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_SSE_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_SSE_IMPL */
28
29 namespace lsp
30 {
31 namespace sse
32 {
33 void lerp_vvv(float *dst, const float *a, const float *b, const float *k, size_t count)
34 {
35 IF_ARCH_X86( size_t off );
36 ARCH_X86_ASM(
37 __ASM_EMIT("xor %[off], %[off]")
38 __ASM_EMIT32("subl $16, %[count]")
39 __ASM_EMIT64("sub $16, %[count]")
40 __ASM_EMIT("jb 2f")
41 // 16x blocks
42 __ASM_EMIT(".p2align 4")
43 __ASM_EMIT("1:")
44 __ASM_EMIT("movups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
45 __ASM_EMIT("movups 0x10(%[a], %[off]), %%xmm1")
46 __ASM_EMIT("movups 0x00(%[b], %[off]), %%xmm2") // xmm2 = b
47 __ASM_EMIT("movups 0x10(%[b], %[off]), %%xmm3")
48 __ASM_EMIT("movups 0x00(%[k], %[off]), %%xmm4") // xmm4 = k
49 __ASM_EMIT("movups 0x10(%[k], %[off]), %%xmm5")
50 __ASM_EMIT("subps %%xmm0, %%xmm2") // xmm2 = b-a
51 __ASM_EMIT("subps %%xmm1, %%xmm3")
52 __ASM_EMIT("mulps %%xmm4, %%xmm2") // xmm2 = (b-a)*k
53 __ASM_EMIT("mulps %%xmm5, %%xmm3")
54 __ASM_EMIT("addps %%xmm2, %%xmm0") // xmm0 = a + (b-a)*k
55 __ASM_EMIT("addps %%xmm3, %%xmm1")
56 __ASM_EMIT("movups 0x20(%[a], %[off]), %%xmm6") // xmm6 = a
57 __ASM_EMIT("movups 0x30(%[a], %[off]), %%xmm7")
58 __ASM_EMIT("movups 0x20(%[b], %[off]), %%xmm2") // xmm2 = b
59 __ASM_EMIT("movups 0x30(%[b], %[off]), %%xmm3")
60 __ASM_EMIT("movups 0x20(%[k], %[off]), %%xmm4") // xmm4 = k
61 __ASM_EMIT("movups 0x30(%[k], %[off]), %%xmm5")
62 __ASM_EMIT("subps %%xmm6, %%xmm2") // xmm2 = b-a
63 __ASM_EMIT("subps %%xmm7, %%xmm3")
64 __ASM_EMIT("mulps %%xmm4, %%xmm2") // xmm2 = (b-a)*k
65 __ASM_EMIT("mulps %%xmm5, %%xmm3")
66 __ASM_EMIT("addps %%xmm2, %%xmm6") // xmm6 = a + (b-a)*k
67 __ASM_EMIT("addps %%xmm3, %%xmm7")
68 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
69 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
70 __ASM_EMIT("movups %%xmm6, 0x20(%[dst], %[off])")
71 __ASM_EMIT("movups %%xmm7, 0x30(%[dst], %[off])")
72 __ASM_EMIT("add $0x40, %[off]")
73 __ASM_EMIT32("subl $16, %[count]")
74 __ASM_EMIT64("sub $16, %[count]")
75 __ASM_EMIT("jae 1b")
76 // 8x blocks
77 __ASM_EMIT("2:")
78 __ASM_EMIT32("addl $8, %[count]")
79 __ASM_EMIT64("add $8, %[count]")
80 __ASM_EMIT("jl 4f")
81 __ASM_EMIT("movups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
82 __ASM_EMIT("movups 0x10(%[a], %[off]), %%xmm1")
83 __ASM_EMIT("movups 0x00(%[b], %[off]), %%xmm2") // xmm2 = b
84 __ASM_EMIT("movups 0x10(%[b], %[off]), %%xmm3")
85 __ASM_EMIT("movups 0x00(%[k], %[off]), %%xmm4") // xmm4 = k
86 __ASM_EMIT("movups 0x10(%[k], %[off]), %%xmm5")
87 __ASM_EMIT("subps %%xmm0, %%xmm2") // xmm2 = b-a
88 __ASM_EMIT("subps %%xmm1, %%xmm3")
89 __ASM_EMIT("mulps %%xmm4, %%xmm2") // xmm2 = (b-a)*k
90 __ASM_EMIT("mulps %%xmm5, %%xmm3")
91 __ASM_EMIT("addps %%xmm2, %%xmm0") // xmm0 = a + (b-a)*k
92 __ASM_EMIT("addps %%xmm3, %%xmm1")
93 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
94 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
95 __ASM_EMIT("add $0x20, %[off]")
96 __ASM_EMIT32("subl $8, %[count]")
97 __ASM_EMIT64("sub $8, %[count]")
98 // 4x block
99 __ASM_EMIT("4:")
100 __ASM_EMIT32("addl $4, %[count]")
101 __ASM_EMIT64("add $4, %[count]")
102 __ASM_EMIT("jl 6f")
103 __ASM_EMIT("movups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
104 __ASM_EMIT("movups 0x00(%[b], %[off]), %%xmm2") // xmm2 = b
105 __ASM_EMIT("movups 0x00(%[k], %[off]), %%xmm4") // xmm4 = k
106 __ASM_EMIT("subps %%xmm0, %%xmm2") // xmm2 = b-a
107 __ASM_EMIT("mulps %%xmm4, %%xmm2") // xmm2 = (b-a)*k
108 __ASM_EMIT("addps %%xmm2, %%xmm0") // xmm0 = a + (b-a)*k
109 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
110 __ASM_EMIT("add $0x10, %[off]")
111 __ASM_EMIT32("subl $4, %[count]")
112 __ASM_EMIT64("sub $4, %[count]")
113 // 1x blocks
114 __ASM_EMIT("6:")
115 __ASM_EMIT32("addl $3, %[count]")
116 __ASM_EMIT64("add $3, %[count]")
117 __ASM_EMIT("jl 8f")
118 __ASM_EMIT("7:")
119 __ASM_EMIT("movss 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
120 __ASM_EMIT("movss 0x00(%[b], %[off]), %%xmm2") // xmm2 = b
121 __ASM_EMIT("movss 0x00(%[k], %[off]), %%xmm4") // xmm4 = k
122 __ASM_EMIT("subss %%xmm0, %%xmm2") // xmm2 = b-a
123 __ASM_EMIT("mulss %%xmm4, %%xmm2") // xmm2 = (b-a)*k
124 __ASM_EMIT("addss %%xmm2, %%xmm0") // xmm0 = a + (b-a)*k
125 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
126 __ASM_EMIT("add $0x04, %[off]")
127 __ASM_EMIT32("decl %[count]")
128 __ASM_EMIT64("dec %[count]")
129 __ASM_EMIT("jge 7b")
130 __ASM_EMIT("8:")
131
132 : [off] "=&r" (off), [count] __ASM_ARG_RW(count)
133 : [dst] "r" (dst),
134 [a] "r" (a),
135 [b] "r" (b),
136 [k] "r" (k)
137 : "cc", "memory",
138 "xmm0", "xmm1", "xmm2", "xmm3",
139 "xmm4", "xmm5", "xmm6", "xmm7"
140 );
141 }
142
143 void lerp_vvk(float *dst, const float *a, const float *b, float k, size_t count)
144 {
145 IF_ARCH_X86( size_t off );
146 ARCH_X86_ASM(
147 __ASM_EMIT("xor %[off], %[off]")
148 __ASM_EMIT("movss %[k], %%xmm4") // xmm4 = k
149 __ASM_EMIT("sub $16, %[count]")
150 __ASM_EMIT("shufps $0x00, %%xmm4, %%xmm4") // xmm4 = k
151 __ASM_EMIT("jb 2f")
152 // 16x blocks
153 __ASM_EMIT(".p2align 4")
154 __ASM_EMIT("1:")
155 __ASM_EMIT("movups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
156 __ASM_EMIT("movups 0x10(%[a], %[off]), %%xmm1")
157 __ASM_EMIT("movups 0x00(%[b], %[off]), %%xmm2") // xmm2 = b
158 __ASM_EMIT("movups 0x10(%[b], %[off]), %%xmm3")
159 __ASM_EMIT("subps %%xmm0, %%xmm2") // xmm2 = b-a
160 __ASM_EMIT("subps %%xmm1, %%xmm3")
161 __ASM_EMIT("mulps %%xmm4, %%xmm2") // xmm2 = (b-a)*k
162 __ASM_EMIT("mulps %%xmm4, %%xmm3")
163 __ASM_EMIT("addps %%xmm2, %%xmm0") // xmm0 = a + (b-a)*k
164 __ASM_EMIT("addps %%xmm3, %%xmm1")
165 __ASM_EMIT("movups 0x20(%[a], %[off]), %%xmm6") // xmm6 = a
166 __ASM_EMIT("movups 0x30(%[a], %[off]), %%xmm7")
167 __ASM_EMIT("movups 0x20(%[b], %[off]), %%xmm2") // xmm2 = b
168 __ASM_EMIT("movups 0x30(%[b], %[off]), %%xmm3")
169 __ASM_EMIT("subps %%xmm6, %%xmm2") // xmm2 = b-a
170 __ASM_EMIT("subps %%xmm7, %%xmm3")
171 __ASM_EMIT("mulps %%xmm4, %%xmm2") // xmm2 = (b-a)*k
172 __ASM_EMIT("mulps %%xmm4, %%xmm3")
173 __ASM_EMIT("addps %%xmm2, %%xmm6") // xmm6 = a + (b-a)*k
174 __ASM_EMIT("addps %%xmm3, %%xmm7")
175 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
176 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
177 __ASM_EMIT("movups %%xmm6, 0x20(%[dst], %[off])")
178 __ASM_EMIT("movups %%xmm7, 0x30(%[dst], %[off])")
179 __ASM_EMIT("add $0x40, %[off]")
180 __ASM_EMIT("sub $16, %[count]")
181 __ASM_EMIT("jae 1b")
182 // 8x blocks
183 __ASM_EMIT("2:")
184 __ASM_EMIT("add $8, %[count]")
185 __ASM_EMIT("jl 4f")
186 __ASM_EMIT("movups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
187 __ASM_EMIT("movups 0x10(%[a], %[off]), %%xmm1")
188 __ASM_EMIT("movups 0x00(%[b], %[off]), %%xmm2") // xmm2 = b
189 __ASM_EMIT("movups 0x10(%[b], %[off]), %%xmm3")
190 __ASM_EMIT("subps %%xmm0, %%xmm2") // xmm2 = b-a
191 __ASM_EMIT("subps %%xmm1, %%xmm3")
192 __ASM_EMIT("mulps %%xmm4, %%xmm2") // xmm2 = (b-a)*k
193 __ASM_EMIT("mulps %%xmm4, %%xmm3")
194 __ASM_EMIT("addps %%xmm2, %%xmm0") // xmm0 = a + (b-a)*k
195 __ASM_EMIT("addps %%xmm3, %%xmm1")
196 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
197 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
198 __ASM_EMIT("add $0x20, %[off]")
199 __ASM_EMIT("sub $8, %[count]")
200 // 4x block
201 __ASM_EMIT("4:")
202 __ASM_EMIT("add $4, %[count]")
203 __ASM_EMIT("jl 6f")
204 __ASM_EMIT("movups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
205 __ASM_EMIT("movups 0x00(%[b], %[off]), %%xmm2") // xmm2 = b
206 __ASM_EMIT("subps %%xmm0, %%xmm2") // xmm2 = b-a
207 __ASM_EMIT("mulps %%xmm4, %%xmm2") // xmm2 = (b-a)*k
208 __ASM_EMIT("addps %%xmm2, %%xmm0") // xmm0 = a + (b-a)*k
209 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
210 __ASM_EMIT("add $0x10, %[off]")
211 __ASM_EMIT("sub $4, %[count]")
212 // 1x blocks
213 __ASM_EMIT("6:")
214 __ASM_EMIT("add $3, %[count]")
215 __ASM_EMIT("jl 8f")
216 __ASM_EMIT("7:")
217 __ASM_EMIT("movss 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
218 __ASM_EMIT("movss 0x00(%[b], %[off]), %%xmm2") // xmm2 = b
219 __ASM_EMIT("subss %%xmm0, %%xmm2") // xmm2 = b-a
220 __ASM_EMIT("mulss %%xmm4, %%xmm2") // xmm2 = (b-a)*k
221 __ASM_EMIT("addss %%xmm2, %%xmm0") // xmm0 = a + (b-a)*k
222 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
223 __ASM_EMIT("add $0x04, %[off]")
224 __ASM_EMIT("dec %[count]")
225 __ASM_EMIT("jge 7b")
226 __ASM_EMIT("8:")
227
228 : [off] "=&r" (off), [count] "+r" (count)
229 : [dst] "r" (dst),
230 [a] "r" (a),
231 [b] "r" (b),
232 [k] "o" (k)
233 : "cc", "memory",
234 "xmm0", "xmm1", "xmm2", "xmm3",
235 "xmm4", "xmm6", "xmm7"
236 );
237 }
238
239 void lerp_vkv(float *dst, const float *a, float b, const float *k, size_t count)
240 {
241 IF_ARCH_X86( size_t off );
242 ARCH_X86_ASM(
243 __ASM_EMIT("xor %[off], %[off]")
244 __ASM_EMIT("movss %[b], %%xmm6") // xmm6 = b
245 __ASM_EMIT("sub $8, %[count]")
246 __ASM_EMIT("shufps $0x00, %%xmm6, %%xmm6") // xmm6 = b
247 __ASM_EMIT("jb 2f")
248 // 8x blocks
249 __ASM_EMIT(".p2align 4")
250 __ASM_EMIT("1:")
251 __ASM_EMIT("movups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
252 __ASM_EMIT("movups 0x10(%[a], %[off]), %%xmm1")
253 __ASM_EMIT("movaps %%xmm6, %%xmm2") // xmm2 = b
254 __ASM_EMIT("movaps %%xmm6, %%xmm3")
255 __ASM_EMIT("movups 0x00(%[k], %[off]), %%xmm4") // xmm4 = k
256 __ASM_EMIT("movups 0x10(%[k], %[off]), %%xmm5")
257 __ASM_EMIT("subps %%xmm0, %%xmm2") // xmm2 = b-a
258 __ASM_EMIT("subps %%xmm1, %%xmm3")
259 __ASM_EMIT("mulps %%xmm4, %%xmm2") // xmm2 = (b-a)*k
260 __ASM_EMIT("mulps %%xmm5, %%xmm3")
261 __ASM_EMIT("addps %%xmm2, %%xmm0") // xmm0 = a + (b-a)*k
262 __ASM_EMIT("addps %%xmm3, %%xmm1")
263 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
264 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
265 __ASM_EMIT("add $0x20, %[off]")
266 __ASM_EMIT("sub $8, %[count]")
267 __ASM_EMIT("jae 1b")
268 // 4x block
269 __ASM_EMIT("2:")
270 __ASM_EMIT("add $4, %[count]")
271 __ASM_EMIT("jl 4f")
272 __ASM_EMIT("movups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
273 __ASM_EMIT("movaps %%xmm6, %%xmm2") // xmm2 = b
274 __ASM_EMIT("movups 0x00(%[k], %[off]), %%xmm4") // xmm4 = k
275 __ASM_EMIT("subps %%xmm0, %%xmm2") // xmm2 = b-a
276 __ASM_EMIT("mulps %%xmm4, %%xmm2") // xmm2 = (b-a)*k
277 __ASM_EMIT("addps %%xmm2, %%xmm0") // xmm0 = a + (b-a)*k
278 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
279 __ASM_EMIT("add $0x10, %[off]")
280 __ASM_EMIT("sub $4, %[count]")
281 // 1x blocks
282 __ASM_EMIT("4:")
283 __ASM_EMIT("add $3, %[count]")
284 __ASM_EMIT("jl 6f")
285 __ASM_EMIT("5:")
286 __ASM_EMIT("movss 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
287 __ASM_EMIT("movaps %%xmm6, %%xmm2") // xmm2 = b
288 __ASM_EMIT("movss 0x00(%[k], %[off]), %%xmm4") // xmm4 = k
289 __ASM_EMIT("subss %%xmm0, %%xmm2") // xmm2 = b-a
290 __ASM_EMIT("mulss %%xmm4, %%xmm2") // xmm2 = (b-a)*k
291 __ASM_EMIT("addss %%xmm2, %%xmm0") // xmm0 = a + (b-a)*k
292 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
293 __ASM_EMIT("add $0x04, %[off]")
294 __ASM_EMIT("dec %[count]")
295 __ASM_EMIT("jge 5b")
296 __ASM_EMIT("6:")
297
298 : [off] "=&r" (off), [count] "+r" (count)
299 : [dst] "r" (dst),
300 [a] "r" (a),
301 [b] "o" (b),
302 [k] "r" (k)
303 : "cc", "memory",
304 "xmm0", "xmm1", "xmm2", "xmm3",
305 "xmm4", "xmm5", "xmm6"
306 );
307 }
308
309 void lerp_vkk(float *dst, const float *a, float b, float k, size_t count)
310 {
311 IF_ARCH_X86( size_t off );
312 ARCH_X86_ASM(
313 __ASM_EMIT("xor %[off], %[off]")
314 __ASM_EMIT("movss %[b], %%xmm6") // xmm6 = b
315 __ASM_EMIT("movss %[k], %%xmm7") // xmm7 = k
316 __ASM_EMIT("sub $16, %[count]")
317 __ASM_EMIT("shufps $0x00, %%xmm6, %%xmm6") // xmm6 = b
318 __ASM_EMIT("shufps $0x00, %%xmm7, %%xmm7") // xmm7 = k
319 __ASM_EMIT("jb 2f")
320 // 16x blocks
321 __ASM_EMIT(".p2align 4")
322 __ASM_EMIT("1:")
323 __ASM_EMIT("movups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
324 __ASM_EMIT("movups 0x10(%[a], %[off]), %%xmm1")
325 __ASM_EMIT("movaps %%xmm6, %%xmm2") // xmm2 = b
326 __ASM_EMIT("movaps %%xmm6, %%xmm3")
327 __ASM_EMIT("subps %%xmm0, %%xmm2") // xmm2 = b-a
328 __ASM_EMIT("subps %%xmm1, %%xmm3")
329 __ASM_EMIT("mulps %%xmm7, %%xmm2") // xmm2 = (b-a)*k
330 __ASM_EMIT("mulps %%xmm7, %%xmm3")
331 __ASM_EMIT("addps %%xmm2, %%xmm0") // xmm0 = a + (b-a)*k
332 __ASM_EMIT("addps %%xmm3, %%xmm1")
333 __ASM_EMIT("movups 0x20(%[a], %[off]), %%xmm4") // xmm4 = a
334 __ASM_EMIT("movups 0x30(%[a], %[off]), %%xmm5")
335 __ASM_EMIT("movaps %%xmm6, %%xmm2") // xmm2 = b
336 __ASM_EMIT("movaps %%xmm6, %%xmm3")
337 __ASM_EMIT("subps %%xmm4, %%xmm2") // xmm2 = b-a
338 __ASM_EMIT("subps %%xmm5, %%xmm3")
339 __ASM_EMIT("mulps %%xmm7, %%xmm2") // xmm2 = (b-a)*k
340 __ASM_EMIT("mulps %%xmm7, %%xmm3")
341 __ASM_EMIT("addps %%xmm2, %%xmm4") // xmm4 = a + (b-a)*k
342 __ASM_EMIT("addps %%xmm3, %%xmm5")
343 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
344 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
345 __ASM_EMIT("movups %%xmm4, 0x20(%[dst], %[off])")
346 __ASM_EMIT("movups %%xmm5, 0x30(%[dst], %[off])")
347 __ASM_EMIT("add $0x40, %[off]")
348 __ASM_EMIT("sub $16, %[count]")
349 __ASM_EMIT("jae 1b")
350 // 8x blocks
351 __ASM_EMIT("2:")
352 __ASM_EMIT("add $8, %[count]")
353 __ASM_EMIT("jl 4f")
354 __ASM_EMIT("movups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
355 __ASM_EMIT("movups 0x10(%[a], %[off]), %%xmm1")
356 __ASM_EMIT("movaps %%xmm6, %%xmm2") // xmm2 = b
357 __ASM_EMIT("movaps %%xmm6, %%xmm3")
358 __ASM_EMIT("subps %%xmm0, %%xmm2") // xmm2 = b-a
359 __ASM_EMIT("subps %%xmm1, %%xmm3")
360 __ASM_EMIT("mulps %%xmm7, %%xmm2") // xmm2 = (b-a)*k
361 __ASM_EMIT("mulps %%xmm7, %%xmm3")
362 __ASM_EMIT("addps %%xmm2, %%xmm0") // xmm0 = a + (b-a)*k
363 __ASM_EMIT("addps %%xmm3, %%xmm1")
364 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
365 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
366 __ASM_EMIT("add $0x20, %[off]")
367 __ASM_EMIT("sub $8, %[count]")
368 // 4x block
369 __ASM_EMIT("4:")
370 __ASM_EMIT("add $4, %[count]")
371 __ASM_EMIT("jl 6f")
372 __ASM_EMIT("movups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
373 __ASM_EMIT("movaps %%xmm6, %%xmm2") // xmm2 = b
374 __ASM_EMIT("subps %%xmm0, %%xmm2") // xmm2 = b-a
375 __ASM_EMIT("mulps %%xmm7, %%xmm2") // xmm2 = (b-a)*k
376 __ASM_EMIT("addps %%xmm2, %%xmm0") // xmm0 = a + (b-a)*k
377 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
378 __ASM_EMIT("add $0x10, %[off]")
379 __ASM_EMIT("sub $4, %[count]")
380 // 1x blocks
381 __ASM_EMIT("6:")
382 __ASM_EMIT("add $3, %[count]")
383 __ASM_EMIT("jl 8f")
384 __ASM_EMIT("7:")
385 __ASM_EMIT("movss 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
386 __ASM_EMIT("movaps %%xmm6, %%xmm2") // xmm2 = b
387 __ASM_EMIT("subss %%xmm0, %%xmm2") // xmm2 = b-a
388 __ASM_EMIT("mulss %%xmm7, %%xmm2") // xmm2 = (b-a)*k
389 __ASM_EMIT("addss %%xmm2, %%xmm0") // xmm0 = a + (b-a)*k
390 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
391 __ASM_EMIT("add $0x04, %[off]")
392 __ASM_EMIT("dec %[count]")
393 __ASM_EMIT("jge 7b")
394 __ASM_EMIT("8:")
395
396 : [off] "=&r" (off), [count] "+r" (count)
397 : [dst] "r" (dst),
398 [a] "r" (a),
399 [b] "o" (b),
400 [k] "o" (k)
401 : "cc", "memory",
402 "xmm0", "xmm1", "xmm2", "xmm3",
403 "xmm4", "xmm5", "xmm6", "xmm7"
404 );
405 }
406
407 void lerp_kvv(float *dst, float a, const float *b, const float *k, size_t count)
408 {
409 IF_ARCH_X86( size_t off );
410 ARCH_X86_ASM(
411 __ASM_EMIT("xor %[off], %[off]")
412 __ASM_EMIT("movss %[a], %%xmm6") // xmm6 = a
413 __ASM_EMIT("sub $16, %[count]")
414 __ASM_EMIT("shufps $0x00, %%xmm6, %%xmm6") // xmm6 = a
415 __ASM_EMIT("jb 2f")
416 // 16x blocks
417 __ASM_EMIT(".p2align 4")
418 __ASM_EMIT("1:")
419 __ASM_EMIT("movups 0x00(%[b], %[off]), %%xmm0") // xmm0 = b
420 __ASM_EMIT("movups 0x10(%[b], %[off]), %%xmm1")
421 __ASM_EMIT("movups 0x00(%[k], %[off]), %%xmm4") // xmm4 = k
422 __ASM_EMIT("movups 0x10(%[k], %[off]), %%xmm5")
423 __ASM_EMIT("subps %%xmm6, %%xmm0") // xmm0 = b-a
424 __ASM_EMIT("subps %%xmm6, %%xmm1")
425 __ASM_EMIT("mulps %%xmm4, %%xmm0") // xmm0 = (b-a)*k
426 __ASM_EMIT("mulps %%xmm5, %%xmm1")
427 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = a + (b-a)*k
428 __ASM_EMIT("addps %%xmm6, %%xmm1")
429 __ASM_EMIT("movups 0x20(%[b], %[off]), %%xmm2") // xmm2 = b
430 __ASM_EMIT("movups 0x30(%[b], %[off]), %%xmm3")
431 __ASM_EMIT("movups 0x20(%[k], %[off]), %%xmm4") // xmm4 = k
432 __ASM_EMIT("movups 0x30(%[k], %[off]), %%xmm5")
433 __ASM_EMIT("subps %%xmm6, %%xmm2") // xmm2 = b-a
434 __ASM_EMIT("subps %%xmm6, %%xmm3")
435 __ASM_EMIT("mulps %%xmm4, %%xmm2") // xmm2 = (b-a)*k
436 __ASM_EMIT("mulps %%xmm5, %%xmm3")
437 __ASM_EMIT("addps %%xmm6, %%xmm2") // xmm2 = a + (b-a)*k
438 __ASM_EMIT("addps %%xmm6, %%xmm3")
439 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
440 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
441 __ASM_EMIT("movups %%xmm2, 0x20(%[dst], %[off])")
442 __ASM_EMIT("movups %%xmm3, 0x30(%[dst], %[off])")
443 __ASM_EMIT("add $0x40, %[off]")
444 __ASM_EMIT("sub $16, %[count]")
445 __ASM_EMIT("jae 1b")
446 // 8x block
447 __ASM_EMIT("2:")
448 __ASM_EMIT("add $8, %[count]")
449 __ASM_EMIT("jl 4f")
450 __ASM_EMIT("movups 0x00(%[b], %[off]), %%xmm0") // xmm0 = b
451 __ASM_EMIT("movups 0x10(%[b], %[off]), %%xmm1")
452 __ASM_EMIT("movups 0x00(%[k], %[off]), %%xmm4") // xmm4 = k
453 __ASM_EMIT("movups 0x10(%[k], %[off]), %%xmm5")
454 __ASM_EMIT("subps %%xmm6, %%xmm0") // xmm0 = b-a
455 __ASM_EMIT("subps %%xmm6, %%xmm1")
456 __ASM_EMIT("mulps %%xmm4, %%xmm0") // xmm0 = (b-a)*k
457 __ASM_EMIT("mulps %%xmm5, %%xmm1")
458 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = a + (b-a)*k
459 __ASM_EMIT("addps %%xmm6, %%xmm1")
460 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
461 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
462 __ASM_EMIT("add $0x20, %[off]")
463 __ASM_EMIT("sub $8, %[count]")
464 __ASM_EMIT("jae 1b")
465 // 4x block
466 __ASM_EMIT("4:")
467 __ASM_EMIT("add $4, %[count]")
468 __ASM_EMIT("jl 6f")
469 __ASM_EMIT("movups 0x00(%[b], %[off]), %%xmm0") // xmm0 = b
470 __ASM_EMIT("movups 0x00(%[k], %[off]), %%xmm4") // xmm4 = k
471 __ASM_EMIT("subps %%xmm6, %%xmm0") // xmm0 = b-a
472 __ASM_EMIT("mulps %%xmm4, %%xmm0") // xmm0 = (b-a)*k
473 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = a + (b-a)*k
474 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
475 __ASM_EMIT("add $0x10, %[off]")
476 __ASM_EMIT("sub $4, %[count]")
477 // 1x blocks
478 __ASM_EMIT("6:")
479 __ASM_EMIT("add $3, %[count]")
480 __ASM_EMIT("jl 8f")
481 __ASM_EMIT("7:")
482 __ASM_EMIT("movss 0x00(%[b], %[off]), %%xmm0") // xmm0 = b
483 __ASM_EMIT("movss 0x00(%[k], %[off]), %%xmm4") // xmm4 = k
484 __ASM_EMIT("subps %%xmm6, %%xmm0") // xmm0 = b-a
485 __ASM_EMIT("mulps %%xmm4, %%xmm0") // xmm0 = (b-a)*k
486 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = a + (b-a)*k
487 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
488 __ASM_EMIT("add $0x04, %[off]")
489 __ASM_EMIT("dec %[count]")
490 __ASM_EMIT("jge 7b")
491 __ASM_EMIT("8:")
492
493 : [off] "=&r" (off), [count] "+r" (count)
494 : [dst] "r" (dst),
495 [a] "o" (a),
496 [b] "r" (b),
497 [k] "r" (k)
498 : "cc", "memory",
499 "xmm0", "xmm1", "xmm2", "xmm3",
500 "xmm4", "xmm5", "xmm6"
501 );
502 }
503
504 void lerp_kvk(float *dst, float a, const float *b, float k, size_t count)
505 {
506 IF_ARCH_X86( size_t off );
507 ARCH_X86_ASM(
508 __ASM_EMIT("xor %[off], %[off]")
509 __ASM_EMIT("movss %[a], %%xmm6") // xmm6 = a
510 __ASM_EMIT("movss %[k], %%xmm7") // xmm7 = k
511 __ASM_EMIT("sub $16, %[count]")
512 __ASM_EMIT("shufps $0x00, %%xmm6, %%xmm6") // xmm6 = a
513 __ASM_EMIT("shufps $0x00, %%xmm7, %%xmm7") // xmm7 = k
514 __ASM_EMIT("jb 2f")
515 // 16x blocks
516 __ASM_EMIT(".p2align 4")
517 __ASM_EMIT("1:")
518 __ASM_EMIT("movups 0x00(%[b], %[off]), %%xmm0") // xmm0 = b
519 __ASM_EMIT("movups 0x10(%[b], %[off]), %%xmm1")
520 __ASM_EMIT("movups 0x20(%[b], %[off]), %%xmm2")
521 __ASM_EMIT("movups 0x30(%[b], %[off]), %%xmm3")
522 __ASM_EMIT("subps %%xmm6, %%xmm0") // xmm0 = b-a
523 __ASM_EMIT("subps %%xmm6, %%xmm1")
524 __ASM_EMIT("subps %%xmm6, %%xmm2")
525 __ASM_EMIT("subps %%xmm6, %%xmm3")
526 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = (b-a)*k
527 __ASM_EMIT("mulps %%xmm7, %%xmm1")
528 __ASM_EMIT("mulps %%xmm7, %%xmm2")
529 __ASM_EMIT("mulps %%xmm7, %%xmm3")
530 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = a + (b-a)*k
531 __ASM_EMIT("addps %%xmm6, %%xmm1")
532 __ASM_EMIT("addps %%xmm6, %%xmm2")
533 __ASM_EMIT("addps %%xmm6, %%xmm3")
534 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
535 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
536 __ASM_EMIT("movups %%xmm2, 0x20(%[dst], %[off])")
537 __ASM_EMIT("movups %%xmm3, 0x30(%[dst], %[off])")
538 __ASM_EMIT("add $0x40, %[off]")
539 __ASM_EMIT("sub $16, %[count]")
540 __ASM_EMIT("jae 1b")
541 // 8x block
542 __ASM_EMIT("2:")
543 __ASM_EMIT("add $8, %[count]")
544 __ASM_EMIT("jl 4f")
545 __ASM_EMIT("movups 0x00(%[b], %[off]), %%xmm0") // xmm0 = b
546 __ASM_EMIT("movups 0x10(%[b], %[off]), %%xmm1")
547 __ASM_EMIT("subps %%xmm6, %%xmm0") // xmm0 = b-a
548 __ASM_EMIT("subps %%xmm6, %%xmm1")
549 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = (b-a)*k
550 __ASM_EMIT("mulps %%xmm7, %%xmm1")
551 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = a + (b-a)*k
552 __ASM_EMIT("addps %%xmm6, %%xmm1")
553 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
554 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
555 __ASM_EMIT("add $0x20, %[off]")
556 __ASM_EMIT("sub $8, %[count]")
557 __ASM_EMIT("jae 1b")
558 // 4x block
559 __ASM_EMIT("4:")
560 __ASM_EMIT("add $4, %[count]")
561 __ASM_EMIT("jl 6f")
562 __ASM_EMIT("movups 0x00(%[b], %[off]), %%xmm0") // xmm0 = b
563 __ASM_EMIT("subps %%xmm6, %%xmm0") // xmm0 = b-a
564 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = (b-a)*k
565 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = a + (b-a)*k
566 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
567 __ASM_EMIT("add $0x10, %[off]")
568 __ASM_EMIT("sub $4, %[count]")
569 // 1x blocks
570 __ASM_EMIT("6:")
571 __ASM_EMIT("add $3, %[count]")
572 __ASM_EMIT("jl 8f")
573 __ASM_EMIT("7:")
574 __ASM_EMIT("movss 0x00(%[b], %[off]), %%xmm0") // xmm0 = b
575 __ASM_EMIT("subss %%xmm6, %%xmm0") // xmm0 = b-a
576 __ASM_EMIT("mulss %%xmm7, %%xmm0") // xmm0 = (b-a)*k
577 __ASM_EMIT("addss %%xmm6, %%xmm0") // xmm0 = a + (b-a)*k
578 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
579 __ASM_EMIT("add $0x04, %[off]")
580 __ASM_EMIT("dec %[count]")
581 __ASM_EMIT("jge 7b")
582 __ASM_EMIT("8:")
583
584 : [off] "=&r" (off), [count] "+r" (count)
585 : [dst] "r" (dst),
586 [a] "o" (a),
587 [b] "r" (b),
588 [k] "o" (k)
589 : "cc", "memory",
590 "xmm0", "xmm1", "xmm2", "xmm3",
591 "xmm6", "xmm7"
592 );
593 }
594
595 void lerp_kkv(float *dst, float a, float b, const float *k, size_t count)
596 {
597 IF_ARCH_X86( size_t off );
598 ARCH_X86_ASM(
599 __ASM_EMIT("xor %[off], %[off]")
600 __ASM_EMIT("movss %[a], %%xmm6") // xmm6 = a
601 __ASM_EMIT("movss %[b], %%xmm7") // xmm7 = b
602 __ASM_EMIT("shufps $0x00, %%xmm6, %%xmm6") // xmm6 = a
603 __ASM_EMIT("shufps $0x00, %%xmm7, %%xmm7") // xmm7 = b
604 __ASM_EMIT("sub $16, %[count]")
605 __ASM_EMIT("subps %%xmm6, %%xmm7") // xmm7 = b-a
606 __ASM_EMIT("jb 2f")
607 // 16x blocks
608 __ASM_EMIT(".p2align 4")
609 __ASM_EMIT("1:")
610 __ASM_EMIT("movups 0x00(%[k], %[off]), %%xmm0") // xmm0 = k
611 __ASM_EMIT("movups 0x10(%[k], %[off]), %%xmm1")
612 __ASM_EMIT("movups 0x20(%[k], %[off]), %%xmm2")
613 __ASM_EMIT("movups 0x30(%[k], %[off]), %%xmm3")
614 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = (b-a)*k
615 __ASM_EMIT("mulps %%xmm7, %%xmm1")
616 __ASM_EMIT("mulps %%xmm7, %%xmm2")
617 __ASM_EMIT("mulps %%xmm7, %%xmm3")
618 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = a + (b-a)*k
619 __ASM_EMIT("addps %%xmm6, %%xmm1")
620 __ASM_EMIT("addps %%xmm6, %%xmm2")
621 __ASM_EMIT("addps %%xmm6, %%xmm3")
622 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
623 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
624 __ASM_EMIT("movups %%xmm2, 0x20(%[dst], %[off])")
625 __ASM_EMIT("movups %%xmm3, 0x30(%[dst], %[off])")
626 __ASM_EMIT("add $0x40, %[off]")
627 __ASM_EMIT("sub $16, %[count]")
628 __ASM_EMIT("jae 1b")
629 // 8x block
630 __ASM_EMIT("2:")
631 __ASM_EMIT("add $8, %[count]")
632 __ASM_EMIT("jl 4f")
633 __ASM_EMIT("movups 0x00(%[k], %[off]), %%xmm0") // xmm0 = k
634 __ASM_EMIT("movups 0x10(%[k], %[off]), %%xmm1")
635 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = (b-a)*k
636 __ASM_EMIT("mulps %%xmm7, %%xmm1")
637 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = a + (b-a)*k
638 __ASM_EMIT("addps %%xmm6, %%xmm1")
639 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
640 __ASM_EMIT("movups %%xmm1, 0x10(%[dst], %[off])")
641 __ASM_EMIT("add $0x20, %[off]")
642 __ASM_EMIT("sub $8, %[count]")
643 __ASM_EMIT("jae 1b")
644 // 4x block
645 __ASM_EMIT("4:")
646 __ASM_EMIT("add $4, %[count]")
647 __ASM_EMIT("jl 6f")
648 __ASM_EMIT("movups 0x00(%[k], %[off]), %%xmm0") // xmm0 = k
649 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = (b-a)*k
650 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = a + (b-a)*k
651 __ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])")
652 __ASM_EMIT("add $0x10, %[off]")
653 __ASM_EMIT("sub $4, %[count]")
654 // 1x blocks
655 __ASM_EMIT("6:")
656 __ASM_EMIT("add $3, %[count]")
657 __ASM_EMIT("jl 8f")
658 __ASM_EMIT("7:")
659 __ASM_EMIT("movss 0x00(%[k], %[off]), %%xmm0") // xmm0 = k
660 __ASM_EMIT("mulps %%xmm7, %%xmm0") // xmm0 = (b-a)*k
661 __ASM_EMIT("addps %%xmm6, %%xmm0") // xmm0 = a + (b-a)*k
662 __ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
663 __ASM_EMIT("add $0x04, %[off]")
664 __ASM_EMIT("dec %[count]")
665 __ASM_EMIT("jge 7b")
666 __ASM_EMIT("8:")
667
668 : [off] "=&r" (off), [count] "+r" (count)
669 : [dst] "r" (dst),
670 [a] "o" (a),
671 [b] "o" (b),
672 [k] "r" (k)
673 : "cc", "memory",
674 "xmm0", "xmm1", "xmm2", "xmm3",
675 "xmm6", "xmm7"
676 );
677 }
678
679 } /* namespace sse */
680 } /* namespace lsp */
681
682 #endif /* PRIVATE_DSP_ARCH_X86_SSE_PMATH_LERP_H_ */