Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx/pmath/lerp.h

raw
1 /*
2 * Copyright (C) 2026 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2026 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 1 июл. 2026 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX_PMATH_LERP_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX_PMATH_LERP_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX_IMPL */
28
29 namespace lsp
30 {
31 namespace avx
32 {
33 void lerp_vvv(float *dst, const float *a, const float *b, const float *k, size_t count)
34 {
35 IF_ARCH_X86( size_t off );
36 ARCH_X86_ASM(
37 __ASM_EMIT("xor %[off], %[off]")
38 __ASM_EMIT32("subl $32, %[count]")
39 __ASM_EMIT64("sub $32, %[count]")
40 __ASM_EMIT("jb 2f")
41 // 32x blocks
42 __ASM_EMIT(".p2align 4")
43 __ASM_EMIT("1:")
44 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
45 __ASM_EMIT("vmovups 0x20(%[a], %[off]), %%ymm1")
46 __ASM_EMIT("vmovups 0x40(%[a], %[off]), %%ymm2")
47 __ASM_EMIT("vmovups 0x60(%[a], %[off]), %%ymm3")
48 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm0, %%ymm4") // ymm4 = a-b
49 __ASM_EMIT("vsubps 0x20(%[b], %[off]), %%ymm1, %%ymm5")
50 __ASM_EMIT("vsubps 0x40(%[b], %[off]), %%ymm2, %%ymm6")
51 __ASM_EMIT("vsubps 0x60(%[b], %[off]), %%ymm3, %%ymm7")
52 __ASM_EMIT("vmulps 0x00(%[k], %[off]), %%ymm4, %%ymm4") // ymm4 = (a-b)*k
53 __ASM_EMIT("vmulps 0x20(%[k], %[off]), %%ymm5, %%ymm5")
54 __ASM_EMIT("vmulps 0x40(%[k], %[off]), %%ymm6, %%ymm6")
55 __ASM_EMIT("vmulps 0x60(%[k], %[off]), %%ymm7, %%ymm7")
56 __ASM_EMIT("vsubps %%ymm4, %%ymm0, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
57 __ASM_EMIT("vsubps %%ymm5, %%ymm1, %%ymm1")
58 __ASM_EMIT("vsubps %%ymm6, %%ymm2, %%ymm2")
59 __ASM_EMIT("vsubps %%ymm7, %%ymm3, %%ymm3")
60 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
61 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
62 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off])")
63 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off])")
64 __ASM_EMIT("add $0x80, %[off]")
65 __ASM_EMIT32("subl $32, %[count]")
66 __ASM_EMIT64("sub $32, %[count]")
67 __ASM_EMIT("jae 1b")
68 // 16x block
69 __ASM_EMIT("2:")
70 __ASM_EMIT32("addl $16, %[count]")
71 __ASM_EMIT64("add $16, %[count]")
72 __ASM_EMIT("jl 4f")
73 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
74 __ASM_EMIT("vmovups 0x20(%[a], %[off]), %%ymm1")
75 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm0, %%ymm4") // ymm4 = a-b
76 __ASM_EMIT("vsubps 0x20(%[b], %[off]), %%ymm1, %%ymm5")
77 __ASM_EMIT("vmulps 0x00(%[k], %[off]), %%ymm4, %%ymm4") // ymm4 = (a-b)*k
78 __ASM_EMIT("vmulps 0x20(%[k], %[off]), %%ymm5, %%ymm5")
79 __ASM_EMIT("vsubps %%ymm4, %%ymm0, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
80 __ASM_EMIT("vsubps %%ymm5, %%ymm1, %%ymm1")
81 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
82 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
83 __ASM_EMIT("add $0x40, %[off]")
84 __ASM_EMIT32("subl $16, %[count]")
85 __ASM_EMIT64("sub $16, %[count]")
86 // 8x block
87 __ASM_EMIT("4:")
88 __ASM_EMIT32("addl $8, %[count]")
89 __ASM_EMIT64("add $8, %[count]")
90 __ASM_EMIT("jl 6f")
91 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
92 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm0, %%ymm4") // ymm4 = a-b
93 __ASM_EMIT("vmulps 0x00(%[k], %[off]), %%ymm4, %%ymm4") // ymm4 = (a-b)*k
94 __ASM_EMIT("vsubps %%ymm4, %%ymm0, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
95 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
96 __ASM_EMIT("add $0x20, %[off]")
97 __ASM_EMIT32("subl $8, %[count]")
98 __ASM_EMIT64("sub $8, %[count]")
99 // 4x block
100 __ASM_EMIT("6:")
101 __ASM_EMIT32("addl $4, %[count]")
102 __ASM_EMIT64("add $4, %[count]")
103 __ASM_EMIT("jl 8f")
104 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
105 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%xmm0, %%xmm4") // xmm4 = a-b
106 __ASM_EMIT("vmulps 0x00(%[k], %[off]), %%xmm4, %%xmm4") // xmm4 = (a-b)*k
107 __ASM_EMIT("vsubps %%xmm4, %%xmm0, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
108 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
109 __ASM_EMIT("add $0x10, %[off]")
110 __ASM_EMIT32("subl $4, %[count]")
111 __ASM_EMIT64("sub $4, %[count]")
112 // 1x blocks
113 __ASM_EMIT("8:")
114 __ASM_EMIT32("addl $3, %[count]")
115 __ASM_EMIT64("add $3, %[count]")
116 __ASM_EMIT("jl 10f")
117 __ASM_EMIT("9:")
118 __ASM_EMIT("vmovss 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
119 __ASM_EMIT("vsubss 0x00(%[b], %[off]), %%xmm0, %%xmm4") // xmm4 = a-b
120 __ASM_EMIT("vmulss 0x00(%[k], %[off]), %%xmm4, %%xmm4") // xmm4 = (a-b)*k
121 __ASM_EMIT("vsubss %%xmm4, %%xmm0, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
122 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
123 __ASM_EMIT("add $0x04, %[off]")
124 __ASM_EMIT32("decl %[count]")
125 __ASM_EMIT64("dec %[count]")
126 __ASM_EMIT("jge 9b")
127 __ASM_EMIT("10:")
128
129 : [off] "=&r" (off), [count] __ASM_ARG_RW(count)
130 : [dst] "r" (dst),
131 [a] "r" (a),
132 [b] "r" (b),
133 [k] "r" (k)
134 : "cc", "memory",
135 "xmm0", "xmm1", "xmm2", "xmm3",
136 "xmm4", "xmm5", "xmm6", "xmm7"
137 );
138 }
139
140 void lerp_vvv_fma3(float *dst, const float *a, const float *b, const float *k, size_t count)
141 {
142 IF_ARCH_X86( size_t off );
143 ARCH_X86_ASM(
144 __ASM_EMIT("xor %[off], %[off]")
145 __ASM_EMIT32("subl $32, %[count]")
146 __ASM_EMIT64("sub $32, %[count]")
147 __ASM_EMIT("jb 2f")
148 // 32x blocks
149 __ASM_EMIT(".p2align 4")
150 __ASM_EMIT("1:")
151 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
152 __ASM_EMIT("vmovups 0x20(%[a], %[off]), %%ymm1")
153 __ASM_EMIT("vmovups 0x40(%[a], %[off]), %%ymm2")
154 __ASM_EMIT("vmovups 0x60(%[a], %[off]), %%ymm3")
155 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm0, %%ymm4") // ymm4 = a-b
156 __ASM_EMIT("vsubps 0x20(%[b], %[off]), %%ymm1, %%ymm5")
157 __ASM_EMIT("vsubps 0x40(%[b], %[off]), %%ymm2, %%ymm6")
158 __ASM_EMIT("vsubps 0x60(%[b], %[off]), %%ymm3, %%ymm7")
159 __ASM_EMIT("vfnmadd231ps 0x00(%[k], %[off]), %%ymm4, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
160 __ASM_EMIT("vfnmadd231ps 0x20(%[k], %[off]), %%ymm5, %%ymm1")
161 __ASM_EMIT("vfnmadd231ps 0x40(%[k], %[off]), %%ymm6, %%ymm2")
162 __ASM_EMIT("vfnmadd231ps 0x60(%[k], %[off]), %%ymm7, %%ymm3")
163 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
164 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
165 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off])")
166 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off])")
167 __ASM_EMIT("add $0x80, %[off]")
168 __ASM_EMIT32("subl $32, %[count]")
169 __ASM_EMIT64("sub $32, %[count]")
170 __ASM_EMIT("jae 1b")
171 // 16x block
172 __ASM_EMIT("2:")
173 __ASM_EMIT32("addl $16, %[count]")
174 __ASM_EMIT64("add $16, %[count]")
175 __ASM_EMIT("jl 4f")
176 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
177 __ASM_EMIT("vmovups 0x20(%[a], %[off]), %%ymm1")
178 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm0, %%ymm4") // ymm4 = a-b
179 __ASM_EMIT("vsubps 0x20(%[b], %[off]), %%ymm1, %%ymm5")
180 __ASM_EMIT("vfnmadd231ps 0x00(%[k], %[off]), %%ymm4, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
181 __ASM_EMIT("vfnmadd231ps 0x20(%[k], %[off]), %%ymm5, %%ymm1")
182 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
183 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
184 __ASM_EMIT("add $0x40, %[off]")
185 __ASM_EMIT32("subl $16, %[count]")
186 __ASM_EMIT64("sub $16, %[count]")
187 // 8x block
188 __ASM_EMIT("4:")
189 __ASM_EMIT32("addl $8, %[count]")
190 __ASM_EMIT64("add $8, %[count]")
191 __ASM_EMIT("jl 6f")
192 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
193 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm0, %%ymm4") // ymm4 = a-b
194 __ASM_EMIT("vfnmadd231ps 0x00(%[k], %[off]), %%ymm4, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
195 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
196 __ASM_EMIT("add $0x20, %[off]")
197 __ASM_EMIT32("subl $8, %[count]")
198 __ASM_EMIT64("sub $8, %[count]")
199 // 4x block
200 __ASM_EMIT("6:")
201 __ASM_EMIT32("addl $4, %[count]")
202 __ASM_EMIT64("add $4, %[count]")
203 __ASM_EMIT("jl 8f")
204 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
205 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%xmm0, %%xmm4") // xmm4 = a-b
206 __ASM_EMIT("vfnmadd231ps 0x00(%[k], %[off]), %%xmm4, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
207 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
208 __ASM_EMIT("add $0x10, %[off]")
209 __ASM_EMIT32("subl $4, %[count]")
210 __ASM_EMIT64("sub $4, %[count]")
211 // 1x blocks
212 __ASM_EMIT("8:")
213 __ASM_EMIT32("addl $3, %[count]")
214 __ASM_EMIT64("add $3, %[count]")
215 __ASM_EMIT("jl 10f")
216 __ASM_EMIT("9:")
217 __ASM_EMIT("vmovss 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
218 __ASM_EMIT("vsubss 0x00(%[b], %[off]), %%xmm0, %%xmm4") // xmm4 = a-b
219 __ASM_EMIT("vfnmadd231ss 0x00(%[k], %[off]), %%xmm4, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
220 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
221 __ASM_EMIT("add $0x04, %[off]")
222 __ASM_EMIT32("decl %[count]")
223 __ASM_EMIT64("dec %[count]")
224 __ASM_EMIT("jge 9b")
225 __ASM_EMIT("10:")
226
227 : [off] "=&r" (off), [count] __ASM_ARG_RW(count)
228 : [dst] "r" (dst),
229 [a] "r" (a),
230 [b] "r" (b),
231 [k] "r" (k)
232 : "cc", "memory",
233 "xmm0", "xmm1", "xmm2", "xmm3",
234 "xmm4", "xmm5", "xmm6", "xmm7"
235 );
236 }
237
238 void lerp_vvk(float *dst, const float *a, const float *b, float k, size_t count)
239 {
240 IF_ARCH_X86( size_t off );
241 ARCH_X86_ASM(
242 __ASM_EMIT("xor %[off], %[off]")
243 __ASM_EMIT32("sub $24, %[count]")
244 __ASM_EMIT64("sub $32, %[count]")
245 __ASM_EMIT("vbroadcastss %[k], %%ymm6") // ymm6 = k
246 __ASM_EMIT("jb 2f")
247 // 24x/32x blocks
248 __ASM_EMIT(".p2align 4")
249 __ASM_EMIT("1:")
250 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
251 __ASM_EMIT("vmovups 0x20(%[a], %[off]), %%ymm1")
252 __ASM_EMIT("vmovups 0x40(%[a], %[off]), %%ymm2")
253 __ASM_EMIT64("vmovups 0x60(%[a], %[off]), %%ymm8")
254 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm0, %%ymm3") // ymm3 = a-b
255 __ASM_EMIT("vsubps 0x20(%[b], %[off]), %%ymm1, %%ymm4")
256 __ASM_EMIT("vsubps 0x40(%[b], %[off]), %%ymm2, %%ymm5")
257 __ASM_EMIT64("vsubps 0x60(%[b], %[off]), %%ymm8, %%ymm9")
258 __ASM_EMIT("vmulps %%ymm6, %%ymm3, %%ymm3") // ymm3 = (a-b)*k
259 __ASM_EMIT("vmulps %%ymm6, %%ymm4, %%ymm4")
260 __ASM_EMIT("vmulps %%ymm6, %%ymm5, %%ymm5")
261 __ASM_EMIT64("vmulps %%ymm6, %%ymm9, %%ymm9")
262 __ASM_EMIT("vsubps %%ymm3, %%ymm0, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
263 __ASM_EMIT("vsubps %%ymm4, %%ymm1, %%ymm1")
264 __ASM_EMIT("vsubps %%ymm5, %%ymm2, %%ymm2")
265 __ASM_EMIT64("vsubps %%ymm9, %%ymm8, %%ymm8")
266 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
267 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
268 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off])")
269 __ASM_EMIT64("vmovups %%ymm8, 0x60(%[dst], %[off])")
270 __ASM_EMIT32("add $0x60, %[off]")
271 __ASM_EMIT32("sub $24, %[count]")
272 __ASM_EMIT64("add $0x80, %[off]")
273 __ASM_EMIT64("sub $32, %[count]")
274 __ASM_EMIT("jae 1b")
275 // 16x block
276 __ASM_EMIT("2:")
277 __ASM_EMIT32("add $8, %[count]")
278 __ASM_EMIT64("add $16, %[count]")
279 __ASM_EMIT("jl 4f")
280 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
281 __ASM_EMIT("vmovups 0x20(%[a], %[off]), %%ymm1")
282 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm0, %%ymm3") // ymm3 = a-b
283 __ASM_EMIT("vsubps 0x20(%[b], %[off]), %%ymm1, %%ymm4")
284 __ASM_EMIT("vmulps %%ymm6, %%ymm3, %%ymm3") // ymm3 = (a-b)*k
285 __ASM_EMIT("vmulps %%ymm6, %%ymm4, %%ymm4")
286 __ASM_EMIT("vsubps %%ymm3, %%ymm0, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
287 __ASM_EMIT("vsubps %%ymm4, %%ymm1, %%ymm1")
288 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
289 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
290 __ASM_EMIT("add $0x40, %[off]")
291 __ASM_EMIT("sub $16, %[count]")
292 // 8x block
293 __ASM_EMIT("4:")
294 __ASM_EMIT("add $8, %[count]")
295 __ASM_EMIT("jl 6f")
296 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
297 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm0, %%ymm3") // ymm3 = a-b
298 __ASM_EMIT("vmulps %%ymm6, %%ymm3, %%ymm3") // ymm3 = (a-b)*k
299 __ASM_EMIT("vsubps %%ymm3, %%ymm0, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
300 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
301 __ASM_EMIT("add $0x20, %[off]")
302 __ASM_EMIT("sub $8, %[count]")
303 // 4x block
304 __ASM_EMIT("6:")
305 __ASM_EMIT("add $4, %[count]")
306 __ASM_EMIT("jl 8f")
307 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
308 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%xmm0, %%xmm3") // xmm3 = a-b
309 __ASM_EMIT("vmulps %%xmm6, %%xmm3, %%xmm3") // xmm3 = (a-b)*k
310 __ASM_EMIT("vsubps %%xmm3, %%xmm0, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
311 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
312 __ASM_EMIT("add $0x10, %[off]")
313 __ASM_EMIT("sub $4, %[count]")
314 // 1x blocks
315 __ASM_EMIT("8:")
316 __ASM_EMIT("add $3, %[count]")
317 __ASM_EMIT("jl 10f")
318 __ASM_EMIT("9:")
319 __ASM_EMIT("vmovss 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
320 __ASM_EMIT("vsubss 0x00(%[b], %[off]), %%xmm0, %%xmm3") // xmm3 = a-b
321 __ASM_EMIT("vmulss %%xmm6, %%xmm3, %%xmm3") // xmm3 = (a-b)*k
322 __ASM_EMIT("vsubss %%xmm3, %%xmm0, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
323 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
324 __ASM_EMIT("add $0x04, %[off]")
325 __ASM_EMIT("dec %[count]")
326 __ASM_EMIT("jge 9b")
327 __ASM_EMIT("10:")
328
329 : [off] "=&r" (off), [count] "+r" (count)
330 : [dst] "r" (dst),
331 [a] "r" (a),
332 [b] "r" (b),
333 [k] "o" (k)
334 : "cc", "memory",
335 __IF_64("xmm8", "xmm9", )
336 "xmm0", "xmm1", "xmm2", "xmm3",
337 "xmm4", "xmm5", "xmm6"
338 );
339 }
340
341 void lerp_vvk_fma3(float *dst, const float *a, const float *b, float k, size_t count)
342 {
343 IF_ARCH_X86( size_t off );
344 ARCH_X86_ASM(
345 __ASM_EMIT("xor %[off], %[off]")
346 __ASM_EMIT32("sub $24, %[count]")
347 __ASM_EMIT64("sub $32, %[count]")
348 __ASM_EMIT("vbroadcastss %[k], %%ymm6") // ymm6 = k
349 __ASM_EMIT("jb 2f")
350 // 24x/32x blocks
351 __ASM_EMIT(".p2align 4")
352 __ASM_EMIT("1:")
353 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
354 __ASM_EMIT("vmovups 0x20(%[a], %[off]), %%ymm1")
355 __ASM_EMIT("vmovups 0x40(%[a], %[off]), %%ymm2")
356 __ASM_EMIT64("vmovups 0x60(%[a], %[off]), %%ymm8")
357 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm0, %%ymm3") // ymm3 = a-b
358 __ASM_EMIT("vsubps 0x20(%[b], %[off]), %%ymm1, %%ymm4")
359 __ASM_EMIT("vsubps 0x40(%[b], %[off]), %%ymm2, %%ymm5")
360 __ASM_EMIT64("vsubps 0x60(%[b], %[off]), %%ymm8, %%ymm9")
361 __ASM_EMIT("vfnmadd231ps %%ymm6, %%ymm3, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
362 __ASM_EMIT("vfnmadd231ps %%ymm6, %%ymm4, %%ymm1")
363 __ASM_EMIT("vfnmadd231ps %%ymm6, %%ymm5, %%ymm2")
364 __ASM_EMIT64("vfnmadd231ps %%ymm6, %%ymm9, %%ymm8")
365 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
366 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
367 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off])")
368 __ASM_EMIT64("vmovups %%ymm8, 0x60(%[dst], %[off])")
369 __ASM_EMIT32("add $0x60, %[off]")
370 __ASM_EMIT32("sub $24, %[count]")
371 __ASM_EMIT64("add $0x80, %[off]")
372 __ASM_EMIT64("sub $32, %[count]")
373 __ASM_EMIT("jae 1b")
374 // 16x block
375 __ASM_EMIT("2:")
376 __ASM_EMIT32("add $8, %[count]")
377 __ASM_EMIT64("add $16, %[count]")
378 __ASM_EMIT("jl 4f")
379 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
380 __ASM_EMIT("vmovups 0x20(%[a], %[off]), %%ymm1")
381 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm0, %%ymm3") // ymm3 = a-b
382 __ASM_EMIT("vsubps 0x20(%[b], %[off]), %%ymm1, %%ymm4")
383 __ASM_EMIT("vfnmadd231ps %%ymm6, %%ymm3, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
384 __ASM_EMIT("vfnmadd231ps %%ymm6, %%ymm4, %%ymm1")
385 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
386 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
387 __ASM_EMIT("add $0x40, %[off]")
388 __ASM_EMIT("sub $16, %[count]")
389 // 8x block
390 __ASM_EMIT("4:")
391 __ASM_EMIT("add $8, %[count]")
392 __ASM_EMIT("jl 6f")
393 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
394 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm0, %%ymm3") // ymm3 = a-b
395 __ASM_EMIT("vfnmadd231ps %%ymm6, %%ymm3, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
396 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
397 __ASM_EMIT("add $0x20, %[off]")
398 __ASM_EMIT("sub $8, %[count]")
399 // 4x block
400 __ASM_EMIT("6:")
401 __ASM_EMIT("add $4, %[count]")
402 __ASM_EMIT("jl 8f")
403 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
404 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%xmm0, %%xmm3") // xmm3 = a-b
405 __ASM_EMIT("vfnmadd231ps %%xmm6, %%xmm3, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
406 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
407 __ASM_EMIT("add $0x10, %[off]")
408 __ASM_EMIT("sub $4, %[count]")
409 // 1x blocks
410 __ASM_EMIT("8:")
411 __ASM_EMIT("add $3, %[count]")
412 __ASM_EMIT("jl 10f")
413 __ASM_EMIT("9:")
414 __ASM_EMIT("vmovss 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
415 __ASM_EMIT("vsubss 0x00(%[b], %[off]), %%xmm0, %%xmm3") // xmm3 = a-b
416 __ASM_EMIT("vfnmadd231ss %%xmm6, %%xmm3, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
417 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
418 __ASM_EMIT("add $0x04, %[off]")
419 __ASM_EMIT("dec %[count]")
420 __ASM_EMIT("jge 9b")
421 __ASM_EMIT("10:")
422
423 : [off] "=&r" (off), [count] "+r" (count)
424 : [dst] "r" (dst),
425 [a] "r" (a),
426 [b] "r" (b),
427 [k] "o" (k)
428 : "cc", "memory",
429 __IF_64("xmm8", "xmm9", )
430 "xmm0", "xmm1", "xmm2", "xmm3",
431 "xmm4", "xmm5", "xmm6"
432 );
433 }
434
435 void lerp_vkv(float *dst, const float *a, float b, const float *k, size_t count)
436 {
437 IF_ARCH_X86( size_t off );
438 ARCH_X86_ASM(
439 __ASM_EMIT("xor %[off], %[off]")
440 __ASM_EMIT32("sub $24, %[count]")
441 __ASM_EMIT64("sub $32, %[count]")
442 __ASM_EMIT("vbroadcastss %[b], %%ymm6") // ymm6 = b
443 __ASM_EMIT("jb 2f")
444 // 24x/32x blocks
445 __ASM_EMIT(".p2align 4")
446 __ASM_EMIT("1:")
447 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
448 __ASM_EMIT("vmovups 0x20(%[a], %[off]), %%ymm1")
449 __ASM_EMIT("vmovups 0x40(%[a], %[off]), %%ymm2")
450 __ASM_EMIT64("vmovups 0x60(%[a], %[off]), %%ymm8")
451 __ASM_EMIT("vsubps %%ymm6, %%ymm0, %%ymm3") // ymm3 = a-b
452 __ASM_EMIT("vsubps %%ymm6, %%ymm1, %%ymm4")
453 __ASM_EMIT("vsubps %%ymm6, %%ymm2, %%ymm5")
454 __ASM_EMIT64("vsubps %%ymm6, %%ymm8, %%ymm9")
455 __ASM_EMIT("vmulps 0x00(%[k], %[off]), %%ymm3, %%ymm3") // ymm3 = (a-b)*k
456 __ASM_EMIT("vmulps 0x20(%[k], %[off]), %%ymm4, %%ymm4")
457 __ASM_EMIT("vmulps 0x40(%[k], %[off]), %%ymm5, %%ymm5")
458 __ASM_EMIT64("vmulps 0x60(%[k], %[off]), %%ymm9, %%ymm9")
459 __ASM_EMIT("vsubps %%ymm3, %%ymm0, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
460 __ASM_EMIT("vsubps %%ymm4, %%ymm1, %%ymm1")
461 __ASM_EMIT("vsubps %%ymm5, %%ymm2, %%ymm2")
462 __ASM_EMIT64("vsubps %%ymm9, %%ymm8, %%ymm8")
463 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
464 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
465 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off])")
466 __ASM_EMIT64("vmovups %%ymm8, 0x60(%[dst], %[off])")
467 __ASM_EMIT32("add $0x60, %[off]")
468 __ASM_EMIT32("sub $24, %[count]")
469 __ASM_EMIT64("add $0x80, %[off]")
470 __ASM_EMIT64("sub $32, %[count]")
471 __ASM_EMIT("jae 1b")
472 // 16x block
473 __ASM_EMIT("2:")
474 __ASM_EMIT32("add $8, %[count]")
475 __ASM_EMIT64("add $16, %[count]")
476 __ASM_EMIT("jl 4f")
477 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
478 __ASM_EMIT("vmovups 0x20(%[a], %[off]), %%ymm1")
479 __ASM_EMIT("vsubps %%ymm6, %%ymm0, %%ymm3") // ymm3 = a-b
480 __ASM_EMIT("vsubps %%ymm6, %%ymm1, %%ymm4")
481 __ASM_EMIT("vmulps 0x00(%[k], %[off]), %%ymm3, %%ymm3") // ymm3 = (a-b)*k
482 __ASM_EMIT("vmulps 0x20(%[k], %[off]), %%ymm4, %%ymm4")
483 __ASM_EMIT("vsubps %%ymm3, %%ymm0, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
484 __ASM_EMIT("vsubps %%ymm4, %%ymm1, %%ymm1")
485 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
486 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
487 __ASM_EMIT("add $0x40, %[off]")
488 __ASM_EMIT("sub $16, %[count]")
489 // 8x block
490 __ASM_EMIT("4:")
491 __ASM_EMIT("add $8, %[count]")
492 __ASM_EMIT("jl 6f")
493 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
494 __ASM_EMIT("vsubps %%ymm6, %%ymm0, %%ymm3") // ymm3 = a-b
495 __ASM_EMIT("vmulps 0x00(%[k], %[off]), %%ymm3, %%ymm3") // ymm3 = (a-b)*k
496 __ASM_EMIT("vsubps %%ymm3, %%ymm0, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
497 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
498 __ASM_EMIT("add $0x20, %[off]")
499 __ASM_EMIT("sub $8, %[count]")
500 // 4x block
501 __ASM_EMIT("6:")
502 __ASM_EMIT("add $4, %[count]")
503 __ASM_EMIT("jl 8f")
504 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
505 __ASM_EMIT("vsubps %%xmm6, %%xmm0, %%xmm3") // xmm3 = a-b
506 __ASM_EMIT("vmulps 0x00(%[k], %[off]), %%xmm3, %%xmm3") // xmm3 = (a-b)*k
507 __ASM_EMIT("vsubps %%xmm3, %%xmm0, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
508 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
509 __ASM_EMIT("add $0x10, %[off]")
510 __ASM_EMIT("sub $4, %[count]")
511 // 1x blocks
512 __ASM_EMIT("8:")
513 __ASM_EMIT("add $3, %[count]")
514 __ASM_EMIT("jl 10f")
515 __ASM_EMIT("9:")
516 __ASM_EMIT("vmovss 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
517 __ASM_EMIT("vsubss %%xmm6, %%xmm0, %%xmm3") // xmm3 = a-b
518 __ASM_EMIT("vmulss 0x00(%[k], %[off]), %%xmm3, %%xmm3") // xmm3 = (a-b)*k
519 __ASM_EMIT("vsubss %%xmm3, %%xmm0, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
520 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
521 __ASM_EMIT("add $0x04, %[off]")
522 __ASM_EMIT("dec %[count]")
523 __ASM_EMIT("jge 9b")
524 __ASM_EMIT("10:")
525
526 : [off] "=&r" (off), [count] "+r" (count)
527 : [dst] "r" (dst),
528 [a] "r" (a),
529 [b] "o" (b),
530 [k] "r" (k)
531 : "cc", "memory",
532 __IF_64("xmm8", "xmm9", )
533 "xmm0", "xmm1", "xmm2", "xmm3",
534 "xmm4", "xmm5", "xmm6"
535 );
536 }
537
538 void lerp_vkv_fma3(float *dst, const float *a, float b, const float *k, size_t count)
539 {
540 IF_ARCH_X86( size_t off );
541 ARCH_X86_ASM(
542 __ASM_EMIT("xor %[off], %[off]")
543 __ASM_EMIT32("sub $24, %[count]")
544 __ASM_EMIT64("sub $32, %[count]")
545 __ASM_EMIT("vbroadcastss %[b], %%ymm6") // ymm6 = b
546 __ASM_EMIT("jb 2f")
547 // 24x/32x blocks
548 __ASM_EMIT(".p2align 4")
549 __ASM_EMIT("1:")
550 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
551 __ASM_EMIT("vmovups 0x20(%[a], %[off]), %%ymm1")
552 __ASM_EMIT("vmovups 0x40(%[a], %[off]), %%ymm2")
553 __ASM_EMIT64("vmovups 0x60(%[a], %[off]), %%ymm8")
554 __ASM_EMIT("vsubps %%ymm6, %%ymm0, %%ymm3") // ymm3 = a-b
555 __ASM_EMIT("vsubps %%ymm6, %%ymm1, %%ymm4")
556 __ASM_EMIT("vsubps %%ymm6, %%ymm2, %%ymm5")
557 __ASM_EMIT64("vsubps %%ymm6, %%ymm8, %%ymm9")
558 __ASM_EMIT("vfnmadd231ps 0x00(%[k], %[off]), %%ymm3, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
559 __ASM_EMIT("vfnmadd231ps 0x20(%[k], %[off]), %%ymm4, %%ymm1")
560 __ASM_EMIT("vfnmadd231ps 0x40(%[k], %[off]), %%ymm5, %%ymm2")
561 __ASM_EMIT64("vfnmadd231ps 0x60(%[k], %[off]), %%ymm9, %%ymm8")
562 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
563 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
564 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off])")
565 __ASM_EMIT64("vmovups %%ymm8, 0x60(%[dst], %[off])")
566 __ASM_EMIT32("add $0x60, %[off]")
567 __ASM_EMIT32("sub $24, %[count]")
568 __ASM_EMIT64("add $0x80, %[off]")
569 __ASM_EMIT64("sub $32, %[count]")
570 __ASM_EMIT("jae 1b")
571 // 16x block
572 __ASM_EMIT("2:")
573 __ASM_EMIT32("add $8, %[count]")
574 __ASM_EMIT64("add $16, %[count]")
575 __ASM_EMIT("jl 4f")
576 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
577 __ASM_EMIT("vmovups 0x20(%[a], %[off]), %%ymm1")
578 __ASM_EMIT("vsubps %%ymm6, %%ymm0, %%ymm3") // ymm3 = a-b
579 __ASM_EMIT("vsubps %%ymm6, %%ymm1, %%ymm4")
580 __ASM_EMIT("vfnmadd231ps 0x00(%[k], %[off]), %%ymm3, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
581 __ASM_EMIT("vfnmadd231ps 0x20(%[k], %[off]), %%ymm4, %%ymm1")
582 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
583 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
584 __ASM_EMIT("add $0x40, %[off]")
585 __ASM_EMIT("sub $16, %[count]")
586 // 8x block
587 __ASM_EMIT("4:")
588 __ASM_EMIT("add $8, %[count]")
589 __ASM_EMIT("jl 6f")
590 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
591 __ASM_EMIT("vsubps %%ymm6, %%ymm0, %%ymm3") // ymm3 = a-b
592 __ASM_EMIT("vfnmadd231ps 0x00(%[k], %[off]), %%ymm3, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
593 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
594 __ASM_EMIT("add $0x20, %[off]")
595 __ASM_EMIT("sub $8, %[count]")
596 // 4x block
597 __ASM_EMIT("6:")
598 __ASM_EMIT("add $4, %[count]")
599 __ASM_EMIT("jl 8f")
600 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
601 __ASM_EMIT("vsubps %%xmm6, %%xmm0, %%xmm3") // xmm3 = a-b
602 __ASM_EMIT("vfnmadd231ps 0x00(%[k], %[off]), %%xmm3, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
603 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
604 __ASM_EMIT("add $0x10, %[off]")
605 __ASM_EMIT("sub $4, %[count]")
606 // 1x blocks
607 __ASM_EMIT("8:")
608 __ASM_EMIT("add $3, %[count]")
609 __ASM_EMIT("jl 10f")
610 __ASM_EMIT("9:")
611 __ASM_EMIT("vmovss 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
612 __ASM_EMIT("vsubss %%xmm6, %%xmm0, %%xmm3") // xmm3 = a-b
613 __ASM_EMIT("vfnmadd231ss 0x00(%[k], %[off]), %%xmm3, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
614 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
615 __ASM_EMIT("add $0x04, %[off]")
616 __ASM_EMIT("dec %[count]")
617 __ASM_EMIT("jge 9b")
618 __ASM_EMIT("10:")
619
620 : [off] "=&r" (off), [count] "+r" (count)
621 : [dst] "r" (dst),
622 [a] "r" (a),
623 [b] "o" (b),
624 [k] "r" (k)
625 : "cc", "memory",
626 __IF_64("xmm8", "xmm9", )
627 "xmm0", "xmm1", "xmm2", "xmm3",
628 "xmm4", "xmm5", "xmm6"
629 );
630 }
631
632 void lerp_vkk(float *dst, const float *a, float b, float k, size_t count)
633 {
634 IF_ARCH_X86( size_t off );
635 ARCH_X86_ASM(
636 __ASM_EMIT("xor %[off], %[off]")
637 __ASM_EMIT32("sub $24, %[count]")
638 __ASM_EMIT64("sub $32, %[count]")
639 __ASM_EMIT("vbroadcastss %[b], %%ymm6") // ymm6 = b
640 __ASM_EMIT("vbroadcastss %[k], %%ymm7") // ymm7 = k
641 __ASM_EMIT("jb 2f")
642 // 24x/32x blocks
643 __ASM_EMIT(".p2align 4")
644 __ASM_EMIT("1:")
645 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
646 __ASM_EMIT("vmovups 0x20(%[a], %[off]), %%ymm1")
647 __ASM_EMIT("vmovups 0x40(%[a], %[off]), %%ymm2")
648 __ASM_EMIT64("vmovups 0x60(%[a], %[off]), %%ymm8")
649 __ASM_EMIT("vsubps %%ymm6, %%ymm0, %%ymm3") // ymm3 = a-b
650 __ASM_EMIT("vsubps %%ymm6, %%ymm1, %%ymm4")
651 __ASM_EMIT("vsubps %%ymm6, %%ymm2, %%ymm5")
652 __ASM_EMIT64("vsubps %%ymm6, %%ymm8, %%ymm9")
653 __ASM_EMIT("vmulps %%ymm7, %%ymm3, %%ymm3") // ymm3 = (a-b)*k
654 __ASM_EMIT("vmulps %%ymm7, %%ymm4, %%ymm4")
655 __ASM_EMIT("vmulps %%ymm7, %%ymm5, %%ymm5")
656 __ASM_EMIT64("vmulps %%ymm7, %%ymm9, %%ymm9")
657 __ASM_EMIT("vsubps %%ymm3, %%ymm0, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
658 __ASM_EMIT("vsubps %%ymm4, %%ymm1, %%ymm1")
659 __ASM_EMIT("vsubps %%ymm5, %%ymm2, %%ymm2")
660 __ASM_EMIT64("vsubps %%ymm9, %%ymm8, %%ymm8")
661 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
662 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
663 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off])")
664 __ASM_EMIT64("vmovups %%ymm8, 0x60(%[dst], %[off])")
665 __ASM_EMIT32("add $0x60, %[off]")
666 __ASM_EMIT32("sub $24, %[count]")
667 __ASM_EMIT64("add $0x80, %[off]")
668 __ASM_EMIT64("sub $32, %[count]")
669 __ASM_EMIT("jae 1b")
670 // 16x block
671 __ASM_EMIT("2:")
672 __ASM_EMIT32("add $8, %[count]")
673 __ASM_EMIT64("add $16, %[count]")
674 __ASM_EMIT("jl 4f")
675 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
676 __ASM_EMIT("vmovups 0x20(%[a], %[off]), %%ymm1")
677 __ASM_EMIT("vsubps %%ymm6, %%ymm0, %%ymm3") // ymm3 = a-b
678 __ASM_EMIT("vsubps %%ymm6, %%ymm1, %%ymm4")
679 __ASM_EMIT("vmulps %%ymm7, %%ymm3, %%ymm3") // ymm3 = (a-b)*k
680 __ASM_EMIT("vmulps %%ymm7, %%ymm4, %%ymm4")
681 __ASM_EMIT("vsubps %%ymm3, %%ymm0, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
682 __ASM_EMIT("vsubps %%ymm4, %%ymm1, %%ymm1")
683 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
684 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
685 __ASM_EMIT("add $0x40, %[off]")
686 __ASM_EMIT("sub $16, %[count]")
687 // 8x block
688 __ASM_EMIT("4:")
689 __ASM_EMIT("add $8, %[count]")
690 __ASM_EMIT("jl 6f")
691 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
692 __ASM_EMIT("vsubps %%ymm6, %%ymm0, %%ymm3") // ymm3 = a-b
693 __ASM_EMIT("vmulps %%ymm7, %%ymm3, %%ymm3") // ymm3 = (a-b)*k
694 __ASM_EMIT("vsubps %%ymm3, %%ymm0, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
695 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
696 __ASM_EMIT("add $0x20, %[off]")
697 __ASM_EMIT("sub $8, %[count]")
698 // 4x block
699 __ASM_EMIT("6:")
700 __ASM_EMIT("add $4, %[count]")
701 __ASM_EMIT("jl 8f")
702 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
703 __ASM_EMIT("vsubps %%xmm6, %%xmm0, %%xmm3") // xmm3 = a-b
704 __ASM_EMIT("vmulps %%xmm7, %%xmm3, %%xmm3") // xmm3 = (a-b)*k
705 __ASM_EMIT("vsubps %%xmm3, %%xmm0, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
706 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
707 __ASM_EMIT("add $0x10, %[off]")
708 __ASM_EMIT("sub $4, %[count]")
709 // 1x blocks
710 __ASM_EMIT("8:")
711 __ASM_EMIT("add $3, %[count]")
712 __ASM_EMIT("jl 10f")
713 __ASM_EMIT("9:")
714 __ASM_EMIT("vmovss 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
715 __ASM_EMIT("vsubss %%xmm6, %%xmm0, %%xmm3") // xmm3 = a-b
716 __ASM_EMIT("vmulss %%xmm7, %%xmm3, %%xmm3") // xmm3 = (a-b)*k
717 __ASM_EMIT("vsubss %%xmm3, %%xmm0, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
718 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
719 __ASM_EMIT("add $0x04, %[off]")
720 __ASM_EMIT("dec %[count]")
721 __ASM_EMIT("jge 9b")
722 __ASM_EMIT("10:")
723
724 : [off] "=&r" (off), [count] "+r" (count)
725 : [dst] "r" (dst),
726 [a] "r" (a),
727 [b] "o" (b),
728 [k] "o" (k)
729 : "cc", "memory",
730 __IF_64("xmm8", "xmm9", )
731 "xmm0", "xmm1", "xmm2", "xmm3",
732 "xmm4", "xmm5", "xmm6", "xmm7"
733 );
734 }
735
736 void lerp_vkk_fma3(float *dst, const float *a, float b, float k, size_t count)
737 {
738 IF_ARCH_X86( size_t off );
739 ARCH_X86_ASM(
740 __ASM_EMIT("xor %[off], %[off]")
741 __ASM_EMIT32("sub $24, %[count]")
742 __ASM_EMIT64("sub $32, %[count]")
743 __ASM_EMIT("vbroadcastss %[b], %%ymm6") // ymm6 = b
744 __ASM_EMIT("vbroadcastss %[k], %%ymm7") // ymm7 = k
745 __ASM_EMIT("jb 2f")
746 // 24x/32x blocks
747 __ASM_EMIT(".p2align 4")
748 __ASM_EMIT("1:")
749 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
750 __ASM_EMIT("vmovups 0x20(%[a], %[off]), %%ymm1")
751 __ASM_EMIT("vmovups 0x40(%[a], %[off]), %%ymm2")
752 __ASM_EMIT64("vmovups 0x60(%[a], %[off]), %%ymm8")
753 __ASM_EMIT("vsubps %%ymm6, %%ymm0, %%ymm3") // ymm3 = a-b
754 __ASM_EMIT("vsubps %%ymm6, %%ymm1, %%ymm4")
755 __ASM_EMIT("vsubps %%ymm6, %%ymm2, %%ymm5")
756 __ASM_EMIT64("vsubps %%ymm6, %%ymm8, %%ymm9")
757 __ASM_EMIT("vfnmadd231ps %%ymm7, %%ymm3, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
758 __ASM_EMIT("vfnmadd231ps %%ymm7, %%ymm4, %%ymm1")
759 __ASM_EMIT("vfnmadd231ps %%ymm7, %%ymm5, %%ymm2")
760 __ASM_EMIT64("vfnmadd231ps %%ymm7, %%ymm9, %%ymm8")
761 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
762 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
763 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off])")
764 __ASM_EMIT64("vmovups %%ymm8, 0x60(%[dst], %[off])")
765 __ASM_EMIT32("add $0x60, %[off]")
766 __ASM_EMIT32("sub $24, %[count]")
767 __ASM_EMIT64("add $0x80, %[off]")
768 __ASM_EMIT64("sub $32, %[count]")
769 __ASM_EMIT("jae 1b")
770 // 16x block
771 __ASM_EMIT("2:")
772 __ASM_EMIT32("add $8, %[count]")
773 __ASM_EMIT64("add $16, %[count]")
774 __ASM_EMIT("jl 4f")
775 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
776 __ASM_EMIT("vmovups 0x20(%[a], %[off]), %%ymm1")
777 __ASM_EMIT("vsubps %%ymm6, %%ymm0, %%ymm3") // ymm3 = a-b
778 __ASM_EMIT("vsubps %%ymm6, %%ymm1, %%ymm4")
779 __ASM_EMIT("vmulps %%ymm7, %%ymm3, %%ymm3") // ymm3 = (a-b)*k
780 __ASM_EMIT("vmulps %%ymm7, %%ymm4, %%ymm4")
781 __ASM_EMIT("vsubps %%ymm3, %%ymm0, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
782 __ASM_EMIT("vsubps %%ymm4, %%ymm1, %%ymm1")
783 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
784 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
785 __ASM_EMIT("add $0x40, %[off]")
786 __ASM_EMIT("sub $16, %[count]")
787 // 8x block
788 __ASM_EMIT("4:")
789 __ASM_EMIT("add $8, %[count]")
790 __ASM_EMIT("jl 6f")
791 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
792 __ASM_EMIT("vsubps %%ymm6, %%ymm0, %%ymm3") // ymm3 = a-b
793 __ASM_EMIT("vmulps %%ymm7, %%ymm3, %%ymm3") // ymm3 = (a-b)*k
794 __ASM_EMIT("vsubps %%ymm3, %%ymm0, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
795 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
796 __ASM_EMIT("add $0x20, %[off]")
797 __ASM_EMIT("sub $8, %[count]")
798 // 4x block
799 __ASM_EMIT("6:")
800 __ASM_EMIT("add $4, %[count]")
801 __ASM_EMIT("jl 8f")
802 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
803 __ASM_EMIT("vsubps %%xmm6, %%xmm0, %%xmm3") // xmm3 = a-b
804 __ASM_EMIT("vmulps %%xmm7, %%xmm3, %%xmm3") // xmm3 = (a-b)*k
805 __ASM_EMIT("vsubps %%xmm3, %%xmm0, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
806 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
807 __ASM_EMIT("add $0x10, %[off]")
808 __ASM_EMIT("sub $4, %[count]")
809 // 1x blocks
810 __ASM_EMIT("8:")
811 __ASM_EMIT("add $3, %[count]")
812 __ASM_EMIT("jl 10f")
813 __ASM_EMIT("9:")
814 __ASM_EMIT("vmovss 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
815 __ASM_EMIT("vsubss %%xmm6, %%xmm0, %%xmm3") // xmm3 = a-b
816 __ASM_EMIT("vmulss %%xmm7, %%xmm3, %%xmm3") // xmm3 = (a-b)*k
817 __ASM_EMIT("vsubss %%xmm3, %%xmm0, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
818 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
819 __ASM_EMIT("add $0x04, %[off]")
820 __ASM_EMIT("dec %[count]")
821 __ASM_EMIT("jge 9b")
822 __ASM_EMIT("10:")
823
824 : [off] "=&r" (off), [count] "+r" (count)
825 : [dst] "r" (dst),
826 [a] "r" (a),
827 [b] "o" (b),
828 [k] "o" (k)
829 : "cc", "memory",
830 __IF_64("xmm8", "xmm9", )
831 "xmm0", "xmm1", "xmm2", "xmm3",
832 "xmm4", "xmm5", "xmm6", "xmm7"
833 );
834 }
835
836 void lerp_kvv(float *dst, float a, const float *b, const float *k, size_t count)
837 {
838 IF_ARCH_X86( size_t off );
839 ARCH_X86_ASM(
840 __ASM_EMIT("xor %[off], %[off]")
841 __ASM_EMIT("sub $32, %[count]")
842 __ASM_EMIT("vbroadcastss %[a], %%ymm6") // ymm6 = a
843 __ASM_EMIT("jb 2f")
844 // 32x blocks
845 __ASM_EMIT(".p2align 4")
846 __ASM_EMIT("1:")
847 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm6, %%ymm0") // ymm0 = a-b
848 __ASM_EMIT("vsubps 0x20(%[b], %[off]), %%ymm6, %%ymm1")
849 __ASM_EMIT("vsubps 0x40(%[b], %[off]), %%ymm6, %%ymm2")
850 __ASM_EMIT("vsubps 0x60(%[b], %[off]), %%ymm6, %%ymm3")
851 __ASM_EMIT("vmulps 0x00(%[k], %[off]), %%ymm0, %%ymm0") // ymm0 = (a-b)*k
852 __ASM_EMIT("vmulps 0x20(%[k], %[off]), %%ymm1, %%ymm1")
853 __ASM_EMIT("vmulps 0x40(%[k], %[off]), %%ymm2, %%ymm2")
854 __ASM_EMIT("vmulps 0x60(%[k], %[off]), %%ymm3, %%ymm3")
855 __ASM_EMIT("vsubps %%ymm0, %%ymm6, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
856 __ASM_EMIT("vsubps %%ymm1, %%ymm6, %%ymm1")
857 __ASM_EMIT("vsubps %%ymm2, %%ymm6, %%ymm2")
858 __ASM_EMIT("vsubps %%ymm3, %%ymm6, %%ymm3")
859 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
860 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
861 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off])")
862 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off])")
863 __ASM_EMIT("add $0x80, %[off]")
864 __ASM_EMIT("sub $32, %[count]")
865 __ASM_EMIT("jae 1b")
866 // 16x block
867 __ASM_EMIT("2:")
868 __ASM_EMIT("add $16, %[count]")
869 __ASM_EMIT("jl 4f")
870 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm6, %%ymm0") // ymm0 = a-b
871 __ASM_EMIT("vsubps 0x20(%[b], %[off]), %%ymm6, %%ymm1")
872 __ASM_EMIT("vmulps 0x00(%[k], %[off]), %%ymm0, %%ymm0") // ymm0 = (a-b)*k
873 __ASM_EMIT("vmulps 0x20(%[k], %[off]), %%ymm1, %%ymm1")
874 __ASM_EMIT("vsubps %%ymm0, %%ymm6, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
875 __ASM_EMIT("vsubps %%ymm1, %%ymm6, %%ymm1")
876 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
877 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
878 __ASM_EMIT("add $0x40, %[off]")
879 __ASM_EMIT("sub $16, %[count]")
880 // 8x block
881 __ASM_EMIT("4:")
882 __ASM_EMIT("add $8, %[count]")
883 __ASM_EMIT("jl 6f")
884 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm6, %%ymm0") // ymm0 = a-b
885 __ASM_EMIT("vmulps 0x00(%[k], %[off]), %%ymm0, %%ymm0") // ymm0 = (a-b)*k
886 __ASM_EMIT("vsubps %%ymm0, %%ymm6, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
887 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
888 __ASM_EMIT("add $0x20, %[off]")
889 __ASM_EMIT("sub $8, %[count]")
890 // 4x block
891 __ASM_EMIT("6:")
892 __ASM_EMIT("add $4, %[count]")
893 __ASM_EMIT("jl 8f")
894 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%xmm6, %%xmm0") // xmm0 = a-b
895 __ASM_EMIT("vmulps 0x00(%[k], %[off]), %%xmm0, %%xmm0") // xmm0 = (a-b)*k
896 __ASM_EMIT("vsubps %%xmm0, %%xmm6, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
897 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
898 __ASM_EMIT("add $0x10, %[off]")
899 __ASM_EMIT("sub $4, %[count]")
900 // 1x blocks
901 __ASM_EMIT("8:")
902 __ASM_EMIT("add $3, %[count]")
903 __ASM_EMIT("jl 10f")
904 __ASM_EMIT("9:")
905 __ASM_EMIT("vsubss 0x00(%[b], %[off]), %%xmm6, %%xmm0") // xmm0 = a-b
906 __ASM_EMIT("vmulss 0x00(%[k], %[off]), %%xmm0, %%xmm0") // xmm0 = (a-b)*k
907 __ASM_EMIT("vsubss %%xmm0, %%xmm6, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
908 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
909 __ASM_EMIT("add $0x04, %[off]")
910 __ASM_EMIT("dec %[count]")
911 __ASM_EMIT("jge 9b")
912 __ASM_EMIT("10:")
913
914 : [off] "=&r" (off), [count] "+r" (count)
915 : [dst] "r" (dst),
916 [a] "o" (a),
917 [b] "r" (b),
918 [k] "r" (k)
919 : "cc", "memory",
920 "xmm0", "xmm1", "xmm2", "xmm3",
921 "xmm6"
922 );
923 }
924
925 void lerp_kvv_fma3(float *dst, float a, const float *b, const float *k, size_t count)
926 {
927 IF_ARCH_X86( size_t off );
928 ARCH_X86_ASM(
929 __ASM_EMIT("xor %[off], %[off]")
930 __ASM_EMIT("sub $32, %[count]")
931 __ASM_EMIT("vbroadcastss %[a], %%ymm6") // ymm6 = a
932 __ASM_EMIT("jb 2f")
933 // 32x blocks
934 __ASM_EMIT(".p2align 4")
935 __ASM_EMIT("1:")
936 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm6, %%ymm0") // ymm0 = a-b
937 __ASM_EMIT("vsubps 0x20(%[b], %[off]), %%ymm6, %%ymm1")
938 __ASM_EMIT("vsubps 0x40(%[b], %[off]), %%ymm6, %%ymm2")
939 __ASM_EMIT("vsubps 0x60(%[b], %[off]), %%ymm6, %%ymm3")
940 __ASM_EMIT("vfnmadd132ps 0x00(%[k], %[off]), %%ymm6, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
941 __ASM_EMIT("vfnmadd132ps 0x20(%[k], %[off]), %%ymm6, %%ymm1")
942 __ASM_EMIT("vfnmadd132ps 0x40(%[k], %[off]), %%ymm6, %%ymm2")
943 __ASM_EMIT("vfnmadd132ps 0x60(%[k], %[off]), %%ymm6, %%ymm3")
944 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
945 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
946 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off])")
947 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off])")
948 __ASM_EMIT("add $0x80, %[off]")
949 __ASM_EMIT("sub $32, %[count]")
950 __ASM_EMIT("jae 1b")
951 // 16x block
952 __ASM_EMIT("2:")
953 __ASM_EMIT("add $16, %[count]")
954 __ASM_EMIT("jl 4f")
955 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm6, %%ymm0") // ymm0 = a-b
956 __ASM_EMIT("vsubps 0x20(%[b], %[off]), %%ymm6, %%ymm1")
957 __ASM_EMIT("vfnmadd132ps 0x00(%[k], %[off]), %%ymm6, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
958 __ASM_EMIT("vfnmadd132ps 0x20(%[k], %[off]), %%ymm6, %%ymm1")
959 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
960 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
961 __ASM_EMIT("add $0x40, %[off]")
962 __ASM_EMIT("sub $16, %[count]")
963 // 8x block
964 __ASM_EMIT("4:")
965 __ASM_EMIT("add $8, %[count]")
966 __ASM_EMIT("jl 6f")
967 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm6, %%ymm0") // ymm0 = a-b
968 __ASM_EMIT("vfnmadd132ps 0x00(%[k], %[off]), %%ymm6, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
969 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
970 __ASM_EMIT("add $0x20, %[off]")
971 __ASM_EMIT("sub $8, %[count]")
972 // 4x block
973 __ASM_EMIT("6:")
974 __ASM_EMIT("add $4, %[count]")
975 __ASM_EMIT("jl 8f")
976 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%xmm6, %%xmm0") // xmm0 = a-b
977 __ASM_EMIT("vfnmadd132ps 0x00(%[k], %[off]), %%xmm6, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
978 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
979 __ASM_EMIT("add $0x10, %[off]")
980 __ASM_EMIT("sub $4, %[count]")
981 // 1x blocks
982 __ASM_EMIT("8:")
983 __ASM_EMIT("add $3, %[count]")
984 __ASM_EMIT("jl 10f")
985 __ASM_EMIT("9:")
986 __ASM_EMIT("vsubss 0x00(%[b], %[off]), %%xmm6, %%xmm0") // xmm0 = a-b
987 __ASM_EMIT("vfnmadd132ss 0x00(%[k], %[off]), %%xmm6, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
988 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
989 __ASM_EMIT("add $0x04, %[off]")
990 __ASM_EMIT("dec %[count]")
991 __ASM_EMIT("jge 9b")
992 __ASM_EMIT("10:")
993
994 : [off] "=&r" (off), [count] "+r" (count)
995 : [dst] "r" (dst),
996 [a] "o" (a),
997 [b] "r" (b),
998 [k] "r" (k)
999 : "cc", "memory",
1000 "xmm0", "xmm1", "xmm2", "xmm3",
1001 "xmm6"
1002 );
1003 }
1004
1005 void lerp_kvk(float *dst, float a, const float *b, float k, size_t count)
1006 {
1007 IF_ARCH_X86( size_t off );
1008 ARCH_X86_ASM(
1009 __ASM_EMIT("xor %[off], %[off]")
1010 __ASM_EMIT("sub $32, %[count]")
1011 __ASM_EMIT("vbroadcastss %[a], %%ymm6") // ymm6 = a
1012 __ASM_EMIT("vbroadcastss %[k], %%ymm7") // ymm7 = k
1013 __ASM_EMIT("jb 2f")
1014 // 32x blocks
1015 __ASM_EMIT(".p2align 4")
1016 __ASM_EMIT("1:")
1017 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm6, %%ymm0") // ymm0 = a-b
1018 __ASM_EMIT("vsubps 0x20(%[b], %[off]), %%ymm6, %%ymm1")
1019 __ASM_EMIT("vsubps 0x40(%[b], %[off]), %%ymm6, %%ymm2")
1020 __ASM_EMIT("vsubps 0x60(%[b], %[off]), %%ymm6, %%ymm3")
1021 __ASM_EMIT("vmulps %%ymm7, %%ymm0, %%ymm0") // ymm0 = (a-b)*k
1022 __ASM_EMIT("vmulps %%ymm7, %%ymm1, %%ymm1")
1023 __ASM_EMIT("vmulps %%ymm7, %%ymm2, %%ymm2")
1024 __ASM_EMIT("vmulps %%ymm7, %%ymm3, %%ymm3")
1025 __ASM_EMIT("vsubps %%ymm0, %%ymm6, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
1026 __ASM_EMIT("vsubps %%ymm1, %%ymm6, %%ymm1")
1027 __ASM_EMIT("vsubps %%ymm2, %%ymm6, %%ymm2")
1028 __ASM_EMIT("vsubps %%ymm3, %%ymm6, %%ymm3")
1029 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
1030 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
1031 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off])")
1032 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off])")
1033 __ASM_EMIT("add $0x80, %[off]")
1034 __ASM_EMIT("sub $32, %[count]")
1035 __ASM_EMIT("jae 1b")
1036 // 16x block
1037 __ASM_EMIT("2:")
1038 __ASM_EMIT("add $16, %[count]")
1039 __ASM_EMIT("jl 4f")
1040 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm6, %%ymm0") // ymm0 = a-b
1041 __ASM_EMIT("vsubps 0x20(%[b], %[off]), %%ymm6, %%ymm1")
1042 __ASM_EMIT("vmulps %%ymm7, %%ymm0, %%ymm0") // ymm0 = (a-b)*k
1043 __ASM_EMIT("vmulps %%ymm7, %%ymm1, %%ymm1")
1044 __ASM_EMIT("vsubps %%ymm0, %%ymm6, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
1045 __ASM_EMIT("vsubps %%ymm1, %%ymm6, %%ymm1")
1046 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
1047 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
1048 __ASM_EMIT("add $0x40, %[off]")
1049 __ASM_EMIT("sub $16, %[count]")
1050 // 8x block
1051 __ASM_EMIT("4:")
1052 __ASM_EMIT("add $8, %[count]")
1053 __ASM_EMIT("jl 6f")
1054 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm6, %%ymm0") // ymm0 = a-b
1055 __ASM_EMIT("vmulps %%ymm7, %%ymm0, %%ymm0") // ymm0 = (a-b)*k
1056 __ASM_EMIT("vsubps %%ymm0, %%ymm6, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
1057 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
1058 __ASM_EMIT("add $0x20, %[off]")
1059 __ASM_EMIT("sub $8, %[count]")
1060 // 4x block
1061 __ASM_EMIT("6:")
1062 __ASM_EMIT("add $4, %[count]")
1063 __ASM_EMIT("jl 8f")
1064 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%xmm6, %%xmm0") // xmm0 = a-b
1065 __ASM_EMIT("vmulps %%xmm7, %%xmm0, %%xmm0") // xmm0 = (a-b)*k
1066 __ASM_EMIT("vsubps %%xmm0, %%xmm6, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
1067 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
1068 __ASM_EMIT("add $0x10, %[off]")
1069 __ASM_EMIT("sub $4, %[count]")
1070 // 1x blocks
1071 __ASM_EMIT("8:")
1072 __ASM_EMIT("add $3, %[count]")
1073 __ASM_EMIT("jl 10f")
1074 __ASM_EMIT("9:")
1075 __ASM_EMIT("vsubss 0x00(%[b], %[off]), %%xmm6, %%xmm0") // xmm0 = a-b
1076 __ASM_EMIT("vmulss %%xmm7, %%xmm0, %%xmm0") // xmm0 = (a-b)*k
1077 __ASM_EMIT("vsubss %%xmm0, %%xmm6, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
1078 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
1079 __ASM_EMIT("add $0x04, %[off]")
1080 __ASM_EMIT("dec %[count]")
1081 __ASM_EMIT("jge 9b")
1082 __ASM_EMIT("10:")
1083
1084 : [off] "=&r" (off), [count] "+r" (count)
1085 : [dst] "r" (dst),
1086 [a] "o" (a),
1087 [b] "r" (b),
1088 [k] "o" (k)
1089 : "cc", "memory",
1090 "xmm0", "xmm1", "xmm2", "xmm3",
1091 "xmm6", "xmm7"
1092 );
1093 }
1094
1095 void lerp_kvk_fma3(float *dst, float a, const float *b, float k, size_t count)
1096 {
1097 IF_ARCH_X86( size_t off );
1098 ARCH_X86_ASM(
1099 __ASM_EMIT("xor %[off], %[off]")
1100 __ASM_EMIT("sub $32, %[count]")
1101 __ASM_EMIT("vbroadcastss %[a], %%ymm6") // ymm6 = a
1102 __ASM_EMIT("vbroadcastss %[k], %%ymm7") // ymm7 = k
1103 __ASM_EMIT("jb 2f")
1104 // 32x blocks
1105 __ASM_EMIT(".p2align 4")
1106 __ASM_EMIT("1:")
1107 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm6, %%ymm0") // ymm0 = a-b
1108 __ASM_EMIT("vsubps 0x20(%[b], %[off]), %%ymm6, %%ymm1")
1109 __ASM_EMIT("vsubps 0x40(%[b], %[off]), %%ymm6, %%ymm2")
1110 __ASM_EMIT("vsubps 0x60(%[b], %[off]), %%ymm6, %%ymm3")
1111 __ASM_EMIT("vfnmadd132ps %%ymm7, %%ymm6, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
1112 __ASM_EMIT("vfnmadd132ps %%ymm7, %%ymm6, %%ymm1")
1113 __ASM_EMIT("vfnmadd132ps %%ymm7, %%ymm6, %%ymm2")
1114 __ASM_EMIT("vfnmadd132ps %%ymm7, %%ymm6, %%ymm3")
1115 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
1116 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
1117 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off])")
1118 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off])")
1119 __ASM_EMIT("add $0x80, %[off]")
1120 __ASM_EMIT("sub $32, %[count]")
1121 __ASM_EMIT("jae 1b")
1122 // 16x block
1123 __ASM_EMIT("2:")
1124 __ASM_EMIT("add $16, %[count]")
1125 __ASM_EMIT("jl 4f")
1126 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm6, %%ymm0") // ymm0 = a-b
1127 __ASM_EMIT("vsubps 0x20(%[b], %[off]), %%ymm6, %%ymm1")
1128 __ASM_EMIT("vfnmadd132ps %%ymm7, %%ymm6, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
1129 __ASM_EMIT("vfnmadd132ps %%ymm7, %%ymm6, %%ymm1")
1130 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
1131 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
1132 __ASM_EMIT("add $0x40, %[off]")
1133 __ASM_EMIT("sub $16, %[count]")
1134 // 8x block
1135 __ASM_EMIT("4:")
1136 __ASM_EMIT("add $8, %[count]")
1137 __ASM_EMIT("jl 6f")
1138 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm6, %%ymm0") // ymm0 = a-b
1139 __ASM_EMIT("vfnmadd132ps %%ymm7, %%ymm6, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
1140 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
1141 __ASM_EMIT("add $0x20, %[off]")
1142 __ASM_EMIT("sub $8, %[count]")
1143 // 4x block
1144 __ASM_EMIT("6:")
1145 __ASM_EMIT("add $4, %[count]")
1146 __ASM_EMIT("jl 8f")
1147 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%xmm6, %%xmm0") // xmm0 = a-b
1148 __ASM_EMIT("vfnmadd132ps %%xmm7, %%xmm6, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
1149 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
1150 __ASM_EMIT("add $0x10, %[off]")
1151 __ASM_EMIT("sub $4, %[count]")
1152 // 1x blocks
1153 __ASM_EMIT("8:")
1154 __ASM_EMIT("add $3, %[count]")
1155 __ASM_EMIT("jl 10f")
1156 __ASM_EMIT("9:")
1157 __ASM_EMIT("vsubss 0x00(%[b], %[off]), %%xmm6, %%xmm0") // xmm0 = a-b
1158 __ASM_EMIT("vfnmadd132ss %%xmm7, %%xmm6, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
1159 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
1160 __ASM_EMIT("add $0x04, %[off]")
1161 __ASM_EMIT("dec %[count]")
1162 __ASM_EMIT("jge 9b")
1163 __ASM_EMIT("10:")
1164
1165 : [off] "=&r" (off), [count] "+r" (count)
1166 : [dst] "r" (dst),
1167 [a] "o" (a),
1168 [b] "r" (b),
1169 [k] "o" (k)
1170 : "cc", "memory",
1171 "xmm0", "xmm1", "xmm2", "xmm3",
1172 "xmm6", "xmm7"
1173 );
1174 }
1175
1176 void lerp_kkv(float *dst, float a, float b, const float *k, size_t count)
1177 {
1178 IF_ARCH_X86( size_t off );
1179 ARCH_X86_ASM(
1180 __ASM_EMIT("vbroadcastss %[a], %%ymm6") // ymm6 = a
1181 __ASM_EMIT("vbroadcastss %[b], %%ymm7") // ymm7 = b
1182 __ASM_EMIT("xor %[off], %[off]")
1183 __ASM_EMIT("sub $32, %[count]")
1184 __ASM_EMIT("vsubps %%ymm6, %%ymm7, %%ymm7") // ymm7 = b-a
1185 __ASM_EMIT("jb 2f")
1186 // 32x blocks
1187 __ASM_EMIT(".p2align 4")
1188 __ASM_EMIT("1:")
1189 __ASM_EMIT("vmulps 0x00(%[k], %[off]), %%ymm7, %%ymm0") // ymm0 = (a-b)*k
1190 __ASM_EMIT("vmulps 0x20(%[k], %[off]), %%ymm7, %%ymm1")
1191 __ASM_EMIT("vmulps 0x40(%[k], %[off]), %%ymm7, %%ymm2")
1192 __ASM_EMIT("vmulps 0x60(%[k], %[off]), %%ymm7, %%ymm3")
1193 __ASM_EMIT("vaddps %%ymm0, %%ymm6, %%ymm0") // ymm0 = a + (b-a)*k
1194 __ASM_EMIT("vaddps %%ymm1, %%ymm6, %%ymm1")
1195 __ASM_EMIT("vaddps %%ymm2, %%ymm6, %%ymm2")
1196 __ASM_EMIT("vaddps %%ymm3, %%ymm6, %%ymm3")
1197 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
1198 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
1199 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off])")
1200 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off])")
1201 __ASM_EMIT("add $0x80, %[off]")
1202 __ASM_EMIT("sub $32, %[count]")
1203 __ASM_EMIT("jae 1b")
1204 // 16x block
1205 __ASM_EMIT("2:")
1206 __ASM_EMIT("add $16, %[count]")
1207 __ASM_EMIT("jl 4f")
1208 __ASM_EMIT("vmulps 0x00(%[k], %[off]), %%ymm7, %%ymm0") // ymm0 = (a-b)*k
1209 __ASM_EMIT("vmulps 0x20(%[k], %[off]), %%ymm7, %%ymm1")
1210 __ASM_EMIT("vaddps %%ymm0, %%ymm6, %%ymm0") // ymm0 = a + (b-a)*k
1211 __ASM_EMIT("vaddps %%ymm1, %%ymm6, %%ymm1")
1212 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
1213 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
1214 __ASM_EMIT("add $0x40, %[off]")
1215 __ASM_EMIT("sub $16, %[count]")
1216 // 8x block
1217 __ASM_EMIT("4:")
1218 __ASM_EMIT("add $8, %[count]")
1219 __ASM_EMIT("jl 6f")
1220 __ASM_EMIT("vmulps 0x00(%[k], %[off]), %%ymm7, %%ymm0") // ymm0 = (a-b)*k
1221 __ASM_EMIT("vaddps %%ymm0, %%ymm6, %%ymm0") // ymm0 = a + (b-a)*k
1222 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
1223 __ASM_EMIT("add $0x20, %[off]")
1224 __ASM_EMIT("sub $8, %[count]")
1225 // 4x block
1226 __ASM_EMIT("6:")
1227 __ASM_EMIT("add $4, %[count]")
1228 __ASM_EMIT("jl 8f")
1229 __ASM_EMIT("vmulps 0x00(%[k], %[off]), %%xmm7, %%xmm0") // xmm0 = (a-b)*k
1230 __ASM_EMIT("vaddps %%xmm0, %%xmm6, %%xmm0") // xmm0 = a + (b-a)*k
1231 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
1232 __ASM_EMIT("add $0x10, %[off]")
1233 __ASM_EMIT("sub $4, %[count]")
1234 // 1x blocks
1235 __ASM_EMIT("8:")
1236 __ASM_EMIT("add $3, %[count]")
1237 __ASM_EMIT("jl 10f")
1238 __ASM_EMIT("9:")
1239 __ASM_EMIT("vmulss 0x00(%[k], %[off]), %%xmm7, %%xmm0") // xmm0 = (b-a)*k
1240 __ASM_EMIT("vaddss %%xmm0, %%xmm6, %%xmm0") // xmm0 = a + (b-a)*k
1241 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
1242 __ASM_EMIT("add $0x04, %[off]")
1243 __ASM_EMIT("dec %[count]")
1244 __ASM_EMIT("jge 9b")
1245 __ASM_EMIT("10:")
1246
1247 : [off] "=&r" (off), [count] "+r" (count)
1248 : [dst] "r" (dst),
1249 [a] "o" (a),
1250 [b] "o" (b),
1251 [k] "r" (k)
1252 : "cc", "memory",
1253 "xmm0", "xmm1", "xmm2", "xmm3",
1254 "xmm6", "xmm7"
1255 );
1256 }
1257
1258 void lerp_kkv_fma3(float *dst, float a, float b, const float *k, size_t count)
1259 {
1260 IF_ARCH_X86( size_t off );
1261 ARCH_X86_ASM(
1262 __ASM_EMIT("vbroadcastss %[a], %%ymm6") // ymm6 = a
1263 __ASM_EMIT("vbroadcastss %[b], %%ymm7") // ymm7 = b
1264 __ASM_EMIT("xor %[off], %[off]")
1265 __ASM_EMIT("sub $32, %[count]")
1266 __ASM_EMIT("vsubps %%ymm6, %%ymm7, %%ymm7") // ymm7 = b-a
1267 __ASM_EMIT("jb 2f")
1268 // 32x blocks
1269 __ASM_EMIT(".p2align 4")
1270 __ASM_EMIT("1:")
1271 __ASM_EMIT("vmovaps %%ymm7, %%ymm0") // ymm0 = b-a
1272 __ASM_EMIT("vmovaps %%ymm7, %%ymm1")
1273 __ASM_EMIT("vmovaps %%ymm7, %%ymm2")
1274 __ASM_EMIT("vmovaps %%ymm7, %%ymm3")
1275 __ASM_EMIT("vfmadd132ps 0x00(%[k], %[off]), %%ymm6, %%ymm0") // ymm0 = (a-b)*k
1276 __ASM_EMIT("vfmadd132ps 0x20(%[k], %[off]), %%ymm6, %%ymm1")
1277 __ASM_EMIT("vfmadd132ps 0x40(%[k], %[off]), %%ymm6, %%ymm2")
1278 __ASM_EMIT("vfmadd132ps 0x60(%[k], %[off]), %%ymm6, %%ymm3")
1279 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
1280 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
1281 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst], %[off])")
1282 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst], %[off])")
1283 __ASM_EMIT("add $0x80, %[off]")
1284 __ASM_EMIT("sub $32, %[count]")
1285 __ASM_EMIT("jae 1b")
1286 // 16x block
1287 __ASM_EMIT("2:")
1288 __ASM_EMIT("add $16, %[count]")
1289 __ASM_EMIT("jl 4f")
1290 __ASM_EMIT("vmovaps %%ymm7, %%ymm0") // ymm0 = b-a
1291 __ASM_EMIT("vmovaps %%ymm7, %%ymm1")
1292 __ASM_EMIT("vfmadd132ps 0x00(%[k], %[off]), %%ymm6, %%ymm0") // ymm0 = (a-b)*k
1293 __ASM_EMIT("vfmadd132ps 0x20(%[k], %[off]), %%ymm6, %%ymm1")
1294 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
1295 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst], %[off])")
1296 __ASM_EMIT("add $0x40, %[off]")
1297 __ASM_EMIT("sub $16, %[count]")
1298 // 8x block
1299 __ASM_EMIT("4:")
1300 __ASM_EMIT("add $8, %[count]")
1301 __ASM_EMIT("jl 6f")
1302 __ASM_EMIT("vmovaps %%ymm7, %%ymm0") // ymm0 = b-a
1303 __ASM_EMIT("vfmadd132ps 0x00(%[k], %[off]), %%ymm6, %%ymm0") // ymm0 = (a-b)*k
1304 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
1305 __ASM_EMIT("add $0x20, %[off]")
1306 __ASM_EMIT("sub $8, %[count]")
1307 // 4x block
1308 __ASM_EMIT("6:")
1309 __ASM_EMIT("add $4, %[count]")
1310 __ASM_EMIT("jl 8f")
1311 __ASM_EMIT("vmovaps %%xmm7, %%xmm0") // xmm0 = b-a
1312 __ASM_EMIT("vfmadd132ps 0x00(%[k], %[off]), %%xmm6, %%xmm0") // xmm0 = (a-b)*k
1313 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
1314 __ASM_EMIT("add $0x10, %[off]")
1315 __ASM_EMIT("sub $4, %[count]")
1316 // 1x blocks
1317 __ASM_EMIT("8:")
1318 __ASM_EMIT("add $3, %[count]")
1319 __ASM_EMIT("jl 10f")
1320 __ASM_EMIT("9:")
1321 __ASM_EMIT("vmovaps %%xmm7, %%xmm0") // xmm0 = b-a
1322 __ASM_EMIT("vfmadd132ss 0x00(%[k], %[off]), %%xmm6, %%xmm0") // xmm0 = (a-b)*k
1323 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
1324 __ASM_EMIT("add $0x04, %[off]")
1325 __ASM_EMIT("dec %[count]")
1326 __ASM_EMIT("jge 9b")
1327 __ASM_EMIT("10:")
1328
1329 : [off] "=&r" (off), [count] "+r" (count)
1330 : [dst] "r" (dst),
1331 [a] "o" (a),
1332 [b] "o" (b),
1333 [k] "r" (k)
1334 : "cc", "memory",
1335 "xmm0", "xmm1", "xmm2", "xmm3",
1336 "xmm6", "xmm7"
1337 );
1338 }
1339
1340 } /* namespace sse */
1341 } /* namespace lsp */
1342
1343
1344 #endif /* PRIVATE_DSP_ARCH_X86_AVX_PMATH_LERP_H_ */