Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx512/pmath/lerp.h

raw
1 /*
2 * Copyright (C) 2026 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2026 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 1 июл. 2026 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_PMATH_LERP_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX512_PMATH_LERP_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_IMPL */
28
29 namespace lsp
30 {
31 namespace avx512
32 {
33
34 void lerp_vvv(float *dst, const float *a, const float *b, const float *k, size_t count)
35 {
36 IF_ARCH_X86( size_t off );
37 ARCH_X86_ASM(
38 __ASM_EMIT("xor %[off], %[off]")
39 __ASM_EMIT32("subl $64, %[count]")
40 __ASM_EMIT64("sub $64, %[count]")
41 __ASM_EMIT("jb 2f")
42 // 64x blocks
43 __ASM_EMIT(".p2align 4")
44 __ASM_EMIT("1:")
45 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%zmm0") // zmm0 = a
46 __ASM_EMIT("vmovups 0x40(%[a], %[off]), %%zmm1")
47 __ASM_EMIT("vmovups 0x80(%[a], %[off]), %%zmm2")
48 __ASM_EMIT("vmovups 0xc0(%[a], %[off]), %%zmm3")
49 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%zmm0, %%zmm4") // zmm4 = a-b
50 __ASM_EMIT("vsubps 0x40(%[b], %[off]), %%zmm1, %%zmm5")
51 __ASM_EMIT("vsubps 0x80(%[b], %[off]), %%zmm2, %%zmm6")
52 __ASM_EMIT("vsubps 0xc0(%[b], %[off]), %%zmm3, %%zmm7")
53 __ASM_EMIT("vfnmadd231ps 0x00(%[k], %[off]), %%zmm4, %%zmm0") // zmm0 = a - (a-b)*k = a + (b-a)*k
54 __ASM_EMIT("vfnmadd231ps 0x40(%[k], %[off]), %%zmm5, %%zmm1")
55 __ASM_EMIT("vfnmadd231ps 0x80(%[k], %[off]), %%zmm6, %%zmm2")
56 __ASM_EMIT("vfnmadd231ps 0xc0(%[k], %[off]), %%zmm7, %%zmm3")
57 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
58 __ASM_EMIT("vmovups %%zmm1, 0x40(%[dst], %[off])")
59 __ASM_EMIT("vmovups %%zmm2, 0x80(%[dst], %[off])")
60 __ASM_EMIT("vmovups %%zmm3, 0xc0(%[dst], %[off])")
61 __ASM_EMIT("add $0x100, %[off]")
62 __ASM_EMIT32("subl $64, %[count]")
63 __ASM_EMIT64("sub $64, %[count]")
64 __ASM_EMIT("jae 1b")
65 // 32x block
66 __ASM_EMIT("2:")
67 __ASM_EMIT32("addl $32, %[count]")
68 __ASM_EMIT64("add $32, %[count]")
69 __ASM_EMIT("jl 4f")
70 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%zmm0") // zmm0 = a
71 __ASM_EMIT("vmovups 0x40(%[a], %[off]), %%zmm1")
72 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%zmm0, %%zmm4") // zmm4 = a-b
73 __ASM_EMIT("vsubps 0x40(%[b], %[off]), %%zmm1, %%zmm5")
74 __ASM_EMIT("vfnmadd231ps 0x00(%[k], %[off]), %%zmm4, %%zmm0") // zmm0 = a - (a-b)*k = a + (b-a)*k
75 __ASM_EMIT("vfnmadd231ps 0x40(%[k], %[off]), %%zmm5, %%zmm1")
76 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
77 __ASM_EMIT("vmovups %%zmm1, 0x40(%[dst], %[off])")
78 __ASM_EMIT("add $0x80, %[off]")
79 __ASM_EMIT32("subl $32, %[count]")
80 __ASM_EMIT64("sub $32, %[count]")
81 __ASM_EMIT("jae 1b")
82 // 16x block
83 __ASM_EMIT("4:")
84 __ASM_EMIT32("addl $16, %[count]")
85 __ASM_EMIT64("add $16, %[count]")
86 __ASM_EMIT("jl 6f")
87 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%zmm0") // zmm0 = a
88 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%zmm0, %%zmm4") // zmm4 = a-b
89 __ASM_EMIT("vfnmadd231ps 0x00(%[k], %[off]), %%zmm4, %%zmm0") // zmm0 = a - (a-b)*k = a + (b-a)*k
90 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
91 __ASM_EMIT("add $0x40, %[off]")
92 __ASM_EMIT32("subl $16, %[count]")
93 __ASM_EMIT64("sub $16, %[count]")
94 // 8x block
95 __ASM_EMIT("6:")
96 __ASM_EMIT32("addl $8, %[count]")
97 __ASM_EMIT64("add $8, %[count]")
98 __ASM_EMIT("jl 8f")
99 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
100 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm0, %%ymm4") // ymm4 = a-b
101 __ASM_EMIT("vfnmadd231ps 0x00(%[k], %[off]), %%ymm4, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
102 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
103 __ASM_EMIT("add $0x20, %[off]")
104 __ASM_EMIT32("subl $8, %[count]")
105 __ASM_EMIT64("sub $8, %[count]")
106 // 4x block
107 __ASM_EMIT("8:")
108 __ASM_EMIT32("addl $4, %[count]")
109 __ASM_EMIT64("add $4, %[count]")
110 __ASM_EMIT("jl 10f")
111 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
112 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%xmm0, %%xmm4") // xmm4 = a-b
113 __ASM_EMIT("vfnmadd231ps 0x00(%[k], %[off]), %%xmm4, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
114 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
115 __ASM_EMIT("add $0x10, %[off]")
116 __ASM_EMIT32("subl $4, %[count]")
117 __ASM_EMIT64("sub $4, %[count]")
118 // 1x blocks
119 __ASM_EMIT("10:")
120 __ASM_EMIT32("addl $3, %[count]")
121 __ASM_EMIT64("add $3, %[count]")
122 __ASM_EMIT("jl 12f")
123 __ASM_EMIT("11:")
124 __ASM_EMIT("vmovss 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
125 __ASM_EMIT("vsubss 0x00(%[b], %[off]), %%xmm0, %%xmm4") // xmm4 = a-b
126 __ASM_EMIT("vfnmadd231ss 0x00(%[k], %[off]), %%xmm4, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
127 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
128 __ASM_EMIT("add $0x04, %[off]")
129 __ASM_EMIT32("decl %[count]")
130 __ASM_EMIT64("dec %[count]")
131 __ASM_EMIT("jge 11b")
132 __ASM_EMIT("12:")
133
134 : [off] "=&r" (off), [count] __ASM_ARG_RW(count)
135 : [dst] "r" (dst),
136 [a] "r" (a),
137 [b] "r" (b),
138 [k] "r" (k)
139 : "cc", "memory",
140 "xmm0", "xmm1", "xmm2", "xmm3",
141 "xmm4", "xmm5", "xmm6", "xmm7"
142 );
143 }
144
145 void lerp_vvk(float *dst, const float *a, const float *b, float k, size_t count)
146 {
147 IF_ARCH_X86( size_t off );
148 ARCH_X86_ASM(
149 __ASM_EMIT("xor %[off], %[off]")
150 __ASM_EMIT32("sub $48, %[count]")
151 __ASM_EMIT64("sub $64, %[count]")
152 __ASM_EMIT("vbroadcastss %[k], %%zmm6") // zmm6 = k
153 __ASM_EMIT("jb 2f")
154 // 48x/64x blocks
155 __ASM_EMIT(".p2align 4")
156 __ASM_EMIT("1:")
157 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%zmm0") // zmm0 = a
158 __ASM_EMIT("vmovups 0x40(%[a], %[off]), %%zmm1")
159 __ASM_EMIT("vmovups 0x80(%[a], %[off]), %%zmm2")
160 __ASM_EMIT64("vmovups 0xc0(%[a], %[off]), %%zmm8")
161 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%zmm0, %%zmm3") // zmm3 = a-b
162 __ASM_EMIT("vsubps 0x40(%[b], %[off]), %%zmm1, %%zmm4")
163 __ASM_EMIT("vsubps 0x80(%[b], %[off]), %%zmm2, %%zmm5")
164 __ASM_EMIT64("vsubps 0xc0(%[b], %[off]), %%zmm8, %%zmm9")
165 __ASM_EMIT("vfnmadd231ps %%zmm6, %%zmm3, %%zmm0") // zmm0 = a - (a-b)*k = a + (b-a)*k
166 __ASM_EMIT("vfnmadd231ps %%zmm6, %%zmm4, %%zmm1")
167 __ASM_EMIT("vfnmadd231ps %%zmm6, %%zmm5, %%zmm2")
168 __ASM_EMIT64("vfnmadd231ps %%zmm6, %%zmm9, %%zmm8")
169 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
170 __ASM_EMIT("vmovups %%zmm1, 0x40(%[dst], %[off])")
171 __ASM_EMIT("vmovups %%zmm2, 0x80(%[dst], %[off])")
172 __ASM_EMIT64("vmovups %%zmm8, 0xc0(%[dst], %[off])")
173 __ASM_EMIT32("add $0xc0, %[off]")
174 __ASM_EMIT32("sub $48, %[count]")
175 __ASM_EMIT64("add $0x100, %[off]")
176 __ASM_EMIT64("sub $64, %[count]")
177 __ASM_EMIT("jae 1b")
178 // 32x block
179 __ASM_EMIT("2:")
180 __ASM_EMIT32("add $16, %[count]")
181 __ASM_EMIT64("add $32, %[count]")
182 __ASM_EMIT("jl 4f")
183 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%zmm0") // zmm0 = a
184 __ASM_EMIT("vmovups 0x40(%[a], %[off]), %%zmm1")
185 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%zmm0, %%zmm3") // zmm3 = a-b
186 __ASM_EMIT("vsubps 0x40(%[b], %[off]), %%zmm1, %%zmm4")
187 __ASM_EMIT("vfnmadd231ps %%zmm6, %%zmm3, %%zmm0") // zmm0 = a - (a-b)*k = a + (b-a)*k
188 __ASM_EMIT("vfnmadd231ps %%zmm6, %%zmm4, %%zmm1")
189 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
190 __ASM_EMIT("vmovups %%zmm1, 0x40(%[dst], %[off])")
191 __ASM_EMIT("add $0x80, %[off]")
192 __ASM_EMIT("sub $32, %[count]")
193 // 16x block
194 __ASM_EMIT("4:")
195 __ASM_EMIT("add $16, %[count]")
196 __ASM_EMIT("jl 6f")
197 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%zmm0") // zmm0 = a
198 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%zmm0, %%zmm3") // zmm3 = a-b
199 __ASM_EMIT("vfnmadd231ps %%zmm6, %%zmm3, %%zmm0") // zmm0 = a - (a-b)*k = a + (b-a)*k
200 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
201 __ASM_EMIT("add $0x40, %[off]")
202 __ASM_EMIT("sub $16, %[count]")
203 // 8x block
204 __ASM_EMIT("6:")
205 __ASM_EMIT("add $8, %[count]")
206 __ASM_EMIT("jl 8f")
207 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
208 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm0, %%ymm3") // ymm3 = a-b
209 __ASM_EMIT("vfnmadd231ps %%ymm6, %%ymm3, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
210 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
211 __ASM_EMIT("add $0x20, %[off]")
212 __ASM_EMIT("sub $8, %[count]")
213 // 4x block
214 __ASM_EMIT("8:")
215 __ASM_EMIT("add $4, %[count]")
216 __ASM_EMIT("jl 10f")
217 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
218 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%xmm0, %%xmm3") // xmm3 = a-b
219 __ASM_EMIT("vfnmadd231ps %%xmm6, %%xmm3, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
220 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
221 __ASM_EMIT("add $0x10, %[off]")
222 __ASM_EMIT("sub $4, %[count]")
223 // 1x blocks
224 __ASM_EMIT("10:")
225 __ASM_EMIT("add $3, %[count]")
226 __ASM_EMIT("jl 12f")
227 __ASM_EMIT("11:")
228 __ASM_EMIT("vmovss 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
229 __ASM_EMIT("vsubss 0x00(%[b], %[off]), %%xmm0, %%xmm3") // xmm3 = a-b
230 __ASM_EMIT("vfnmadd231ss %%xmm6, %%xmm3, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
231 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
232 __ASM_EMIT("add $0x04, %[off]")
233 __ASM_EMIT("dec %[count]")
234 __ASM_EMIT("jge 11b")
235 __ASM_EMIT("12:")
236
237 : [off] "=&r" (off), [count] "+r" (count)
238 : [dst] "r" (dst),
239 [a] "r" (a),
240 [b] "r" (b),
241 [k] "o" (k)
242 : "cc", "memory",
243 __IF_64("xmm8", "xmm9", )
244 "xmm0", "xmm1", "xmm2", "xmm3",
245 "xmm4", "xmm5", "xmm6"
246 );
247 }
248
249 void lerp_vkv(float *dst, const float *a, float b, const float *k, size_t count)
250 {
251 IF_ARCH_X86( size_t off );
252 ARCH_X86_ASM(
253 __ASM_EMIT("xor %[off], %[off]")
254 __ASM_EMIT32("sub $48, %[count]")
255 __ASM_EMIT64("sub $64, %[count]")
256 __ASM_EMIT("vbroadcastss %[b], %%zmm6") // zmm6 = b
257 __ASM_EMIT("jb 2f")
258 // 48x/64x blocks
259 __ASM_EMIT(".p2align 4")
260 __ASM_EMIT("1:")
261 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%zmm0") // zmm0 = a
262 __ASM_EMIT("vmovups 0x40(%[a], %[off]), %%zmm1")
263 __ASM_EMIT("vmovups 0x80(%[a], %[off]), %%zmm2")
264 __ASM_EMIT64("vmovups 0xc0(%[a], %[off]), %%zmm8")
265 __ASM_EMIT("vsubps %%zmm6, %%zmm0, %%zmm3") // zmm3 = a-b
266 __ASM_EMIT("vsubps %%zmm6, %%zmm1, %%zmm4")
267 __ASM_EMIT("vsubps %%zmm6, %%zmm2, %%zmm5")
268 __ASM_EMIT64("vsubps %%zmm6, %%zmm8, %%zmm9")
269 __ASM_EMIT("vfnmadd231ps 0x00(%[k], %[off]), %%zmm3, %%zmm0") // zmm0 = a - (a-b)*k = a + (b-a)*k
270 __ASM_EMIT("vfnmadd231ps 0x40(%[k], %[off]), %%zmm4, %%zmm1")
271 __ASM_EMIT("vfnmadd231ps 0x80(%[k], %[off]), %%zmm5, %%zmm2")
272 __ASM_EMIT64("vfnmadd231ps 0xc0(%[k], %[off]), %%zmm9, %%zmm8")
273 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
274 __ASM_EMIT("vmovups %%zmm1, 0x40(%[dst], %[off])")
275 __ASM_EMIT("vmovups %%zmm2, 0x80(%[dst], %[off])")
276 __ASM_EMIT64("vmovups %%zmm8, 0xc0(%[dst], %[off])")
277 __ASM_EMIT32("add $0xc0, %[off]")
278 __ASM_EMIT32("sub $48, %[count]")
279 __ASM_EMIT64("add $0x100, %[off]")
280 __ASM_EMIT64("sub $64, %[count]")
281 __ASM_EMIT("jae 1b")
282 // 32x block
283 __ASM_EMIT("2:")
284 __ASM_EMIT32("add $16, %[count]")
285 __ASM_EMIT64("add $32, %[count]")
286 __ASM_EMIT("jl 4f")
287 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%zmm0") // zmm0 = a
288 __ASM_EMIT("vmovups 0x40(%[a], %[off]), %%zmm1")
289 __ASM_EMIT("vsubps %%zmm6, %%zmm0, %%zmm3") // zmm3 = a-b
290 __ASM_EMIT("vsubps %%zmm6, %%zmm1, %%zmm4")
291 __ASM_EMIT("vfnmadd231ps 0x00(%[k], %[off]), %%zmm3, %%zmm0") // zmm0 = a - (a-b)*k = a + (b-a)*k
292 __ASM_EMIT("vfnmadd231ps 0x40(%[k], %[off]), %%zmm4, %%zmm1")
293 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
294 __ASM_EMIT("vmovups %%zmm1, 0x40(%[dst], %[off])")
295 __ASM_EMIT("add $0x80, %[off]")
296 __ASM_EMIT("sub $32, %[count]")
297 // 16x block
298 __ASM_EMIT("4:")
299 __ASM_EMIT("add $16, %[count]")
300 __ASM_EMIT("jl 6f")
301 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%zmm0") // zmm0 = a
302 __ASM_EMIT("vsubps %%zmm6, %%zmm0, %%zmm3") // zmm3 = a-b
303 __ASM_EMIT("vfnmadd231ps 0x00(%[k], %[off]), %%zmm3, %%zmm0") // zmm0 = a - (a-b)*k = a + (b-a)*k
304 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
305 __ASM_EMIT("add $0x40, %[off]")
306 __ASM_EMIT("sub $16, %[count]")
307 // 8x block
308 __ASM_EMIT("6:")
309 __ASM_EMIT("add $8, %[count]")
310 __ASM_EMIT("jl 8f")
311 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
312 __ASM_EMIT("vsubps %%ymm6, %%ymm0, %%ymm3") // ymm3 = a-b
313 __ASM_EMIT("vfnmadd231ps 0x00(%[k], %[off]), %%ymm3, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
314 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
315 __ASM_EMIT("add $0x20, %[off]")
316 __ASM_EMIT("sub $8, %[count]")
317 // 4x block
318 __ASM_EMIT("8:")
319 __ASM_EMIT("add $4, %[count]")
320 __ASM_EMIT("jl 10f")
321 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
322 __ASM_EMIT("vsubps %%xmm6, %%xmm0, %%xmm3") // xmm3 = a-b
323 __ASM_EMIT("vfnmadd231ps 0x00(%[k], %[off]), %%xmm3, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
324 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
325 __ASM_EMIT("add $0x10, %[off]")
326 __ASM_EMIT("sub $4, %[count]")
327 // 1x blocks
328 __ASM_EMIT("10:")
329 __ASM_EMIT("add $3, %[count]")
330 __ASM_EMIT("jl 12f")
331 __ASM_EMIT("11:")
332 __ASM_EMIT("vmovss 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
333 __ASM_EMIT("vsubss %%xmm6, %%xmm0, %%xmm3") // xmm3 = a-b
334 __ASM_EMIT("vfnmadd231ss 0x00(%[k], %[off]), %%xmm3, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
335 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
336 __ASM_EMIT("add $0x04, %[off]")
337 __ASM_EMIT("dec %[count]")
338 __ASM_EMIT("jge 11b")
339 __ASM_EMIT("12:")
340
341 : [off] "=&r" (off), [count] "+r" (count)
342 : [dst] "r" (dst),
343 [a] "r" (a),
344 [b] "o" (b),
345 [k] "r" (k)
346 : "cc", "memory",
347 __IF_64("xmm8", "xmm9", )
348 "xmm0", "xmm1", "xmm2", "xmm3",
349 "xmm4", "xmm5", "xmm6"
350 );
351 }
352
353 void lerp_vkk(float *dst, const float *a, float b, float k, size_t count)
354 {
355 IF_ARCH_X86( size_t off );
356 ARCH_X86_ASM(
357 __ASM_EMIT("xor %[off], %[off]")
358 __ASM_EMIT32("sub $48, %[count]")
359 __ASM_EMIT64("sub $64, %[count]")
360 __ASM_EMIT("vbroadcastss %[b], %%zmm6") // zmm6 = b
361 __ASM_EMIT("vbroadcastss %[k], %%zmm7") // zmm7 = k
362 __ASM_EMIT("jb 2f")
363 // 48x/64x blocks
364 __ASM_EMIT(".p2align 4")
365 __ASM_EMIT("1:")
366 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%zmm0") // zmm0 = a
367 __ASM_EMIT("vmovups 0x40(%[a], %[off]), %%zmm1")
368 __ASM_EMIT("vmovups 0x80(%[a], %[off]), %%zmm2")
369 __ASM_EMIT64("vmovups 0xc0(%[a], %[off]), %%zmm8")
370 __ASM_EMIT("vsubps %%zmm6, %%zmm0, %%zmm3") // zmm3 = a-b
371 __ASM_EMIT("vsubps %%zmm6, %%zmm1, %%zmm4")
372 __ASM_EMIT("vsubps %%zmm6, %%zmm2, %%zmm5")
373 __ASM_EMIT64("vsubps %%zmm6, %%zmm8, %%zmm9")
374 __ASM_EMIT("vfnmadd231ps %%zmm7, %%zmm3, %%zmm0") // zmm0 = a - (a-b)*k = a + (b-a)*k
375 __ASM_EMIT("vfnmadd231ps %%zmm7, %%zmm4, %%zmm1")
376 __ASM_EMIT("vfnmadd231ps %%zmm7, %%zmm5, %%zmm2")
377 __ASM_EMIT64("vfnmadd231ps %%zmm7, %%zmm9, %%zmm8")
378 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
379 __ASM_EMIT("vmovups %%zmm1, 0x40(%[dst], %[off])")
380 __ASM_EMIT("vmovups %%zmm2, 0x80(%[dst], %[off])")
381 __ASM_EMIT64("vmovups %%zmm8, 0xc0(%[dst], %[off])")
382 __ASM_EMIT32("add $0xc0, %[off]")
383 __ASM_EMIT32("sub $48, %[count]")
384 __ASM_EMIT64("add $0x100, %[off]")
385 __ASM_EMIT64("sub $64, %[count]")
386 __ASM_EMIT("jae 1b")
387 // 32x block
388 __ASM_EMIT("2:")
389 __ASM_EMIT32("add $16, %[count]")
390 __ASM_EMIT64("add $32, %[count]")
391 __ASM_EMIT("jl 4f")
392 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%zmm0") // zmm0 = a
393 __ASM_EMIT("vmovups 0x40(%[a], %[off]), %%zmm1")
394 __ASM_EMIT("vsubps %%zmm6, %%zmm0, %%zmm3") // zmm3 = a-b
395 __ASM_EMIT("vsubps %%zmm6, %%zmm1, %%zmm4")
396 __ASM_EMIT("vfnmadd231ps %%zmm7, %%zmm3, %%zmm0") // zmm0 = a - (a-b)*k = a + (b-a)*k
397 __ASM_EMIT("vfnmadd231ps %%zmm7, %%zmm4, %%zmm1")
398 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
399 __ASM_EMIT("vmovups %%zmm1, 0x40(%[dst], %[off])")
400 __ASM_EMIT("add $0x80, %[off]")
401 __ASM_EMIT("sub $32, %[count]")
402 // 16x block
403 __ASM_EMIT("4:")
404 __ASM_EMIT("add $16, %[count]")
405 __ASM_EMIT("jl 6f")
406 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%zmm0") // zmm0 = a
407 __ASM_EMIT("vsubps %%zmm6, %%zmm0, %%zmm3") // zmm3 = a-b
408 __ASM_EMIT("vfnmadd231ps %%zmm7, %%zmm3, %%zmm0") // zmm0 = a - (a-b)*k = a + (b-a)*k
409 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
410 __ASM_EMIT("add $0x40, %[off]")
411 __ASM_EMIT("sub $16, %[count]")
412 // 8x block
413 __ASM_EMIT("6:")
414 __ASM_EMIT("add $8, %[count]")
415 __ASM_EMIT("jl 8f")
416 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%ymm0") // ymm0 = a
417 __ASM_EMIT("vsubps %%ymm6, %%ymm0, %%ymm3") // ymm3 = a-b
418 __ASM_EMIT("vfnmadd231ps %%ymm7, %%ymm3, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
419 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
420 __ASM_EMIT("add $0x20, %[off]")
421 __ASM_EMIT("sub $8, %[count]")
422 // 4x block
423 __ASM_EMIT("8:")
424 __ASM_EMIT("add $4, %[count]")
425 __ASM_EMIT("jl 10f")
426 __ASM_EMIT("vmovups 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
427 __ASM_EMIT("vsubps %%xmm6, %%xmm0, %%xmm3") // xmm3 = a-b
428 __ASM_EMIT("vfnmadd231ps %%xmm7, %%xmm3, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
429 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
430 __ASM_EMIT("add $0x10, %[off]")
431 __ASM_EMIT("sub $4, %[count]")
432 // 1x blocks
433 __ASM_EMIT("10:")
434 __ASM_EMIT("add $3, %[count]")
435 __ASM_EMIT("jl 12f")
436 __ASM_EMIT("11:")
437 __ASM_EMIT("vmovss 0x00(%[a], %[off]), %%xmm0") // xmm0 = a
438 __ASM_EMIT("vsubss %%xmm6, %%xmm0, %%xmm3") // xmm3 = a-b
439 __ASM_EMIT("vfnmadd231ss %%xmm7, %%xmm3, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
440 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
441 __ASM_EMIT("add $0x04, %[off]")
442 __ASM_EMIT("dec %[count]")
443 __ASM_EMIT("jge 11b")
444 __ASM_EMIT("12:")
445
446 : [off] "=&r" (off), [count] "+r" (count)
447 : [dst] "r" (dst),
448 [a] "r" (a),
449 [b] "o" (b),
450 [k] "o" (k)
451 : "cc", "memory",
452 __IF_64("xmm8", "xmm9", )
453 "xmm0", "xmm1", "xmm2", "xmm3",
454 "xmm4", "xmm5", "xmm6", "xmm7"
455 );
456 }
457
458 void lerp_kvv(float *dst, float a, const float *b, const float *k, size_t count)
459 {
460 IF_ARCH_X86( size_t off );
461 ARCH_X86_ASM(
462 __ASM_EMIT("xor %[off], %[off]")
463 __ASM_EMIT("sub $64, %[count]")
464 __ASM_EMIT("vbroadcastss %[a], %%zmm6") // zmm6 = a
465 __ASM_EMIT("jb 2f")
466 // 64x blocks
467 __ASM_EMIT(".p2align 4")
468 __ASM_EMIT("1:")
469 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%zmm6, %%zmm0") // zmm0 = a-b
470 __ASM_EMIT("vsubps 0x40(%[b], %[off]), %%zmm6, %%zmm1")
471 __ASM_EMIT("vsubps 0x80(%[b], %[off]), %%zmm6, %%zmm2")
472 __ASM_EMIT("vsubps 0xc0(%[b], %[off]), %%zmm6, %%zmm3")
473 __ASM_EMIT("vfnmadd132ps 0x00(%[k], %[off]), %%zmm6, %%zmm0") // zmm0 = a - (a-b)*k = a + (b-a)*k
474 __ASM_EMIT("vfnmadd132ps 0x40(%[k], %[off]), %%zmm6, %%zmm1")
475 __ASM_EMIT("vfnmadd132ps 0x80(%[k], %[off]), %%zmm6, %%zmm2")
476 __ASM_EMIT("vfnmadd132ps 0xc0(%[k], %[off]), %%zmm6, %%zmm3")
477 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
478 __ASM_EMIT("vmovups %%zmm1, 0x40(%[dst], %[off])")
479 __ASM_EMIT("vmovups %%zmm2, 0x80(%[dst], %[off])")
480 __ASM_EMIT("vmovups %%zmm3, 0xc0(%[dst], %[off])")
481 __ASM_EMIT("add $0x100, %[off]")
482 __ASM_EMIT("sub $64, %[count]")
483 __ASM_EMIT("jae 1b")
484 // 32x block
485 __ASM_EMIT("2:")
486 __ASM_EMIT("add $32, %[count]")
487 __ASM_EMIT("jl 4f")
488 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%zmm6, %%zmm0") // zmm0 = a-b
489 __ASM_EMIT("vsubps 0x40(%[b], %[off]), %%zmm6, %%zmm1")
490 __ASM_EMIT("vfnmadd132ps 0x00(%[k], %[off]), %%zmm6, %%zmm0") // zmm0 = a - (a-b)*k = a + (b-a)*k
491 __ASM_EMIT("vfnmadd132ps 0x40(%[k], %[off]), %%zmm6, %%zmm1")
492 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
493 __ASM_EMIT("vmovups %%zmm1, 0x40(%[dst], %[off])")
494 __ASM_EMIT("add $0x80, %[off]")
495 __ASM_EMIT("sub $32, %[count]")
496 // 16x block
497 __ASM_EMIT("4:")
498 __ASM_EMIT("add $16, %[count]")
499 __ASM_EMIT("jl 6f")
500 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%zmm6, %%zmm0") // zmm0 = a-b
501 __ASM_EMIT("vfnmadd132ps 0x00(%[k], %[off]), %%zmm6, %%zmm0") // zmm0 = a - (a-b)*k = a + (b-a)*k
502 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
503 __ASM_EMIT("add $0x40, %[off]")
504 __ASM_EMIT("sub $16, %[count]")
505 // 8x block
506 __ASM_EMIT("6:")
507 __ASM_EMIT("add $8, %[count]")
508 __ASM_EMIT("jl 8f")
509 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm6, %%ymm0") // ymm0 = a-b
510 __ASM_EMIT("vfnmadd132ps 0x00(%[k], %[off]), %%ymm6, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
511 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
512 __ASM_EMIT("add $0x20, %[off]")
513 __ASM_EMIT("sub $8, %[count]")
514 // 4x block
515 __ASM_EMIT("8:")
516 __ASM_EMIT("add $4, %[count]")
517 __ASM_EMIT("jl 10f")
518 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%xmm6, %%xmm0") // xmm0 = a-b
519 __ASM_EMIT("vfnmadd132ps 0x00(%[k], %[off]), %%xmm6, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
520 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
521 __ASM_EMIT("add $0x10, %[off]")
522 __ASM_EMIT("sub $4, %[count]")
523 // 1x blocks
524 __ASM_EMIT("10:")
525 __ASM_EMIT("add $3, %[count]")
526 __ASM_EMIT("jl 12f")
527 __ASM_EMIT("11:")
528 __ASM_EMIT("vsubss 0x00(%[b], %[off]), %%xmm6, %%xmm0") // xmm0 = a-b
529 __ASM_EMIT("vfnmadd132ss 0x00(%[k], %[off]), %%xmm6, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
530 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
531 __ASM_EMIT("add $0x04, %[off]")
532 __ASM_EMIT("dec %[count]")
533 __ASM_EMIT("jge 11b")
534 __ASM_EMIT("12:")
535
536 : [off] "=&r" (off), [count] "+r" (count)
537 : [dst] "r" (dst),
538 [a] "o" (a),
539 [b] "r" (b),
540 [k] "r" (k)
541 : "cc", "memory",
542 "xmm0", "xmm1", "xmm2", "xmm3",
543 "xmm6"
544 );
545 }
546
547 void lerp_kvk(float *dst, float a, const float *b, float k, size_t count)
548 {
549 IF_ARCH_X86( size_t off );
550 ARCH_X86_ASM(
551 __ASM_EMIT("xor %[off], %[off]")
552 __ASM_EMIT("sub $64, %[count]")
553 __ASM_EMIT("vbroadcastss %[a], %%zmm6") // zmm6 = a
554 __ASM_EMIT("vbroadcastss %[k], %%zmm7") // zmm7 = k
555 __ASM_EMIT("jb 2f")
556 // 64x blocks
557 __ASM_EMIT(".p2align 4")
558 __ASM_EMIT("1:")
559 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%zmm6, %%zmm0") // zmm0 = a-b
560 __ASM_EMIT("vsubps 0x40(%[b], %[off]), %%zmm6, %%zmm1")
561 __ASM_EMIT("vsubps 0x80(%[b], %[off]), %%zmm6, %%zmm2")
562 __ASM_EMIT("vsubps 0xc0(%[b], %[off]), %%zmm6, %%zmm3")
563 __ASM_EMIT("vfnmadd132ps %%zmm7, %%zmm6, %%zmm0") // zmm0 = a - (a-b)*k = a + (b-a)*k
564 __ASM_EMIT("vfnmadd132ps %%zmm7, %%zmm6, %%zmm1")
565 __ASM_EMIT("vfnmadd132ps %%zmm7, %%zmm6, %%zmm2")
566 __ASM_EMIT("vfnmadd132ps %%zmm7, %%zmm6, %%zmm3")
567 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
568 __ASM_EMIT("vmovups %%zmm1, 0x40(%[dst], %[off])")
569 __ASM_EMIT("vmovups %%zmm2, 0x80(%[dst], %[off])")
570 __ASM_EMIT("vmovups %%zmm3, 0xc0(%[dst], %[off])")
571 __ASM_EMIT("add $0x100, %[off]")
572 __ASM_EMIT("sub $64, %[count]")
573 __ASM_EMIT("jae 1b")
574 // 32x block
575 __ASM_EMIT("2:")
576 __ASM_EMIT("add $32, %[count]")
577 __ASM_EMIT("jl 4f")
578 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%zmm6, %%zmm0") // zmm0 = a-b
579 __ASM_EMIT("vsubps 0x40(%[b], %[off]), %%zmm6, %%zmm1")
580 __ASM_EMIT("vfnmadd132ps %%zmm7, %%zmm6, %%zmm0") // zmm0 = a - (a-b)*k = a + (b-a)*k
581 __ASM_EMIT("vfnmadd132ps %%zmm7, %%zmm6, %%zmm1")
582 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
583 __ASM_EMIT("vmovups %%zmm1, 0x40(%[dst], %[off])")
584 __ASM_EMIT("add $0x80, %[off]")
585 __ASM_EMIT("sub $32, %[count]")
586 // 16x block
587 __ASM_EMIT("4:")
588 __ASM_EMIT("add $16, %[count]")
589 __ASM_EMIT("jl 6f")
590 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%zmm6, %%zmm0") // zmm0 = a-b
591 __ASM_EMIT("vfnmadd132ps %%zmm7, %%zmm6, %%zmm0") // zmm0 = a - (a-b)*k = a + (b-a)*k
592 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
593 __ASM_EMIT("add $0x40, %[off]")
594 __ASM_EMIT("sub $16, %[count]")
595 // 8x block
596 __ASM_EMIT("6:")
597 __ASM_EMIT("add $8, %[count]")
598 __ASM_EMIT("jl 8f")
599 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%ymm6, %%ymm0") // ymm0 = a-b
600 __ASM_EMIT("vfnmadd132ps %%ymm7, %%ymm6, %%ymm0") // ymm0 = a - (a-b)*k = a + (b-a)*k
601 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
602 __ASM_EMIT("add $0x20, %[off]")
603 __ASM_EMIT("sub $8, %[count]")
604 // 4x block
605 __ASM_EMIT("8:")
606 __ASM_EMIT("add $4, %[count]")
607 __ASM_EMIT("jl 10f")
608 __ASM_EMIT("vsubps 0x00(%[b], %[off]), %%xmm6, %%xmm0") // xmm0 = a-b
609 __ASM_EMIT("vfnmadd132ps %%xmm7, %%xmm6, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
610 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
611 __ASM_EMIT("add $0x10, %[off]")
612 __ASM_EMIT("sub $4, %[count]")
613 // 1x blocks
614 __ASM_EMIT("10:")
615 __ASM_EMIT("add $3, %[count]")
616 __ASM_EMIT("jl 12f")
617 __ASM_EMIT("11:")
618 __ASM_EMIT("vsubss 0x00(%[b], %[off]), %%xmm6, %%xmm0") // xmm0 = a-b
619 __ASM_EMIT("vfnmadd132ss %%xmm7, %%xmm6, %%xmm0") // xmm0 = a - (a-b)*k = a + (b-a)*k
620 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
621 __ASM_EMIT("add $0x04, %[off]")
622 __ASM_EMIT("dec %[count]")
623 __ASM_EMIT("jge 11b")
624 __ASM_EMIT("12:")
625
626 : [off] "=&r" (off), [count] "+r" (count)
627 : [dst] "r" (dst),
628 [a] "o" (a),
629 [b] "r" (b),
630 [k] "o" (k)
631 : "cc", "memory",
632 "xmm0", "xmm1", "xmm2", "xmm3",
633 "xmm6", "xmm7"
634 );
635 }
636
637 void lerp_kkv(float *dst, float a, float b, const float *k, size_t count)
638 {
639 IF_ARCH_X86( size_t off );
640 ARCH_X86_ASM(
641 __ASM_EMIT("vbroadcastss %[a], %%zmm6") // zmm6 = a
642 __ASM_EMIT("vbroadcastss %[b], %%zmm7") // zmm7 = b
643 __ASM_EMIT("xor %[off], %[off]")
644 __ASM_EMIT("sub $64, %[count]")
645 __ASM_EMIT("vsubps %%zmm6, %%zmm7, %%zmm7") // zmm7 = b-a
646 __ASM_EMIT("jb 2f")
647 // 64x blocks
648 __ASM_EMIT(".p2align 4")
649 __ASM_EMIT("1:")
650 __ASM_EMIT("vmovaps %%zmm7, %%zmm0") // zmm0 = b-a
651 __ASM_EMIT("vmovaps %%zmm7, %%zmm1")
652 __ASM_EMIT("vmovaps %%zmm7, %%zmm2")
653 __ASM_EMIT("vmovaps %%zmm7, %%zmm3")
654 __ASM_EMIT("vfmadd132ps 0x00(%[k], %[off]), %%zmm6, %%zmm0") // zmm0 = a + (b-a)*k
655 __ASM_EMIT("vfmadd132ps 0x40(%[k], %[off]), %%zmm6, %%zmm1")
656 __ASM_EMIT("vfmadd132ps 0x80(%[k], %[off]), %%zmm6, %%zmm2")
657 __ASM_EMIT("vfmadd132ps 0xc0(%[k], %[off]), %%zmm6, %%zmm3")
658 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
659 __ASM_EMIT("vmovups %%zmm1, 0x40(%[dst], %[off])")
660 __ASM_EMIT("vmovups %%zmm2, 0x80(%[dst], %[off])")
661 __ASM_EMIT("vmovups %%zmm3, 0xc0(%[dst], %[off])")
662 __ASM_EMIT("add $0x100, %[off]")
663 __ASM_EMIT("sub $64, %[count]")
664 __ASM_EMIT("jae 1b")
665 // 32x block
666 __ASM_EMIT("2:")
667 __ASM_EMIT("add $32, %[count]")
668 __ASM_EMIT("jl 4f")
669 __ASM_EMIT("vmovaps %%zmm7, %%zmm0") // zmm0 = b-a
670 __ASM_EMIT("vmovaps %%zmm7, %%zmm1")
671 __ASM_EMIT("vfmadd132ps 0x00(%[k], %[off]), %%zmm6, %%zmm0") // zmm0 = a + (b-a)*k
672 __ASM_EMIT("vfmadd132ps 0x40(%[k], %[off]), %%zmm6, %%zmm1")
673 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
674 __ASM_EMIT("vmovups %%zmm1, 0x40(%[dst], %[off])")
675 __ASM_EMIT("add $0x80, %[off]")
676 __ASM_EMIT("sub $32, %[count]")
677 // 16x block
678 __ASM_EMIT("4:")
679 __ASM_EMIT("add $16, %[count]")
680 __ASM_EMIT("jl 6f")
681 __ASM_EMIT("vmovaps %%zmm7, %%zmm0") // zmm0 = b-a
682 __ASM_EMIT("vfmadd132ps 0x00(%[k], %[off]), %%zmm6, %%zmm0") // zmm0 = a + (b-a)*k
683 __ASM_EMIT("vmovups %%zmm0, 0x00(%[dst], %[off])")
684 __ASM_EMIT("add $0x40, %[off]")
685 __ASM_EMIT("sub $16, %[count]")
686 // 8x block
687 __ASM_EMIT("6:")
688 __ASM_EMIT("add $8, %[count]")
689 __ASM_EMIT("jl 8f")
690 __ASM_EMIT("vmovaps %%ymm7, %%ymm0") // ymm0 = b-a
691 __ASM_EMIT("vfmadd132ps 0x00(%[k], %[off]), %%ymm6, %%ymm0") // ymm0 = a + (b-a)*k
692 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst], %[off])")
693 __ASM_EMIT("add $0x20, %[off]")
694 __ASM_EMIT("sub $8, %[count]")
695 // 4x block
696 __ASM_EMIT("8:")
697 __ASM_EMIT("add $4, %[count]")
698 __ASM_EMIT("jl 10f")
699 __ASM_EMIT("vmovaps %%xmm7, %%xmm0") // xmm0 = b-a
700 __ASM_EMIT("vfmadd132ps 0x00(%[k], %[off]), %%xmm6, %%xmm0") // xmm0 = a + (b-a)*k
701 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst], %[off])")
702 __ASM_EMIT("add $0x10, %[off]")
703 __ASM_EMIT("sub $4, %[count]")
704 // 1x blocks
705 __ASM_EMIT("10:")
706 __ASM_EMIT("add $3, %[count]")
707 __ASM_EMIT("jl 12f")
708 __ASM_EMIT("11:")
709 __ASM_EMIT("vmovaps %%xmm7, %%xmm0") // xmm0 = b-a
710 __ASM_EMIT("vfmadd132ss 0x00(%[k], %[off]), %%xmm6, %%xmm0") // xmm0 = a + (b-a)*k
711 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst], %[off])")
712 __ASM_EMIT("add $0x04, %[off]")
713 __ASM_EMIT("dec %[count]")
714 __ASM_EMIT("jge 11b")
715 __ASM_EMIT("12:")
716
717 : [off] "=&r" (off), [count] "+r" (count)
718 : [dst] "r" (dst),
719 [a] "o" (a),
720 [b] "o" (b),
721 [k] "r" (k)
722 : "cc", "memory",
723 "xmm0", "xmm1", "xmm2", "xmm3",
724 "xmm6", "xmm7"
725 );
726 }
727
728 } /* namespace avx512 */
729 } /* namespace lsp */
730
731
732 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_PMATH_LERP_H_ */