Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/aarch64/asimd/pmath/lerp.h

raw
1 /*
2 * Copyright (C) 2026 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2026 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 3 июл. 2026 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef INCLUDE_PRIVATE_DSP_ARCH_AARCH64_ASIMD_PMATH_LERP_H_
23 #define INCLUDE_PRIVATE_DSP_ARCH_AARCH64_ASIMD_PMATH_LERP_H_
24
25 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL */
28
29 #include <private/dsp/arch/aarch64/asimd/pmath/sin.h>
30
31 namespace lsp
32 {
33 namespace asimd
34 {
35 void lerp_vvv(float *dst, const float *a, const float *b, const float *k, size_t count)
36 {
37 ARCH_AARCH64_ASM
38 (
39 // x32 blocks
40 __ASM_EMIT("subs %[count], %[count], #32")
41 __ASM_EMIT("b.lo 2f")
42 __ASM_EMIT("1:")
43 __ASM_EMIT("ldp q0, q1, [%[a]], #0x20") // v0 = a
44 __ASM_EMIT("ldp q16, q17, [%[b]], #0x20") // v16 = b
45 __ASM_EMIT("ldp q24, q25, [%[k]], #0x20") // v24 = k
46 __ASM_EMIT("ldp q2, q3, [%[a]], #0x20")
47 __ASM_EMIT("ldp q18, q19, [%[b]], #0x20")
48 __ASM_EMIT("ldp q26, q27, [%[k]], #0x20")
49 __ASM_EMIT("ldp q4, q5, [%[a]], #0x20")
50 __ASM_EMIT("ldp q20, q21, [%[b]], #0x20")
51 __ASM_EMIT("ldp q28, q29, [%[k]], #0x20")
52 __ASM_EMIT("ldp q6, q7, [%[a]], #0x20")
53 __ASM_EMIT("ldp q22, q23, [%[b]], #0x20")
54 __ASM_EMIT("ldp q30, q31, [%[k]], #0x20")
55 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = b-a
56 __ASM_EMIT("fsub v17.4s, v17.4s, v1.4s")
57 __ASM_EMIT("fsub v18.4s, v18.4s, v2.4s")
58 __ASM_EMIT("fsub v19.4s, v19.4s, v3.4s")
59 __ASM_EMIT("fsub v20.4s, v20.4s, v4.4s")
60 __ASM_EMIT("fsub v21.4s, v21.4s, v5.4s")
61 __ASM_EMIT("fsub v22.4s, v22.4s, v6.4s")
62 __ASM_EMIT("fsub v23.4s, v23.4s, v7.4s")
63 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
64 __ASM_EMIT("fmla v1.4s, v17.4s, v25.4s")
65 __ASM_EMIT("fmla v2.4s, v18.4s, v26.4s")
66 __ASM_EMIT("fmla v3.4s, v19.4s, v27.4s")
67 __ASM_EMIT("fmla v4.4s, v20.4s, v28.4s")
68 __ASM_EMIT("fmla v5.4s, v21.4s, v29.4s")
69 __ASM_EMIT("fmla v6.4s, v22.4s, v30.4s")
70 __ASM_EMIT("fmla v7.4s, v23.4s, v31.4s")
71 __ASM_EMIT("subs %[count], %[count], #32")
72 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
73 __ASM_EMIT("stp q2, q3, [%[dst]], #0x20")
74 __ASM_EMIT("stp q4, q5, [%[dst]], #0x20")
75 __ASM_EMIT("stp q6, q7, [%[dst]], #0x20")
76 __ASM_EMIT("b.hs 1b")
77 // x16 block
78 __ASM_EMIT("2:")
79 __ASM_EMIT("adds %[count], %[count], #16")
80 __ASM_EMIT("b.lt 4f")
81 __ASM_EMIT("ldp q0, q1, [%[a]], #0x20") // v0 = a
82 __ASM_EMIT("ldp q16, q17, [%[b]], #0x20") // v16 = b
83 __ASM_EMIT("ldp q24, q25, [%[k]], #0x20") // v24 = k
84 __ASM_EMIT("ldp q2, q3, [%[a]], #0x20")
85 __ASM_EMIT("ldp q18, q19, [%[b]], #0x20")
86 __ASM_EMIT("ldp q26, q27, [%[k]], #0x20")
87 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = b-a
88 __ASM_EMIT("fsub v17.4s, v17.4s, v1.4s")
89 __ASM_EMIT("fsub v18.4s, v18.4s, v2.4s")
90 __ASM_EMIT("fsub v19.4s, v19.4s, v3.4s")
91 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
92 __ASM_EMIT("fmla v1.4s, v17.4s, v25.4s")
93 __ASM_EMIT("fmla v2.4s, v18.4s, v26.4s")
94 __ASM_EMIT("fmla v3.4s, v19.4s, v27.4s")
95 __ASM_EMIT("sub %[count], %[count], #16")
96 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
97 __ASM_EMIT("stp q2, q3, [%[dst]], #0x20")
98 // x8 block
99 __ASM_EMIT("4:")
100 __ASM_EMIT("adds %[count], %[count], #8")
101 __ASM_EMIT("b.lt 6f")
102 __ASM_EMIT("ldp q0, q1, [%[a]], #0x20") // v0 = a
103 __ASM_EMIT("ldp q16, q17, [%[b]], #0x20") // v16 = b
104 __ASM_EMIT("ldp q24, q25, [%[k]], #0x20") // v24 = k
105 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = b-a
106 __ASM_EMIT("fsub v17.4s, v17.4s, v1.4s")
107 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
108 __ASM_EMIT("fmla v1.4s, v17.4s, v25.4s")
109 __ASM_EMIT("sub %[count], %[count], #8")
110 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
111 // x4 blocks
112 __ASM_EMIT("6:")
113 __ASM_EMIT("adds %[count], %[count], #4")
114 __ASM_EMIT("b.lt 8f")
115 __ASM_EMIT("ldr q0, [%[a]], #0x10") // v0 = a
116 __ASM_EMIT("ldr q16, [%[b]], #0x10") // v16 = b
117 __ASM_EMIT("ldr q24, [%[k]], #0x10") // v24 = k
118 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = b-a
119 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
120 __ASM_EMIT("str q0, [%[dst]], #0x10")
121 __ASM_EMIT("sub %[count], %[count], #4")
122 // x1 blocks
123 __ASM_EMIT("8:")
124 __ASM_EMIT("adds %[count], %[count], #3")
125 __ASM_EMIT("b.lt 10f")
126 __ASM_EMIT("9:")
127 __ASM_EMIT("ld1r {v0.4s}, [%[a]], #0x04") // v0 = a
128 __ASM_EMIT("ld1r {v16.4s}, [%[b]], #0x04") // v16 = b
129 __ASM_EMIT("ld1r {v24.4s}, [%[k]], #0x04") // v24 = k
130 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = b-a
131 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
132 __ASM_EMIT("st1 {v0.s}[0], [%[dst]], #0x04")
133 __ASM_EMIT("subs %[count], %[count], #1")
134 __ASM_EMIT("b.ge 9b")
135 // end
136 __ASM_EMIT("10:")
137
138 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [k] "+r" (k),
139 [count] "+r" (count)
140 :
141 : "cc", "memory",
142 "v0", "v1", "v2", "v3",
143 "v4", "v5", "v6", "v7",
144 "v16", "v17", "v18", "v19",
145 "v20", "v21", "v22", "v23",
146 "v24", "v25", "v26", "v27",
147 "v28", "v29", "v30", "v31"
148 );
149 }
150
151 void lerp_vvk(float *dst, const float *a, const float *b, float k, size_t count)
152 {
153 ARCH_AARCH64_ASM
154 (
155 // x32 blocks
156 __ASM_EMIT("subs %[count], %[count], #32")
157 __ASM_EMIT("ld1r {v24.4s}, [%[k]]") // v24 = k
158 __ASM_EMIT("b.lo 2f")
159 __ASM_EMIT("1:")
160 __ASM_EMIT("ldp q0, q1, [%[a]], #0x20") // v0 = a
161 __ASM_EMIT("ldp q16, q17, [%[b]], #0x20") // v16 = b
162 __ASM_EMIT("ldp q2, q3, [%[a]], #0x20")
163 __ASM_EMIT("ldp q18, q19, [%[b]], #0x20")
164 __ASM_EMIT("ldp q4, q5, [%[a]], #0x20")
165 __ASM_EMIT("ldp q20, q21, [%[b]], #0x20")
166 __ASM_EMIT("ldp q6, q7, [%[a]], #0x20")
167 __ASM_EMIT("ldp q22, q23, [%[b]], #0x20")
168 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = b-a
169 __ASM_EMIT("fsub v17.4s, v17.4s, v1.4s")
170 __ASM_EMIT("fsub v18.4s, v18.4s, v2.4s")
171 __ASM_EMIT("fsub v19.4s, v19.4s, v3.4s")
172 __ASM_EMIT("fsub v20.4s, v20.4s, v4.4s")
173 __ASM_EMIT("fsub v21.4s, v21.4s, v5.4s")
174 __ASM_EMIT("fsub v22.4s, v22.4s, v6.4s")
175 __ASM_EMIT("fsub v23.4s, v23.4s, v7.4s")
176 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
177 __ASM_EMIT("fmla v1.4s, v17.4s, v24.4s")
178 __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s")
179 __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s")
180 __ASM_EMIT("fmla v4.4s, v20.4s, v24.4s")
181 __ASM_EMIT("fmla v5.4s, v21.4s, v24.4s")
182 __ASM_EMIT("fmla v6.4s, v22.4s, v24.4s")
183 __ASM_EMIT("fmla v7.4s, v23.4s, v24.4s")
184 __ASM_EMIT("subs %[count], %[count], #32")
185 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
186 __ASM_EMIT("stp q2, q3, [%[dst]], #0x20")
187 __ASM_EMIT("stp q4, q5, [%[dst]], #0x20")
188 __ASM_EMIT("stp q6, q7, [%[dst]], #0x20")
189 __ASM_EMIT("b.hs 1b")
190 // x16 block
191 __ASM_EMIT("2:")
192 __ASM_EMIT("adds %[count], %[count], #16")
193 __ASM_EMIT("b.lt 4f")
194 __ASM_EMIT("ldp q0, q1, [%[a]], #0x20") // v0 = a
195 __ASM_EMIT("ldp q16, q17, [%[b]], #0x20") // v16 = b
196 __ASM_EMIT("ldp q2, q3, [%[a]], #0x20")
197 __ASM_EMIT("ldp q18, q19, [%[b]], #0x20")
198 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = b-a
199 __ASM_EMIT("fsub v17.4s, v17.4s, v1.4s")
200 __ASM_EMIT("fsub v18.4s, v18.4s, v2.4s")
201 __ASM_EMIT("fsub v19.4s, v19.4s, v3.4s")
202 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
203 __ASM_EMIT("fmla v1.4s, v17.4s, v24.4s")
204 __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s")
205 __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s")
206 __ASM_EMIT("sub %[count], %[count], #16")
207 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
208 __ASM_EMIT("stp q2, q3, [%[dst]], #0x20")
209 // x8 block
210 __ASM_EMIT("4:")
211 __ASM_EMIT("adds %[count], %[count], #8")
212 __ASM_EMIT("b.lt 6f")
213 __ASM_EMIT("ldp q0, q1, [%[a]], #0x20") // v0 = a
214 __ASM_EMIT("ldp q16, q17, [%[b]], #0x20") // v16 = b
215 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = b-a
216 __ASM_EMIT("fsub v17.4s, v17.4s, v1.4s")
217 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
218 __ASM_EMIT("fmla v1.4s, v17.4s, v24.4s")
219 __ASM_EMIT("sub %[count], %[count], #8")
220 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
221 // x4 blocks
222 __ASM_EMIT("6:")
223 __ASM_EMIT("adds %[count], %[count], #4")
224 __ASM_EMIT("b.lt 8f")
225 __ASM_EMIT("ldr q0, [%[a]], #0x10") // v0 = a
226 __ASM_EMIT("ldr q16, [%[b]], #0x10") // v16 = b
227 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = b-a
228 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
229 __ASM_EMIT("sub %[count], %[count], #4")
230 __ASM_EMIT("str q0, [%[dst]], #0x10")
231 // x1 blocks
232 __ASM_EMIT("8:")
233 __ASM_EMIT("adds %[count], %[count], #3")
234 __ASM_EMIT("b.lt 10f")
235 __ASM_EMIT("9:")
236 __ASM_EMIT("ld1r {v0.4s}, [%[a]], #0x04") // v0 = a
237 __ASM_EMIT("ld1r {v16.4s}, [%[b]], #0x04") // v16 = b
238 __ASM_EMIT("fsub v16.4s, v16.4s, v0.4s") // v16 = b-a
239 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
240 __ASM_EMIT("subs %[count], %[count], #1")
241 __ASM_EMIT("st1 {v0.s}[0], [%[dst]], #0x04")
242 __ASM_EMIT("b.ge 9b")
243 // end
244 __ASM_EMIT("10:")
245
246 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
247 [count] "+r" (count)
248 : [k] "r" (&k)
249 : "cc", "memory",
250 "v0", "v1", "v2", "v3",
251 "v4", "v5", "v6", "v7",
252 "v16", "v17", "v18", "v19",
253 "v20", "v21", "v22", "v23",
254 "v24"
255 );
256 }
257
258 void lerp_vkv(float *dst, const float *a, float b, const float *k, size_t count)
259 {
260 ARCH_AARCH64_ASM
261 (
262 // x32 blocks
263 __ASM_EMIT("subs %[count], %[count], #32")
264 __ASM_EMIT("ld1r {v8.4s}, [%[b]]") // v8 = k
265 __ASM_EMIT("b.lo 2f")
266 __ASM_EMIT("1:")
267 __ASM_EMIT("ldp q0, q1, [%[a]], #0x20") // v0 = a
268 __ASM_EMIT("ldp q24, q25, [%[k]], #0x20") // v24 = k
269 __ASM_EMIT("ldp q2, q3, [%[a]], #0x20")
270 __ASM_EMIT("ldp q26, q27, [%[k]], #0x20")
271 __ASM_EMIT("ldp q4, q5, [%[a]], #0x20")
272 __ASM_EMIT("ldp q28, q29, [%[k]], #0x20")
273 __ASM_EMIT("ldp q6, q7, [%[a]], #0x20")
274 __ASM_EMIT("ldp q30, q31, [%[k]], #0x20")
275 __ASM_EMIT("fsub v16.4s, v8.4s, v0.4s") // v16 = b-a
276 __ASM_EMIT("fsub v17.4s, v8.4s, v1.4s")
277 __ASM_EMIT("fsub v18.4s, v8.4s, v2.4s")
278 __ASM_EMIT("fsub v19.4s, v8.4s, v3.4s")
279 __ASM_EMIT("fsub v20.4s, v8.4s, v4.4s")
280 __ASM_EMIT("fsub v21.4s, v8.4s, v5.4s")
281 __ASM_EMIT("fsub v22.4s, v8.4s, v6.4s")
282 __ASM_EMIT("fsub v23.4s, v8.4s, v7.4s")
283 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
284 __ASM_EMIT("fmla v1.4s, v17.4s, v25.4s")
285 __ASM_EMIT("fmla v2.4s, v18.4s, v26.4s")
286 __ASM_EMIT("fmla v3.4s, v19.4s, v27.4s")
287 __ASM_EMIT("fmla v4.4s, v20.4s, v28.4s")
288 __ASM_EMIT("fmla v5.4s, v21.4s, v29.4s")
289 __ASM_EMIT("fmla v6.4s, v22.4s, v30.4s")
290 __ASM_EMIT("fmla v7.4s, v23.4s, v31.4s")
291 __ASM_EMIT("subs %[count], %[count], #32")
292 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
293 __ASM_EMIT("stp q2, q3, [%[dst]], #0x20")
294 __ASM_EMIT("stp q4, q5, [%[dst]], #0x20")
295 __ASM_EMIT("stp q6, q7, [%[dst]], #0x20")
296 __ASM_EMIT("b.hs 1b")
297 // x16 block
298 __ASM_EMIT("2:")
299 __ASM_EMIT("adds %[count], %[count], #16")
300 __ASM_EMIT("b.lt 4f")
301 __ASM_EMIT("ldp q0, q1, [%[a]], #0x20") // v0 = a
302 __ASM_EMIT("ldp q24, q25, [%[k]], #0x20") // v24 = k
303 __ASM_EMIT("ldp q2, q3, [%[a]], #0x20")
304 __ASM_EMIT("ldp q26, q27, [%[k]], #0x20")
305 __ASM_EMIT("fsub v16.4s, v8.4s, v0.4s") // v16 = b-a
306 __ASM_EMIT("fsub v17.4s, v8.4s, v1.4s")
307 __ASM_EMIT("fsub v18.4s, v8.4s, v2.4s")
308 __ASM_EMIT("fsub v19.4s, v8.4s, v3.4s")
309 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
310 __ASM_EMIT("fmla v1.4s, v17.4s, v25.4s")
311 __ASM_EMIT("fmla v2.4s, v18.4s, v26.4s")
312 __ASM_EMIT("fmla v3.4s, v19.4s, v27.4s")
313 __ASM_EMIT("sub %[count], %[count], #16")
314 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
315 __ASM_EMIT("stp q2, q3, [%[dst]], #0x20")
316 // x8 block
317 __ASM_EMIT("4:")
318 __ASM_EMIT("adds %[count], %[count], #8")
319 __ASM_EMIT("b.lt 6f")
320 __ASM_EMIT("ldp q0, q1, [%[a]], #0x20") // v0 = a
321 __ASM_EMIT("ldp q24, q25, [%[k]], #0x20") // v24 = k
322 __ASM_EMIT("fsub v16.4s, v8.4s, v0.4s") // v16 = b-a
323 __ASM_EMIT("fsub v17.4s, v8.4s, v1.4s")
324 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
325 __ASM_EMIT("fmla v1.4s, v17.4s, v25.4s")
326 __ASM_EMIT("sub %[count], %[count], #8")
327 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
328 // x4 blocks
329 __ASM_EMIT("6:")
330 __ASM_EMIT("adds %[count], %[count], #4")
331 __ASM_EMIT("b.lt 8f")
332 __ASM_EMIT("ldr q0, [%[a]], #0x10") // v0 = a
333 __ASM_EMIT("ldr q24, [%[k]], #0x10") // v24 = k
334 __ASM_EMIT("fsub v16.4s, v8.4s, v0.4s") // v16 = b-a
335 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
336 __ASM_EMIT("sub %[count], %[count], #4")
337 __ASM_EMIT("str q0, [%[dst]], #0x10")
338 // x1 blocks
339 __ASM_EMIT("8:")
340 __ASM_EMIT("adds %[count], %[count], #3")
341 __ASM_EMIT("b.lt 10f")
342 __ASM_EMIT("9:")
343 __ASM_EMIT("ld1r {v0.4s}, [%[a]], #0x04") // v0 = a
344 __ASM_EMIT("ld1r {v24.4s}, [%[k]], #0x04") // v24 = k
345 __ASM_EMIT("fsub v16.4s, v8.4s, v0.4s") // v16 = b-a
346 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
347 __ASM_EMIT("subs %[count], %[count], #1")
348 __ASM_EMIT("st1 {v0.s}[0], [%[dst]], #0x04")
349 __ASM_EMIT("b.ge 9b")
350 // end
351 __ASM_EMIT("10:")
352
353 : [dst] "+r" (dst), [a] "+r" (a), [k] "+r" (k),
354 [count] "+r" (count)
355 : [b] "r" (&b)
356 : "cc", "memory",
357 "v0", "v1", "v2", "v3",
358 "v4", "v5", "v6", "v7",
359 "v8",
360 "v16", "v17", "v18", "v19",
361 "v20", "v21", "v22", "v23",
362 "v24", "v25", "v26", "v27",
363 "v28", "v29", "v30", "v31"
364 );
365 }
366
367 void lerp_vkk(float *dst, const float *a, float b, float k, size_t count)
368 {
369 ARCH_AARCH64_ASM
370 (
371 // x32 blocks
372 __ASM_EMIT("subs %[count], %[count], #32")
373 __ASM_EMIT("ld1r {v8.4s}, [%[b]]") // v8 = b
374 __ASM_EMIT("ld1r {v9.4s}, [%[k]]") // v9 = k
375 __ASM_EMIT("b.lo 2f")
376 __ASM_EMIT("1:")
377 __ASM_EMIT("ldp q0, q1, [%[a]], #0x20") // v0 = a
378 __ASM_EMIT("ldp q2, q3, [%[a]], #0x20")
379 __ASM_EMIT("ldp q4, q5, [%[a]], #0x20")
380 __ASM_EMIT("ldp q6, q7, [%[a]], #0x20")
381 __ASM_EMIT("fsub v16.4s, v8.4s, v0.4s") // v16 = b-a
382 __ASM_EMIT("fsub v17.4s, v8.4s, v1.4s")
383 __ASM_EMIT("fsub v18.4s, v8.4s, v2.4s")
384 __ASM_EMIT("fsub v19.4s, v8.4s, v3.4s")
385 __ASM_EMIT("fsub v20.4s, v8.4s, v4.4s")
386 __ASM_EMIT("fsub v21.4s, v8.4s, v5.4s")
387 __ASM_EMIT("fsub v22.4s, v8.4s, v6.4s")
388 __ASM_EMIT("fsub v23.4s, v8.4s, v7.4s")
389 __ASM_EMIT("fmla v0.4s, v16.4s, v9.4s") // v0 = a + (b-a)*k
390 __ASM_EMIT("fmla v1.4s, v17.4s, v9.4s")
391 __ASM_EMIT("fmla v2.4s, v18.4s, v9.4s")
392 __ASM_EMIT("fmla v3.4s, v19.4s, v9.4s")
393 __ASM_EMIT("fmla v4.4s, v20.4s, v9.4s")
394 __ASM_EMIT("fmla v5.4s, v21.4s, v9.4s")
395 __ASM_EMIT("fmla v6.4s, v22.4s, v9.4s")
396 __ASM_EMIT("fmla v7.4s, v23.4s, v9.4s")
397 __ASM_EMIT("subs %[count], %[count], #32")
398 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
399 __ASM_EMIT("stp q2, q3, [%[dst]], #0x20")
400 __ASM_EMIT("stp q4, q5, [%[dst]], #0x20")
401 __ASM_EMIT("stp q6, q7, [%[dst]], #0x20")
402 __ASM_EMIT("b.hs 1b")
403 // x16 block
404 __ASM_EMIT("2:")
405 __ASM_EMIT("adds %[count], %[count], #16")
406 __ASM_EMIT("b.lt 4f")
407 __ASM_EMIT("ldp q0, q1, [%[a]], #0x20") // v0 = a
408 __ASM_EMIT("ldp q2, q3, [%[a]], #0x20")
409 __ASM_EMIT("fsub v16.4s, v8.4s, v0.4s") // v16 = b-a
410 __ASM_EMIT("fsub v17.4s, v8.4s, v1.4s")
411 __ASM_EMIT("fsub v18.4s, v8.4s, v2.4s")
412 __ASM_EMIT("fsub v19.4s, v8.4s, v3.4s")
413 __ASM_EMIT("fmla v0.4s, v16.4s, v9.4s") // v0 = a + (b-a)*k
414 __ASM_EMIT("fmla v1.4s, v17.4s, v9.4s")
415 __ASM_EMIT("fmla v2.4s, v18.4s, v9.4s")
416 __ASM_EMIT("fmla v3.4s, v19.4s, v9.4s")
417 __ASM_EMIT("sub %[count], %[count], #16")
418 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
419 __ASM_EMIT("stp q2, q3, [%[dst]], #0x20")
420 // x8 block
421 __ASM_EMIT("4:")
422 __ASM_EMIT("adds %[count], %[count], #8")
423 __ASM_EMIT("b.lt 6f")
424 __ASM_EMIT("ldp q0, q1, [%[a]], #0x20") // v0 = a
425 __ASM_EMIT("fsub v16.4s, v8.4s, v0.4s") // v16 = b-a
426 __ASM_EMIT("fsub v17.4s, v8.4s, v1.4s")
427 __ASM_EMIT("fmla v0.4s, v16.4s, v9.4s") // v0 = a + (b-a)*k
428 __ASM_EMIT("fmla v1.4s, v17.4s, v9.4s")
429 __ASM_EMIT("sub %[count], %[count], #8")
430 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
431 // x4 blocks
432 __ASM_EMIT("6:")
433 __ASM_EMIT("adds %[count], %[count], #4")
434 __ASM_EMIT("b.lt 8f")
435 __ASM_EMIT("ldr q0, [%[a]], #0x10") // v0 = a
436 __ASM_EMIT("fsub v16.4s, v8.4s, v0.4s") // v16 = b-a
437 __ASM_EMIT("fmla v0.4s, v16.4s, v9.4s") // v0 = a + (b-a)*k
438 __ASM_EMIT("sub %[count], %[count], #4")
439 __ASM_EMIT("str q0, [%[dst]], #0x10")
440 // x1 blocks
441 __ASM_EMIT("8:")
442 __ASM_EMIT("adds %[count], %[count], #3")
443 __ASM_EMIT("b.lt 10f")
444 __ASM_EMIT("9:")
445 __ASM_EMIT("ld1r {v0.4s}, [%[a]], #0x04") // v0 = a
446 __ASM_EMIT("fsub v16.4s, v8.4s, v0.4s") // v16 = b-a
447 __ASM_EMIT("fmla v0.4s, v16.4s, v9.4s") // v0 = a + (b-a)*k
448 __ASM_EMIT("subs %[count], %[count], #1")
449 __ASM_EMIT("st1 {v0.s}[0], [%[dst]], #0x04")
450 __ASM_EMIT("b.ge 9b")
451 // end
452 __ASM_EMIT("10:")
453
454 : [dst] "+r" (dst), [a] "+r" (a),
455 [count] "+r" (count)
456 : [b] "r" (&b),
457 [k] "r" (&k)
458 : "cc", "memory",
459 "v0", "v1", "v2", "v3",
460 "v4", "v5", "v6", "v7",
461 "v8", "v9",
462 "v16", "v17", "v18", "v19",
463 "v20", "v21", "v22", "v23",
464 "v24", "v25", "v26", "v27",
465 "v28", "v29", "v30", "v31"
466 );
467 }
468
469 void lerp_kvv(float *dst, float a, const float *b, const float *k, size_t count)
470 {
471 ARCH_AARCH64_ASM
472 (
473 // x32 blocks
474 __ASM_EMIT("subs %[count], %[count], #32")
475 __ASM_EMIT("ld1r {v8.4s}, [%[a]]") // v8 = a
476 __ASM_EMIT("b.lo 2f")
477 __ASM_EMIT("1:")
478 __ASM_EMIT("ldp q16, q17, [%[b]], #0x20") // v16 = b
479 __ASM_EMIT("mov v0.16b, v8.16b") // v0 = a
480 __ASM_EMIT("ldp q24, q25, [%[k]], #0x20") // v24 = k
481 __ASM_EMIT("mov v1.16b, v8.16b")
482 __ASM_EMIT("ldp q18, q19, [%[b]], #0x20")
483 __ASM_EMIT("mov v2.16b, v8.16b")
484 __ASM_EMIT("ldp q26, q27, [%[k]], #0x20")
485 __ASM_EMIT("mov v3.16b, v8.16b")
486 __ASM_EMIT("ldp q20, q21, [%[b]], #0x20")
487 __ASM_EMIT("mov v4.16b, v8.16b")
488 __ASM_EMIT("ldp q28, q29, [%[k]], #0x20")
489 __ASM_EMIT("mov v5.16b, v8.16b")
490 __ASM_EMIT("ldp q22, q23, [%[b]], #0x20")
491 __ASM_EMIT("mov v6.16b, v8.16b")
492 __ASM_EMIT("ldp q30, q31, [%[k]], #0x20")
493 __ASM_EMIT("mov v7.16b, v8.16b")
494 __ASM_EMIT("fsub v16.4s, v16.4s, v8.4s") // v16 = b-a
495 __ASM_EMIT("fsub v17.4s, v17.4s, v8.4s")
496 __ASM_EMIT("fsub v18.4s, v18.4s, v8.4s")
497 __ASM_EMIT("fsub v19.4s, v19.4s, v8.4s")
498 __ASM_EMIT("fsub v20.4s, v20.4s, v8.4s")
499 __ASM_EMIT("fsub v21.4s, v21.4s, v8.4s")
500 __ASM_EMIT("fsub v22.4s, v22.4s, v8.4s")
501 __ASM_EMIT("fsub v23.4s, v23.4s, v8.4s")
502 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
503 __ASM_EMIT("fmla v1.4s, v17.4s, v25.4s")
504 __ASM_EMIT("fmla v2.4s, v18.4s, v26.4s")
505 __ASM_EMIT("fmla v3.4s, v19.4s, v27.4s")
506 __ASM_EMIT("fmla v4.4s, v20.4s, v28.4s")
507 __ASM_EMIT("fmla v5.4s, v21.4s, v29.4s")
508 __ASM_EMIT("fmla v6.4s, v22.4s, v30.4s")
509 __ASM_EMIT("fmla v7.4s, v23.4s, v31.4s")
510 __ASM_EMIT("subs %[count], %[count], #32")
511 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
512 __ASM_EMIT("stp q2, q3, [%[dst]], #0x20")
513 __ASM_EMIT("stp q4, q5, [%[dst]], #0x20")
514 __ASM_EMIT("stp q6, q7, [%[dst]], #0x20")
515 __ASM_EMIT("b.hs 1b")
516 // x16 block
517 __ASM_EMIT("2:")
518 __ASM_EMIT("adds %[count], %[count], #16")
519 __ASM_EMIT("b.lt 4f")
520 __ASM_EMIT("ldp q16, q17, [%[b]], #0x20") // v16 = b
521 __ASM_EMIT("mov v0.16b, v8.16b") // v0 = a
522 __ASM_EMIT("ldp q24, q25, [%[k]], #0x20") // v24 = k
523 __ASM_EMIT("mov v1.16b, v8.16b")
524 __ASM_EMIT("ldp q18, q19, [%[b]], #0x20")
525 __ASM_EMIT("mov v2.16b, v8.16b")
526 __ASM_EMIT("ldp q26, q27, [%[k]], #0x20")
527 __ASM_EMIT("mov v3.16b, v8.16b")
528 __ASM_EMIT("fsub v16.4s, v16.4s, v8.4s") // v16 = b-a
529 __ASM_EMIT("fsub v17.4s, v17.4s, v8.4s")
530 __ASM_EMIT("fsub v18.4s, v18.4s, v8.4s")
531 __ASM_EMIT("fsub v19.4s, v19.4s, v8.4s")
532 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
533 __ASM_EMIT("fmla v1.4s, v17.4s, v25.4s")
534 __ASM_EMIT("fmla v2.4s, v18.4s, v26.4s")
535 __ASM_EMIT("fmla v3.4s, v19.4s, v27.4s")
536 __ASM_EMIT("sub %[count], %[count], #16")
537 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
538 __ASM_EMIT("stp q2, q3, [%[dst]], #0x20")
539 // x8 block
540 __ASM_EMIT("4:")
541 __ASM_EMIT("adds %[count], %[count], #8")
542 __ASM_EMIT("b.lt 6f")
543 __ASM_EMIT("ldp q16, q17, [%[b]], #0x20") // v16 = b
544 __ASM_EMIT("mov v0.16b, v8.16b") // v0 = a
545 __ASM_EMIT("ldp q24, q25, [%[k]], #0x20") // v24 = k
546 __ASM_EMIT("mov v1.16b, v8.16b")
547 __ASM_EMIT("fsub v16.4s, v16.4s, v8.4s") // v16 = b-a
548 __ASM_EMIT("fsub v17.4s, v17.4s, v8.4s")
549 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
550 __ASM_EMIT("fmla v1.4s, v17.4s, v25.4s")
551 __ASM_EMIT("sub %[count], %[count], #8")
552 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
553 // x4 blocks
554 __ASM_EMIT("6:")
555 __ASM_EMIT("adds %[count], %[count], #4")
556 __ASM_EMIT("b.lt 8f")
557 __ASM_EMIT("ldr q16, [%[b]], #0x10") // v16 = b
558 __ASM_EMIT("mov v0.16b, v8.16b") // v0 = a
559 __ASM_EMIT("ldr q24, [%[k]], #0x10") // v24 = k
560 __ASM_EMIT("fsub v16.4s, v16.4s, v8.4s") // v16 = b-a
561 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
562 __ASM_EMIT("sub %[count], %[count], #4")
563 __ASM_EMIT("str q0, [%[dst]], #0x10")
564 // x1 blocks
565 __ASM_EMIT("8:")
566 __ASM_EMIT("adds %[count], %[count], #3")
567 __ASM_EMIT("b.lt 10f")
568 __ASM_EMIT("9:")
569 __ASM_EMIT("ld1r {v16.4s}, [%[b]], #0x04") // v16 = b
570 __ASM_EMIT("mov v0.16b, v8.16b") // v0 = a
571 __ASM_EMIT("ld1r {v24.4s}, [%[k]], #0x04") // v24 = k
572 __ASM_EMIT("fsub v16.4s, v16.4s, v8.4s") // v16 = b-a
573 __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") // v0 = a + (b-a)*k
574 __ASM_EMIT("subs %[count], %[count], #1")
575 __ASM_EMIT("st1 {v0.s}[0], [%[dst]], #0x04")
576 __ASM_EMIT("b.ge 9b")
577 // end
578 __ASM_EMIT("10:")
579
580 : [dst] "+r" (dst), [b] "+r" (b), [k] "+r" (k),
581 [count] "+r" (count)
582 : [a] "r" (&a)
583 : "cc", "memory",
584 "v0", "v1", "v2", "v3",
585 "v4", "v5", "v6", "v7",
586 "v8",
587 "v16", "v17", "v18", "v19",
588 "v20", "v21", "v22", "v23",
589 "v24", "v25", "v26", "v27",
590 "v28", "v29", "v30", "v31"
591 );
592 }
593
594 void lerp_kvk(float *dst, float a, const float *b, float k, size_t count)
595 {
596 ARCH_AARCH64_ASM
597 (
598 // x32 blocks
599 __ASM_EMIT("subs %[count], %[count], #32")
600 __ASM_EMIT("ld1r {v8.4s}, [%[a]]") // v8 = a
601 __ASM_EMIT("ld1r {v9.4s}, [%[k]]") // v9 = k
602 __ASM_EMIT("b.lo 2f")
603 __ASM_EMIT("1:")
604 __ASM_EMIT("ldp q16, q17, [%[b]], #0x20") // v16 = b
605 __ASM_EMIT("mov v0.16b, v8.16b") // v0 = a
606 __ASM_EMIT("mov v1.16b, v8.16b")
607 __ASM_EMIT("ldp q18, q19, [%[b]], #0x20")
608 __ASM_EMIT("mov v2.16b, v8.16b")
609 __ASM_EMIT("mov v3.16b, v8.16b")
610 __ASM_EMIT("ldp q20, q21, [%[b]], #0x20")
611 __ASM_EMIT("mov v4.16b, v8.16b")
612 __ASM_EMIT("mov v5.16b, v8.16b")
613 __ASM_EMIT("ldp q22, q23, [%[b]], #0x20")
614 __ASM_EMIT("mov v6.16b, v8.16b")
615 __ASM_EMIT("mov v7.16b, v8.16b")
616 __ASM_EMIT("fsub v16.4s, v16.4s, v8.4s") // v16 = b-a
617 __ASM_EMIT("fsub v17.4s, v17.4s, v8.4s")
618 __ASM_EMIT("fsub v18.4s, v18.4s, v8.4s")
619 __ASM_EMIT("fsub v19.4s, v19.4s, v8.4s")
620 __ASM_EMIT("fsub v20.4s, v20.4s, v8.4s")
621 __ASM_EMIT("fsub v21.4s, v21.4s, v8.4s")
622 __ASM_EMIT("fsub v22.4s, v22.4s, v8.4s")
623 __ASM_EMIT("fsub v23.4s, v23.4s, v8.4s")
624 __ASM_EMIT("fmla v0.4s, v16.4s, v9.4s") // v0 = a + (b-a)*k
625 __ASM_EMIT("fmla v1.4s, v17.4s, v9.4s")
626 __ASM_EMIT("fmla v2.4s, v18.4s, v9.4s")
627 __ASM_EMIT("fmla v3.4s, v19.4s, v9.4s")
628 __ASM_EMIT("fmla v4.4s, v20.4s, v9.4s")
629 __ASM_EMIT("fmla v5.4s, v21.4s, v9.4s")
630 __ASM_EMIT("fmla v6.4s, v22.4s, v9.4s")
631 __ASM_EMIT("fmla v7.4s, v23.4s, v9.4s")
632 __ASM_EMIT("subs %[count], %[count], #32")
633 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
634 __ASM_EMIT("stp q2, q3, [%[dst]], #0x20")
635 __ASM_EMIT("stp q4, q5, [%[dst]], #0x20")
636 __ASM_EMIT("stp q6, q7, [%[dst]], #0x20")
637 __ASM_EMIT("b.hs 1b")
638 // x16 block
639 __ASM_EMIT("2:")
640 __ASM_EMIT("adds %[count], %[count], #16")
641 __ASM_EMIT("b.lt 4f")
642 __ASM_EMIT("ldp q16, q17, [%[b]], #0x20") // v16 = b
643 __ASM_EMIT("mov v0.16b, v8.16b") // v0 = a
644 __ASM_EMIT("mov v1.16b, v8.16b")
645 __ASM_EMIT("ldp q18, q19, [%[b]], #0x20")
646 __ASM_EMIT("mov v2.16b, v8.16b")
647 __ASM_EMIT("mov v3.16b, v8.16b")
648 __ASM_EMIT("fsub v16.4s, v16.4s, v8.4s") // v16 = b-a
649 __ASM_EMIT("fsub v17.4s, v17.4s, v8.4s")
650 __ASM_EMIT("fsub v18.4s, v18.4s, v8.4s")
651 __ASM_EMIT("fsub v19.4s, v19.4s, v8.4s")
652 __ASM_EMIT("fmla v0.4s, v16.4s, v9.4s") // v0 = a + (b-a)*k
653 __ASM_EMIT("fmla v1.4s, v17.4s, v9.4s")
654 __ASM_EMIT("fmla v2.4s, v18.4s, v9.4s")
655 __ASM_EMIT("fmla v3.4s, v19.4s, v9.4s")
656 __ASM_EMIT("sub %[count], %[count], #16")
657 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
658 __ASM_EMIT("stp q2, q3, [%[dst]], #0x20")
659 // x8 block
660 __ASM_EMIT("4:")
661 __ASM_EMIT("adds %[count], %[count], #8")
662 __ASM_EMIT("b.lt 6f")
663 __ASM_EMIT("ldp q16, q17, [%[b]], #0x20") // v16 = b
664 __ASM_EMIT("mov v0.16b, v8.16b") // v0 = a
665 __ASM_EMIT("ldp q24, q25, [%[k]], #0x20") // v24 = k
666 __ASM_EMIT("mov v1.16b, v8.16b")
667 __ASM_EMIT("fsub v16.4s, v16.4s, v8.4s") // v16 = b-a
668 __ASM_EMIT("fsub v17.4s, v17.4s, v8.4s")
669 __ASM_EMIT("fmla v0.4s, v16.4s, v9.4s") // v0 = a + (b-a)*k
670 __ASM_EMIT("fmla v1.4s, v17.4s, v9.4s")
671 __ASM_EMIT("sub %[count], %[count], #8")
672 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
673 // x4 blocks
674 __ASM_EMIT("6:")
675 __ASM_EMIT("adds %[count], %[count], #4")
676 __ASM_EMIT("b.lt 8f")
677 __ASM_EMIT("ldr q16, [%[b]], #0x10") // v16 = b
678 __ASM_EMIT("mov v0.16b, v8.16b") // v0 = a
679 __ASM_EMIT("fsub v16.4s, v16.4s, v8.4s") // v16 = b-a
680 __ASM_EMIT("fmla v0.4s, v16.4s, v9.4s") // v0 = a + (b-a)*k
681 __ASM_EMIT("sub %[count], %[count], #4")
682 __ASM_EMIT("str q0, [%[dst]], #0x10")
683 // x1 blocks
684 __ASM_EMIT("8:")
685 __ASM_EMIT("adds %[count], %[count], #3")
686 __ASM_EMIT("b.lt 10f")
687 __ASM_EMIT("9:")
688 __ASM_EMIT("ld1r {v16.4s}, [%[b]], #0x04") // v16 = b
689 __ASM_EMIT("mov v0.16b, v8.16b") // v0 = a
690 __ASM_EMIT("fsub v16.4s, v16.4s, v8.4s") // v16 = b-a
691 __ASM_EMIT("fmla v0.4s, v16.4s, v9.4s") // v0 = a + (b-a)*k
692 __ASM_EMIT("subs %[count], %[count], #1")
693 __ASM_EMIT("st1 {v0.s}[0], [%[dst]], #0x04")
694 __ASM_EMIT("b.ge 9b")
695 // end
696 __ASM_EMIT("10:")
697
698 : [dst] "+r" (dst), [b] "+r" (b),
699 [count] "+r" (count)
700 : [a] "r" (&a),
701 [k] "r" (&k)
702 : "cc", "memory",
703 "v0", "v1", "v2", "v3",
704 "v4", "v5", "v6", "v7",
705 "v8", "v9",
706 "v16", "v17", "v18", "v19",
707 "v20", "v21", "v22", "v23"
708 );
709 }
710
711 void lerp_kkv(float *dst, float a, float b, const float *k, size_t count)
712 {
713 ARCH_AARCH64_ASM
714 (
715 // x32 blocks
716 __ASM_EMIT("ld1r {v8.4s}, [%[a]]") // v8 = a
717 __ASM_EMIT("ld1r {v9.4s}, [%[b]]") // v9 = b
718 __ASM_EMIT("subs %[count], %[count], #32")
719 __ASM_EMIT("fsub v9.4s, v9.4s, v8.4s") // v9 = b-a
720 __ASM_EMIT("b.lo 2f")
721 __ASM_EMIT("1:")
722 __ASM_EMIT("ldp q16, q17, [%[k]], #0x20") // v16 = k
723 __ASM_EMIT("mov v0.16b, v8.16b") // v0 = a
724 __ASM_EMIT("mov v1.16b, v8.16b")
725 __ASM_EMIT("ldp q18, q19, [%[k]], #0x20")
726 __ASM_EMIT("mov v2.16b, v8.16b")
727 __ASM_EMIT("mov v3.16b, v8.16b")
728 __ASM_EMIT("ldp q20, q21, [%[k]], #0x20")
729 __ASM_EMIT("mov v4.16b, v8.16b")
730 __ASM_EMIT("mov v5.16b, v8.16b")
731 __ASM_EMIT("ldp q22, q23, [%[k]], #0x20")
732 __ASM_EMIT("mov v6.16b, v8.16b")
733 __ASM_EMIT("mov v7.16b, v8.16b")
734 __ASM_EMIT("fmla v0.4s, v16.4s, v9.4s") // v0 = a + (b-a)*k
735 __ASM_EMIT("fmla v1.4s, v17.4s, v9.4s")
736 __ASM_EMIT("fmla v2.4s, v18.4s, v9.4s")
737 __ASM_EMIT("fmla v3.4s, v19.4s, v9.4s")
738 __ASM_EMIT("fmla v4.4s, v20.4s, v9.4s")
739 __ASM_EMIT("fmla v5.4s, v21.4s, v9.4s")
740 __ASM_EMIT("fmla v6.4s, v22.4s, v9.4s")
741 __ASM_EMIT("fmla v7.4s, v23.4s, v9.4s")
742 __ASM_EMIT("subs %[count], %[count], #32")
743 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
744 __ASM_EMIT("stp q2, q3, [%[dst]], #0x20")
745 __ASM_EMIT("stp q4, q5, [%[dst]], #0x20")
746 __ASM_EMIT("stp q6, q7, [%[dst]], #0x20")
747 __ASM_EMIT("b.hs 1b")
748 // x16 block
749 __ASM_EMIT("2:")
750 __ASM_EMIT("adds %[count], %[count], #16")
751 __ASM_EMIT("b.lt 4f")
752 __ASM_EMIT("ldp q16, q17, [%[k]], #0x20") // v16 = k
753 __ASM_EMIT("mov v0.16b, v8.16b") // v0 = a
754 __ASM_EMIT("mov v1.16b, v8.16b")
755 __ASM_EMIT("ldp q18, q19, [%[k]], #0x20")
756 __ASM_EMIT("mov v2.16b, v8.16b")
757 __ASM_EMIT("mov v3.16b, v8.16b")
758 __ASM_EMIT("fmla v0.4s, v16.4s, v9.4s") // v0 = a + (b-a)*k
759 __ASM_EMIT("fmla v1.4s, v17.4s, v9.4s")
760 __ASM_EMIT("fmla v2.4s, v18.4s, v9.4s")
761 __ASM_EMIT("fmla v3.4s, v19.4s, v9.4s")
762 __ASM_EMIT("sub %[count], %[count], #16")
763 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
764 __ASM_EMIT("stp q2, q3, [%[dst]], #0x20")
765 // x8 block
766 __ASM_EMIT("4:")
767 __ASM_EMIT("adds %[count], %[count], #8")
768 __ASM_EMIT("b.lt 6f")
769 __ASM_EMIT("ldp q16, q17, [%[k]], #0x20") // v16 = k
770 __ASM_EMIT("mov v0.16b, v8.16b") // v0 = a
771 __ASM_EMIT("mov v1.16b, v8.16b")
772 __ASM_EMIT("fmla v0.4s, v16.4s, v9.4s") // v0 = a + (b-a)*k
773 __ASM_EMIT("fmla v1.4s, v17.4s, v9.4s")
774 __ASM_EMIT("sub %[count], %[count], #8")
775 __ASM_EMIT("stp q0, q1, [%[dst]], #0x20")
776 // x4 blocks
777 __ASM_EMIT("6:")
778 __ASM_EMIT("adds %[count], %[count], #4")
779 __ASM_EMIT("b.lt 8f")
780 __ASM_EMIT("ldr q16, [%[k]], #0x10") // v16 = k
781 __ASM_EMIT("mov v0.16b, v8.16b") // v0 = a
782 __ASM_EMIT("fmla v0.4s, v16.4s, v9.4s") // v0 = a + (b-a)*k
783 __ASM_EMIT("sub %[count], %[count], #4")
784 __ASM_EMIT("str q0, [%[dst]], #0x10")
785 // x1 blocks
786 __ASM_EMIT("8:")
787 __ASM_EMIT("adds %[count], %[count], #3")
788 __ASM_EMIT("b.lt 10f")
789 __ASM_EMIT("9:")
790 __ASM_EMIT("ld1r {v16.4s}, [%[k]], #0x04") // v16 = k
791 __ASM_EMIT("mov v0.16b, v8.16b") // v0 = a
792 __ASM_EMIT("fmla v0.4s, v16.4s, v9.4s") // v0 = a + (b-a)*k
793 __ASM_EMIT("subs %[count], %[count], #1")
794 __ASM_EMIT("st1 {v0.s}[0], [%[dst]], #0x04")
795 __ASM_EMIT("b.ge 9b")
796 // end
797 __ASM_EMIT("10:")
798
799 : [dst] "+r" (dst), [k] "+r" (k),
800 [count] "+r" (count)
801 : [a] "r" (&a),
802 [b] "r" (&b)
803 : "cc", "memory",
804 "v0", "v1", "v2", "v3",
805 "v4", "v5", "v6", "v7",
806 "v8", "v9",
807 "v16", "v17", "v18", "v19",
808 "v20", "v21", "v22", "v23"
809 );
810 }
811
812 } /* namespace asimd */
813 } /* namespace lsp */
814
815
816
817
818 #endif /* INCLUDE_PRIVATE_DSP_ARCH_AARCH64_ASIMD_PMATH_LERP_H_ */