Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/pmath/lerp.h

raw
1 /*
2 * Copyright (C) 2026 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2026 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 2 июл. 2026 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_LERP_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_LERP_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 #include <private/dsp/arch/arm/neon-d32/pmath/sin.h>
30
31 namespace lsp
32 {
33 namespace neon_d32
34 {
35
36 void lerp_vvv(float *dst, const float *a, const float *b, const float *k, size_t count)
37 {
38 ARCH_ARM_ASM
39 (
40 // x16 blocks
41 __ASM_EMIT("subs %[count], #16")
42 __ASM_EMIT("blo 2f")
43 __ASM_EMIT("1:")
44 __ASM_EMIT("vldm %[a]!, {q0-q3}") // q0 = a
45 __ASM_EMIT("vldm %[b]!, {q4-q7}") // q4 = b
46 __ASM_EMIT("vldm %[k]!, {q8-q11}") // q8 = k
47 __ASM_EMIT("vsub.f32 q4, q4, q0") // q4 = b-a
48 __ASM_EMIT("vsub.f32 q5, q5, q1")
49 __ASM_EMIT("vsub.f32 q6, q6, q2")
50 __ASM_EMIT("vsub.f32 q7, q7, q3")
51 __ASM_EMIT("vmla.f32 q0, q4, q8") // q0 = a + (b-a)*k
52 __ASM_EMIT("vmla.f32 q1, q5, q9")
53 __ASM_EMIT("vmla.f32 q2, q6, q10")
54 __ASM_EMIT("vmla.f32 q3, q7, q11")
55 __ASM_EMIT("subs %[count], #16")
56 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
57 __ASM_EMIT("bhs 1b")
58 // x8 block
59 __ASM_EMIT("2:")
60 __ASM_EMIT("adds %[count], #8")
61 __ASM_EMIT("blt 4f")
62 __ASM_EMIT("vldm %[a]!, {q0-q1}") // q0 = a
63 __ASM_EMIT("vldm %[b]!, {q4-q5}") // q4 = b
64 __ASM_EMIT("vldm %[k]!, {q8-q9}") // q8 = k
65 __ASM_EMIT("vsub.f32 q4, q4, q0") // q4 = b-a
66 __ASM_EMIT("vsub.f32 q5, q5, q1")
67 __ASM_EMIT("vmla.f32 q0, q4, q8") // q0 = a + (b-a)*k
68 __ASM_EMIT("vmla.f32 q1, q5, q9")
69 __ASM_EMIT("sub %[count], #8")
70 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
71 // x4 blocks
72 __ASM_EMIT("4:")
73 __ASM_EMIT("adds %[count], #4")
74 __ASM_EMIT("blt 6f")
75 __ASM_EMIT("vldm %[a]!, {q0}") // q0 = a
76 __ASM_EMIT("vldm %[b]!, {q4}") // q4 = b
77 __ASM_EMIT("vldm %[k]!, {q8}") // q8 = k
78 __ASM_EMIT("vsub.f32 q4, q4, q0") // q4 = b-a
79 __ASM_EMIT("vmla.f32 q0, q4, q8") // q0 = a + (b-a)*k
80 __ASM_EMIT("sub %[count], #4")
81 __ASM_EMIT("vstm %[dst]!, {q0}")
82 // x1 blocks
83 __ASM_EMIT("6:")
84 __ASM_EMIT("adds %[count], #3")
85 __ASM_EMIT("blt 8f")
86 __ASM_EMIT("7:")
87 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[a]]!") // q0 = a
88 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[b]]!") // q4 = b
89 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[k]]!") // q8 = k
90 __ASM_EMIT("vsub.f32 q4, q4, q0") // q4 = b-a
91 __ASM_EMIT("vmla.f32 q0, q4, q8") // q0 = a + (b-a)*k
92 __ASM_EMIT("subs %[count], #1")
93 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
94 __ASM_EMIT("bge 7b")
95 // end
96 __ASM_EMIT("8:")
97
98 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b), [k] "+r" (k),
99 [count] "+r" (count)
100 :
101 : "cc", "memory",
102 "q0", "q1", "q2", "q3",
103 "q4", "q5", "q6", "q7",
104 "q8", "q9", "q10", "q11"
105 );
106 }
107
108 void lerp_vvk(float *dst, const float *a, const float *b, float k, size_t count)
109 {
110 ARCH_ARM_ASM
111 (
112 // x16 blocks
113 __ASM_EMIT("subs %[count], #16")
114 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[k]]") // q8 = k
115 __ASM_EMIT("blo 2f")
116 __ASM_EMIT("1:")
117 __ASM_EMIT("vldm %[a]!, {q0-q3}") // q0 = a
118 __ASM_EMIT("vldm %[b]!, {q4-q7}") // q4 = b
119 __ASM_EMIT("vsub.f32 q4, q4, q0") // q4 = b-a
120 __ASM_EMIT("vsub.f32 q5, q5, q1")
121 __ASM_EMIT("vsub.f32 q6, q6, q2")
122 __ASM_EMIT("vsub.f32 q7, q7, q3")
123 __ASM_EMIT("vmla.f32 q0, q4, q8") // q0 = a + (b-a)*k
124 __ASM_EMIT("vmla.f32 q1, q5, q8")
125 __ASM_EMIT("vmla.f32 q2, q6, q8")
126 __ASM_EMIT("vmla.f32 q3, q7, q8")
127 __ASM_EMIT("subs %[count], #16")
128 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
129 __ASM_EMIT("bhs 1b")
130 // x8 block
131 __ASM_EMIT("2:")
132 __ASM_EMIT("adds %[count], #8")
133 __ASM_EMIT("blt 4f")
134 __ASM_EMIT("vldm %[a]!, {q0-q1}") // q0 = a
135 __ASM_EMIT("vldm %[b]!, {q4-q5}") // q4 = b
136 __ASM_EMIT("vsub.f32 q4, q4, q0") // q4 = b-a
137 __ASM_EMIT("vsub.f32 q5, q5, q1")
138 __ASM_EMIT("vmla.f32 q0, q4, q8") // q0 = a + (b-a)*k
139 __ASM_EMIT("vmla.f32 q1, q5, q8")
140 __ASM_EMIT("sub %[count], #8")
141 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
142 // x4 blocks
143 __ASM_EMIT("4:")
144 __ASM_EMIT("adds %[count], #4")
145 __ASM_EMIT("blt 6f")
146 __ASM_EMIT("vldm %[a]!, {q0}") // q0 = a
147 __ASM_EMIT("vldm %[b]!, {q4}") // q4 = b
148 __ASM_EMIT("vsub.f32 q4, q4, q0") // q4 = b-a
149 __ASM_EMIT("vmla.f32 q0, q4, q8") // q0 = a + (b-a)*k
150 __ASM_EMIT("sub %[count], #4")
151 __ASM_EMIT("vstm %[dst]!, {q0}")
152 // x1 blocks
153 __ASM_EMIT("6:")
154 __ASM_EMIT("adds %[count], #3")
155 __ASM_EMIT("blt 8f")
156 __ASM_EMIT("7:")
157 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[a]]!") // q0 = a
158 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[b]]!") // q4 = b
159 __ASM_EMIT("vsub.f32 q4, q4, q0") // q4 = b-a
160 __ASM_EMIT("vmla.f32 q0, q4, q8") // q0 = a + (b-a)*k
161 __ASM_EMIT("subs %[count], #1")
162 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
163 __ASM_EMIT("bge 7b")
164 // end
165 __ASM_EMIT("8:")
166
167 : [dst] "+r" (dst), [a] "+r" (a), [b] "+r" (b),
168 [count] "+r" (count)
169 : [k] "r" (&k)
170 : "cc", "memory",
171 "q0", "q1", "q2", "q3",
172 "q4", "q5", "q6", "q7",
173 "q8"
174 );
175 }
176
177 void lerp_vkv(float *dst, const float *a, float b, const float *k, size_t count)
178 {
179 ARCH_ARM_ASM
180 (
181 // x16 blocks
182 __ASM_EMIT("subs %[count], #16")
183 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[b]]") // q8 = b
184 __ASM_EMIT("blo 2f")
185 __ASM_EMIT("1:")
186 __ASM_EMIT("vldm %[a]!, {q0-q3}") // q0 = a
187 __ASM_EMIT("vldm %[k]!, {q4-q7}") // q4 = k
188 __ASM_EMIT("vsub.f32 q12, q8, q0") // q12 = b-a
189 __ASM_EMIT("vsub.f32 q13, q8, q1")
190 __ASM_EMIT("vsub.f32 q14, q8, q2")
191 __ASM_EMIT("vsub.f32 q15, q8, q3")
192 __ASM_EMIT("vmla.f32 q0, q12, q4") // q0 = a + (b-a)*k
193 __ASM_EMIT("vmla.f32 q1, q13, q5")
194 __ASM_EMIT("vmla.f32 q2, q14, q6")
195 __ASM_EMIT("vmla.f32 q3, q15, q7")
196 __ASM_EMIT("subs %[count], #16")
197 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
198 __ASM_EMIT("bhs 1b")
199 // x8 block
200 __ASM_EMIT("2:")
201 __ASM_EMIT("adds %[count], #8")
202 __ASM_EMIT("blt 4f")
203 __ASM_EMIT("vldm %[a]!, {q0-q1}") // q0 = a
204 __ASM_EMIT("vldm %[k]!, {q4-q5}") // q4 = k
205 __ASM_EMIT("vsub.f32 q12, q8, q0") // q12 = b-a
206 __ASM_EMIT("vsub.f32 q13, q8, q1")
207 __ASM_EMIT("vmla.f32 q0, q12, q4") // q0 = a + (b-a)*k
208 __ASM_EMIT("vmla.f32 q1, q13, q5")
209 __ASM_EMIT("sub %[count], #8")
210 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
211 // x4 blocks
212 __ASM_EMIT("4:")
213 __ASM_EMIT("adds %[count], #4")
214 __ASM_EMIT("blt 6f")
215 __ASM_EMIT("vldm %[a]!, {q0}") // q0 = a
216 __ASM_EMIT("vldm %[k]!, {q4}") // q4 = k
217 __ASM_EMIT("vsub.f32 q12, q8, q0") // q12 = b-a
218 __ASM_EMIT("vmla.f32 q0, q12, q4") // q0 = a + (b-a)*k
219 __ASM_EMIT("sub %[count], #4")
220 __ASM_EMIT("vstm %[dst]!, {q0}")
221 // x1 blocks
222 __ASM_EMIT("6:")
223 __ASM_EMIT("adds %[count], #3")
224 __ASM_EMIT("blt 8f")
225 __ASM_EMIT("7:")
226 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[a]]!") // q0 = a
227 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[k]]!") // q4 = k
228 __ASM_EMIT("vsub.f32 q12, q8, q0") // q12 = b-a
229 __ASM_EMIT("vmla.f32 q0, q12, q4") // q0 = a + (b-a)*k
230 __ASM_EMIT("subs %[count], #1")
231 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
232 __ASM_EMIT("bge 7b")
233 // end
234 __ASM_EMIT("8:")
235
236 : [dst] "+r" (dst), [a] "+r" (a), [k] "+r" (k),
237 [count] "+r" (count)
238 : [b] "r" (&b)
239 : "cc", "memory",
240 "q0", "q1", "q2", "q3",
241 "q4", "q5", "q6", "q7",
242 "q8",
243 "q12", "q13", "q14", "q15"
244 );
245 }
246
247 void lerp_vkk(float *dst, const float *a, float b, float k, size_t count)
248 {
249 ARCH_ARM_ASM
250 (
251 // x16 blocks
252 __ASM_EMIT("subs %[count], #16")
253 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[b]]") // q8 = b
254 __ASM_EMIT("vld1.32 {d18[], d19[]}, [%[k]]") // q9 = k
255 __ASM_EMIT("blo 2f")
256 __ASM_EMIT("1:")
257 __ASM_EMIT("vldm %[a]!, {q0-q3}") // q0 = a
258 __ASM_EMIT("vsub.f32 q4, q8, q0") // q4 = b-a
259 __ASM_EMIT("vsub.f32 q5, q8, q1")
260 __ASM_EMIT("vsub.f32 q6, q8, q2")
261 __ASM_EMIT("vsub.f32 q7, q8, q3")
262 __ASM_EMIT("vmla.f32 q0, q4, q9") // q0 = a + (b-a)*k
263 __ASM_EMIT("vmla.f32 q1, q5, q9")
264 __ASM_EMIT("vmla.f32 q2, q6, q9")
265 __ASM_EMIT("vmla.f32 q3, q7, q9")
266 __ASM_EMIT("subs %[count], #16")
267 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
268 __ASM_EMIT("bhs 1b")
269 // x8 block
270 __ASM_EMIT("2:")
271 __ASM_EMIT("adds %[count], #8")
272 __ASM_EMIT("blt 4f")
273 __ASM_EMIT("vldm %[a]!, {q0-q1}") // q0 = a
274 __ASM_EMIT("vldm %[k]!, {q4-q5}") // q4 = k
275 __ASM_EMIT("vsub.f32 q4, q8, q0") // q4 = b-a
276 __ASM_EMIT("vsub.f32 q5, q8, q1")
277 __ASM_EMIT("vmla.f32 q0, q4, q9") // q0 = a + (b-a)*k
278 __ASM_EMIT("vmla.f32 q1, q5, q9")
279 __ASM_EMIT("sub %[count], #8")
280 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
281 // x4 blocks
282 __ASM_EMIT("4:")
283 __ASM_EMIT("adds %[count], #4")
284 __ASM_EMIT("blt 6f")
285 __ASM_EMIT("vldm %[a]!, {q0}") // q0 = a
286 __ASM_EMIT("vldm %[k]!, {q4}") // q4 = k
287 __ASM_EMIT("vsub.f32 q4, q8, q0") // q4 = b-a
288 __ASM_EMIT("vmla.f32 q0, q4, q9") // q0 = a + (b-a)*k
289 __ASM_EMIT("sub %[count], #4")
290 __ASM_EMIT("vstm %[dst]!, {q0}")
291 // x1 blocks
292 __ASM_EMIT("6:")
293 __ASM_EMIT("adds %[count], #3")
294 __ASM_EMIT("blt 8f")
295 __ASM_EMIT("7:")
296 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[a]]!") // q0 = a
297 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[k]]!") // q4 = k
298 __ASM_EMIT("vsub.f32 q4, q8, q0") // q4 = b-a
299 __ASM_EMIT("vmla.f32 q0, q4, q9") // q0 = a + (b-a)*k
300 __ASM_EMIT("subs %[count], #1")
301 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
302 __ASM_EMIT("bge 7b")
303 // end
304 __ASM_EMIT("8:")
305
306 : [dst] "+r" (dst), [a] "+r" (a),
307 [count] "+r" (count)
308 : [b] "r" (&b),
309 [k] "r" (&k)
310 : "cc", "memory",
311 "q0", "q1", "q2", "q3",
312 "q4", "q5", "q6", "q7",
313 "q8", "q9"
314 );
315 }
316
317 void lerp_kvv(float *dst, float a, const float *b, const float *k, size_t count)
318 {
319 ARCH_ARM_ASM
320 (
321 // x16 blocks
322 __ASM_EMIT("subs %[count], #16")
323 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[a]]") // q8 = a
324 __ASM_EMIT("blo 2f")
325 __ASM_EMIT("1:")
326 __ASM_EMIT("vldm %[b]!, {q12-q15}") // q12 = b
327 __ASM_EMIT("vmov q0, q8") // q0 = a
328 __ASM_EMIT("vmov q1, q8")
329 __ASM_EMIT("vmov q2, q8")
330 __ASM_EMIT("vmov q3, q8")
331 __ASM_EMIT("vldm %[k]!, {q4-q7}") // q4 = k
332 __ASM_EMIT("vsub.f32 q12, q12, q0") // q12 = b-a
333 __ASM_EMIT("vsub.f32 q13, q13, q1")
334 __ASM_EMIT("vsub.f32 q14, q14, q2")
335 __ASM_EMIT("vsub.f32 q15, q15, q3")
336 __ASM_EMIT("vmla.f32 q0, q12, q4") // q0 = a + (b-a)*k
337 __ASM_EMIT("vmla.f32 q1, q13, q5")
338 __ASM_EMIT("vmla.f32 q2, q14, q6")
339 __ASM_EMIT("vmla.f32 q3, q15, q7")
340 __ASM_EMIT("subs %[count], #16")
341 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
342 __ASM_EMIT("bhs 1b")
343 // x8 block
344 __ASM_EMIT("2:")
345 __ASM_EMIT("adds %[count], #8")
346 __ASM_EMIT("blt 4f")
347 __ASM_EMIT("vldm %[b]!, {q12-q13}") // q12 = b
348 __ASM_EMIT("vmov q0, q8") // q0 = a
349 __ASM_EMIT("vmov q1, q8")
350 __ASM_EMIT("vldm %[k]!, {q4-q5}") // q4 = k
351 __ASM_EMIT("vsub.f32 q12, q12, q0") // q12 = b-a
352 __ASM_EMIT("vsub.f32 q13, q13, q1")
353 __ASM_EMIT("vmla.f32 q0, q12, q4") // q0 = a + (b-a)*k
354 __ASM_EMIT("vmla.f32 q1, q13, q5")
355 __ASM_EMIT("sub %[count], #8")
356 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
357 // x4 blocks
358 __ASM_EMIT("4:")
359 __ASM_EMIT("adds %[count], #4")
360 __ASM_EMIT("blt 6f")
361 __ASM_EMIT("vldm %[b]!, {q12}") // q12 = b
362 __ASM_EMIT("vmov q0, q8") // q0 = a
363 __ASM_EMIT("vldm %[k]!, {q4}") // q4 = k
364 __ASM_EMIT("vsub.f32 q12, q12, q0") // q12 = b-a
365 __ASM_EMIT("vmla.f32 q0, q12, q4") // q0 = a + (b-a)*k
366 __ASM_EMIT("sub %[count], #4")
367 __ASM_EMIT("vstm %[dst]!, {q0}")
368 // x1 blocks
369 __ASM_EMIT("6:")
370 __ASM_EMIT("adds %[count], #3")
371 __ASM_EMIT("blt 8f")
372 __ASM_EMIT("7:")
373 __ASM_EMIT("vld1.32 {d24[], d25[]}, [%[b]]!") // q12 = b
374 __ASM_EMIT("vmov q0, q8") // q0 = a
375 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[k]]!") // q4 = k
376 __ASM_EMIT("vsub.f32 q12, q12, q0") // q12 = b-a
377 __ASM_EMIT("vmla.f32 q0, q12, q4") // q0 = a + (b-a)*k
378 __ASM_EMIT("subs %[count], #1")
379 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
380 __ASM_EMIT("bge 7b")
381 // end
382 __ASM_EMIT("8:")
383
384 : [dst] "+r" (dst), [b] "+r" (b), [k] "+r" (k),
385 [count] "+r" (count)
386 : [a] "r" (&a)
387 : "cc", "memory",
388 "q0", "q1", "q2", "q3",
389 "q4", "q5", "q6", "q7",
390 "q8",
391 "q12", "q13", "q14", "q15"
392 );
393 }
394
395 void lerp_kvk(float *dst, float a, const float *b, float k, size_t count)
396 {
397 ARCH_ARM_ASM
398 (
399 // x16 blocks
400 __ASM_EMIT("subs %[count], #16")
401 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[a]]") // q8 = a
402 __ASM_EMIT("vld1.32 {d18[], d19[]}, [%[k]]") // q9 = k
403 __ASM_EMIT("blo 2f")
404 __ASM_EMIT("1:")
405 __ASM_EMIT("vldm %[b]!, {q12-q15}") // q12 = b
406 __ASM_EMIT("vmov q0, q8") // q0 = a
407 __ASM_EMIT("vmov q1, q8")
408 __ASM_EMIT("vmov q2, q8")
409 __ASM_EMIT("vmov q3, q8")
410 __ASM_EMIT("vsub.f32 q12, q12, q0") // q12 = b-a
411 __ASM_EMIT("vsub.f32 q13, q13, q1")
412 __ASM_EMIT("vsub.f32 q14, q14, q2")
413 __ASM_EMIT("vsub.f32 q15, q15, q3")
414 __ASM_EMIT("vmla.f32 q0, q12, q9") // q0 = a + (b-a)*k
415 __ASM_EMIT("vmla.f32 q1, q13, q9")
416 __ASM_EMIT("vmla.f32 q2, q14, q9")
417 __ASM_EMIT("vmla.f32 q3, q15, q9")
418 __ASM_EMIT("subs %[count], #16")
419 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
420 __ASM_EMIT("bhs 1b")
421 // x8 block
422 __ASM_EMIT("2:")
423 __ASM_EMIT("adds %[count], #8")
424 __ASM_EMIT("blt 4f")
425 __ASM_EMIT("vldm %[b]!, {q12-q13}") // q12 = b
426 __ASM_EMIT("vmov q0, q8") // q0 = a
427 __ASM_EMIT("vmov q1, q8")
428 __ASM_EMIT("vsub.f32 q12, q12, q0") // q12 = b-a
429 __ASM_EMIT("vsub.f32 q13, q13, q1")
430 __ASM_EMIT("vmla.f32 q0, q12, q9") // q0 = a + (b-a)*k
431 __ASM_EMIT("vmla.f32 q1, q13, q9")
432 __ASM_EMIT("sub %[count], #8")
433 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
434 // x4 blocks
435 __ASM_EMIT("4:")
436 __ASM_EMIT("adds %[count], #4")
437 __ASM_EMIT("blt 6f")
438 __ASM_EMIT("vldm %[b]!, {q12}") // q12 = b
439 __ASM_EMIT("vmov q0, q8") // q0 = a
440 __ASM_EMIT("vsub.f32 q12, q12, q0") // q12 = b-a
441 __ASM_EMIT("vmla.f32 q0, q12, q9") // q0 = a + (b-a)*k
442 __ASM_EMIT("sub %[count], #4")
443 __ASM_EMIT("vstm %[dst]!, {q0}")
444 // x1 blocks
445 __ASM_EMIT("6:")
446 __ASM_EMIT("adds %[count], #3")
447 __ASM_EMIT("blt 8f")
448 __ASM_EMIT("7:")
449 __ASM_EMIT("vld1.32 {d24[], d25[]}, [%[b]]!") // q12 = b
450 __ASM_EMIT("vmov q0, q8") // q0 = a
451 __ASM_EMIT("vsub.f32 q12, q12, q0") // q12 = b-a
452 __ASM_EMIT("vmla.f32 q0, q12, q9") // q0 = a + (b-a)*k
453 __ASM_EMIT("subs %[count], #1")
454 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
455 __ASM_EMIT("bge 7b")
456 // end
457 __ASM_EMIT("8:")
458
459 : [dst] "+r" (dst), [b] "+r" (b),
460 [count] "+r" (count)
461 : [a] "r" (&a),
462 [k] "r" (&k)
463 : "cc", "memory",
464 "q0", "q1", "q2", "q3",
465 "q4", "q5", "q6", "q7",
466 "q8",
467 "q12", "q13", "q14", "q15"
468 );
469 }
470
471 void lerp_kkv(float *dst, float a, float b, const float *k, size_t count)
472 {
473 ARCH_ARM_ASM
474 (
475 // x16 blocks
476 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[a]]") // q8 = a
477 __ASM_EMIT("vld1.32 {d18[], d19[]}, [%[b]]") // q9 = b
478 __ASM_EMIT("subs %[count], #16")
479 __ASM_EMIT("vsub.f32 q9, q9, q8") // q9 = b-a
480 __ASM_EMIT("blo 2f")
481 __ASM_EMIT("1:")
482 __ASM_EMIT("vldm %[k]!, {q4-q7}") // q4 = k
483 __ASM_EMIT("vmov q0, q8") // q0 = a
484 __ASM_EMIT("vmov q1, q8")
485 __ASM_EMIT("vmov q2, q8")
486 __ASM_EMIT("vmov q3, q8")
487 __ASM_EMIT("vmla.f32 q0, q4, q9") // q0 = a + (b-a)*k
488 __ASM_EMIT("vmla.f32 q1, q5, q9")
489 __ASM_EMIT("vmla.f32 q2, q6, q9")
490 __ASM_EMIT("vmla.f32 q3, q7, q9")
491 __ASM_EMIT("subs %[count], #16")
492 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
493 __ASM_EMIT("bhs 1b")
494 // x8 block
495 __ASM_EMIT("2:")
496 __ASM_EMIT("adds %[count], #8")
497 __ASM_EMIT("blt 4f")
498 __ASM_EMIT("vldm %[k]!, {q4-q5}") // q4 = k
499 __ASM_EMIT("vmov q0, q8") // q0 = a
500 __ASM_EMIT("vmov q1, q8")
501 __ASM_EMIT("vmla.f32 q0, q4, q9") // q0 = a + (b-a)*k
502 __ASM_EMIT("vmla.f32 q1, q5, q9")
503 __ASM_EMIT("sub %[count], #8")
504 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
505 // x4 blocks
506 __ASM_EMIT("4:")
507 __ASM_EMIT("adds %[count], #4")
508 __ASM_EMIT("blt 6f")
509 __ASM_EMIT("vldm %[k]!, {q4}") // q4 = k
510 __ASM_EMIT("vmov q0, q8") // q0 = a
511 __ASM_EMIT("vmla.f32 q0, q4, q9") // q0 = a + (b-a)*k
512 __ASM_EMIT("sub %[count], #4")
513 __ASM_EMIT("vstm %[dst]!, {q0}")
514 // x1 blocks
515 __ASM_EMIT("6:")
516 __ASM_EMIT("adds %[count], #3")
517 __ASM_EMIT("blt 8f")
518 __ASM_EMIT("7:")
519 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[k]]!") // q4 = k
520 __ASM_EMIT("vmov q0, q8") // q0 = a
521 __ASM_EMIT("vmla.f32 q0, q4, q9") // q0 = a + (b-a)*k
522 __ASM_EMIT("subs %[count], #1")
523 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
524 __ASM_EMIT("bge 7b")
525 // end
526 __ASM_EMIT("8:")
527
528 : [dst] "+r" (dst), [k] "+r" (k),
529 [count] "+r" (count)
530 : [a] "r" (&a),
531 [b] "r" (&b)
532 : "cc", "memory",
533 "q0", "q1", "q2", "q3",
534 "q4", "q5", "q6", "q7",
535 "q8", "q9"
536 );
537 }
538
539 } /* namespace neon_d32 */
540 } /* namespace lsp */
541
542
543 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_LERP_H_ */