Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/interpolation/linear.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 13 дек. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_INTERPOLATION_LINEAR_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_INTERPOLATION_LINEAR_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 static const float lin_inter_const[] __lsp_aligned16 =
34 {
35 0.0f, 1.0f, 2.0f, 3.0f, 4.0f, 5.0f, 6.0f, 7.0f, // Initial values 0..7
36 8.0f, 9.0f, 10.0f, 11.0f, 12.0f, 13.0f, 14.0f, 15.0f, // Initial values 8..15
37 16.0f, 16.0f, 16.0f, 16.0f, 16.0f, 16.0f, 16.0f, 16.0f // Step
38 };
39
40 void lin_inter_set(float *dst, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
41 {
42 IF_ARCH_ARM(
43 float v[4];
44 v[0] = x1 - x0;
45 v[1] = x - x0;
46 v[2] = y1 - y0;
47 v[3] = y0;
48 const float *CC = lin_inter_const;
49 )
50
51 ARCH_ARM_ASM(
52 // Prepare parameters
53 __ASM_EMIT("vld4.32 {d24[], d26[], d28[], d30[]}, [%[v]]")
54 __ASM_EMIT("vldm %[CC]!, {q8-q11}") // q8 = 0..3, q9=4..7, q10=8..11, q11=12..15
55 __ASM_EMIT("vld4.32 {d25[], d27[], d29[], d31[]}, [%[v]]") // q12 = (x1-x0), q13 = (x-x0), q14 = (y1-y0), q15 = y0
56 __ASM_EMIT("vrecpe.f32 q0, q12") // q0 = s2
57 __ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = x[0]
58 __ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2)
59 __ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]
60 __ASM_EMIT("vmul.f32 q0, q1, q0") // q0 = s2' = s2 * (2 - R*s2)
61 __ASM_EMIT("vadd.f32 q10, q10, q13") // q10 = x[2]
62 __ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2')
63 __ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]
64 __ASM_EMIT("vmul.f32 q12, q1, q0") // q14 = s2" = s2' * (2 - R*s2) = 1/s2
65 __ASM_EMIT("vmul.f32 q14, q14, q12") // q14 = k = (y1-y0)/(x1-x0)
66 __ASM_EMIT("vldm %[CC], {q12-q13}") // q12 = d[0], q13=d[1]
67
68 // Register allocation:
69 // q8 = x[0]
70 // q9 = x[1]
71 // q10 = x[2]
72 // q11 = x[3]
73 // q12 = d[0]
74 // q13 = d[1]
75 // q14 = k
76 // q15 = y0
77 __ASM_EMIT("subs %[n], %[n], #16")
78 __ASM_EMIT("blo 2f")
79
80 // 16x blocks
81 __ASM_EMIT("1:")
82 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
83 __ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
84 __ASM_EMIT("vmul.f32 q6, q10, q14") // q6 = k*x[2]
85 __ASM_EMIT("vmul.f32 q7, q11, q14") // q7 = k*x[3]
86 __ASM_EMIT("vadd.f32 q0, q4, q15") // q0 = k*x[0] + y0
87 __ASM_EMIT("vadd.f32 q1, q5, q15") // q1 = k*x[1] + y0
88 __ASM_EMIT("vadd.f32 q2, q6, q15") // q2 = k*x[2] + y0
89 __ASM_EMIT("vadd.f32 q3, q7, q15") // q3 = k*x[3] + y0
90 __ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = x[0]' = x[0]+d[0]
91 __ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]' = x[1]+d[1]
92 __ASM_EMIT("vadd.f32 q10, q10, q12") // q10 = x[2]' = x[2]+d[0]
93 __ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]' = x[3]+d[1]
94 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
95 __ASM_EMIT("subs %[n], %[n], #16")
96 __ASM_EMIT("bhs 1b")
97
98 // 8x block
99 __ASM_EMIT("2:")
100 __ASM_EMIT("adds %[n], %[n], #8")
101 __ASM_EMIT("blt 4f")
102 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
103 __ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
104 __ASM_EMIT("vadd.f32 q0, q4, q15") // q0 = k*x[0] + y0
105 __ASM_EMIT("vadd.f32 q1, q5, q15") // q1 = k*x[1] + y0
106 __ASM_EMIT("vmov q8, q10") // q8 = x[0]'
107 __ASM_EMIT("vmov q9, q11") // q9 = x[1]'
108 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
109 __ASM_EMIT("sub %[n], %[n], #8")
110
111 // 4x block
112 __ASM_EMIT("4:")
113 __ASM_EMIT("adds %[n], %[n], #4")
114 __ASM_EMIT("blt 6f")
115 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
116 __ASM_EMIT("vadd.f32 q0, q4, q15") // q0 = k*x[0] + y0
117 __ASM_EMIT("vmov q8, q9") // q8 = x[0]'
118 __ASM_EMIT("vstm %[dst]!, {q0}")
119 __ASM_EMIT("sub %[n], %[n], #4")
120
121 // 1x blocks
122 __ASM_EMIT("6:")
123 __ASM_EMIT("adds %[n], %[n], #3")
124 __ASM_EMIT("blt 8f")
125 __ASM_EMIT("7:")
126 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
127 __ASM_EMIT("vadd.f32 q0, q4, q15") // q0 = k*x[0] + y0
128 __ASM_EMIT("vext.32 q8, q8, #1") // q8 = x[0]'
129 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
130 __ASM_EMIT("subs %[n], %[n], #1")
131 __ASM_EMIT("bge 7b")
132
133 __ASM_EMIT("8:")
134 : [dst] "+r" (dst),
135 [n] "+r" (n),
136 [CC] "+r" (CC)
137 : [v] "r" (&v[0])
138 : "cc", "memory",
139 "q0", "q1", "q2", "q3",
140 "q4", "q5", "q6", "q7",
141 "q8", "q9", "q10", "q11",
142 "q12", "q13", "q14", "q15"
143 );
144 }
145
146 void lin_inter_mul2(float *dst, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
147 {
148 IF_ARCH_ARM(
149 float v[4];
150 v[0] = x1 - x0;
151 v[1] = x - x0;
152 v[2] = y1 - y0;
153 v[3] = y0;
154 const float *CC = lin_inter_const;
155 )
156
157 ARCH_ARM_ASM(
158 // Prepare parameters
159 __ASM_EMIT("vld4.32 {d24[], d26[], d28[], d30[]}, [%[v]]")
160 __ASM_EMIT("vldm %[CC]!, {q8-q11}") // q8 = 0..3, q9=4..7, q10=8..11, q11=12..15
161 __ASM_EMIT("vld4.32 {d25[], d27[], d29[], d31[]}, [%[v]]") // q12 = (x1-x0), q13 = (x-x0), q14 = (y1-y0), q15 = y0
162 __ASM_EMIT("vrecpe.f32 q0, q12") // q0 = s2
163 __ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = x[0]
164 __ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2)
165 __ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]
166 __ASM_EMIT("vmul.f32 q0, q1, q0") // q0 = s2' = s2 * (2 - R*s2)
167 __ASM_EMIT("vadd.f32 q10, q10, q13") // q10 = x[2]
168 __ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2')
169 __ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]
170 __ASM_EMIT("vmul.f32 q12, q1, q0") // q14 = s2" = s2' * (2 - R*s2) = 1/s2
171 __ASM_EMIT("vmul.f32 q14, q14, q12") // q14 = k = (y1-y0)/(x1-x0)
172 __ASM_EMIT("vldm %[CC], {q12-q13}") // q12 = d[0], q13=d[1]
173
174 // Register allocation:
175 // q8 = x[0]
176 // q9 = x[1]
177 // q10 = x[2]
178 // q11 = x[3]
179 // q12 = d[0]
180 // q13 = d[1]
181 // q14 = k
182 // q15 = y0
183 __ASM_EMIT("subs %[n], %[n], #16")
184 __ASM_EMIT("blo 2f")
185
186 // 16x blocks
187 __ASM_EMIT("1:")
188 __ASM_EMIT("vldm %[dst], {q0-q3}")
189 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
190 __ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
191 __ASM_EMIT("vmul.f32 q6, q10, q14") // q6 = k*x[2]
192 __ASM_EMIT("vmul.f32 q7, q11, q14") // q7 = k*x[3]
193 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
194 __ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
195 __ASM_EMIT("vadd.f32 q6, q6, q15") // q2 = k*x[2] + y0
196 __ASM_EMIT("vadd.f32 q7, q7, q15") // q3 = k*x[3] + y0
197 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
198 __ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
199 __ASM_EMIT("vmul.f32 q2, q2, q6") // q2 = s0[2]*(k*x[2] + y0)
200 __ASM_EMIT("vmul.f32 q3, q3, q7") // q3 = s0[3]*(k*x[3] + y0)
201 __ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = x[0]' = x[0]+d[0]
202 __ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]' = x[1]+d[1]
203 __ASM_EMIT("vadd.f32 q10, q10, q12") // q10 = x[2]' = x[2]+d[0]
204 __ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]' = x[3]+d[1]
205 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
206 __ASM_EMIT("subs %[n], %[n], #16")
207 __ASM_EMIT("bhs 1b")
208
209 // 8x block
210 __ASM_EMIT("2:")
211 __ASM_EMIT("adds %[n], %[n], #8")
212 __ASM_EMIT("blt 4f")
213 __ASM_EMIT("vldm %[dst], {q0-q1}")
214 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
215 __ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
216 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
217 __ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
218 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
219 __ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
220 __ASM_EMIT("vmov q8, q10") // q8 = x[0]'
221 __ASM_EMIT("vmov q9, q11") // q9 = x[1]'
222 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
223 __ASM_EMIT("sub %[n], %[n], #8")
224
225 // 4x block
226 __ASM_EMIT("4:")
227 __ASM_EMIT("adds %[n], %[n], #4")
228 __ASM_EMIT("blt 6f")
229 __ASM_EMIT("vldm %[dst], {q0}")
230 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
231 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
232 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
233 __ASM_EMIT("vmov q8, q9") // q8 = x[0]'
234 __ASM_EMIT("vstm %[dst]!, {q0}")
235 __ASM_EMIT("sub %[n], %[n], #4")
236
237 // 1x blocks
238 __ASM_EMIT("6:")
239 __ASM_EMIT("adds %[n], %[n], #3")
240 __ASM_EMIT("blt 8f")
241 __ASM_EMIT("7:")
242 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[dst]]")
243 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
244 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
245 __ASM_EMIT("vext.32 q8, q8, #1") // q8 = x[0]'
246 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
247 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
248 __ASM_EMIT("subs %[n], %[n], #1")
249 __ASM_EMIT("bge 7b")
250
251 __ASM_EMIT("8:")
252 : [dst] "+r" (dst),
253 [n] "+r" (n),
254 [CC] "+r" (CC)
255 : [v] "r" (&v[0])
256 : "cc", "memory",
257 "q0", "q1", "q2", "q3",
258 "q4", "q5", "q6", "q7",
259 "q8", "q9", "q10", "q11",
260 "q12", "q13", "q14", "q15"
261 );
262 }
263
264 void lin_inter_mul3(float *dst, const float *src, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
265 {
266 IF_ARCH_ARM(
267 float v[4];
268 v[0] = x1 - x0;
269 v[1] = x - x0;
270 v[2] = y1 - y0;
271 v[3] = y0;
272 const float *CC = lin_inter_const;
273 )
274
275 ARCH_ARM_ASM(
276 // Prepare parameters
277 __ASM_EMIT("vld4.32 {d24[], d26[], d28[], d30[]}, [%[v]]")
278 __ASM_EMIT("vldm %[CC]!, {q8-q11}") // q8 = 0..3, q9=4..7, q10=8..11, q11=12..15
279 __ASM_EMIT("vld4.32 {d25[], d27[], d29[], d31[]}, [%[v]]") // q12 = (x1-x0), q13 = (x-x0), q14 = (y1-y0), q15 = y0
280 __ASM_EMIT("vrecpe.f32 q0, q12") // q0 = s2
281 __ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = x[0]
282 __ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2)
283 __ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]
284 __ASM_EMIT("vmul.f32 q0, q1, q0") // q0 = s2' = s2 * (2 - R*s2)
285 __ASM_EMIT("vadd.f32 q10, q10, q13") // q10 = x[2]
286 __ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2')
287 __ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]
288 __ASM_EMIT("vmul.f32 q12, q1, q0") // q14 = s2" = s2' * (2 - R*s2) = 1/s2
289 __ASM_EMIT("vmul.f32 q14, q14, q12") // q14 = k = (y1-y0)/(x1-x0)
290 __ASM_EMIT("vldm %[CC], {q12-q13}") // q12 = d[0], q13=d[1]
291
292 // Register allocation:
293 // q8 = x[0]
294 // q9 = x[1]
295 // q10 = x[2]
296 // q11 = x[3]
297 // q12 = d[0]
298 // q13 = d[1]
299 // q14 = k
300 // q15 = y0
301 __ASM_EMIT("subs %[n], %[n], #16")
302 __ASM_EMIT("blo 2f")
303
304 // 16x blocks
305 __ASM_EMIT("1:")
306 __ASM_EMIT("vldm %[src]!, {q0-q3}")
307 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
308 __ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
309 __ASM_EMIT("vmul.f32 q6, q10, q14") // q6 = k*x[2]
310 __ASM_EMIT("vmul.f32 q7, q11, q14") // q7 = k*x[3]
311 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
312 __ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
313 __ASM_EMIT("vadd.f32 q6, q6, q15") // q2 = k*x[2] + y0
314 __ASM_EMIT("vadd.f32 q7, q7, q15") // q3 = k*x[3] + y0
315 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
316 __ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
317 __ASM_EMIT("vmul.f32 q2, q2, q6") // q2 = s0[2]*(k*x[2] + y0)
318 __ASM_EMIT("vmul.f32 q3, q3, q7") // q3 = s0[3]*(k*x[3] + y0)
319 __ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = x[0]' = x[0]+d[0]
320 __ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]' = x[1]+d[1]
321 __ASM_EMIT("vadd.f32 q10, q10, q12") // q10 = x[2]' = x[2]+d[0]
322 __ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]' = x[3]+d[1]
323 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
324 __ASM_EMIT("subs %[n], %[n], #16")
325 __ASM_EMIT("bhs 1b")
326
327 // 8x block
328 __ASM_EMIT("2:")
329 __ASM_EMIT("adds %[n], %[n], #8")
330 __ASM_EMIT("blt 4f")
331 __ASM_EMIT("vldm %[src]!, {q0-q1}")
332 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
333 __ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
334 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
335 __ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
336 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
337 __ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
338 __ASM_EMIT("vmov q8, q10") // q8 = x[0]'
339 __ASM_EMIT("vmov q9, q11") // q9 = x[1]'
340 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
341 __ASM_EMIT("sub %[n], %[n], #8")
342
343 // 4x block
344 __ASM_EMIT("4:")
345 __ASM_EMIT("adds %[n], %[n], #4")
346 __ASM_EMIT("blt 6f")
347 __ASM_EMIT("vldm %[src]!, {q0}")
348 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
349 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
350 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
351 __ASM_EMIT("vmov q8, q9") // q8 = x[0]'
352 __ASM_EMIT("vstm %[dst]!, {q0}")
353 __ASM_EMIT("sub %[n], %[n], #4")
354
355 // 1x blocks
356 __ASM_EMIT("6:")
357 __ASM_EMIT("adds %[n], %[n], #3")
358 __ASM_EMIT("blt 8f")
359 __ASM_EMIT("7:")
360 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
361 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
362 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
363 __ASM_EMIT("vext.32 q8, q8, #1") // q8 = x[0]'
364 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
365 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
366 __ASM_EMIT("subs %[n], %[n], #1")
367 __ASM_EMIT("bge 7b")
368
369 __ASM_EMIT("8:")
370 : [dst] "+r" (dst), [src] "+r" (src),
371 [n] "+r" (n),
372 [CC] "+r" (CC)
373 : [v] "r" (&v[0])
374 : "cc", "memory",
375 "q0", "q1", "q2", "q3",
376 "q4", "q5", "q6", "q7",
377 "q8", "q9", "q10", "q11",
378 "q12", "q13", "q14", "q15"
379 );
380 }
381
382 void lin_inter_fmadd2(float *dst, const float *src, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
383 {
384 IF_ARCH_ARM(
385 float v[4];
386 v[0] = x1 - x0;
387 v[1] = x - x0;
388 v[2] = y1 - y0;
389 v[3] = y0;
390 const float *CC = lin_inter_const;
391 )
392
393 ARCH_ARM_ASM(
394 // Prepare parameters
395 __ASM_EMIT("vld4.32 {d24[], d26[], d28[], d30[]}, [%[v]]")
396 __ASM_EMIT("vldm %[CC]!, {q8-q11}") // q8 = 0..3, q9=4..7, q10=8..11, q11=12..15
397 __ASM_EMIT("vld4.32 {d25[], d27[], d29[], d31[]}, [%[v]]") // q12 = (x1-x0), q13 = (x-x0), q14 = (y1-y0), q15 = y0
398 __ASM_EMIT("vrecpe.f32 q0, q12") // q0 = s2
399 __ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = x[0]
400 __ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2)
401 __ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]
402 __ASM_EMIT("vmul.f32 q0, q1, q0") // q0 = s2' = s2 * (2 - R*s2)
403 __ASM_EMIT("vadd.f32 q10, q10, q13") // q10 = x[2]
404 __ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2')
405 __ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]
406 __ASM_EMIT("vmul.f32 q12, q1, q0") // q14 = s2" = s2' * (2 - R*s2) = 1/s2
407 __ASM_EMIT("vmul.f32 q14, q14, q12") // q14 = k = (y1-y0)/(x1-x0)
408 __ASM_EMIT("vldm %[CC], {q12-q13}") // q12 = d[0], q13=d[1]
409
410 // Register allocation:
411 // q8 = x[0]
412 // q9 = x[1]
413 // q10 = x[2]
414 // q11 = x[3]
415 // q12 = d[0]
416 // q13 = d[1]
417 // q14 = k
418 // q15 = y0
419 __ASM_EMIT("subs %[n], %[n], #16")
420 __ASM_EMIT("blo 2f")
421
422 // 16x blocks
423 __ASM_EMIT("1:")
424 __ASM_EMIT("vldm %[src]!, {q0-q3}")
425 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
426 __ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
427 __ASM_EMIT("vmul.f32 q6, q10, q14") // q6 = k*x[2]
428 __ASM_EMIT("vmul.f32 q7, q11, q14") // q7 = k*x[3]
429 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
430 __ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
431 __ASM_EMIT("vadd.f32 q6, q6, q15") // q2 = k*x[2] + y0
432 __ASM_EMIT("vadd.f32 q7, q7, q15") // q3 = k*x[3] + y0
433 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
434 __ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
435 __ASM_EMIT("vmul.f32 q2, q2, q6") // q2 = s0[2]*(k*x[2] + y0)
436 __ASM_EMIT("vmul.f32 q3, q3, q7") // q3 = s0[3]*(k*x[3] + y0)
437 __ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = x[0]' = x[0]+d[0]
438 __ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]' = x[1]+d[1]
439 __ASM_EMIT("vadd.f32 q10, q10, q12") // q10 = x[2]' = x[2]+d[0]
440 __ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]' = x[3]+d[1]
441 __ASM_EMIT("vldm %[dst], {q4-q7}")
442 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
443 __ASM_EMIT("vadd.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0) + s1[1]
444 __ASM_EMIT("vadd.f32 q2, q2, q6") // q2 = s0[2]*(k*x[2] + y0) + s1[2]
445 __ASM_EMIT("vadd.f32 q3, q3, q7") // q3 = s0[3]*(k*x[3] + y0) + s1[3]
446 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
447 __ASM_EMIT("subs %[n], %[n], #16")
448 __ASM_EMIT("bhs 1b")
449
450 // 8x block
451 __ASM_EMIT("2:")
452 __ASM_EMIT("adds %[n], %[n], #8")
453 __ASM_EMIT("blt 4f")
454 __ASM_EMIT("vldm %[src]!, {q0-q1}")
455 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
456 __ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
457 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
458 __ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
459 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
460 __ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
461 __ASM_EMIT("vmov q8, q10") // q8 = x[0]'
462 __ASM_EMIT("vmov q9, q11") // q9 = x[1]'
463 __ASM_EMIT("vldm %[dst], {q4-q5}")
464 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
465 __ASM_EMIT("vadd.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0) + s1[1]
466 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
467 __ASM_EMIT("sub %[n], %[n], #8")
468
469 // 4x block
470 __ASM_EMIT("4:")
471 __ASM_EMIT("adds %[n], %[n], #4")
472 __ASM_EMIT("blt 6f")
473 __ASM_EMIT("vldm %[src]!, {q0}")
474 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
475 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
476 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
477 __ASM_EMIT("vmov q8, q9") // q8 = x[0]'
478 __ASM_EMIT("vldm %[dst], {q4}")
479 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
480 __ASM_EMIT("vstm %[dst]!, {q0}")
481 __ASM_EMIT("sub %[n], %[n], #4")
482
483 // 1x blocks
484 __ASM_EMIT("6:")
485 __ASM_EMIT("adds %[n], %[n], #3")
486 __ASM_EMIT("blt 8f")
487 __ASM_EMIT("7:")
488 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
489 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
490 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
491 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
492 __ASM_EMIT("vext.32 q8, q8, #1") // q8 = x[0]'
493 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[dst]]")
494 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
495 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
496 __ASM_EMIT("subs %[n], %[n], #1")
497 __ASM_EMIT("bge 7b")
498
499 __ASM_EMIT("8:")
500 : [dst] "+r" (dst), [src] "+r" (src),
501 [n] "+r" (n),
502 [CC] "+r" (CC)
503 : [v] "r" (&v[0])
504 : "cc", "memory",
505 "q0", "q1", "q2", "q3",
506 "q4", "q5", "q6", "q7",
507 "q8", "q9", "q10", "q11",
508 "q12", "q13", "q14", "q15"
509 );
510 }
511
512 void lin_inter_frmadd2(float *dst, const float *src, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
513 {
514 IF_ARCH_ARM(
515 float v[4];
516 v[0] = x1 - x0;
517 v[1] = x - x0;
518 v[2] = y1 - y0;
519 v[3] = y0;
520 const float *CC = lin_inter_const;
521 )
522
523 ARCH_ARM_ASM(
524 // Prepare parameters
525 __ASM_EMIT("vld4.32 {d24[], d26[], d28[], d30[]}, [%[v]]")
526 __ASM_EMIT("vldm %[CC]!, {q8-q11}") // q8 = 0..3, q9=4..7, q10=8..11, q11=12..15
527 __ASM_EMIT("vld4.32 {d25[], d27[], d29[], d31[]}, [%[v]]") // q12 = (x1-x0), q13 = (x-x0), q14 = (y1-y0), q15 = y0
528 __ASM_EMIT("vrecpe.f32 q0, q12") // q0 = s2
529 __ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = x[0]
530 __ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2)
531 __ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]
532 __ASM_EMIT("vmul.f32 q0, q1, q0") // q0 = s2' = s2 * (2 - R*s2)
533 __ASM_EMIT("vadd.f32 q10, q10, q13") // q10 = x[2]
534 __ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2')
535 __ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]
536 __ASM_EMIT("vmul.f32 q12, q1, q0") // q14 = s2" = s2' * (2 - R*s2) = 1/s2
537 __ASM_EMIT("vmul.f32 q14, q14, q12") // q14 = k = (y1-y0)/(x1-x0)
538 __ASM_EMIT("vldm %[CC], {q12-q13}") // q12 = d[0], q13=d[1]
539
540 // Register allocation:
541 // q8 = x[0]
542 // q9 = x[1]
543 // q10 = x[2]
544 // q11 = x[3]
545 // q12 = d[0]
546 // q13 = d[1]
547 // q14 = k
548 // q15 = y0
549 __ASM_EMIT("subs %[n], %[n], #16")
550 __ASM_EMIT("blo 2f")
551
552 // 16x blocks
553 __ASM_EMIT("1:")
554 __ASM_EMIT("vldm %[dst], {q0-q3}")
555 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
556 __ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
557 __ASM_EMIT("vmul.f32 q6, q10, q14") // q6 = k*x[2]
558 __ASM_EMIT("vmul.f32 q7, q11, q14") // q7 = k*x[3]
559 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
560 __ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
561 __ASM_EMIT("vadd.f32 q6, q6, q15") // q2 = k*x[2] + y0
562 __ASM_EMIT("vadd.f32 q7, q7, q15") // q3 = k*x[3] + y0
563 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
564 __ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
565 __ASM_EMIT("vmul.f32 q2, q2, q6") // q2 = s0[2]*(k*x[2] + y0)
566 __ASM_EMIT("vmul.f32 q3, q3, q7") // q3 = s0[3]*(k*x[3] + y0)
567 __ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = x[0]' = x[0]+d[0]
568 __ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]' = x[1]+d[1]
569 __ASM_EMIT("vadd.f32 q10, q10, q12") // q10 = x[2]' = x[2]+d[0]
570 __ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]' = x[3]+d[1]
571 __ASM_EMIT("vldm %[src]!, {q4-q7}")
572 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
573 __ASM_EMIT("vadd.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0) + s1[1]
574 __ASM_EMIT("vadd.f32 q2, q2, q6") // q2 = s0[2]*(k*x[2] + y0) + s1[2]
575 __ASM_EMIT("vadd.f32 q3, q3, q7") // q3 = s0[3]*(k*x[3] + y0) + s1[3]
576 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
577 __ASM_EMIT("subs %[n], %[n], #16")
578 __ASM_EMIT("bhs 1b")
579
580 // 8x block
581 __ASM_EMIT("2:")
582 __ASM_EMIT("adds %[n], %[n], #8")
583 __ASM_EMIT("blt 4f")
584 __ASM_EMIT("vldm %[dst], {q0-q1}")
585 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
586 __ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
587 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
588 __ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
589 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
590 __ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
591 __ASM_EMIT("vmov q8, q10") // q8 = x[0]'
592 __ASM_EMIT("vmov q9, q11") // q9 = x[1]'
593 __ASM_EMIT("vldm %[src]!, {q4-q5}")
594 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
595 __ASM_EMIT("vadd.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0) + s1[1]
596 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
597 __ASM_EMIT("sub %[n], %[n], #8")
598
599 // 4x block
600 __ASM_EMIT("4:")
601 __ASM_EMIT("adds %[n], %[n], #4")
602 __ASM_EMIT("blt 6f")
603 __ASM_EMIT("vldm %[dst], {q0}")
604 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
605 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
606 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
607 __ASM_EMIT("vmov q8, q9") // q8 = x[0]'
608 __ASM_EMIT("vldm %[src]!, {q4}")
609 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
610 __ASM_EMIT("vstm %[dst]!, {q0}")
611 __ASM_EMIT("sub %[n], %[n], #4")
612
613 // 1x blocks
614 __ASM_EMIT("6:")
615 __ASM_EMIT("adds %[n], %[n], #3")
616 __ASM_EMIT("blt 8f")
617 __ASM_EMIT("7:")
618 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[dst]]")
619 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
620 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
621 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
622 __ASM_EMIT("vext.32 q8, q8, #1") // q8 = x[0]'
623 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[src]]!")
624 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
625 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
626 __ASM_EMIT("subs %[n], %[n], #1")
627 __ASM_EMIT("bge 7b")
628
629 __ASM_EMIT("8:")
630 : [dst] "+r" (dst), [src] "+r" (src),
631 [n] "+r" (n),
632 [CC] "+r" (CC)
633 : [v] "r" (&v[0])
634 : "cc", "memory",
635 "q0", "q1", "q2", "q3",
636 "q4", "q5", "q6", "q7",
637 "q8", "q9", "q10", "q11",
638 "q12", "q13", "q14", "q15"
639 );
640 }
641
642 void lin_inter_fmadd3(float *dst, const float *src1, const float *src2, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
643 {
644 IF_ARCH_ARM(
645 float v[4];
646 v[0] = x1 - x0;
647 v[1] = x - x0;
648 v[2] = y1 - y0;
649 v[3] = y0;
650 const float *CC = lin_inter_const;
651 )
652
653 ARCH_ARM_ASM(
654 // Prepare parameters
655 __ASM_EMIT("vld4.32 {d24[], d26[], d28[], d30[]}, [%[v]]")
656 __ASM_EMIT("vldm %[CC]!, {q8-q11}") // q8 = 0..3, q9=4..7, q10=8..11, q11=12..15
657 __ASM_EMIT("vld4.32 {d25[], d27[], d29[], d31[]}, [%[v]]") // q12 = (x1-x0), q13 = (x-x0), q14 = (y1-y0), q15 = y0
658 __ASM_EMIT("vrecpe.f32 q0, q12") // q0 = s2
659 __ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = x[0]
660 __ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2)
661 __ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]
662 __ASM_EMIT("vmul.f32 q0, q1, q0") // q0 = s2' = s2 * (2 - R*s2)
663 __ASM_EMIT("vadd.f32 q10, q10, q13") // q10 = x[2]
664 __ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2')
665 __ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]
666 __ASM_EMIT("vmul.f32 q12, q1, q0") // q14 = s2" = s2' * (2 - R*s2) = 1/s2
667 __ASM_EMIT("vmul.f32 q14, q14, q12") // q14 = k = (y1-y0)/(x1-x0)
668 __ASM_EMIT("vldm %[CC], {q12-q13}") // q12 = d[0], q13=d[1]
669
670 // Register allocation:
671 // q8 = x[0]
672 // q9 = x[1]
673 // q10 = x[2]
674 // q11 = x[3]
675 // q12 = d[0]
676 // q13 = d[1]
677 // q14 = k
678 // q15 = y0
679 __ASM_EMIT("subs %[n], %[n], #16")
680 __ASM_EMIT("blo 2f")
681
682 // 16x blocks
683 __ASM_EMIT("1:")
684 __ASM_EMIT("vldm %[src1]!, {q0-q3}")
685 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
686 __ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
687 __ASM_EMIT("vmul.f32 q6, q10, q14") // q6 = k*x[2]
688 __ASM_EMIT("vmul.f32 q7, q11, q14") // q7 = k*x[3]
689 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
690 __ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
691 __ASM_EMIT("vadd.f32 q6, q6, q15") // q2 = k*x[2] + y0
692 __ASM_EMIT("vadd.f32 q7, q7, q15") // q3 = k*x[3] + y0
693 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
694 __ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
695 __ASM_EMIT("vmul.f32 q2, q2, q6") // q2 = s0[2]*(k*x[2] + y0)
696 __ASM_EMIT("vmul.f32 q3, q3, q7") // q3 = s0[3]*(k*x[3] + y0)
697 __ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = x[0]' = x[0]+d[0]
698 __ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]' = x[1]+d[1]
699 __ASM_EMIT("vadd.f32 q10, q10, q12") // q10 = x[2]' = x[2]+d[0]
700 __ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]' = x[3]+d[1]
701 __ASM_EMIT("vldm %[src2]!, {q4-q7}")
702 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
703 __ASM_EMIT("vadd.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0) + s1[1]
704 __ASM_EMIT("vadd.f32 q2, q2, q6") // q2 = s0[2]*(k*x[2] + y0) + s1[2]
705 __ASM_EMIT("vadd.f32 q3, q3, q7") // q3 = s0[3]*(k*x[3] + y0) + s1[3]
706 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
707 __ASM_EMIT("subs %[n], %[n], #16")
708 __ASM_EMIT("bhs 1b")
709
710 // 8x block
711 __ASM_EMIT("2:")
712 __ASM_EMIT("adds %[n], %[n], #8")
713 __ASM_EMIT("blt 4f")
714 __ASM_EMIT("vldm %[src1]!, {q0-q1}")
715 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
716 __ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
717 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
718 __ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
719 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
720 __ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
721 __ASM_EMIT("vmov q8, q10") // q8 = x[0]'
722 __ASM_EMIT("vmov q9, q11") // q9 = x[1]'
723 __ASM_EMIT("vldm %[src2]!, {q4-q5}")
724 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
725 __ASM_EMIT("vadd.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0) + s1[1]
726 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
727 __ASM_EMIT("sub %[n], %[n], #8")
728
729 // 4x block
730 __ASM_EMIT("4:")
731 __ASM_EMIT("adds %[n], %[n], #4")
732 __ASM_EMIT("blt 6f")
733 __ASM_EMIT("vldm %[src1]!, {q0}")
734 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
735 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
736 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
737 __ASM_EMIT("vmov q8, q9") // q8 = x[0]'
738 __ASM_EMIT("vldm %[src2]!, {q4}")
739 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
740 __ASM_EMIT("vstm %[dst]!, {q0}")
741 __ASM_EMIT("sub %[n], %[n], #4")
742
743 // 1x blocks
744 __ASM_EMIT("6:")
745 __ASM_EMIT("adds %[n], %[n], #3")
746 __ASM_EMIT("blt 8f")
747 __ASM_EMIT("7:")
748 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src1]]!")
749 __ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
750 __ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
751 __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
752 __ASM_EMIT("vext.32 q8, q8, #1") // q8 = x[0]'
753 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[src2]]!")
754 __ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
755 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
756 __ASM_EMIT("subs %[n], %[n], #1")
757 __ASM_EMIT("bge 7b")
758
759 __ASM_EMIT("8:")
760 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
761 [n] "+r" (n),
762 [CC] "+r" (CC)
763 : [v] "r" (&v[0])
764 : "cc", "memory",
765 "q0", "q1", "q2", "q3",
766 "q4", "q5", "q6", "q7",
767 "q8", "q9", "q10", "q11",
768 "q12", "q13", "q14", "q15"
769 );
770 }
771 }
772 }
773
774
775 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_INTERPOLATION_LINEAR_H_ */