Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/aarch64/asimd/interpolation/linear.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 13 дек. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_INTERPOLATION_LINEAR_H_
23 #define PRIVATE_DSP_ARCH_AARCH64_ASIMD_INTERPOLATION_LINEAR_H_
24
25 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL */
28
29 namespace lsp
30 {
31 namespace asimd
32 {
33 static const float lin_inter_const[] __lsp_aligned16 =
34 {
35 0.0f, 1.0f, 2.0f, 3.0f, 4.0f, 5.0f, 6.0f, 7.0f, // Initial values 0..7
36 8.0f, 9.0f, 10.0f, 11.0f, 12.0f, 13.0f, 14.0f, 15.0f, // Initial values 8..15
37 16.0f, 16.0f, 16.0f, 16.0f, 16.0f, 16.0f, 16.0f, 16.0f // Step
38 };
39
40 void lin_inter_set(float *dst, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
41 {
42 IF_ARCH_AARCH64(
43 float v[4];
44 v[0] = x1 - x0;
45 v[1] = x - x0;
46 v[2] = y1 - y0;
47 v[3] = y0;
48 )
49
50 ARCH_AARCH64_ASM(
51 // Prepare parameters
52 __ASM_EMIT("ld4r {v12.4s, v13.4s, v14.4s, v15.4s}, [%[v]]") // v12 = (x1-x0), v13 = (x-x0), v14 = (y1-y0), v15 = y0
53 __ASM_EMIT("ldp q8, q9, [%[CC], #0x00]") // v8 = 0..3, v9=4..7
54 __ASM_EMIT("ldp q10, q11, [%[CC], #0x20]") // v10 = 8..11, v11=12..15
55 __ASM_EMIT("frecpe v0.4s, v12.4s") // v0 = s2
56 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = x[0]
57 __ASM_EMIT("frecps v1.4s, v0.4s, v12.4s") // v1 = (2 - R*s2)
58 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s") // v9 = x[1]
59 __ASM_EMIT("fmul v0.4s, v1.4s, v0.4s") // v0 = s2' = s2 * (2 - R*s2)
60 __ASM_EMIT("fadd v10.4s, v10.4s, v13.4s") // v10 = x[2]
61 __ASM_EMIT("frecps v1.4s, v0.4s, v12.4s") // v1 = (2 - R*s2')
62 __ASM_EMIT("fadd v11.4s, v11.4s, v13.4s") // v11 = x[3]
63 __ASM_EMIT("fmul v12.4s, v1.4s, v0.4s") // v14 = s2" = s2' * (2 - R*s2) = 1/s2
64 __ASM_EMIT("fmul v14.4s, v14.4s, v12.4s") // v14 = k = (y1-y0)/(x1-x0)
65 __ASM_EMIT("ldp q12, q13, [%[CC], #0x40]") // v12 = d[0], v13=d[1]
66
67 // Register allocation:
68 // v8 = x[0]
69 // v9 = x[1]
70 // v10 = x[2]
71 // v11 = x[3]
72 // v12 = d[0]
73 // v13 = d[1]
74 // v14 = k
75 // v15 = y0
76 __ASM_EMIT("subs %w[n], %w[n], #16")
77 __ASM_EMIT("b.lo 2f")
78
79 // 16x blocks
80 __ASM_EMIT("1:")
81 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
82 __ASM_EMIT("fmul v5.4s, v9.4s, v14.4s") // v5 = k*x[1]
83 __ASM_EMIT("fmul v6.4s, v10.4s, v14.4s") // v6 = k*x[2]
84 __ASM_EMIT("fmul v7.4s, v11.4s, v14.4s") // v7 = k*x[3]
85 __ASM_EMIT("fadd v0.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
86 __ASM_EMIT("fadd v1.4s, v5.4s, v15.4s") // v1 = k*x[1] + y0
87 __ASM_EMIT("fadd v2.4s, v6.4s, v15.4s") // v2 = k*x[2] + y0
88 __ASM_EMIT("fadd v3.4s, v7.4s, v15.4s") // v3 = k*x[3] + y0
89 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = x[0]' = x[0]+d[0]
90 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s") // v9 = x[1]' = x[1]+d[1]
91 __ASM_EMIT("fadd v10.4s, v10.4s, v12.4s") // v10 = x[2]' = x[2]+d[0]
92 __ASM_EMIT("fadd v11.4s, v11.4s, v13.4s") // v11 = x[3]' = x[3]+d[1]
93 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
94 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
95 __ASM_EMIT("subs %w[n], %w[n], #16")
96 __ASM_EMIT("add %[dst], %[dst], #0x40")
97 __ASM_EMIT("b.hs 1b")
98
99 // 8x block
100 __ASM_EMIT("2:")
101 __ASM_EMIT("adds %w[n], %w[n], #8")
102 __ASM_EMIT("b.lt 4f")
103 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
104 __ASM_EMIT("fmul v5.4s, v9.4s, v14.4s") // v5 = k*x[1]
105 __ASM_EMIT("fadd v0.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
106 __ASM_EMIT("fadd v1.4s, v5.4s, v15.4s") // v1 = k*x[1] + y0
107 __ASM_EMIT("mov v8.16b, v10.16b") // v8 = x[0]'
108 __ASM_EMIT("mov v9.16b, v11.16b") // v9 = x[1]'
109 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
110 __ASM_EMIT("sub %w[n], %w[n], #8")
111 __ASM_EMIT("add %[dst], %[dst], #0x20")
112
113 // 4x block
114 __ASM_EMIT("4:")
115 __ASM_EMIT("adds %w[n], %w[n], #4")
116 __ASM_EMIT("b.lt 6f")
117 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
118 __ASM_EMIT("fadd v0.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
119 __ASM_EMIT("mov v8.16b, v9.16b") // v8 = x[0]'
120 __ASM_EMIT("str q0, [%[dst], #0x00]")
121 __ASM_EMIT("sub %w[n], %w[n], #4")
122 __ASM_EMIT("add %[dst], %[dst], #0x10")
123
124 // 1x blocks
125 __ASM_EMIT("6:")
126 __ASM_EMIT("adds %w[n], %w[n], #3")
127 __ASM_EMIT("b.lt 8f")
128 __ASM_EMIT("7:")
129 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
130 __ASM_EMIT("fadd v0.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
131 __ASM_EMIT("ext v8.16b, v8.16b, v8.16b, #4") // v8 = x[0]'
132 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
133 __ASM_EMIT("subs %w[n], %w[n], #1")
134 __ASM_EMIT("add %[dst], %[dst], #0x04")
135 __ASM_EMIT("b.ge 7b")
136
137 __ASM_EMIT("8:")
138 : [dst] "+r" (dst),
139 [n] "+r" (n)
140 : [v] "r" (&v[0]),
141 [CC] "r" (&lin_inter_const[0])
142 : "cc", "memory",
143 "v0", "v1", "v2", "v3",
144 "v4", "v5", "v6", "v7",
145 "v8", "v9", "v10", "v11",
146 "v12", "v13", "v14", "v15"
147 );
148 }
149
150 void lin_inter_mul2(float *dst, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
151 {
152 IF_ARCH_AARCH64(
153 float v[4];
154 v[0] = x1 - x0;
155 v[1] = x - x0;
156 v[2] = y1 - y0;
157 v[3] = y0;
158 )
159
160 ARCH_AARCH64_ASM(
161 // Prepare parameters
162 __ASM_EMIT("ld4r {v12.4s, v13.4s, v14.4s, v15.4s}, [%[v]]") // v12 = (x1-x0), v13 = (x-x0), v14 = (y1-y0), v15 = y0
163 __ASM_EMIT("ldp q8, q9, [%[CC], #0x00]") // v8 = 0..3, v9=4..7
164 __ASM_EMIT("ldp q10, q11, [%[CC], #0x20]") // v10 = 8..11, v11=12..15
165 __ASM_EMIT("frecpe v0.4s, v12.4s") // v0 = s2
166 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = x[0]
167 __ASM_EMIT("frecps v1.4s, v0.4s, v12.4s") // v1 = (2 - R*s2)
168 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s") // v9 = x[1]
169 __ASM_EMIT("fmul v0.4s, v1.4s, v0.4s") // v0 = s2' = s2 * (2 - R*s2)
170 __ASM_EMIT("fadd v10.4s, v10.4s, v13.4s") // v10 = x[2]
171 __ASM_EMIT("frecps v1.4s, v0.4s, v12.4s") // v1 = (2 - R*s2')
172 __ASM_EMIT("fadd v11.4s, v11.4s, v13.4s") // v11 = x[3]
173 __ASM_EMIT("fmul v12.4s, v1.4s, v0.4s") // v14 = s2" = s2' * (2 - R*s2) = 1/s2
174 __ASM_EMIT("fmul v14.4s, v14.4s, v12.4s") // v14 = k = (y1-y0)/(x1-x0)
175 __ASM_EMIT("ldp q12, q13, [%[CC], #0x40]") // v12 = d[0], v13=d[1]
176
177 // Register allocation:
178 // v8 = x[0]
179 // v9 = x[1]
180 // v10 = x[2]
181 // v11 = x[3]
182 // v12 = d[0]
183 // v13 = d[1]
184 // v14 = k
185 // v15 = y0
186 __ASM_EMIT("subs %w[n], %w[n], #16")
187 __ASM_EMIT("b.lo 2f")
188
189 // 16x blocks
190 __ASM_EMIT("1:")
191 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
192 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
193 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
194 __ASM_EMIT("fmul v5.4s, v9.4s, v14.4s") // v5 = k*x[1]
195 __ASM_EMIT("fmul v6.4s, v10.4s, v14.4s") // v6 = k*x[2]
196 __ASM_EMIT("fmul v7.4s, v11.4s, v14.4s") // v7 = k*x[3]
197 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
198 __ASM_EMIT("fadd v5.4s, v5.4s, v15.4s") // v1 = k*x[1] + y0
199 __ASM_EMIT("fadd v6.4s, v6.4s, v15.4s") // v2 = k*x[2] + y0
200 __ASM_EMIT("fadd v7.4s, v7.4s, v15.4s") // v3 = k*x[3] + y0
201 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = x[0]' = x[0]+d[0]
202 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s") // v9 = x[1]' = x[1]+d[1]
203 __ASM_EMIT("fadd v10.4s, v10.4s, v12.4s") // v10 = x[2]' = x[2]+d[0]
204 __ASM_EMIT("fadd v11.4s, v11.4s, v13.4s") // v11 = x[3]' = x[3]+d[1]
205 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
206 __ASM_EMIT("fmul v1.4s, v1.4s, v5.4s") // v0 = s0*(k*x[0] + y0)
207 __ASM_EMIT("fmul v2.4s, v2.4s, v6.4s") // v0 = s0*(k*x[0] + y0)
208 __ASM_EMIT("fmul v3.4s, v3.4s, v7.4s") // v0 = s0*(k*x[0] + y0)
209 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
210 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
211 __ASM_EMIT("subs %w[n], %w[n], #16")
212 __ASM_EMIT("add %[dst], %[dst], #0x40")
213 __ASM_EMIT("b.hs 1b")
214
215 // 8x block
216 __ASM_EMIT("2:")
217 __ASM_EMIT("adds %w[n], %w[n], #8")
218 __ASM_EMIT("b.lt 4f")
219 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
220 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
221 __ASM_EMIT("fmul v5.4s, v9.4s, v14.4s") // v5 = k*x[1]
222 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
223 __ASM_EMIT("fadd v5.4s, v5.4s, v15.4s") // v1 = k*x[1] + y0
224 __ASM_EMIT("mov v8.16b, v10.16b") // v8 = x[0]'
225 __ASM_EMIT("mov v9.16b, v11.16b") // v9 = x[1]'
226 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
227 __ASM_EMIT("fmul v1.4s, v1.4s, v5.4s") // v0 = s0*(k*x[0] + y0)
228 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
229 __ASM_EMIT("sub %w[n], %w[n], #8")
230 __ASM_EMIT("add %[dst], %[dst], #0x20")
231
232 // 4x block
233 __ASM_EMIT("4:")
234 __ASM_EMIT("adds %w[n], %w[n], #4")
235 __ASM_EMIT("b.lt 6f")
236 __ASM_EMIT("ldr q0, [%[dst], #0x00]")
237 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
238 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
239 __ASM_EMIT("mov v8.16b, v9.16b") // v8 = x[0]'
240 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
241 __ASM_EMIT("str q0, [%[dst], #0x00]")
242 __ASM_EMIT("sub %w[n], %w[n], #4")
243 __ASM_EMIT("add %[dst], %[dst], #0x10")
244
245 // 1x blocks
246 __ASM_EMIT("6:")
247 __ASM_EMIT("adds %w[n], %w[n], #3")
248 __ASM_EMIT("b.lt 8f")
249 __ASM_EMIT("7:")
250 __ASM_EMIT("ld1r {v0.4s}, [%[dst]]")
251 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
252 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
253 __ASM_EMIT("ext v8.16b, v8.16b, v8.16b, #4") // v8 = x[0]'
254 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
255 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
256 __ASM_EMIT("subs %w[n], %w[n], #1")
257 __ASM_EMIT("add %[dst], %[dst], #0x04")
258 __ASM_EMIT("b.ge 7b")
259
260 __ASM_EMIT("8:")
261 : [dst] "+r" (dst),
262 [n] "+r" (n)
263 : [v] "r" (&v[0]),
264 [CC] "r" (&lin_inter_const[0])
265 : "cc", "memory",
266 "v0", "v1", "v2", "v3",
267 "v4", "v5", "v6", "v7",
268 "v8", "v9", "v10", "v11",
269 "v12", "v13", "v14", "v15"
270 );
271 }
272
273 void lin_inter_mul3(float *dst, const float *src, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
274 {
275 IF_ARCH_AARCH64(
276 float v[4];
277 v[0] = x1 - x0;
278 v[1] = x - x0;
279 v[2] = y1 - y0;
280 v[3] = y0;
281 )
282
283 ARCH_AARCH64_ASM(
284 // Prepare parameters
285 __ASM_EMIT("ld4r {v12.4s, v13.4s, v14.4s, v15.4s}, [%[v]]") // v12 = (x1-x0), v13 = (x-x0), v14 = (y1-y0), v15 = y0
286 __ASM_EMIT("ldp q8, q9, [%[CC], #0x00]") // v8 = 0..3, v9=4..7
287 __ASM_EMIT("ldp q10, q11, [%[CC], #0x20]") // v10 = 8..11, v11=12..15
288 __ASM_EMIT("frecpe v0.4s, v12.4s") // v0 = s2
289 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = x[0]
290 __ASM_EMIT("frecps v1.4s, v0.4s, v12.4s") // v1 = (2 - R*s2)
291 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s") // v9 = x[1]
292 __ASM_EMIT("fmul v0.4s, v1.4s, v0.4s") // v0 = s2' = s2 * (2 - R*s2)
293 __ASM_EMIT("fadd v10.4s, v10.4s, v13.4s") // v10 = x[2]
294 __ASM_EMIT("frecps v1.4s, v0.4s, v12.4s") // v1 = (2 - R*s2')
295 __ASM_EMIT("fadd v11.4s, v11.4s, v13.4s") // v11 = x[3]
296 __ASM_EMIT("fmul v12.4s, v1.4s, v0.4s") // v14 = s2" = s2' * (2 - R*s2) = 1/s2
297 __ASM_EMIT("fmul v14.4s, v14.4s, v12.4s") // v14 = k = (y1-y0)/(x1-x0)
298 __ASM_EMIT("ldp q12, q13, [%[CC], #0x40]") // v12 = d[0], v13=d[1]
299
300 // Register allocation:
301 // v8 = x[0]
302 // v9 = x[1]
303 // v10 = x[2]
304 // v11 = x[3]
305 // v12 = d[0]
306 // v13 = d[1]
307 // v14 = k
308 // v15 = y0
309 __ASM_EMIT("subs %w[n], %w[n], #16")
310 __ASM_EMIT("b.lo 2f")
311
312 // 16x blocks
313 __ASM_EMIT("1:")
314 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]")
315 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]")
316 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
317 __ASM_EMIT("fmul v5.4s, v9.4s, v14.4s") // v5 = k*x[1]
318 __ASM_EMIT("fmul v6.4s, v10.4s, v14.4s") // v6 = k*x[2]
319 __ASM_EMIT("fmul v7.4s, v11.4s, v14.4s") // v7 = k*x[3]
320 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
321 __ASM_EMIT("fadd v5.4s, v5.4s, v15.4s") // v1 = k*x[1] + y0
322 __ASM_EMIT("fadd v6.4s, v6.4s, v15.4s") // v2 = k*x[2] + y0
323 __ASM_EMIT("fadd v7.4s, v7.4s, v15.4s") // v3 = k*x[3] + y0
324 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = x[0]' = x[0]+d[0]
325 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s") // v9 = x[1]' = x[1]+d[1]
326 __ASM_EMIT("fadd v10.4s, v10.4s, v12.4s") // v10 = x[2]' = x[2]+d[0]
327 __ASM_EMIT("fadd v11.4s, v11.4s, v13.4s") // v11 = x[3]' = x[3]+d[1]
328 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
329 __ASM_EMIT("fmul v1.4s, v1.4s, v5.4s") // v0 = s0*(k*x[0] + y0)
330 __ASM_EMIT("fmul v2.4s, v2.4s, v6.4s") // v0 = s0*(k*x[0] + y0)
331 __ASM_EMIT("fmul v3.4s, v3.4s, v7.4s") // v0 = s0*(k*x[0] + y0)
332 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
333 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
334 __ASM_EMIT("subs %w[n], %w[n], #16")
335 __ASM_EMIT("add %[src], %[src], #0x40")
336 __ASM_EMIT("add %[dst], %[dst], #0x40")
337 __ASM_EMIT("b.hs 1b")
338
339 // 8x block
340 __ASM_EMIT("2:")
341 __ASM_EMIT("adds %w[n], %w[n], #8")
342 __ASM_EMIT("b.lt 4f")
343 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]")
344 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
345 __ASM_EMIT("fmul v5.4s, v9.4s, v14.4s") // v5 = k*x[1]
346 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
347 __ASM_EMIT("fadd v5.4s, v5.4s, v15.4s") // v1 = k*x[1] + y0
348 __ASM_EMIT("mov v8.16b, v10.16b") // v8 = x[0]'
349 __ASM_EMIT("mov v9.16b, v11.16b") // v9 = x[1]'
350 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
351 __ASM_EMIT("fmul v1.4s, v1.4s, v5.4s") // v0 = s0*(k*x[0] + y0)
352 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
353 __ASM_EMIT("sub %w[n], %w[n], #8")
354 __ASM_EMIT("add %[src], %[src], #0x20")
355 __ASM_EMIT("add %[dst], %[dst], #0x20")
356
357 // 4x block
358 __ASM_EMIT("4:")
359 __ASM_EMIT("adds %w[n], %w[n], #4")
360 __ASM_EMIT("b.lt 6f")
361 __ASM_EMIT("ldr q0, [%[src], #0x00]")
362 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
363 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
364 __ASM_EMIT("mov v8.16b, v9.16b") // v8 = x[0]'
365 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
366 __ASM_EMIT("str q0, [%[dst], #0x00]")
367 __ASM_EMIT("sub %w[n], %w[n], #4")
368 __ASM_EMIT("add %[src], %[src], #0x10")
369 __ASM_EMIT("add %[dst], %[dst], #0x10")
370
371 // 1x blocks
372 __ASM_EMIT("6:")
373 __ASM_EMIT("adds %w[n], %w[n], #3")
374 __ASM_EMIT("b.lt 8f")
375 __ASM_EMIT("7:")
376 __ASM_EMIT("ld1r {v0.4s}, [%[src]]")
377 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
378 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
379 __ASM_EMIT("ext v8.16b, v8.16b, v8.16b, #4") // v8 = x[0]'
380 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
381 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
382 __ASM_EMIT("subs %w[n], %w[n], #1")
383 __ASM_EMIT("add %[src], %[src], #0x04")
384 __ASM_EMIT("add %[dst], %[dst], #0x04")
385 __ASM_EMIT("b.ge 7b")
386
387 __ASM_EMIT("8:")
388 : [dst] "+r" (dst), [src] "+r" (src),
389 [n] "+r" (n)
390 : [v] "r" (&v[0]),
391 [CC] "r" (&lin_inter_const[0])
392 : "cc", "memory",
393 "v0", "v1", "v2", "v3",
394 "v4", "v5", "v6", "v7",
395 "v8", "v9", "v10", "v11",
396 "v12", "v13", "v14", "v15"
397 );
398 }
399
400 void lin_inter_fmadd2(float *dst, const float *src, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
401 {
402 IF_ARCH_AARCH64(
403 float v[4];
404 v[0] = x1 - x0;
405 v[1] = x - x0;
406 v[2] = y1 - y0;
407 v[3] = y0;
408 )
409
410 ARCH_AARCH64_ASM(
411 // Prepare parameters
412 __ASM_EMIT("ld4r {v12.4s, v13.4s, v14.4s, v15.4s}, [%[v]]") // v12 = (x1-x0), v13 = (x-x0), v14 = (y1-y0), v15 = y0
413 __ASM_EMIT("ldp q8, q9, [%[CC], #0x00]") // v8 = 0..3, v9=4..7
414 __ASM_EMIT("ldp q10, q11, [%[CC], #0x20]") // v10 = 8..11, v11=12..15
415 __ASM_EMIT("frecpe v0.4s, v12.4s") // v0 = s2
416 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = x[0]
417 __ASM_EMIT("frecps v1.4s, v0.4s, v12.4s") // v1 = (2 - R*s2)
418 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s") // v9 = x[1]
419 __ASM_EMIT("fmul v0.4s, v1.4s, v0.4s") // v0 = s2' = s2 * (2 - R*s2)
420 __ASM_EMIT("fadd v10.4s, v10.4s, v13.4s") // v10 = x[2]
421 __ASM_EMIT("frecps v1.4s, v0.4s, v12.4s") // v1 = (2 - R*s2')
422 __ASM_EMIT("fadd v11.4s, v11.4s, v13.4s") // v11 = x[3]
423 __ASM_EMIT("fmul v12.4s, v1.4s, v0.4s") // v14 = s2" = s2' * (2 - R*s2) = 1/s2
424 __ASM_EMIT("fmul v14.4s, v14.4s, v12.4s") // v14 = k = (y1-y0)/(x1-x0)
425 __ASM_EMIT("ldp q12, q13, [%[CC], #0x40]") // v12 = d[0], v13=d[1]
426
427 // Register allocation:
428 // v8 = x[0]
429 // v9 = x[1]
430 // v10 = x[2]
431 // v11 = x[3]
432 // v12 = d[0]
433 // v13 = d[1]
434 // v14 = k
435 // v15 = y0
436 __ASM_EMIT("subs %w[n], %w[n], #16")
437 __ASM_EMIT("b.lo 2f")
438
439 // 16x blocks
440 __ASM_EMIT("1:")
441 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]")
442 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]")
443 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
444 __ASM_EMIT("fmul v5.4s, v9.4s, v14.4s") // v5 = k*x[1]
445 __ASM_EMIT("fmul v6.4s, v10.4s, v14.4s") // v6 = k*x[2]
446 __ASM_EMIT("fmul v7.4s, v11.4s, v14.4s") // v7 = k*x[3]
447 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
448 __ASM_EMIT("fadd v5.4s, v5.4s, v15.4s") // v1 = k*x[1] + y0
449 __ASM_EMIT("fadd v6.4s, v6.4s, v15.4s") // v2 = k*x[2] + y0
450 __ASM_EMIT("fadd v7.4s, v7.4s, v15.4s") // v3 = k*x[3] + y0
451 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = x[0]' = x[0]+d[0]
452 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s") // v9 = x[1]' = x[1]+d[1]
453 __ASM_EMIT("fadd v10.4s, v10.4s, v12.4s") // v10 = x[2]' = x[2]+d[0]
454 __ASM_EMIT("fadd v11.4s, v11.4s, v13.4s") // v11 = x[3]' = x[3]+d[1]
455 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
456 __ASM_EMIT("fmul v1.4s, v1.4s, v5.4s") // v0 = s0*(k*x[0] + y0)
457 __ASM_EMIT("fmul v2.4s, v2.4s, v6.4s") // v0 = s0*(k*x[0] + y0)
458 __ASM_EMIT("fmul v3.4s, v3.4s, v7.4s") // v0 = s0*(k*x[0] + y0)
459 __ASM_EMIT("ldp q4, q5, [%[dst], #0x00]")
460 __ASM_EMIT("ldp q6, q7, [%[dst], #0x20]")
461 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0) + d0[0]
462 __ASM_EMIT("fadd v1.4s, v1.4s, v5.4s") // v0 = s0*(k*x[0] + y0) + d0[1]
463 __ASM_EMIT("fadd v2.4s, v2.4s, v6.4s") // v0 = s0*(k*x[0] + y0) + d0[2]
464 __ASM_EMIT("fadd v3.4s, v3.4s, v7.4s") // v0 = s0*(k*x[0] + y0) + d0[3]
465 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
466 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
467 __ASM_EMIT("subs %w[n], %w[n], #16")
468 __ASM_EMIT("add %[src], %[src], #0x40")
469 __ASM_EMIT("add %[dst], %[dst], #0x40")
470 __ASM_EMIT("b.hs 1b")
471
472 // 8x block
473 __ASM_EMIT("2:")
474 __ASM_EMIT("adds %w[n], %w[n], #8")
475 __ASM_EMIT("b.lt 4f")
476 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]")
477 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
478 __ASM_EMIT("fmul v5.4s, v9.4s, v14.4s") // v5 = k*x[1]
479 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
480 __ASM_EMIT("fadd v5.4s, v5.4s, v15.4s") // v1 = k*x[1] + y0
481 __ASM_EMIT("mov v8.16b, v10.16b") // v8 = x[0]'
482 __ASM_EMIT("mov v9.16b, v11.16b") // v9 = x[1]'
483 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
484 __ASM_EMIT("fmul v1.4s, v1.4s, v5.4s") // v0 = s0*(k*x[0] + y0)
485 __ASM_EMIT("ldp q4, q5, [%[dst], #0x00]")
486 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0) + d0[0]
487 __ASM_EMIT("fadd v1.4s, v1.4s, v5.4s") // v0 = s0*(k*x[0] + y0) + d0[1]
488 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
489 __ASM_EMIT("sub %w[n], %w[n], #8")
490 __ASM_EMIT("add %[src], %[src], #0x20")
491 __ASM_EMIT("add %[dst], %[dst], #0x20")
492
493 // 4x block
494 __ASM_EMIT("4:")
495 __ASM_EMIT("adds %w[n], %w[n], #4")
496 __ASM_EMIT("b.lt 6f")
497 __ASM_EMIT("ldr q0, [%[src], #0x00]")
498 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
499 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
500 __ASM_EMIT("mov v8.16b, v9.16b") // v8 = x[0]'
501 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
502 __ASM_EMIT("ldr q4, [%[dst], #0x00]")
503 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0) + d0[0]
504 __ASM_EMIT("str q0, [%[dst], #0x00]")
505 __ASM_EMIT("sub %w[n], %w[n], #4")
506 __ASM_EMIT("add %[src], %[src], #0x10")
507 __ASM_EMIT("add %[dst], %[dst], #0x10")
508
509 // 1x blocks
510 __ASM_EMIT("6:")
511 __ASM_EMIT("adds %w[n], %w[n], #3")
512 __ASM_EMIT("b.lt 8f")
513 __ASM_EMIT("7:")
514 __ASM_EMIT("ld1r {v0.4s}, [%[src]]")
515 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
516 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
517 __ASM_EMIT("ext v8.16b, v8.16b, v8.16b, #4") // v8 = x[0]'
518 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
519 __ASM_EMIT("ld1r {v4.4s}, [%[dst]]")
520 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0) + d0[0]
521 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
522 __ASM_EMIT("subs %w[n], %w[n], #1")
523 __ASM_EMIT("add %[src], %[src], #0x04")
524 __ASM_EMIT("add %[dst], %[dst], #0x04")
525 __ASM_EMIT("b.ge 7b")
526
527 __ASM_EMIT("8:")
528 : [dst] "+r" (dst), [src] "+r" (src),
529 [n] "+r" (n)
530 : [v] "r" (&v[0]),
531 [CC] "r" (&lin_inter_const[0])
532 : "cc", "memory",
533 "v0", "v1", "v2", "v3",
534 "v4", "v5", "v6", "v7",
535 "v8", "v9", "v10", "v11",
536 "v12", "v13", "v14", "v15"
537 );
538 }
539
540 void lin_inter_frmadd2(float *dst, const float *src, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
541 {
542 IF_ARCH_AARCH64(
543 float v[4];
544 v[0] = x1 - x0;
545 v[1] = x - x0;
546 v[2] = y1 - y0;
547 v[3] = y0;
548 )
549
550 ARCH_AARCH64_ASM(
551 // Prepare parameters
552 __ASM_EMIT("ld4r {v12.4s, v13.4s, v14.4s, v15.4s}, [%[v]]") // v12 = (x1-x0), v13 = (x-x0), v14 = (y1-y0), v15 = y0
553 __ASM_EMIT("ldp q8, q9, [%[CC], #0x00]") // v8 = 0..3, v9=4..7
554 __ASM_EMIT("ldp q10, q11, [%[CC], #0x20]") // v10 = 8..11, v11=12..15
555 __ASM_EMIT("frecpe v0.4s, v12.4s") // v0 = s2
556 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = x[0]
557 __ASM_EMIT("frecps v1.4s, v0.4s, v12.4s") // v1 = (2 - R*s2)
558 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s") // v9 = x[1]
559 __ASM_EMIT("fmul v0.4s, v1.4s, v0.4s") // v0 = s2' = s2 * (2 - R*s2)
560 __ASM_EMIT("fadd v10.4s, v10.4s, v13.4s") // v10 = x[2]
561 __ASM_EMIT("frecps v1.4s, v0.4s, v12.4s") // v1 = (2 - R*s2')
562 __ASM_EMIT("fadd v11.4s, v11.4s, v13.4s") // v11 = x[3]
563 __ASM_EMIT("fmul v12.4s, v1.4s, v0.4s") // v14 = s2" = s2' * (2 - R*s2) = 1/s2
564 __ASM_EMIT("fmul v14.4s, v14.4s, v12.4s") // v14 = k = (y1-y0)/(x1-x0)
565 __ASM_EMIT("ldp q12, q13, [%[CC], #0x40]") // v12 = d[0], v13=d[1]
566
567 // Register allocation:
568 // v8 = x[0]
569 // v9 = x[1]
570 // v10 = x[2]
571 // v11 = x[3]
572 // v12 = d[0]
573 // v13 = d[1]
574 // v14 = k
575 // v15 = y0
576 __ASM_EMIT("subs %w[n], %w[n], #16")
577 __ASM_EMIT("b.lo 2f")
578
579 // 16x blocks
580 __ASM_EMIT("1:")
581 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
582 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
583 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
584 __ASM_EMIT("fmul v5.4s, v9.4s, v14.4s") // v5 = k*x[1]
585 __ASM_EMIT("fmul v6.4s, v10.4s, v14.4s") // v6 = k*x[2]
586 __ASM_EMIT("fmul v7.4s, v11.4s, v14.4s") // v7 = k*x[3]
587 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
588 __ASM_EMIT("fadd v5.4s, v5.4s, v15.4s") // v1 = k*x[1] + y0
589 __ASM_EMIT("fadd v6.4s, v6.4s, v15.4s") // v2 = k*x[2] + y0
590 __ASM_EMIT("fadd v7.4s, v7.4s, v15.4s") // v3 = k*x[3] + y0
591 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = x[0]' = x[0]+d[0]
592 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s") // v9 = x[1]' = x[1]+d[1]
593 __ASM_EMIT("fadd v10.4s, v10.4s, v12.4s") // v10 = x[2]' = x[2]+d[0]
594 __ASM_EMIT("fadd v11.4s, v11.4s, v13.4s") // v11 = x[3]' = x[3]+d[1]
595 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
596 __ASM_EMIT("fmul v1.4s, v1.4s, v5.4s") // v0 = s0*(k*x[0] + y0)
597 __ASM_EMIT("fmul v2.4s, v2.4s, v6.4s") // v0 = s0*(k*x[0] + y0)
598 __ASM_EMIT("fmul v3.4s, v3.4s, v7.4s") // v0 = s0*(k*x[0] + y0)
599 __ASM_EMIT("ldp q4, q5, [%[src], #0x00]")
600 __ASM_EMIT("ldp q6, q7, [%[src], #0x20]")
601 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0) + d0[0]
602 __ASM_EMIT("fadd v1.4s, v1.4s, v5.4s") // v0 = s0*(k*x[0] + y0) + d0[1]
603 __ASM_EMIT("fadd v2.4s, v2.4s, v6.4s") // v0 = s0*(k*x[0] + y0) + d0[2]
604 __ASM_EMIT("fadd v3.4s, v3.4s, v7.4s") // v0 = s0*(k*x[0] + y0) + d0[3]
605 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
606 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
607 __ASM_EMIT("subs %w[n], %w[n], #16")
608 __ASM_EMIT("add %[src], %[src], #0x40")
609 __ASM_EMIT("add %[dst], %[dst], #0x40")
610 __ASM_EMIT("b.hs 1b")
611
612 // 8x block
613 __ASM_EMIT("2:")
614 __ASM_EMIT("adds %w[n], %w[n], #8")
615 __ASM_EMIT("b.lt 4f")
616 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
617 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
618 __ASM_EMIT("fmul v5.4s, v9.4s, v14.4s") // v5 = k*x[1]
619 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
620 __ASM_EMIT("fadd v5.4s, v5.4s, v15.4s") // v1 = k*x[1] + y0
621 __ASM_EMIT("mov v8.16b, v10.16b") // v8 = x[0]'
622 __ASM_EMIT("mov v9.16b, v11.16b") // v9 = x[1]'
623 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
624 __ASM_EMIT("fmul v1.4s, v1.4s, v5.4s") // v0 = s0*(k*x[0] + y0)
625 __ASM_EMIT("ldp q4, q5, [%[src], #0x00]")
626 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0) + d0[0]
627 __ASM_EMIT("fadd v1.4s, v1.4s, v5.4s") // v0 = s0*(k*x[0] + y0) + d0[1]
628 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
629 __ASM_EMIT("sub %w[n], %w[n], #8")
630 __ASM_EMIT("add %[src], %[src], #0x20")
631 __ASM_EMIT("add %[dst], %[dst], #0x20")
632
633 // 4x block
634 __ASM_EMIT("4:")
635 __ASM_EMIT("adds %w[n], %w[n], #4")
636 __ASM_EMIT("b.lt 6f")
637 __ASM_EMIT("ldr q0, [%[dst], #0x00]")
638 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
639 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
640 __ASM_EMIT("mov v8.16b, v9.16b") // v8 = x[0]'
641 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
642 __ASM_EMIT("ldr q4, [%[src], #0x00]")
643 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0) + d0[0]
644 __ASM_EMIT("str q0, [%[dst], #0x00]")
645 __ASM_EMIT("sub %w[n], %w[n], #4")
646 __ASM_EMIT("add %[src], %[src], #0x10")
647 __ASM_EMIT("add %[dst], %[dst], #0x10")
648
649 // 1x blocks
650 __ASM_EMIT("6:")
651 __ASM_EMIT("adds %w[n], %w[n], #3")
652 __ASM_EMIT("b.lt 8f")
653 __ASM_EMIT("7:")
654 __ASM_EMIT("ld1r {v0.4s}, [%[dst]]")
655 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
656 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
657 __ASM_EMIT("ext v8.16b, v8.16b, v8.16b, #4") // v8 = x[0]'
658 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
659 __ASM_EMIT("ld1r {v4.4s}, [%[src]]")
660 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0) + d0[0]
661 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
662 __ASM_EMIT("subs %w[n], %w[n], #1")
663 __ASM_EMIT("add %[src], %[src], #0x04")
664 __ASM_EMIT("add %[dst], %[dst], #0x04")
665 __ASM_EMIT("b.ge 7b")
666
667 __ASM_EMIT("8:")
668 : [dst] "+r" (dst), [src] "+r" (src),
669 [n] "+r" (n)
670 : [v] "r" (&v[0]),
671 [CC] "r" (&lin_inter_const[0])
672 : "cc", "memory",
673 "v0", "v1", "v2", "v3",
674 "v4", "v5", "v6", "v7",
675 "v8", "v9", "v10", "v11",
676 "v12", "v13", "v14", "v15"
677 );
678 }
679
680 void lin_inter_fmadd3(float *dst, const float *src1, const float *src2, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
681 {
682 IF_ARCH_AARCH64(
683 float v[4];
684 v[0] = x1 - x0;
685 v[1] = x - x0;
686 v[2] = y1 - y0;
687 v[3] = y0;
688 )
689
690 ARCH_AARCH64_ASM(
691 // Prepare parameters
692 __ASM_EMIT("ld4r {v12.4s, v13.4s, v14.4s, v15.4s}, [%[v]]") // v12 = (x1-x0), v13 = (x-x0), v14 = (y1-y0), v15 = y0
693 __ASM_EMIT("ldp q8, q9, [%[CC], #0x00]") // v8 = 0..3, v9=4..7
694 __ASM_EMIT("ldp q10, q11, [%[CC], #0x20]") // v10 = 8..11, v11=12..15
695 __ASM_EMIT("frecpe v0.4s, v12.4s") // v0 = s2
696 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = x[0]
697 __ASM_EMIT("frecps v1.4s, v0.4s, v12.4s") // v1 = (2 - R*s2)
698 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s") // v9 = x[1]
699 __ASM_EMIT("fmul v0.4s, v1.4s, v0.4s") // v0 = s2' = s2 * (2 - R*s2)
700 __ASM_EMIT("fadd v10.4s, v10.4s, v13.4s") // v10 = x[2]
701 __ASM_EMIT("frecps v1.4s, v0.4s, v12.4s") // v1 = (2 - R*s2')
702 __ASM_EMIT("fadd v11.4s, v11.4s, v13.4s") // v11 = x[3]
703 __ASM_EMIT("fmul v12.4s, v1.4s, v0.4s") // v14 = s2" = s2' * (2 - R*s2) = 1/s2
704 __ASM_EMIT("fmul v14.4s, v14.4s, v12.4s") // v14 = k = (y1-y0)/(x1-x0)
705 __ASM_EMIT("ldp q12, q13, [%[CC], #0x40]") // v12 = d[0], v13=d[1]
706
707 // Register allocation:
708 // v8 = x[0]
709 // v9 = x[1]
710 // v10 = x[2]
711 // v11 = x[3]
712 // v12 = d[0]
713 // v13 = d[1]
714 // v14 = k
715 // v15 = y0
716 __ASM_EMIT("subs %w[n], %w[n], #16")
717 __ASM_EMIT("b.lo 2f")
718
719 // 16x blocks
720 __ASM_EMIT("1:")
721 __ASM_EMIT("ldp q0, q1, [%[src1], #0x00]")
722 __ASM_EMIT("ldp q2, q3, [%[src1], #0x20]")
723 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
724 __ASM_EMIT("fmul v5.4s, v9.4s, v14.4s") // v5 = k*x[1]
725 __ASM_EMIT("fmul v6.4s, v10.4s, v14.4s") // v6 = k*x[2]
726 __ASM_EMIT("fmul v7.4s, v11.4s, v14.4s") // v7 = k*x[3]
727 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
728 __ASM_EMIT("fadd v5.4s, v5.4s, v15.4s") // v1 = k*x[1] + y0
729 __ASM_EMIT("fadd v6.4s, v6.4s, v15.4s") // v2 = k*x[2] + y0
730 __ASM_EMIT("fadd v7.4s, v7.4s, v15.4s") // v3 = k*x[3] + y0
731 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = x[0]' = x[0]+d[0]
732 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s") // v9 = x[1]' = x[1]+d[1]
733 __ASM_EMIT("fadd v10.4s, v10.4s, v12.4s") // v10 = x[2]' = x[2]+d[0]
734 __ASM_EMIT("fadd v11.4s, v11.4s, v13.4s") // v11 = x[3]' = x[3]+d[1]
735 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
736 __ASM_EMIT("fmul v1.4s, v1.4s, v5.4s") // v0 = s0*(k*x[0] + y0)
737 __ASM_EMIT("fmul v2.4s, v2.4s, v6.4s") // v0 = s0*(k*x[0] + y0)
738 __ASM_EMIT("fmul v3.4s, v3.4s, v7.4s") // v0 = s0*(k*x[0] + y0)
739 __ASM_EMIT("ldp q4, q5, [%[src2], #0x00]")
740 __ASM_EMIT("ldp q6, q7, [%[src2], #0x20]")
741 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0) + d0[0]
742 __ASM_EMIT("fadd v1.4s, v1.4s, v5.4s") // v0 = s0*(k*x[0] + y0) + d0[1]
743 __ASM_EMIT("fadd v2.4s, v2.4s, v6.4s") // v0 = s0*(k*x[0] + y0) + d0[2]
744 __ASM_EMIT("fadd v3.4s, v3.4s, v7.4s") // v0 = s0*(k*x[0] + y0) + d0[3]
745 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
746 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
747 __ASM_EMIT("subs %w[n], %w[n], #16")
748 __ASM_EMIT("add %[src1], %[src1], #0x40")
749 __ASM_EMIT("add %[src2], %[src2], #0x40")
750 __ASM_EMIT("add %[dst], %[dst], #0x40")
751 __ASM_EMIT("b.hs 1b")
752
753 // 8x block
754 __ASM_EMIT("2:")
755 __ASM_EMIT("adds %w[n], %w[n], #8")
756 __ASM_EMIT("b.lt 4f")
757 __ASM_EMIT("ldp q0, q1, [%[src1], #0x00]")
758 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
759 __ASM_EMIT("fmul v5.4s, v9.4s, v14.4s") // v5 = k*x[1]
760 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
761 __ASM_EMIT("fadd v5.4s, v5.4s, v15.4s") // v1 = k*x[1] + y0
762 __ASM_EMIT("mov v8.16b, v10.16b") // v8 = x[0]'
763 __ASM_EMIT("mov v9.16b, v11.16b") // v9 = x[1]'
764 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
765 __ASM_EMIT("fmul v1.4s, v1.4s, v5.4s") // v0 = s0*(k*x[0] + y0)
766 __ASM_EMIT("ldp q4, q5, [%[src2], #0x00]")
767 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0) + d0[0]
768 __ASM_EMIT("fadd v1.4s, v1.4s, v5.4s") // v0 = s0*(k*x[0] + y0) + d0[1]
769 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
770 __ASM_EMIT("sub %w[n], %w[n], #8")
771 __ASM_EMIT("add %[src1], %[src1], #0x20")
772 __ASM_EMIT("add %[src2], %[src2], #0x20")
773 __ASM_EMIT("add %[dst], %[dst], #0x20")
774
775 // 4x block
776 __ASM_EMIT("4:")
777 __ASM_EMIT("adds %w[n], %w[n], #4")
778 __ASM_EMIT("b.lt 6f")
779 __ASM_EMIT("ldr q0, [%[src1], #0x00]")
780 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
781 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
782 __ASM_EMIT("mov v8.16b, v9.16b") // v8 = x[0]'
783 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
784 __ASM_EMIT("ldr q4, [%[src2], #0x00]")
785 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0) + d0[0]
786 __ASM_EMIT("str q0, [%[dst], #0x00]")
787 __ASM_EMIT("sub %w[n], %w[n], #4")
788 __ASM_EMIT("add %[src1], %[src1], #0x10")
789 __ASM_EMIT("add %[src2], %[src2], #0x10")
790 __ASM_EMIT("add %[dst], %[dst], #0x10")
791
792 // 1x blocks
793 __ASM_EMIT("6:")
794 __ASM_EMIT("adds %w[n], %w[n], #3")
795 __ASM_EMIT("b.lt 8f")
796 __ASM_EMIT("7:")
797 __ASM_EMIT("ld1r {v0.4s}, [%[src1]]")
798 __ASM_EMIT("fmul v4.4s, v8.4s, v14.4s") // v4 = k*x[0]
799 __ASM_EMIT("fadd v4.4s, v4.4s, v15.4s") // v0 = k*x[0] + y0
800 __ASM_EMIT("ext v8.16b, v8.16b, v8.16b, #4") // v8 = x[0]'
801 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0)
802 __ASM_EMIT("ld1r {v4.4s}, [%[src2]]")
803 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") // v0 = s0*(k*x[0] + y0) + d0[0]
804 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
805 __ASM_EMIT("subs %w[n], %w[n], #1")
806 __ASM_EMIT("add %[src1], %[src1], #0x04")
807 __ASM_EMIT("add %[src2], %[src2], #0x04")
808 __ASM_EMIT("add %[dst], %[dst], #0x04")
809 __ASM_EMIT("b.ge 7b")
810
811 __ASM_EMIT("8:")
812 : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
813 [n] "+r" (n)
814 : [v] "r" (&v[0]),
815 [CC] "r" (&lin_inter_const[0])
816 : "cc", "memory",
817 "v0", "v1", "v2", "v3",
818 "v4", "v5", "v6", "v7",
819 "v8", "v9", "v10", "v11",
820 "v12", "v13", "v14", "v15"
821 );
822 }
823 }
824 }
825
826 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_INTERPOLATION_LINEAR_H_ */