Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/aarch64/asimd/pan.h

raw
1 /*
2 * Copyright (C) 2024 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2024 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 29 нояб. 2024 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_PAN_H_
23 #define PRIVATE_DSP_ARCH_AARCH64_ASIMD_PAN_H_
24
25 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL */
28
29 namespace lsp
30 {
31 namespace asimd
32 {
33 IF_ARCH_AARCH64(
34 static const float depan_lin_const_f[] __lsp_aligned32 =
35 {
36 LSP_DSP_VEC8(1e-18f)
37 };
38 );
39
40 void depan_lin(float *dst, const float *l, const float *r, float dfl, size_t count)
41 {
42 /*
43 const float sl = fabsf(l[i]);
44 const float sr = fabsf(r[i]);
45 const float den = sl + sr;
46 dst[i] = (den >= 1e-18f) ? sr / den : dfl;
47 */
48 ARCH_AARCH64_ASM
49 (
50 __ASM_EMIT("dup v31.4s, %[dfl].s[0]") /* v31 = dfl */
51 __ASM_EMIT("ldp q28, q29, [%[CC], #0x00]") /* v28, v29 = thresh */
52 __ASM_EMIT("subs %[count], %[count], #16")
53 __ASM_EMIT("b.lo 2f")
54 /* 16x blocks */
55 __ASM_EMIT("1:")
56 __ASM_EMIT("ldp q0, q1, [%[l], #0x00]") /* v0 = l */
57 __ASM_EMIT("ldp q2, q3, [%[l], #0x20]")
58 __ASM_EMIT("ldp q4, q5, [%[r], #0x00]") /* v4 = r */
59 __ASM_EMIT("ldp q6, q7, [%[r], #0x20]")
60 __ASM_EMIT("fabs v0.4s, v0.4s") /* v0 = fabsf(l) */
61 __ASM_EMIT("fabs v1.4s, v1.4s")
62 __ASM_EMIT("fabs v2.4s, v2.4s")
63 __ASM_EMIT("fabs v3.4s, v3.4s")
64 __ASM_EMIT("fabs v4.4s, v4.4s") /* v4 = fabsf(r) */
65 __ASM_EMIT("fabs v5.4s, v5.4s")
66 __ASM_EMIT("fabs v6.4s, v6.4s")
67 __ASM_EMIT("fabs v7.4s, v7.4s")
68 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") /* v0 = den = fabsf(l) + fabsf(r) */
69 __ASM_EMIT("fadd v1.4s, v1.4s, v5.4s")
70 __ASM_EMIT("fadd v2.4s, v2.4s, v6.4s")
71 __ASM_EMIT("fadd v3.4s, v3.4s, v7.4s")
72 __ASM_EMIT("fcmge v24.4s, v0.4s, v28.4s") /* v24 = den >= thresh */
73 __ASM_EMIT("fcmge v25.4s, v1.4s, v29.4s")
74 __ASM_EMIT("fcmge v26.4s, v2.4s, v28.4s")
75 __ASM_EMIT("fcmge v27.4s, v3.4s, v29.4s")
76 __ASM_EMIT("frecpe v16.4s, v0.4s") /* v16 = s2 */
77 __ASM_EMIT("frecpe v17.4s, v1.4s")
78 __ASM_EMIT("frecpe v18.4s, v2.4s")
79 __ASM_EMIT("frecpe v19.4s, v3.4s")
80 __ASM_EMIT("frecps v20.4s, v16.4s, v0.4s") /* v20 = (2 - R*s2) */
81 __ASM_EMIT("frecps v21.4s, v17.4s, v1.4s")
82 __ASM_EMIT("frecps v22.4s, v18.4s, v2.4s")
83 __ASM_EMIT("frecps v23.4s, v19.4s, v3.4s")
84 __ASM_EMIT("fmul v16.4s, v20.4s, v16.4s") /* v16 = s2' = s2 * (2 - R*s2) */
85 __ASM_EMIT("fmul v17.4s, v21.4s, v17.4s")
86 __ASM_EMIT("fmul v18.4s, v22.4s, v18.4s")
87 __ASM_EMIT("fmul v19.4s, v23.4s, v19.4s")
88 __ASM_EMIT("frecps v20.4s, v16.4s, v0.4s") /* v20 = (2 - R*s2') */
89 __ASM_EMIT("frecps v21.4s, v17.4s, v1.4s")
90 __ASM_EMIT("frecps v22.4s, v18.4s, v2.4s")
91 __ASM_EMIT("frecps v23.4s, v19.4s, v3.4s")
92 __ASM_EMIT("fmul v0.4s, v20.4s, v16.4s") /* v0 = s2" = s2' * (2 - R*s2) = 1/s2 */
93 __ASM_EMIT("fmul v1.4s, v21.4s, v17.4s")
94 __ASM_EMIT("fmul v2.4s, v22.4s, v18.4s")
95 __ASM_EMIT("fmul v3.4s, v23.4s, v19.4s")
96 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") /* v0 = pan = fabsf(r) / den */
97 __ASM_EMIT("fmul v1.4s, v1.4s, v5.4s")
98 __ASM_EMIT("fmul v2.4s, v2.4s, v6.4s")
99 __ASM_EMIT("fmul v3.4s, v3.4s, v7.4s")
100 __ASM_EMIT("bif v0.16b, v31.16b, v24.16b") /* v0 = (den >= thresh) ? pan : dfl */
101 __ASM_EMIT("bif v1.16b, v31.16b, v25.16b")
102 __ASM_EMIT("bif v2.16b, v31.16b, v26.16b")
103 __ASM_EMIT("bif v3.16b, v31.16b, v27.16b")
104 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
105 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
106 __ASM_EMIT("subs %[count], %[count], #16")
107 __ASM_EMIT("add %[l], %[l], #0x40")
108 __ASM_EMIT("add %[r], %[r], #0x40")
109 __ASM_EMIT("add %[dst], %[dst], #0x40")
110 __ASM_EMIT("b.hs 1b")
111 /* 8x block */
112 __ASM_EMIT("2:")
113 __ASM_EMIT("adds %[count], %[count], #8")
114 __ASM_EMIT("b.lt 4f")
115 __ASM_EMIT("ldp q0, q1, [%[l], #0x00]") /* v0 = l */
116 __ASM_EMIT("ldp q4, q5, [%[r], #0x00]") /* v4 = r */
117 __ASM_EMIT("fabs v0.4s, v0.4s") /* v0 = fabsf(l) */
118 __ASM_EMIT("fabs v1.4s, v1.4s")
119 __ASM_EMIT("fabs v4.4s, v4.4s") /* v4 = fabsf(r) */
120 __ASM_EMIT("fabs v5.4s, v5.4s")
121 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") /* v0 = den = fabsf(l) + fabsf(r) */
122 __ASM_EMIT("fadd v1.4s, v1.4s, v5.4s")
123 __ASM_EMIT("fcmge v24.4s, v0.4s, v28.4s") /* v24 = den >= thresh */
124 __ASM_EMIT("fcmge v25.4s, v1.4s, v29.4s")
125 __ASM_EMIT("frecpe v16.4s, v0.4s") /* v16 = s2 */
126 __ASM_EMIT("frecpe v17.4s, v1.4s")
127 __ASM_EMIT("frecps v20.4s, v16.4s, v0.4s") /* v20 = (2 - R*s2) */
128 __ASM_EMIT("frecps v21.4s, v17.4s, v1.4s")
129 __ASM_EMIT("fmul v16.4s, v20.4s, v16.4s") /* v16 = s2' = s2 * (2 - R*s2) */
130 __ASM_EMIT("fmul v17.4s, v21.4s, v17.4s")
131 __ASM_EMIT("frecps v20.4s, v16.4s, v0.4s") /* v20 = (2 - R*s2') */
132 __ASM_EMIT("frecps v21.4s, v17.4s, v1.4s")
133 __ASM_EMIT("fmul v0.4s, v20.4s, v16.4s") /* v0 = s2" = s2' * (2 - R*s2) = 1/s2 */
134 __ASM_EMIT("fmul v1.4s, v21.4s, v17.4s")
135 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") /* v0 = pan = fabsf(r) / den */
136 __ASM_EMIT("fmul v1.4s, v1.4s, v5.4s")
137 __ASM_EMIT("bif v0.16b, v31.16b, v24.16b") /* v0 = (den >= thresh) ? pan : dfl */
138 __ASM_EMIT("bif v1.16b, v31.16b, v25.16b")
139 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
140 __ASM_EMIT("sub %[count], %[count], #8")
141 __ASM_EMIT("add %[l], %[l], #0x20")
142 __ASM_EMIT("add %[r], %[r], #0x20")
143 __ASM_EMIT("add %[dst], %[dst], #0x20")
144 /* 4x block */
145 __ASM_EMIT("4:")
146 __ASM_EMIT("adds %[count], %[count], #4")
147 __ASM_EMIT("b.lt 6f")
148 __ASM_EMIT("ldr q0, [%[l], #0x00]") /* v0 = l */
149 __ASM_EMIT("ldr q4, [%[r], #0x00]") /* v4 = r */
150 __ASM_EMIT("fabs v0.4s, v0.4s") /* v0 = fabsf(l) */
151 __ASM_EMIT("fabs v4.4s, v4.4s") /* v4 = fabsf(r) */
152 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") /* v0 = den = fabsf(l) + fabsf(r) */
153 __ASM_EMIT("fcmge v24.4s, v0.4s, v28.4s") /* v24 = den >= thresh */
154 __ASM_EMIT("frecpe v16.4s, v0.4s") /* v16 = s2 */
155 __ASM_EMIT("frecps v20.4s, v16.4s, v0.4s") /* v20 = (2 - R*s2) */
156 __ASM_EMIT("fmul v16.4s, v20.4s, v16.4s") /* v16 = s2' = s2 * (2 - R*s2) */
157 __ASM_EMIT("frecps v20.4s, v16.4s, v0.4s") /* v20 = (2 - R*s2') */
158 __ASM_EMIT("fmul v0.4s, v20.4s, v16.4s") /* v0 = s2" = s2' * (2 - R*s2) = 1/s2 */
159 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") /* v0 = pan = fabsf(r) / den */
160 __ASM_EMIT("bif v0.16b, v31.16b, v24.16b") /* v0 = (den >= thresh) ? pan : dfl */
161 __ASM_EMIT("str q0, [%[dst], #0x00]")
162 __ASM_EMIT("sub %[count], %[count], #4")
163 __ASM_EMIT("add %[l], %[l], #0x10")
164 __ASM_EMIT("add %[r], %[r], #0x10")
165 __ASM_EMIT("add %[dst], %[dst], #0x10")
166 /* 1x blocks */
167 __ASM_EMIT("6:")
168 __ASM_EMIT("adds %[count], %[count], #3")
169 __ASM_EMIT("b.lt 8f")
170 __ASM_EMIT("7:")
171 __ASM_EMIT("ld1r {v0.4s}, [%[l]]") /* v0 = l */
172 __ASM_EMIT("ld1r {v4.4s}, [%[r]]") /* v4 = r */
173 __ASM_EMIT("fabs v0.4s, v0.4s") /* v0 = fabsf(l) */
174 __ASM_EMIT("fabs v4.4s, v4.4s") /* v4 = fabsf(r) */
175 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") /* v0 = den = fabsf(l) + fabsf(r) */
176 __ASM_EMIT("fcmge v24.4s, v0.4s, v28.4s") /* v24 = den >= thresh */
177 __ASM_EMIT("frecpe v16.4s, v0.4s") /* v16 = s2 */
178 __ASM_EMIT("frecps v20.4s, v16.4s, v0.4s") /* v20 = (2 - R*s2) */
179 __ASM_EMIT("fmul v16.4s, v20.4s, v16.4s") /* v16 = s2' = s2 * (2 - R*s2) */
180 __ASM_EMIT("frecps v20.4s, v16.4s, v0.4s") /* v20 = (2 - R*s2') */
181 __ASM_EMIT("fmul v0.4s, v20.4s, v16.4s") /* v0 = s2" = s2' * (2 - R*s2) = 1/s2 */
182 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") /* v0 = pan = fabsf(r) / den */
183 __ASM_EMIT("bif v0.16b, v31.16b, v24.16b") /* v0 = (den >= thresh) ? pan : dfl */
184 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
185 __ASM_EMIT("subs %[count], %[count], #1")
186 __ASM_EMIT("add %[l], %[l], #0x04")
187 __ASM_EMIT("add %[r], %[r], #0x04")
188 __ASM_EMIT("add %[dst], %[dst], #0x04")
189 __ASM_EMIT("b.ge 7b")
190 /* end */
191 __ASM_EMIT("8:")
192
193 : [dst] "+r" (dst), [l] "+r" (l), [r] "+r" (r),
194 [count] "+r" (count),
195 [dfl] "+w" (dfl)
196 : [CC] "r" (&depan_lin_const_f[0])
197 : "cc", "memory",
198 /* "v0", */ "v1", "v2", "v3",
199 "v4", "v5", "v6", "v7",
200 "v16", "v17", "v18", "v19",
201 "v20", "v21", "v22", "v23",
202 "v24", "v25", "v26", "v27",
203 "v28", "v29", "v30", "v31"
204 );
205 }
206
207 IF_ARCH_AARCH64(
208 static const float depan_eqpow_const_f[] __lsp_aligned32 =
209 {
210 LSP_DSP_VEC8(1e-36f)
211 };
212 );
213
214 void depan_eqpow(float *dst, const float *l, const float *r, float dfl, size_t count)
215 {
216 /*
217 const float sl = l[i] * l[i];
218 const float sr = r[i] * r[i];
219 const float den = sl + sr;
220 dst[i] = (den >= 1e-36f) ? sr / den : dfl;
221 */
222 ARCH_AARCH64_ASM
223 (
224 __ASM_EMIT("dup v31.4s, %[dfl].s[0]") /* v31 = dfl */
225 __ASM_EMIT("ldp q28, q29, [%[CC], #0x00]") /* v28, v29 = thresh */
226 __ASM_EMIT("subs %[count], %[count], #16")
227 __ASM_EMIT("b.lo 2f")
228 /* 16x blocks */
229 __ASM_EMIT("1:")
230 __ASM_EMIT("ldp q0, q1, [%[l], #0x00]") /* v0 = l */
231 __ASM_EMIT("ldp q2, q3, [%[l], #0x20]")
232 __ASM_EMIT("ldp q4, q5, [%[r], #0x00]") /* v4 = r */
233 __ASM_EMIT("ldp q6, q7, [%[r], #0x20]")
234 __ASM_EMIT("fmul v0.4s, v0.4s, v0.4s") /* v0 = l*l */
235 __ASM_EMIT("fmul v1.4s, v1.4s, v1.4s")
236 __ASM_EMIT("fmul v2.4s, v2.4s, v2.4s")
237 __ASM_EMIT("fmul v3.4s, v3.4s, v3.4s")
238 __ASM_EMIT("fmul v4.4s, v4.4s, v4.4s") /* v4 = r*r */
239 __ASM_EMIT("fmul v5.4s, v5.4s, v5.4s")
240 __ASM_EMIT("fmul v6.4s, v6.4s, v6.4s")
241 __ASM_EMIT("fmul v7.4s, v7.4s, v7.4s")
242 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") /* v0 = den = l*l + r*r */
243 __ASM_EMIT("fadd v1.4s, v1.4s, v5.4s")
244 __ASM_EMIT("fadd v2.4s, v2.4s, v6.4s")
245 __ASM_EMIT("fadd v3.4s, v3.4s, v7.4s")
246 __ASM_EMIT("fcmge v24.4s, v0.4s, v28.4s") /* v24 = den >= thresh */
247 __ASM_EMIT("fcmge v25.4s, v1.4s, v29.4s")
248 __ASM_EMIT("fcmge v26.4s, v2.4s, v28.4s")
249 __ASM_EMIT("fcmge v27.4s, v3.4s, v29.4s")
250 __ASM_EMIT("frecpe v16.4s, v0.4s") /* v16 = s2 */
251 __ASM_EMIT("frecpe v17.4s, v1.4s")
252 __ASM_EMIT("frecpe v18.4s, v2.4s")
253 __ASM_EMIT("frecpe v19.4s, v3.4s")
254 __ASM_EMIT("frecps v20.4s, v16.4s, v0.4s") /* v20 = (2 - R*s2) */
255 __ASM_EMIT("frecps v21.4s, v17.4s, v1.4s")
256 __ASM_EMIT("frecps v22.4s, v18.4s, v2.4s")
257 __ASM_EMIT("frecps v23.4s, v19.4s, v3.4s")
258 __ASM_EMIT("fmul v16.4s, v20.4s, v16.4s") /* v16 = s2' = s2 * (2 - R*s2) */
259 __ASM_EMIT("fmul v17.4s, v21.4s, v17.4s")
260 __ASM_EMIT("fmul v18.4s, v22.4s, v18.4s")
261 __ASM_EMIT("fmul v19.4s, v23.4s, v19.4s")
262 __ASM_EMIT("frecps v20.4s, v16.4s, v0.4s") /* v20 = (2 - R*s2') */
263 __ASM_EMIT("frecps v21.4s, v17.4s, v1.4s")
264 __ASM_EMIT("frecps v22.4s, v18.4s, v2.4s")
265 __ASM_EMIT("frecps v23.4s, v19.4s, v3.4s")
266 __ASM_EMIT("fmul v0.4s, v20.4s, v16.4s") /* v0 = s2" = s2' * (2 - R*s2) = 1/s2 */
267 __ASM_EMIT("fmul v1.4s, v21.4s, v17.4s")
268 __ASM_EMIT("fmul v2.4s, v22.4s, v18.4s")
269 __ASM_EMIT("fmul v3.4s, v23.4s, v19.4s")
270 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") /* v0 = pan = r*r / den */
271 __ASM_EMIT("fmul v1.4s, v1.4s, v5.4s")
272 __ASM_EMIT("fmul v2.4s, v2.4s, v6.4s")
273 __ASM_EMIT("fmul v3.4s, v3.4s, v7.4s")
274 __ASM_EMIT("bif v0.16b, v31.16b, v24.16b") /* v0 = (den >= thresh) ? pan : dfl */
275 __ASM_EMIT("bif v1.16b, v31.16b, v25.16b")
276 __ASM_EMIT("bif v2.16b, v31.16b, v26.16b")
277 __ASM_EMIT("bif v3.16b, v31.16b, v27.16b")
278 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
279 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
280 __ASM_EMIT("subs %[count], %[count], #16")
281 __ASM_EMIT("add %[l], %[l], #0x40")
282 __ASM_EMIT("add %[r], %[r], #0x40")
283 __ASM_EMIT("add %[dst], %[dst], #0x40")
284 __ASM_EMIT("b.hs 1b")
285 /* 8x block */
286 __ASM_EMIT("2:")
287 __ASM_EMIT("adds %[count], %[count], #8")
288 __ASM_EMIT("b.lt 4f")
289 __ASM_EMIT("ldp q0, q1, [%[l], #0x00]") /* v0 = l */
290 __ASM_EMIT("ldp q4, q5, [%[r], #0x00]") /* v4 = r */
291 __ASM_EMIT("fmul v0.4s, v0.4s, v0.4s") /* v0 = l*l */
292 __ASM_EMIT("fmul v1.4s, v1.4s, v1.4s")
293 __ASM_EMIT("fmul v4.4s, v4.4s, v4.4s") /* v4 = r*r */
294 __ASM_EMIT("fmul v5.4s, v5.4s, v5.4s")
295 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") /* v0 = den = l*l + r*r */
296 __ASM_EMIT("fadd v1.4s, v1.4s, v5.4s")
297 __ASM_EMIT("fcmge v24.4s, v0.4s, v28.4s") /* v24 = den >= thresh */
298 __ASM_EMIT("fcmge v25.4s, v1.4s, v29.4s")
299 __ASM_EMIT("frecpe v16.4s, v0.4s") /* v16 = s2 */
300 __ASM_EMIT("frecpe v17.4s, v1.4s")
301 __ASM_EMIT("frecps v20.4s, v16.4s, v0.4s") /* v20 = (2 - R*s2) */
302 __ASM_EMIT("frecps v21.4s, v17.4s, v1.4s")
303 __ASM_EMIT("fmul v16.4s, v20.4s, v16.4s") /* v16 = s2' = s2 * (2 - R*s2) */
304 __ASM_EMIT("fmul v17.4s, v21.4s, v17.4s")
305 __ASM_EMIT("frecps v20.4s, v16.4s, v0.4s") /* v20 = (2 - R*s2') */
306 __ASM_EMIT("frecps v21.4s, v17.4s, v1.4s")
307 __ASM_EMIT("fmul v0.4s, v20.4s, v16.4s") /* v0 = s2" = s2' * (2 - R*s2) = 1/s2 */
308 __ASM_EMIT("fmul v1.4s, v21.4s, v17.4s")
309 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") /* v0 = pan = r*r / den */
310 __ASM_EMIT("fmul v1.4s, v1.4s, v5.4s")
311 __ASM_EMIT("bif v0.16b, v31.16b, v24.16b") /* v0 = (den >= thresh) ? pan : dfl */
312 __ASM_EMIT("bif v1.16b, v31.16b, v25.16b")
313 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
314 __ASM_EMIT("sub %[count], %[count], #8")
315 __ASM_EMIT("add %[l], %[l], #0x20")
316 __ASM_EMIT("add %[r], %[r], #0x20")
317 __ASM_EMIT("add %[dst], %[dst], #0x20")
318 /* 4x block */
319 __ASM_EMIT("4:")
320 __ASM_EMIT("adds %[count], %[count], #4")
321 __ASM_EMIT("b.lt 6f")
322 __ASM_EMIT("ldr q0, [%[l], #0x00]") /* v0 = l */
323 __ASM_EMIT("ldr q4, [%[r], #0x00]") /* v4 = r */
324 __ASM_EMIT("fmul v0.4s, v0.4s, v0.4s") /* v0 = l*l */
325 __ASM_EMIT("fmul v4.4s, v4.4s, v4.4s") /* v4 = r*r */
326 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") /* v0 = den = l*l + r*r */
327 __ASM_EMIT("fcmge v24.4s, v0.4s, v28.4s") /* v24 = den >= thresh */
328 __ASM_EMIT("frecpe v16.4s, v0.4s") /* v16 = s2 */
329 __ASM_EMIT("frecps v20.4s, v16.4s, v0.4s") /* v20 = (2 - R*s2) */
330 __ASM_EMIT("fmul v16.4s, v20.4s, v16.4s") /* v16 = s2' = s2 * (2 - R*s2) */
331 __ASM_EMIT("frecps v20.4s, v16.4s, v0.4s") /* v20 = (2 - R*s2') */
332 __ASM_EMIT("fmul v0.4s, v20.4s, v16.4s") /* v0 = s2" = s2' * (2 - R*s2) = 1/s2 */
333 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") /* v0 = pan = r*r / den */
334 __ASM_EMIT("bif v0.16b, v31.16b, v24.16b") /* v0 = (den >= thresh) ? pan : dfl */
335 __ASM_EMIT("str q0, [%[dst], #0x00]")
336 __ASM_EMIT("sub %[count], %[count], #4")
337 __ASM_EMIT("add %[l], %[l], #0x10")
338 __ASM_EMIT("add %[r], %[r], #0x10")
339 __ASM_EMIT("add %[dst], %[dst], #0x10")
340 /* 1x blocks */
341 __ASM_EMIT("6:")
342 __ASM_EMIT("adds %[count], %[count], #3")
343 __ASM_EMIT("b.lt 8f")
344 __ASM_EMIT("7:")
345 __ASM_EMIT("ld1r {v0.4s}, [%[l]]") /* v0 = l */
346 __ASM_EMIT("ld1r {v4.4s}, [%[r]]") /* v4 = r */
347 __ASM_EMIT("fmul v0.4s, v0.4s, v0.4s") /* v0 = l*l */
348 __ASM_EMIT("fmul v4.4s, v4.4s, v4.4s") /* v4 = r*r */
349 __ASM_EMIT("fadd v0.4s, v0.4s, v4.4s") /* v0 = den = l*l + r*r */
350 __ASM_EMIT("fcmge v24.4s, v0.4s, v28.4s") /* v24 = den >= thresh */
351 __ASM_EMIT("frecpe v16.4s, v0.4s") /* v16 = s2 */
352 __ASM_EMIT("frecps v20.4s, v16.4s, v0.4s") /* v20 = (2 - R*s2) */
353 __ASM_EMIT("fmul v16.4s, v20.4s, v16.4s") /* v16 = s2' = s2 * (2 - R*s2) */
354 __ASM_EMIT("frecps v20.4s, v16.4s, v0.4s") /* v20 = (2 - R*s2') */
355 __ASM_EMIT("fmul v0.4s, v20.4s, v16.4s") /* v0 = s2" = s2' * (2 - R*s2) = 1/s2 */
356 __ASM_EMIT("fmul v0.4s, v0.4s, v4.4s") /* v0 = pan = r*r / den */
357 __ASM_EMIT("bif v0.16b, v31.16b, v24.16b") /* v0 = (den >= thresh) ? pan : dfl */
358 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
359 __ASM_EMIT("subs %[count], %[count], #1")
360 __ASM_EMIT("add %[l], %[l], #0x04")
361 __ASM_EMIT("add %[r], %[r], #0x04")
362 __ASM_EMIT("add %[dst], %[dst], #0x04")
363 __ASM_EMIT("b.ge 7b")
364 /* end */
365 __ASM_EMIT("8:")
366
367 : [dst] "+r" (dst), [l] "+r" (l), [r] "+r" (r),
368 [count] "+r" (count),
369 [dfl] "+w" (dfl)
370 : [CC] "r" (&depan_eqpow_const_f[0])
371 : "cc", "memory",
372 /* "v0", */ "v1", "v2", "v3",
373 "v4", "v5", "v6", "v7",
374 "v16", "v17", "v18", "v19",
375 "v20", "v21", "v22", "v23",
376 "v24", "v25", "v26", "v27",
377 "v28", "v29", "v30", "v31"
378 );
379 }
380
381 } /* namespace asimd */
382 } /* namespace lsp */
383
384
385 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_PAN_H_ */