Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/aarch64/asimd/graphics/axis.h

raw
1 /*
2 * Copyright (C) 2022 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2022 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 9 сент. 2022 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_GRAPHICS_AXIS_H_
23 #define PRIVATE_DSP_ARCH_AARCH64_ASIMD_GRAPHICS_AXIS_H_
24
25 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL */
28
29 namespace lsp
30 {
31 namespace asimd
32 {
33 void axis_apply_lin1(float *x, const float *v, float zero, float norm, size_t count)
34 {
35 ARCH_AARCH64_ASM
36 (
37 __ASM_EMIT("ld1r {v24.4s}, [%[zero]]") // v24 = zero
38 __ASM_EMIT("subs %[count], %[count], #32")
39 __ASM_EMIT("ld1r {v25.4s}, [%[norm]]") // v25 = norm
40 __ASM_EMIT("blo 2f")
41 /* 32x blocks */
42 __ASM_EMIT("1:")
43 __ASM_EMIT("ldp q0, q1, [%[x], #0x00]") // v0 = x
44 __ASM_EMIT("ldp q2, q3, [%[x], #0x20]")
45 __ASM_EMIT("ldp q4, q5, [%[x], #0x40]")
46 __ASM_EMIT("ldp q6, q7, [%[x], #0x60]")
47 __ASM_EMIT("ldp q16, q17, [%[v], #0x00]") // v16 = v
48 __ASM_EMIT("ldp q18, q19, [%[v], #0x20]")
49 __ASM_EMIT("ldp q20, q21, [%[v], #0x40]")
50 __ASM_EMIT("ldp q22, q23, [%[v], #0x60]")
51 __ASM_EMIT("fadd v16.4s, v16.4s, v24.4s") // v16 = v + zero
52 __ASM_EMIT("fadd v17.4s, v17.4s, v24.4s")
53 __ASM_EMIT("fadd v18.4s, v18.4s, v24.4s")
54 __ASM_EMIT("fadd v19.4s, v19.4s, v24.4s")
55 __ASM_EMIT("fadd v20.4s, v20.4s, v24.4s")
56 __ASM_EMIT("fadd v21.4s, v21.4s, v24.4s")
57 __ASM_EMIT("fadd v22.4s, v22.4s, v24.4s")
58 __ASM_EMIT("fadd v23.4s, v23.4s, v24.4s")
59 __ASM_EMIT("fmla v0.4s, v16.4s, v25.4s") // v0 = x + (v + zero) * norm
60 __ASM_EMIT("fmla v1.4s, v17.4s, v25.4s")
61 __ASM_EMIT("fmla v2.4s, v18.4s, v25.4s")
62 __ASM_EMIT("fmla v3.4s, v19.4s, v25.4s")
63 __ASM_EMIT("fmla v4.4s, v20.4s, v25.4s")
64 __ASM_EMIT("fmla v5.4s, v21.4s, v25.4s")
65 __ASM_EMIT("fmla v6.4s, v22.4s, v25.4s")
66 __ASM_EMIT("fmla v7.4s, v23.4s, v25.4s")
67 __ASM_EMIT("stp q0, q1, [%[x], #0x00]")
68 __ASM_EMIT("stp q2, q3, [%[x], #0x20]")
69 __ASM_EMIT("stp q4, q5, [%[x], #0x40]")
70 __ASM_EMIT("stp q6, q7, [%[x], #0x60]")
71 __ASM_EMIT("subs %[count], %[count], #32")
72 __ASM_EMIT("add %[x], %[x], #0x80")
73 __ASM_EMIT("add %[v], %[v], #0x80")
74 __ASM_EMIT("bhs 1b")
75 /* 16x block */
76 __ASM_EMIT("2:")
77 __ASM_EMIT("adds %[count], %[count], #16") /* 32-16 */
78 __ASM_EMIT("blt 4f")
79 __ASM_EMIT("ldp q0, q1, [%[x], #0x00]")
80 __ASM_EMIT("ldp q2, q3, [%[x], #0x20]")
81 __ASM_EMIT("ldp q16, q17, [%[v], #0x00]")
82 __ASM_EMIT("ldp q18, q19, [%[v], #0x20]")
83 __ASM_EMIT("fadd v16.4s, v16.4s, v24.4s") // v16 = v + zero
84 __ASM_EMIT("fadd v17.4s, v17.4s, v24.4s")
85 __ASM_EMIT("fadd v18.4s, v18.4s, v24.4s")
86 __ASM_EMIT("fadd v19.4s, v19.4s, v24.4s")
87 __ASM_EMIT("fmla v0.4s, v16.4s, v25.4s") // v0 = x + (v + zero) * norm
88 __ASM_EMIT("fmla v1.4s, v17.4s, v25.4s")
89 __ASM_EMIT("fmla v2.4s, v18.4s, v25.4s")
90 __ASM_EMIT("fmla v3.4s, v19.4s, v25.4s")
91 __ASM_EMIT("stp q0, q1, [%[x], #0x00]")
92 __ASM_EMIT("stp q2, q3, [%[x], #0x20]")
93 __ASM_EMIT("sub %[count], %[count], #16")
94 __ASM_EMIT("add %[x], %[x], #0x40")
95 __ASM_EMIT("add %[v], %[v], #0x40")
96 /* 8x block */
97 __ASM_EMIT("4:")
98 __ASM_EMIT("adds %[count], %[count], #8") /* 16-8 */
99 __ASM_EMIT("blt 6f")
100 __ASM_EMIT("ldp q0, q1, [%[x], #0x00]")
101 __ASM_EMIT("ldp q16, q17, [%[v], #0x00]")
102 __ASM_EMIT("fadd v16.4s, v16.4s, v24.4s") // v16 = v + zero
103 __ASM_EMIT("fadd v17.4s, v17.4s, v24.4s")
104 __ASM_EMIT("fmla v0.4s, v16.4s, v25.4s") // v0 = x + (v + zero) * norm
105 __ASM_EMIT("fmla v1.4s, v17.4s, v25.4s")
106 __ASM_EMIT("stp q0, q1, [%[x], #0x00]")
107 __ASM_EMIT("sub %[count], %[count], #8")
108 __ASM_EMIT("add %[x], %[x], #0x20")
109 __ASM_EMIT("add %[v], %[v], #0x20")
110 /* 4x block */
111 __ASM_EMIT("6:")
112 __ASM_EMIT("adds %[count], %[count], #4") /* 8 - 4 */
113 __ASM_EMIT("blt 8f")
114 __ASM_EMIT("ldr q0, [%[x], #0x00]")
115 __ASM_EMIT("ldr q16, [%[v], #0x00]")
116 __ASM_EMIT("fadd v16.4s, v16.4s, v24.4s") // v16 = v + zero
117 __ASM_EMIT("fmla v0.4s, v16.4s, v25.4s") // v0 = x + (v + zero) * norm
118 __ASM_EMIT("str q0, [%[x], #0x00]")
119 __ASM_EMIT("sub %[count], %[count], #4")
120 __ASM_EMIT("add %[x], %[x], #0x10")
121 __ASM_EMIT("add %[v], %[v], #0x10")
122 /* 1x block */
123 __ASM_EMIT("8:")
124 __ASM_EMIT("adds %[count], %[count], #3") /* 4 - 3 */
125 __ASM_EMIT("blt 10f")
126 __ASM_EMIT("9:")
127 __ASM_EMIT("ld1r {v0.4s}, [%[x]]")
128 __ASM_EMIT("ld1r {v16.4s}, [%[v]]")
129 __ASM_EMIT("fadd v16.4s, v16.4s, v24.4s") // v16 = v + zero
130 __ASM_EMIT("fmla v0.4s, v16.4s, v25.4s") // v0 = x + (v + zero) * norm
131 __ASM_EMIT("st1 {v0.s}[0], [%[x]]")
132 __ASM_EMIT("subs %[count], %[count], #1")
133 __ASM_EMIT("add %[x], %[x], #0x04")
134 __ASM_EMIT("add %[v], %[v], #0x04")
135 __ASM_EMIT("bge 9b")
136 __ASM_EMIT("10:")
137 : [x] "+r" (x), [v] "+r" (v),
138 [count] "+r" (count)
139 : [zero] "r" (&zero),
140 [norm] "r" (&norm)
141 : "cc", "memory",
142 "v0", "v1", "v2", "v3",
143 "v4", "v5", "v6", "v7",
144 "v16", "v17", "v18", "v19",
145 "v20", "v21", "v22", "v23",
146 "v24", "v25"
147 );
148 }
149
150 IF_ARCH_AARCH64(
151 static const uint32_t LOG_IARGS[] __lsp_aligned16 =
152 {
153 LSP_DSP_VEC4(0x007fffff), // X_MANT
154 LSP_DSP_VEC4(0x0000007f) // X_MMASK
155 };
156
157 static const float LOG_FARGS[] __lsp_aligned16 =
158 {
159 LSP_DSP_VEC4(1e-8), // X_AMP
160 LSP_DSP_VEC4(0.5f), // X_HALF
161 LSP_DSP_VEC4(M_SQRT1_2), // SQRT1_2
162 LSP_DSP_VEC4(1.0f), // ONE
163 LSP_DSP_VEC4(7.0376836292E-2), // C0
164 LSP_DSP_VEC4(-1.1514610310E-1), // C1
165 LSP_DSP_VEC4(1.1676998740E-1), // C2
166 LSP_DSP_VEC4(-1.2420140846E-1), // C3
167 LSP_DSP_VEC4(+1.4249322787E-1), // C4
168 LSP_DSP_VEC4(-1.6668057665E-1), // C5
169 LSP_DSP_VEC4(+2.0000714765E-1), // C6
170 LSP_DSP_VEC4(-2.4999993993E-1), // C7
171 LSP_DSP_VEC4(+3.3333331174E-1), // C8
172 LSP_DSP_VEC4(-0.5f), // C9
173 LSP_DSP_VEC4(M_LN2 - 2.12194440e-4) // LXE + LN2
174 };
175 )
176
177 void axis_apply_log1(float *x, const float *v, float zero, float norm_x, size_t count)
178 {
179 IF_ARCH_AARCH64(
180 float params[2] __lsp_aligned16;
181 params[0] = zero;
182 params[1] = norm_x;
183 );
184
185 //---------------------------------------------------------------
186 // Prepare constants
187 ARCH_AARCH64_ASM
188 (
189 __ASM_EMIT("ld2r {v24.4s, v25.4s}, [%[params]]") // v24 = zero, v25 = norm_x
190 __ASM_EMIT("subs %[count], %[count], #16")
191 __ASM_EMIT("b.lo 2f")
192
193 // Do 16x blocks
194 __ASM_EMIT("1:")
195 __ASM_EMIT("ldp q4, q5, [%[v], 0x00]") // v4 = v[0..3], v5 = v[4..7]
196 __ASM_EMIT("ldp q6, q7, [%[v], 0x20]") // v6 = v[8..11], v7 = v[12..15]
197 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x00]") // v12 = X_AMP, v13 = 0.5f
198 __ASM_EMIT("add %[v], %[v], #0x40") // v += 16
199 __ASM_EMIT("fabs v4.4s, v4.4s") // v4 = abs(v)
200 __ASM_EMIT("fabs v5.4s, v5.4s")
201 __ASM_EMIT("fabs v6.4s, v6.4s")
202 __ASM_EMIT("fabs v7.4s, v7.4s")
203 __ASM_EMIT("fmax v4.4s, v4.4s, v12.4s") // v12 = max(X_AMP, abs(v)), ignores denormalized values
204 __ASM_EMIT("fmax v5.4s, v5.4s, v12.4s")
205 __ASM_EMIT("fmax v6.4s, v6.4s, v12.4s")
206 __ASM_EMIT("fmax v7.4s, v7.4s, v12.4s")
207 __ASM_EMIT("fmul v0.4s, v4.4s, v24.4s") // v0 = X = max(X_AMP, abs(v)) * zero
208 __ASM_EMIT("fmul v1.4s, v5.4s, v24.4s")
209 __ASM_EMIT("fmul v2.4s, v6.4s, v24.4s")
210 __ASM_EMIT("fmul v3.4s, v7.4s, v24.4s")
211 // Step 2: parse float value
212 __ASM_EMIT("ldp q14, q15, [%[iptr], 0x00]") // v14 = MANT_MASK, v15 = FRAC_SUB = 127
213 __ASM_EMIT("ushr v4.4s, v0.4s, #23") // v4 = frac(X)
214 __ASM_EMIT("ushr v5.4s, v1.4s, #23")
215 __ASM_EMIT("ushr v6.4s, v2.4s, #23")
216 __ASM_EMIT("ushr v7.4s, v3.4s, #23")
217 __ASM_EMIT("and v8.16b, v0.16b, v14.16b") // v8 = mant(X)
218 __ASM_EMIT("and v9.16b, v1.16b, v14.16b")
219 __ASM_EMIT("and v10.16b, v2.16b, v14.16b")
220 __ASM_EMIT("and v11.16b, v3.16b, v14.16b")
221 __ASM_EMIT("sub v4.4s, v4.4s, v15.4s") // v4 = frac(X) - 127
222 __ASM_EMIT("sub v5.4s, v5.4s, v15.4s")
223 __ASM_EMIT("sub v6.4s, v6.4s, v15.4s")
224 __ASM_EMIT("sub v7.4s, v7.4s, v15.4s")
225 __ASM_EMIT("orr v8.16b, v8.16b, v13.16b") // v8 = V = mant(X) + 0.5
226 __ASM_EMIT("orr v9.16b, v9.16b, v13.16b")
227 __ASM_EMIT("orr v10.16b, v10.16b, v13.16b")
228 __ASM_EMIT("orr v11.16b, v11.16b, v13.16b")
229 __ASM_EMIT("scvtf v4.4s, v4.4s") // v4 = E = float(frac(X) - 127)
230 __ASM_EMIT("scvtf v5.4s, v5.4s")
231 __ASM_EMIT("scvtf v6.4s, v6.4s")
232 __ASM_EMIT("scvtf v7.4s, v7.4s")
233 // Prepare logarithm approximation calculations
234 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x20]") // v12 = sqrt(1/2), v13 = 1.0
235 __ASM_EMIT("fcmge v0.4s, v8.4s, v12.4s") // v0 = [ V >= sqrt(1/2) ]
236 __ASM_EMIT("fcmge v1.4s, v9.4s, v12.4s")
237 __ASM_EMIT("fcmge v2.4s, v10.4s, v12.4s")
238 __ASM_EMIT("fcmge v3.4s, v11.4s, v12.4s")
239 __ASM_EMIT("bic v0.16b, v8.16b, v0.16b") // v0 = V * [ V < sqrt(1/2) ]
240 __ASM_EMIT("bic v1.16b, v9.16b, v1.16b")
241 __ASM_EMIT("bic v2.16b, v10.16b, v2.16b")
242 __ASM_EMIT("bic v3.16b, v11.16b, v3.16b")
243 __ASM_EMIT("fadd v0.4s, v0.4s, v8.4s") // v0 = V + V * [ V < sqrt(1/2) ]
244 __ASM_EMIT("fadd v1.4s, v1.4s, v9.4s")
245 __ASM_EMIT("fadd v2.4s, v2.4s, v10.4s")
246 __ASM_EMIT("fadd v3.4s, v3.4s, v11.4s")
247 __ASM_EMIT("fcmge v8.4s, v8.4s, v12.4s") // v8 = [ V >= sqrt(1/2) ]
248 __ASM_EMIT("fcmge v9.4s, v9.4s, v12.4s")
249 __ASM_EMIT("fcmge v10.4s, v10.4s, v12.4s")
250 __ASM_EMIT("fcmge v11.4s, v11.4s, v12.4s")
251 __ASM_EMIT("fsub v0.4s, v0.4s, v13.4s") // v0 = A = V + V * [ V < sqrt(1/2) ] - 1.0
252 __ASM_EMIT("fsub v1.4s, v1.4s, v13.4s")
253 __ASM_EMIT("fsub v2.4s, v2.4s, v13.4s")
254 __ASM_EMIT("fsub v3.4s, v3.4s, v13.4s")
255 __ASM_EMIT("and v8.16b, v13.16b, v8.16b") // v8 = 1.0 & [ V >= sqrt(1/2) ]
256 __ASM_EMIT("and v9.16b, v13.16b, v9.16b")
257 __ASM_EMIT("and v10.16b, v13.16b, v10.16b")
258 __ASM_EMIT("and v11.16b, v13.16b, v11.16b")
259 __ASM_EMIT("fadd v4.4s, v4.4s, v8.4s") // v4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
260 __ASM_EMIT("fadd v5.4s, v5.4s, v9.4s")
261 __ASM_EMIT("fadd v6.4s, v6.4s, v10.4s")
262 __ASM_EMIT("fadd v7.4s, v7.4s, v11.4s")
263 // Calculate logarithmic values
264 __ASM_EMIT("ldp q14, q15, [%[fptr], 0x40]") // v14 = L0, v15 = L1
265 __ASM_EMIT("fmul v8.4s, v0.4s, v14.4s") // v8 = L0*A
266 __ASM_EMIT("fmul v9.4s, v1.4s, v14.4s")
267 __ASM_EMIT("fmul v10.4s, v2.4s, v14.4s")
268 __ASM_EMIT("fmul v11.4s, v3.4s, v14.4s")
269 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L1+L0*A
270 __ASM_EMIT("fadd v9.4s, v9.4s, v15.4s")
271 __ASM_EMIT("fadd v10.4s, v10.4s, v15.4s")
272 __ASM_EMIT("fadd v11.4s, v11.4s, v15.4s")
273 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x60]") // v12 = L2, v13 = L3
274 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L1+L0*A)
275 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
276 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
277 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
278 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = L2+A*(L1+L0*A)
279 __ASM_EMIT("fadd v9.4s, v9.4s, v12.4s")
280 __ASM_EMIT("fadd v10.4s, v10.4s, v12.4s")
281 __ASM_EMIT("fadd v11.4s, v11.4s, v12.4s")
282 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L2+A*(L1+L0*A))
283 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
284 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
285 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
286 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = L3+A*(L2+A*(L1+L0*A))
287 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s")
288 __ASM_EMIT("fadd v10.4s, v10.4s, v13.4s")
289 __ASM_EMIT("fadd v11.4s, v11.4s, v13.4s")
290 __ASM_EMIT("ldp q14, q15, [%[fptr], 0x80]") // v14 = L4, v15 = L5
291 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L3+A*(L2+A*(L1+L0*A)))
292 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
293 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
294 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
295 __ASM_EMIT("fadd v8.4s, v8.4s, v14.4s") // v8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
296 __ASM_EMIT("fadd v9.4s, v9.4s, v14.4s")
297 __ASM_EMIT("fadd v10.4s, v10.4s, v14.4s")
298 __ASM_EMIT("fadd v11.4s, v11.4s, v14.4s")
299 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
300 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
301 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
302 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
303 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
304 __ASM_EMIT("fadd v9.4s, v9.4s, v15.4s")
305 __ASM_EMIT("fadd v10.4s, v10.4s, v15.4s")
306 __ASM_EMIT("fadd v11.4s, v11.4s, v15.4s")
307 __ASM_EMIT("ldp q12, q13, [%[fptr], 0xa0]") // v12 = L6, v13 = L7
308 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
309 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
310 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
311 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
312 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
313 __ASM_EMIT("fadd v9.4s, v9.4s, v12.4s")
314 __ASM_EMIT("fadd v10.4s, v10.4s, v12.4s")
315 __ASM_EMIT("fadd v11.4s, v11.4s, v12.4s")
316 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
317 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
318 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
319 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
320 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
321 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s")
322 __ASM_EMIT("fadd v10.4s, v10.4s, v13.4s")
323 __ASM_EMIT("fadd v11.4s, v11.4s, v13.4s")
324 __ASM_EMIT("ldp q14, q15, [%[fptr], 0xc0]") // v14 = L8, v15 = L9
325 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
326 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
327 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
328 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
329 __ASM_EMIT("fadd v8.4s, v8.4s, v14.4s") // v8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
330 __ASM_EMIT("fadd v9.4s, v9.4s, v14.4s")
331 __ASM_EMIT("fadd v10.4s, v10.4s, v14.4s")
332 __ASM_EMIT("fadd v11.4s, v11.4s, v14.4s")
333 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
334 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
335 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
336 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
337 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
338 __ASM_EMIT("fadd v9.4s, v9.4s, v15.4s")
339 __ASM_EMIT("fadd v10.4s, v10.4s, v15.4s")
340 __ASM_EMIT("fadd v11.4s, v11.4s, v15.4s")
341 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
342 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
343 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
344 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
345 __ASM_EMIT("ldr q12, [%[fptr], 0xe0]") // v12 = LXE + LN2
346 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
347 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
348 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
349 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
350 __ASM_EMIT("fmla v8.4s, v4.4s, v12.4s") // v8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
351 __ASM_EMIT("fmla v9.4s, v5.4s, v12.4s")
352 __ASM_EMIT("fmla v10.4s, v6.4s, v12.4s")
353 __ASM_EMIT("fmla v11.4s, v7.4s, v12.4s")
354 __ASM_EMIT("fadd v8.4s, v8.4s, v0.4s") // v8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
355 __ASM_EMIT("fadd v9.4s, v9.4s, v1.4s")
356 __ASM_EMIT("fadd v10.4s, v10.4s, v2.4s")
357 __ASM_EMIT("fadd v11.4s, v11.4s, v3.4s")
358
359 // Apply values to axes, q0 = log(abs(v*zero))
360 __ASM_EMIT("ldp q4, q5, [%[x], 0x00]") // v4-v5 = x
361 __ASM_EMIT("ldp q6, q7, [%[x], 0x20]") // v6-v7 = x
362 __ASM_EMIT("fmla v4.4s, v8.4s, v25.4s") // v4 = x + log(abs(v*zero)) * norm_x
363 __ASM_EMIT("fmla v5.4s, v9.4s, v25.4s")
364 __ASM_EMIT("fmla v6.4s, v10.4s, v25.4s")
365 __ASM_EMIT("fmla v7.4s, v11.4s, v25.4s")
366 __ASM_EMIT("subs %[count], %[count], #16")
367 __ASM_EMIT("stp q4, q5, [%[x], 0x00]")
368 __ASM_EMIT("stp q6, q7, [%[x], 0x20]")
369 __ASM_EMIT("add %[x], %[x], #0x40")
370 __ASM_EMIT("b.ge 1b")
371
372 // Do 8x block
373 __ASM_EMIT("2:")
374 __ASM_EMIT("adds %[count], %[count], #8")
375 __ASM_EMIT("b.lt 4f")
376 __ASM_EMIT("ldp q4, q5, [%[v], 0x00]") // v4 = v[0..3], v5 = v[4..7]
377 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x00]") // v12 = X_AMP, v13 = 0.5f
378 __ASM_EMIT("add %[v], %[v], #0x20") // v += 8
379 __ASM_EMIT("fabs v4.4s, v4.4s") // v4 = abs(v)
380 __ASM_EMIT("fabs v5.4s, v5.4s")
381 __ASM_EMIT("fmax v4.4s, v4.4s, v12.4s") // v12 = max(X_AMP, abs(v)), ignores denormalized values
382 __ASM_EMIT("fmax v5.4s, v5.4s, v12.4s")
383 __ASM_EMIT("fmul v0.4s, v4.4s, v24.4s") // v0 = X = max(X_AMP, abs(v)) * zero
384 __ASM_EMIT("fmul v1.4s, v5.4s, v24.4s")
385 // Step 2: parse float value
386 __ASM_EMIT("ldp q14, q15, [%[iptr], 0x00]") // v14 = MANT_MASK, v15 = FRAC_SUB = 127
387 __ASM_EMIT("ushr v4.4s, v0.4s, #23") // v4 = frac(X)
388 __ASM_EMIT("ushr v5.4s, v1.4s, #23")
389 __ASM_EMIT("and v8.16b, v0.16b, v14.16b") // v8 = mant(X)
390 __ASM_EMIT("and v9.16b, v1.16b, v14.16b")
391 __ASM_EMIT("sub v4.4s, v4.4s, v15.4s") // v4 = frac(X) - 127
392 __ASM_EMIT("sub v5.4s, v5.4s, v15.4s")
393 __ASM_EMIT("orr v8.16b, v8.16b, v13.16b") // v8 = V = mant(X) + 0.5
394 __ASM_EMIT("orr v9.16b, v9.16b, v13.16b")
395 __ASM_EMIT("scvtf v4.4s, v4.4s") // v4 = E = float(frac(X) - 127)
396 __ASM_EMIT("scvtf v5.4s, v5.4s")
397 // Prepare logarithm approximation calculations
398 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x20]") // v12 = sqrt(1/2), v13 = 1.0
399 __ASM_EMIT("fcmge v0.4s, v8.4s, v12.4s") // v0 = [ V >= sqrt(1/2) ]
400 __ASM_EMIT("fcmge v1.4s, v9.4s, v12.4s")
401 __ASM_EMIT("bic v0.16b, v8.16b, v0.16b") // v0 = V * [ V < sqrt(1/2) ]
402 __ASM_EMIT("bic v1.16b, v9.16b, v1.16b")
403 __ASM_EMIT("fadd v0.4s, v0.4s, v8.4s") // v0 = V + V * [ V < sqrt(1/2) ]
404 __ASM_EMIT("fadd v1.4s, v1.4s, v9.4s")
405 __ASM_EMIT("fcmge v8.4s, v8.4s, v12.4s") // v8 = [ V >= sqrt(1/2) ]
406 __ASM_EMIT("fcmge v9.4s, v9.4s, v12.4s")
407 __ASM_EMIT("fsub v0.4s, v0.4s, v13.4s") // v0 = A = V + V * [ V < sqrt(1/2) ] - 1.0
408 __ASM_EMIT("fsub v1.4s, v1.4s, v13.4s")
409 __ASM_EMIT("and v8.16b, v13.16b, v8.16b") // v8 = 1.0 & [ V >= sqrt(1/2) ]
410 __ASM_EMIT("and v9.16b, v13.16b, v9.16b")
411 __ASM_EMIT("fadd v4.4s, v4.4s, v8.4s") // v4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
412 __ASM_EMIT("fadd v5.4s, v5.4s, v9.4s")
413 // Calculate logarithmic values
414 __ASM_EMIT("ldp q14, q15, [%[fptr], 0x40]") // v14 = L0, v15 = L1
415 __ASM_EMIT("fmul v8.4s, v0.4s, v14.4s") // v8 = L0*A
416 __ASM_EMIT("fmul v9.4s, v1.4s, v14.4s")
417 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L1+L0*A
418 __ASM_EMIT("fadd v9.4s, v9.4s, v15.4s")
419 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x60]") // v12 = L2, v13 = L3
420 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L1+L0*A)
421 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
422 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = L2+A*(L1+L0*A)
423 __ASM_EMIT("fadd v9.4s, v9.4s, v12.4s")
424 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L2+A*(L1+L0*A))
425 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
426 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = L3+A*(L2+A*(L1+L0*A))
427 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s")
428 __ASM_EMIT("ldp q14, q15, [%[fptr], 0x80]") // v14 = L4, v15 = L5
429 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L3+A*(L2+A*(L1+L0*A)))
430 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
431 __ASM_EMIT("fadd v8.4s, v8.4s, v14.4s") // v8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
432 __ASM_EMIT("fadd v9.4s, v9.4s, v14.4s")
433 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
434 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
435 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
436 __ASM_EMIT("fadd v9.4s, v9.4s, v15.4s")
437 __ASM_EMIT("ldp q12, q13, [%[fptr], 0xa0]") // v12 = L6, v13 = L7
438 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
439 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
440 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
441 __ASM_EMIT("fadd v9.4s, v9.4s, v12.4s")
442 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
443 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
444 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
445 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s")
446 __ASM_EMIT("ldp q14, q15, [%[fptr], 0xc0]") // v14 = L8, v15 = L9
447 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
448 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
449 __ASM_EMIT("fadd v8.4s, v8.4s, v14.4s") // v8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
450 __ASM_EMIT("fadd v9.4s, v9.4s, v14.4s")
451 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
452 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
453 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
454 __ASM_EMIT("fadd v9.4s, v9.4s, v15.4s")
455 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
456 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
457 __ASM_EMIT("ldr q12, [%[fptr], 0xe0]") // v12 = LXE + LN2
458 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
459 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
460 __ASM_EMIT("fmla v8.4s, v4.4s, v12.4s") // v8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
461 __ASM_EMIT("fmla v9.4s, v5.4s, v12.4s")
462 __ASM_EMIT("fadd v8.4s, v8.4s, v0.4s") // v8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
463 __ASM_EMIT("fadd v9.4s, v9.4s, v1.4s")
464 // Apply values to axes, q0 = log(abs(v*zero))
465 __ASM_EMIT("ldp q4, q5, [%[x], 0x00]") // v4-v5 = x
466 __ASM_EMIT("fmla v4.4s, v8.4s, v25.4s") // v4 = x + log(abs(v*zero)) * norm_x
467 __ASM_EMIT("fmla v5.4s, v9.4s, v25.4s")
468 __ASM_EMIT("subs %[count], %[count], #8")
469 __ASM_EMIT("stp q4, q5, [%[x], 0x00]")
470 __ASM_EMIT("add %[x], %[x], #0x20")
471
472 // Do x4 block
473 __ASM_EMIT("4:")
474 __ASM_EMIT("adds %[count], %[count], #4")
475 __ASM_EMIT("blt 6f")
476 __ASM_EMIT("ldr q4, [%[v], 0x00]") // v4 = v[0..3], v5 = v[4..7]
477 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x00]") // v12 = X_AMP, v13 = 0.5f
478 __ASM_EMIT("add %[v], %[v], #0x10") // v += 4
479 __ASM_EMIT("fabs v4.4s, v4.4s") // v4 = abs(v)
480 __ASM_EMIT("fmax v4.4s, v4.4s, v12.4s") // v12 = max(X_AMP, abs(v)), ignores denormalized values
481 __ASM_EMIT("fmul v0.4s, v4.4s, v24.4s") // v0 = X = max(X_AMP, abs(v)) * zero
482 // Step 2: parse float value
483 __ASM_EMIT("ldp q14, q15, [%[iptr], 0x00]") // v14 = MANT_MASK, v15 = FRAC_SUB = 127
484 __ASM_EMIT("ushr v4.4s, v0.4s, #23") // v4 = frac(X)
485 __ASM_EMIT("and v8.16b, v0.16b, v14.16b") // v8 = mant(X)
486 __ASM_EMIT("sub v4.4s, v4.4s, v15.4s") // v4 = frac(X) - 127
487 __ASM_EMIT("orr v8.16b, v8.16b, v13.16b") // v8 = V = mant(X) + 0.5
488 __ASM_EMIT("scvtf v4.4s, v4.4s") // v4 = E = float(frac(X) - 127)
489 // Prepare logarithm approximation calculations
490 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x20]") // v12 = sqrt(1/2), v13 = 1.0
491 __ASM_EMIT("fcmge v0.4s, v8.4s, v12.4s") // v0 = [ V >= sqrt(1/2) ]
492 __ASM_EMIT("bic v0.16b, v8.16b, v0.16b") // v0 = V * [ V < sqrt(1/2) ]
493 __ASM_EMIT("fadd v0.4s, v0.4s, v8.4s") // v0 = V + V * [ V < sqrt(1/2) ]
494 __ASM_EMIT("fcmge v8.4s, v8.4s, v12.4s") // v8 = [ V >= sqrt(1/2) ]
495 __ASM_EMIT("fsub v0.4s, v0.4s, v13.4s") // v0 = A = V + V * [ V < sqrt(1/2) ] - 1.0
496 __ASM_EMIT("and v8.16b, v13.16b, v8.16b") // v8 = 1.0 & [ V >= sqrt(1/2) ]
497 __ASM_EMIT("fadd v4.4s, v4.4s, v8.4s") // v4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
498 // Calculate logarithmic values
499 __ASM_EMIT("ldp q14, q15, [%[fptr], 0x40]") // v14 = L0, v15 = L1
500 __ASM_EMIT("fmul v8.4s, v0.4s, v14.4s") // v8 = L0*A
501 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L1+L0*A
502 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x60]") // v12 = L2, v13 = L3
503 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L1+L0*A)
504 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = L2+A*(L1+L0*A)
505 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L2+A*(L1+L0*A))
506 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = L3+A*(L2+A*(L1+L0*A))
507 __ASM_EMIT("ldp q14, q15, [%[fptr], 0x80]") // v14 = L4, v15 = L5
508 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L3+A*(L2+A*(L1+L0*A)))
509 __ASM_EMIT("fadd v8.4s, v8.4s, v14.4s") // v8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
510 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
511 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
512 __ASM_EMIT("ldp q12, q13, [%[fptr], 0xa0]") // v12 = L6, v13 = L7
513 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
514 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
515 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
516 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
517 __ASM_EMIT("ldp q14, q15, [%[fptr], 0xc0]") // v14 = L8, v15 = L9
518 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
519 __ASM_EMIT("fadd v8.4s, v8.4s, v14.4s") // v8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
520 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
521 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
522 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
523 __ASM_EMIT("ldr q12, [%[fptr], 0xe0]") // v12 = LXE + LN2
524 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
525 __ASM_EMIT("fmla v8.4s, v4.4s, v12.4s") // v8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
526 __ASM_EMIT("fadd v8.4s, v8.4s, v0.4s") // v8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
527 // Apply values to axes, q0 = log(abs(v*zero))
528 __ASM_EMIT("ldr q4, [%[x], 0x00]") // v4 = x
529 __ASM_EMIT("fmla v4.4s, v8.4s, v25.4s") // v4 = x + log(abs(v*zero)) * norm_x
530 __ASM_EMIT("subs %[count], %[count], #4")
531 __ASM_EMIT("str q4, [%[x], 0x00]")
532 __ASM_EMIT("add %[x], %[x], #0x10")
533
534 // Do x1 blocks
535 __ASM_EMIT("6:")
536 __ASM_EMIT("adds %[count], %[count], #3")
537 __ASM_EMIT("b.lt 8f")
538
539 __ASM_EMIT("7:")
540 __ASM_EMIT("ld1r {v4.4s}, [%[v]]") // v4 = v[0..3], v5 = v[4..7]
541 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x00]") // v12 = X_AMP, v13 = 0.5f
542 __ASM_EMIT("add %[v], %[v], #0x04") // v ++
543 __ASM_EMIT("fabs v4.4s, v4.4s") // v4 = abs(v)
544 __ASM_EMIT("fmax v4.4s, v4.4s, v12.4s") // v12 = max(X_AMP, abs(v)), ignores denormalized values
545 __ASM_EMIT("fmul v0.4s, v4.4s, v24.4s") // v0 = X = max(X_AMP, abs(v)) * zero
546 // Step 2: parse float value
547 __ASM_EMIT("ldp q14, q15, [%[iptr], 0x00]") // v14 = MANT_MASK, v15 = FRAC_SUB = 127
548 __ASM_EMIT("ushr v4.4s, v0.4s, #23") // v4 = frac(X)
549 __ASM_EMIT("and v8.16b, v0.16b, v14.16b") // v8 = mant(X)
550 __ASM_EMIT("sub v4.4s, v4.4s, v15.4s") // v4 = frac(X) - 127
551 __ASM_EMIT("orr v8.16b, v8.16b, v13.16b") // v8 = V = mant(X) + 0.5
552 __ASM_EMIT("scvtf v4.4s, v4.4s") // v4 = E = float(frac(X) - 127)
553 // Prepare logarithm approximation calculations
554 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x20]") // v12 = sqrt(1/2), v13 = 1.0
555 __ASM_EMIT("fcmge v0.4s, v8.4s, v12.4s") // v0 = [ V >= sqrt(1/2) ]
556 __ASM_EMIT("bic v0.16b, v8.16b, v0.16b") // v0 = V * [ V < sqrt(1/2) ]
557 __ASM_EMIT("fadd v0.4s, v0.4s, v8.4s") // v0 = V + V * [ V < sqrt(1/2) ]
558 __ASM_EMIT("fcmge v8.4s, v8.4s, v12.4s") // v8 = [ V >= sqrt(1/2) ]
559 __ASM_EMIT("fsub v0.4s, v0.4s, v13.4s") // v0 = A = V + V * [ V < sqrt(1/2) ] - 1.0
560 __ASM_EMIT("and v8.16b, v13.16b, v8.16b") // v8 = 1.0 & [ V >= sqrt(1/2) ]
561 __ASM_EMIT("fadd v4.4s, v4.4s, v8.4s") // v4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
562 // Calculate logarithmic values
563 __ASM_EMIT("ldp q14, q15, [%[fptr], 0x40]") // v14 = L0, v15 = L1
564 __ASM_EMIT("fmul v8.4s, v0.4s, v14.4s") // v8 = L0*A
565 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L1+L0*A
566 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x60]") // v12 = L2, v13 = L3
567 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L1+L0*A)
568 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = L2+A*(L1+L0*A)
569 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L2+A*(L1+L0*A))
570 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = L3+A*(L2+A*(L1+L0*A))
571 __ASM_EMIT("ldp q14, q15, [%[fptr], 0x80]") // v14 = L4, v15 = L5
572 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L3+A*(L2+A*(L1+L0*A)))
573 __ASM_EMIT("fadd v8.4s, v8.4s, v14.4s") // v8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
574 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
575 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
576 __ASM_EMIT("ldp q12, q13, [%[fptr], 0xa0]") // v12 = L6, v13 = L7
577 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
578 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
579 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
580 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
581 __ASM_EMIT("ldp q14, q15, [%[fptr], 0xc0]") // v14 = L8, v15 = L9
582 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
583 __ASM_EMIT("fadd v8.4s, v8.4s, v14.4s") // v8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
584 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
585 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
586 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
587 __ASM_EMIT("ldr q12, [%[fptr], 0xe0]") // v12 = LXE + LN2
588 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
589 __ASM_EMIT("fmla v8.4s, v4.4s, v12.4s") // v8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
590 __ASM_EMIT("fadd v8.4s, v8.4s, v0.4s") // v8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
591 // Apply values to axes, q0 = log(abs(v*zero))
592 __ASM_EMIT("ld1r {v4.4s}, [%[x]]") // v4 = x
593 __ASM_EMIT("fmla v4.4s, v8.4s, v25.4s") // v4 = x + log(abs(v*zero)) * norm_x
594 __ASM_EMIT("subs %[count], %[count], #1")
595 __ASM_EMIT("st1 {v4.s}[0], [%[x]]")
596 __ASM_EMIT("add %[x], %[x], #0x04")
597 __ASM_EMIT("b.ge 7b")
598
599 __ASM_EMIT("8:")
600
601 : [v] "+r" (v), [x] "+r" (x),
602 [count] "+r" (count)
603 : [params] "r" (&params[0]),
604 [iptr] "r" (&LOG_IARGS[0]),
605 [fptr] "r" (&LOG_FARGS[0])
606 : "cc", "memory",
607 "v0", "v1", "v2", "v3",
608 "v4", "v5", "v6", "v7",
609 "v8", "v9", "v10", "v11",
610 "v12", "v13", "v14", "v15",
611 "v24", "v25"
612 );
613 }
614
615 void axis_apply_log2(float *x, float *y, const float *v, float zero, float norm_x, float norm_y, size_t count)
616 {
617 IF_ARCH_AARCH64(
618 float params[3] __lsp_aligned16;
619 params[0] = zero;
620 params[1] = norm_x;
621 params[2] = norm_y;
622 );
623
624 //---------------------------------------------------------------
625 // Prepare constants
626 ARCH_AARCH64_ASM
627 (
628 __ASM_EMIT("ld3r {v24.4s, v25.4s, v26.4s}, [%[params]]") // v24 = zero
629 __ASM_EMIT("subs %[count], %[count], #16")
630 __ASM_EMIT("b.lo 2f")
631
632 // Do 16x blocks
633 __ASM_EMIT("1:")
634 __ASM_EMIT("ldp q4, q5, [%[v], 0x00]") // v4 = v[0..3], v5 = v[4..7]
635 __ASM_EMIT("ldp q6, q7, [%[v], 0x20]") // v6 = v[8..11], v7 = v[12..15]
636 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x00]") // v12 = X_AMP, v13 = 0.5f
637 __ASM_EMIT("add %[v], %[v], #0x40") // v += 16
638 __ASM_EMIT("fabs v4.4s, v4.4s") // v4 = abs(v)
639 __ASM_EMIT("fabs v5.4s, v5.4s")
640 __ASM_EMIT("fabs v6.4s, v6.4s")
641 __ASM_EMIT("fabs v7.4s, v7.4s")
642 __ASM_EMIT("fmax v4.4s, v4.4s, v12.4s") // v12 = max(X_AMP, abs(v)), ignores denormalized values
643 __ASM_EMIT("fmax v5.4s, v5.4s, v12.4s")
644 __ASM_EMIT("fmax v6.4s, v6.4s, v12.4s")
645 __ASM_EMIT("fmax v7.4s, v7.4s, v12.4s")
646 __ASM_EMIT("fmul v0.4s, v4.4s, v24.4s") // v0 = X = max(X_AMP, abs(v)) * zero
647 __ASM_EMIT("fmul v1.4s, v5.4s, v24.4s")
648 __ASM_EMIT("fmul v2.4s, v6.4s, v24.4s")
649 __ASM_EMIT("fmul v3.4s, v7.4s, v24.4s")
650 // Step 2: parse float value
651 __ASM_EMIT("ldp q14, q15, [%[iptr], 0x00]") // v14 = MANT_MASK, v15 = FRAC_SUB = 127
652 __ASM_EMIT("ushr v4.4s, v0.4s, #23") // v4 = frac(X)
653 __ASM_EMIT("ushr v5.4s, v1.4s, #23")
654 __ASM_EMIT("ushr v6.4s, v2.4s, #23")
655 __ASM_EMIT("ushr v7.4s, v3.4s, #23")
656 __ASM_EMIT("and v8.16b, v0.16b, v14.16b") // v8 = mant(X)
657 __ASM_EMIT("and v9.16b, v1.16b, v14.16b")
658 __ASM_EMIT("and v10.16b, v2.16b, v14.16b")
659 __ASM_EMIT("and v11.16b, v3.16b, v14.16b")
660 __ASM_EMIT("sub v4.4s, v4.4s, v15.4s") // v4 = frac(X) - 127
661 __ASM_EMIT("sub v5.4s, v5.4s, v15.4s")
662 __ASM_EMIT("sub v6.4s, v6.4s, v15.4s")
663 __ASM_EMIT("sub v7.4s, v7.4s, v15.4s")
664 __ASM_EMIT("orr v8.16b, v8.16b, v13.16b") // v8 = V = mant(X) + 0.5
665 __ASM_EMIT("orr v9.16b, v9.16b, v13.16b")
666 __ASM_EMIT("orr v10.16b, v10.16b, v13.16b")
667 __ASM_EMIT("orr v11.16b, v11.16b, v13.16b")
668 __ASM_EMIT("scvtf v4.4s, v4.4s") // v4 = E = float(frac(X) - 127)
669 __ASM_EMIT("scvtf v5.4s, v5.4s")
670 __ASM_EMIT("scvtf v6.4s, v6.4s")
671 __ASM_EMIT("scvtf v7.4s, v7.4s")
672 // Prepare logarithm approximation calculations
673 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x20]") // v12 = sqrt(1/2), v13 = 1.0
674 __ASM_EMIT("fcmge v0.4s, v8.4s, v12.4s") // v0 = [ V >= sqrt(1/2) ]
675 __ASM_EMIT("fcmge v1.4s, v9.4s, v12.4s")
676 __ASM_EMIT("fcmge v2.4s, v10.4s, v12.4s")
677 __ASM_EMIT("fcmge v3.4s, v11.4s, v12.4s")
678 __ASM_EMIT("bic v0.16b, v8.16b, v0.16b") // v0 = V * [ V < sqrt(1/2) ]
679 __ASM_EMIT("bic v1.16b, v9.16b, v1.16b")
680 __ASM_EMIT("bic v2.16b, v10.16b, v2.16b")
681 __ASM_EMIT("bic v3.16b, v11.16b, v3.16b")
682 __ASM_EMIT("fadd v0.4s, v0.4s, v8.4s") // v0 = V + V * [ V < sqrt(1/2) ]
683 __ASM_EMIT("fadd v1.4s, v1.4s, v9.4s")
684 __ASM_EMIT("fadd v2.4s, v2.4s, v10.4s")
685 __ASM_EMIT("fadd v3.4s, v3.4s, v11.4s")
686 __ASM_EMIT("fcmge v8.4s, v8.4s, v12.4s") // v8 = [ V >= sqrt(1/2) ]
687 __ASM_EMIT("fcmge v9.4s, v9.4s, v12.4s")
688 __ASM_EMIT("fcmge v10.4s, v10.4s, v12.4s")
689 __ASM_EMIT("fcmge v11.4s, v11.4s, v12.4s")
690 __ASM_EMIT("fsub v0.4s, v0.4s, v13.4s") // v0 = A = V + V * [ V < sqrt(1/2) ] - 1.0
691 __ASM_EMIT("fsub v1.4s, v1.4s, v13.4s")
692 __ASM_EMIT("fsub v2.4s, v2.4s, v13.4s")
693 __ASM_EMIT("fsub v3.4s, v3.4s, v13.4s")
694 __ASM_EMIT("and v8.16b, v13.16b, v8.16b") // v8 = 1.0 & [ V >= sqrt(1/2) ]
695 __ASM_EMIT("and v9.16b, v13.16b, v9.16b")
696 __ASM_EMIT("and v10.16b, v13.16b, v10.16b")
697 __ASM_EMIT("and v11.16b, v13.16b, v11.16b")
698 __ASM_EMIT("fadd v4.4s, v4.4s, v8.4s") // v4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
699 __ASM_EMIT("fadd v5.4s, v5.4s, v9.4s")
700 __ASM_EMIT("fadd v6.4s, v6.4s, v10.4s")
701 __ASM_EMIT("fadd v7.4s, v7.4s, v11.4s")
702 // Calculate logarithmic values
703 __ASM_EMIT("ldp q14, q15, [%[fptr], 0x40]") // v14 = L0, v15 = L1
704 __ASM_EMIT("fmul v8.4s, v0.4s, v14.4s") // v8 = L0*A
705 __ASM_EMIT("fmul v9.4s, v1.4s, v14.4s")
706 __ASM_EMIT("fmul v10.4s, v2.4s, v14.4s")
707 __ASM_EMIT("fmul v11.4s, v3.4s, v14.4s")
708 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L1+L0*A
709 __ASM_EMIT("fadd v9.4s, v9.4s, v15.4s")
710 __ASM_EMIT("fadd v10.4s, v10.4s, v15.4s")
711 __ASM_EMIT("fadd v11.4s, v11.4s, v15.4s")
712 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x60]") // v12 = L2, v13 = L3
713 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L1+L0*A)
714 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
715 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
716 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
717 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = L2+A*(L1+L0*A)
718 __ASM_EMIT("fadd v9.4s, v9.4s, v12.4s")
719 __ASM_EMIT("fadd v10.4s, v10.4s, v12.4s")
720 __ASM_EMIT("fadd v11.4s, v11.4s, v12.4s")
721 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L2+A*(L1+L0*A))
722 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
723 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
724 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
725 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = L3+A*(L2+A*(L1+L0*A))
726 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s")
727 __ASM_EMIT("fadd v10.4s, v10.4s, v13.4s")
728 __ASM_EMIT("fadd v11.4s, v11.4s, v13.4s")
729 __ASM_EMIT("ldp q14, q15, [%[fptr], 0x80]") // v14 = L4, v15 = L5
730 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L3+A*(L2+A*(L1+L0*A)))
731 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
732 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
733 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
734 __ASM_EMIT("fadd v8.4s, v8.4s, v14.4s") // v8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
735 __ASM_EMIT("fadd v9.4s, v9.4s, v14.4s")
736 __ASM_EMIT("fadd v10.4s, v10.4s, v14.4s")
737 __ASM_EMIT("fadd v11.4s, v11.4s, v14.4s")
738 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
739 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
740 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
741 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
742 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
743 __ASM_EMIT("fadd v9.4s, v9.4s, v15.4s")
744 __ASM_EMIT("fadd v10.4s, v10.4s, v15.4s")
745 __ASM_EMIT("fadd v11.4s, v11.4s, v15.4s")
746 __ASM_EMIT("ldp q12, q13, [%[fptr], 0xa0]") // v12 = L6, v13 = L7
747 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
748 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
749 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
750 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
751 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
752 __ASM_EMIT("fadd v9.4s, v9.4s, v12.4s")
753 __ASM_EMIT("fadd v10.4s, v10.4s, v12.4s")
754 __ASM_EMIT("fadd v11.4s, v11.4s, v12.4s")
755 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
756 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
757 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
758 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
759 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
760 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s")
761 __ASM_EMIT("fadd v10.4s, v10.4s, v13.4s")
762 __ASM_EMIT("fadd v11.4s, v11.4s, v13.4s")
763 __ASM_EMIT("ldp q14, q15, [%[fptr], 0xc0]") // v14 = L8, v15 = L9
764 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
765 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
766 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
767 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
768 __ASM_EMIT("fadd v8.4s, v8.4s, v14.4s") // v8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
769 __ASM_EMIT("fadd v9.4s, v9.4s, v14.4s")
770 __ASM_EMIT("fadd v10.4s, v10.4s, v14.4s")
771 __ASM_EMIT("fadd v11.4s, v11.4s, v14.4s")
772 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
773 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
774 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
775 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
776 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
777 __ASM_EMIT("fadd v9.4s, v9.4s, v15.4s")
778 __ASM_EMIT("fadd v10.4s, v10.4s, v15.4s")
779 __ASM_EMIT("fadd v11.4s, v11.4s, v15.4s")
780 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
781 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
782 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
783 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
784 __ASM_EMIT("ldr q12, [%[fptr], 0xe0]") // v12 = LXE + LN2
785 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
786 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
787 __ASM_EMIT("fmul v10.4s, v10.4s, v2.4s")
788 __ASM_EMIT("fmul v11.4s, v11.4s, v3.4s")
789 __ASM_EMIT("fmla v8.4s, v4.4s, v12.4s") // v8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
790 __ASM_EMIT("fmla v9.4s, v5.4s, v12.4s")
791 __ASM_EMIT("fmla v10.4s, v6.4s, v12.4s")
792 __ASM_EMIT("fmla v11.4s, v7.4s, v12.4s")
793 __ASM_EMIT("fadd v8.4s, v8.4s, v0.4s") // v8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
794 __ASM_EMIT("fadd v9.4s, v9.4s, v1.4s")
795 __ASM_EMIT("fadd v10.4s, v10.4s, v2.4s")
796 __ASM_EMIT("fadd v11.4s, v11.4s, v3.4s")
797
798 // Apply values to axes, q0 = log(abs(v*zero))
799 __ASM_EMIT("ldp q4, q5, [%[x], 0x00]") // v4-v5 = x
800 __ASM_EMIT("ldp q6, q7, [%[x], 0x20]") // v6-v7 = x
801 __ASM_EMIT("ldp q0, q1, [%[y], 0x00]") // v0-v1 = y
802 __ASM_EMIT("ldp q2, q3, [%[y], 0x20]") // v2-v3 = y
803 __ASM_EMIT("fmla v4.4s, v8.4s, v25.4s") // v4 = x + log(abs(v*zero)) * norm_x
804 __ASM_EMIT("fmla v5.4s, v9.4s, v25.4s")
805 __ASM_EMIT("fmla v6.4s, v10.4s, v25.4s")
806 __ASM_EMIT("fmla v7.4s, v11.4s, v25.4s")
807 __ASM_EMIT("fmla v0.4s, v8.4s, v26.4s") // v0 = y + log(abs(v*zero)) * norm_y
808 __ASM_EMIT("fmla v1.4s, v9.4s, v26.4s")
809 __ASM_EMIT("fmla v2.4s, v10.4s, v26.4s")
810 __ASM_EMIT("fmla v3.4s, v11.4s, v26.4s")
811 __ASM_EMIT("subs %[count], %[count], #16")
812 __ASM_EMIT("stp q4, q5, [%[x], 0x00]")
813 __ASM_EMIT("stp q6, q7, [%[x], 0x20]")
814 __ASM_EMIT("stp q0, q1, [%[y], 0x00]")
815 __ASM_EMIT("stp q2, q3, [%[y], 0x20]")
816 __ASM_EMIT("add %[x], %[x], #0x40")
817 __ASM_EMIT("add %[y], %[y], #0x40")
818 __ASM_EMIT("b.ge 1b")
819
820 // Do 8x block
821 __ASM_EMIT("2:")
822 __ASM_EMIT("adds %[count], %[count], #8")
823 __ASM_EMIT("b.lt 4f")
824 __ASM_EMIT("ldp q4, q5, [%[v], 0x00]") // v4 = v[0..3], v5 = v[4..7]
825 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x00]") // v12 = X_AMP, v13 = 0.5f
826 __ASM_EMIT("add %[v], %[v], #0x20") // v += 8
827 __ASM_EMIT("fabs v4.4s, v4.4s") // v4 = abs(v)
828 __ASM_EMIT("fabs v5.4s, v5.4s")
829 __ASM_EMIT("fmax v4.4s, v4.4s, v12.4s") // v12 = max(X_AMP, abs(v)), ignores denormalized values
830 __ASM_EMIT("fmax v5.4s, v5.4s, v12.4s")
831 __ASM_EMIT("fmul v0.4s, v4.4s, v24.4s") // v0 = X = max(X_AMP, abs(v)) * zero
832 __ASM_EMIT("fmul v1.4s, v5.4s, v24.4s")
833 // Step 2: parse float value
834 __ASM_EMIT("ldp q14, q15, [%[iptr], 0x00]") // v14 = MANT_MASK, v15 = FRAC_SUB = 127
835 __ASM_EMIT("ushr v4.4s, v0.4s, #23") // v4 = frac(X)
836 __ASM_EMIT("ushr v5.4s, v1.4s, #23")
837 __ASM_EMIT("and v8.16b, v0.16b, v14.16b") // v8 = mant(X)
838 __ASM_EMIT("and v9.16b, v1.16b, v14.16b")
839 __ASM_EMIT("sub v4.4s, v4.4s, v15.4s") // v4 = frac(X) - 127
840 __ASM_EMIT("sub v5.4s, v5.4s, v15.4s")
841 __ASM_EMIT("orr v8.16b, v8.16b, v13.16b") // v8 = V = mant(X) + 0.5
842 __ASM_EMIT("orr v9.16b, v9.16b, v13.16b")
843 __ASM_EMIT("scvtf v4.4s, v4.4s") // v4 = E = float(frac(X) - 127)
844 __ASM_EMIT("scvtf v5.4s, v5.4s")
845 // Prepare logarithm approximation calculations
846 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x20]") // v12 = sqrt(1/2), v13 = 1.0
847 __ASM_EMIT("fcmge v0.4s, v8.4s, v12.4s") // v0 = [ V >= sqrt(1/2) ]
848 __ASM_EMIT("fcmge v1.4s, v9.4s, v12.4s")
849 __ASM_EMIT("bic v0.16b, v8.16b, v0.16b") // v0 = V * [ V < sqrt(1/2) ]
850 __ASM_EMIT("bic v1.16b, v9.16b, v1.16b")
851 __ASM_EMIT("fadd v0.4s, v0.4s, v8.4s") // v0 = V + V * [ V < sqrt(1/2) ]
852 __ASM_EMIT("fadd v1.4s, v1.4s, v9.4s")
853 __ASM_EMIT("fcmge v8.4s, v8.4s, v12.4s") // v8 = [ V >= sqrt(1/2) ]
854 __ASM_EMIT("fcmge v9.4s, v9.4s, v12.4s")
855 __ASM_EMIT("fsub v0.4s, v0.4s, v13.4s") // v0 = A = V + V * [ V < sqrt(1/2) ] - 1.0
856 __ASM_EMIT("fsub v1.4s, v1.4s, v13.4s")
857 __ASM_EMIT("and v8.16b, v13.16b, v8.16b") // v8 = 1.0 & [ V >= sqrt(1/2) ]
858 __ASM_EMIT("and v9.16b, v13.16b, v9.16b")
859 __ASM_EMIT("fadd v4.4s, v4.4s, v8.4s") // v4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
860 __ASM_EMIT("fadd v5.4s, v5.4s, v9.4s")
861 // Calculate logarithmic values
862 __ASM_EMIT("ldp q14, q15, [%[fptr], 0x40]") // v14 = L0, v15 = L1
863 __ASM_EMIT("fmul v8.4s, v0.4s, v14.4s") // v8 = L0*A
864 __ASM_EMIT("fmul v9.4s, v1.4s, v14.4s")
865 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L1+L0*A
866 __ASM_EMIT("fadd v9.4s, v9.4s, v15.4s")
867 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x60]") // v12 = L2, v13 = L3
868 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L1+L0*A)
869 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
870 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = L2+A*(L1+L0*A)
871 __ASM_EMIT("fadd v9.4s, v9.4s, v12.4s")
872 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L2+A*(L1+L0*A))
873 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
874 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = L3+A*(L2+A*(L1+L0*A))
875 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s")
876 __ASM_EMIT("ldp q14, q15, [%[fptr], 0x80]") // v14 = L4, v15 = L5
877 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L3+A*(L2+A*(L1+L0*A)))
878 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
879 __ASM_EMIT("fadd v8.4s, v8.4s, v14.4s") // v8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
880 __ASM_EMIT("fadd v9.4s, v9.4s, v14.4s")
881 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
882 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
883 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
884 __ASM_EMIT("fadd v9.4s, v9.4s, v15.4s")
885 __ASM_EMIT("ldp q12, q13, [%[fptr], 0xa0]") // v12 = L6, v13 = L7
886 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
887 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
888 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
889 __ASM_EMIT("fadd v9.4s, v9.4s, v12.4s")
890 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
891 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
892 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
893 __ASM_EMIT("fadd v9.4s, v9.4s, v13.4s")
894 __ASM_EMIT("ldp q14, q15, [%[fptr], 0xc0]") // v14 = L8, v15 = L9
895 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
896 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
897 __ASM_EMIT("fadd v8.4s, v8.4s, v14.4s") // v8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
898 __ASM_EMIT("fadd v9.4s, v9.4s, v14.4s")
899 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
900 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
901 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
902 __ASM_EMIT("fadd v9.4s, v9.4s, v15.4s")
903 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
904 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
905 __ASM_EMIT("ldr q12, [%[fptr], 0xe0]") // v12 = LXE + LN2
906 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
907 __ASM_EMIT("fmul v9.4s, v9.4s, v1.4s")
908 __ASM_EMIT("fmla v8.4s, v4.4s, v12.4s") // v8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
909 __ASM_EMIT("fmla v9.4s, v5.4s, v12.4s")
910 __ASM_EMIT("fadd v8.4s, v8.4s, v0.4s") // v8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
911 __ASM_EMIT("fadd v9.4s, v9.4s, v1.4s")
912 // Apply values to axes, q0 = log(abs(v*zero))
913 __ASM_EMIT("ldp q4, q5, [%[x], 0x00]") // v4-v5 = x
914 __ASM_EMIT("ldp q0, q1, [%[y], 0x00]") // v0-v1 = y
915 __ASM_EMIT("fmla v4.4s, v8.4s, v25.4s") // v4 = x + log(abs(v*zero)) * norm_x
916 __ASM_EMIT("fmla v5.4s, v9.4s, v25.4s")
917 __ASM_EMIT("fmla v0.4s, v8.4s, v26.4s") // v0 = y + log(abs(v*zero)) * norm_y
918 __ASM_EMIT("fmla v1.4s, v9.4s, v26.4s")
919 __ASM_EMIT("subs %[count], %[count], #8")
920 __ASM_EMIT("stp q4, q5, [%[x], 0x00]")
921 __ASM_EMIT("stp q0, q1, [%[y], 0x00]")
922 __ASM_EMIT("add %[x], %[x], #0x20")
923 __ASM_EMIT("add %[y], %[y], #0x20")
924
925 // Do x4 block
926 __ASM_EMIT("4:")
927 __ASM_EMIT("adds %[count], %[count], #4")
928 __ASM_EMIT("blt 6f")
929 __ASM_EMIT("ldr q4, [%[v], 0x00]") // v4 = v[0..3], v5 = v[4..7]
930 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x00]") // v12 = X_AMP, v13 = 0.5f
931 __ASM_EMIT("add %[v], %[v], #0x10") // v += 4
932 __ASM_EMIT("fabs v4.4s, v4.4s") // v4 = abs(v)
933 __ASM_EMIT("fmax v4.4s, v4.4s, v12.4s") // v12 = max(X_AMP, abs(v)), ignores denormalized values
934 __ASM_EMIT("fmul v0.4s, v4.4s, v24.4s") // v0 = X = max(X_AMP, abs(v)) * zero
935 // Step 2: parse float value
936 __ASM_EMIT("ldp q14, q15, [%[iptr], 0x00]") // v14 = MANT_MASK, v15 = FRAC_SUB = 127
937 __ASM_EMIT("ushr v4.4s, v0.4s, #23") // v4 = frac(X)
938 __ASM_EMIT("and v8.16b, v0.16b, v14.16b") // v8 = mant(X)
939 __ASM_EMIT("sub v4.4s, v4.4s, v15.4s") // v4 = frac(X) - 127
940 __ASM_EMIT("orr v8.16b, v8.16b, v13.16b") // v8 = V = mant(X) + 0.5
941 __ASM_EMIT("scvtf v4.4s, v4.4s") // v4 = E = float(frac(X) - 127)
942 // Prepare logarithm approximation calculations
943 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x20]") // v12 = sqrt(1/2), v13 = 1.0
944 __ASM_EMIT("fcmge v0.4s, v8.4s, v12.4s") // v0 = [ V >= sqrt(1/2) ]
945 __ASM_EMIT("bic v0.16b, v8.16b, v0.16b") // v0 = V * [ V < sqrt(1/2) ]
946 __ASM_EMIT("fadd v0.4s, v0.4s, v8.4s") // v0 = V + V * [ V < sqrt(1/2) ]
947 __ASM_EMIT("fcmge v8.4s, v8.4s, v12.4s") // v8 = [ V >= sqrt(1/2) ]
948 __ASM_EMIT("fsub v0.4s, v0.4s, v13.4s") // v0 = A = V + V * [ V < sqrt(1/2) ] - 1.0
949 __ASM_EMIT("and v8.16b, v13.16b, v8.16b") // v8 = 1.0 & [ V >= sqrt(1/2) ]
950 __ASM_EMIT("fadd v4.4s, v4.4s, v8.4s") // v4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
951 // Calculate logarithmic values
952 __ASM_EMIT("ldp q14, q15, [%[fptr], 0x40]") // v14 = L0, v15 = L1
953 __ASM_EMIT("fmul v8.4s, v0.4s, v14.4s") // v8 = L0*A
954 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L1+L0*A
955 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x60]") // v12 = L2, v13 = L3
956 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L1+L0*A)
957 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = L2+A*(L1+L0*A)
958 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L2+A*(L1+L0*A))
959 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = L3+A*(L2+A*(L1+L0*A))
960 __ASM_EMIT("ldp q14, q15, [%[fptr], 0x80]") // v14 = L4, v15 = L5
961 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L3+A*(L2+A*(L1+L0*A)))
962 __ASM_EMIT("fadd v8.4s, v8.4s, v14.4s") // v8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
963 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
964 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
965 __ASM_EMIT("ldp q12, q13, [%[fptr], 0xa0]") // v12 = L6, v13 = L7
966 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
967 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
968 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
969 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
970 __ASM_EMIT("ldp q14, q15, [%[fptr], 0xc0]") // v14 = L8, v15 = L9
971 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
972 __ASM_EMIT("fadd v8.4s, v8.4s, v14.4s") // v8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
973 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
974 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
975 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
976 __ASM_EMIT("ldr q12, [%[fptr], 0xe0]") // v12 = LXE + LN2
977 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
978 __ASM_EMIT("fmla v8.4s, v4.4s, v12.4s") // v8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
979 __ASM_EMIT("fadd v8.4s, v8.4s, v0.4s") // v8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
980 // Apply values to axes, q0 = log(abs(v*zero))
981 __ASM_EMIT("ldr q4, [%[x], 0x00]") // v4-v5 = x
982 __ASM_EMIT("ldr q0, [%[y], 0x00]") // v0-v1 = y
983 __ASM_EMIT("fmla v4.4s, v8.4s, v25.4s") // v4 = x + log(abs(v*zero)) * norm_x
984 __ASM_EMIT("fmla v0.4s, v8.4s, v26.4s") // v0 = y + log(abs(v*zero)) * norm_y
985 __ASM_EMIT("subs %[count], %[count], #4")
986 __ASM_EMIT("str q4, [%[x], 0x00]")
987 __ASM_EMIT("str q0, [%[y], 0x00]")
988 __ASM_EMIT("add %[x], %[x], #0x10")
989 __ASM_EMIT("add %[y], %[y], #0x10")
990
991 // Do x1 blocks
992 __ASM_EMIT("6:")
993 __ASM_EMIT("adds %[count], %[count], #3")
994 __ASM_EMIT("b.lt 8f")
995
996 __ASM_EMIT("7:")
997 __ASM_EMIT("ld1r {v4.4s}, [%[v]]") // v4 = v[0..3], v5 = v[4..7]
998 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x00]") // v12 = X_AMP, v13 = 0.5f
999 __ASM_EMIT("add %[v], %[v], #0x04") // v ++
1000 __ASM_EMIT("fabs v4.4s, v4.4s") // v4 = abs(v)
1001 __ASM_EMIT("fmax v4.4s, v4.4s, v12.4s") // v12 = max(X_AMP, abs(v)), ignores denormalized values
1002 __ASM_EMIT("fmul v0.4s, v4.4s, v24.4s") // v0 = X = max(X_AMP, abs(v)) * zero
1003 // Step 2: parse float value
1004 __ASM_EMIT("ldp q14, q15, [%[iptr], 0x00]") // v14 = MANT_MASK, v15 = FRAC_SUB = 127
1005 __ASM_EMIT("ushr v4.4s, v0.4s, #23") // v4 = frac(X)
1006 __ASM_EMIT("and v8.16b, v0.16b, v14.16b") // v8 = mant(X)
1007 __ASM_EMIT("sub v4.4s, v4.4s, v15.4s") // v4 = frac(X) - 127
1008 __ASM_EMIT("orr v8.16b, v8.16b, v13.16b") // v8 = V = mant(X) + 0.5
1009 __ASM_EMIT("scvtf v4.4s, v4.4s") // v4 = E = float(frac(X) - 127)
1010 // Prepare logarithm approximation calculations
1011 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x20]") // v12 = sqrt(1/2), v13 = 1.0
1012 __ASM_EMIT("fcmge v0.4s, v8.4s, v12.4s") // v0 = [ V >= sqrt(1/2) ]
1013 __ASM_EMIT("bic v0.16b, v8.16b, v0.16b") // v0 = V * [ V < sqrt(1/2) ]
1014 __ASM_EMIT("fadd v0.4s, v0.4s, v8.4s") // v0 = V + V * [ V < sqrt(1/2) ]
1015 __ASM_EMIT("fcmge v8.4s, v8.4s, v12.4s") // v8 = [ V >= sqrt(1/2) ]
1016 __ASM_EMIT("fsub v0.4s, v0.4s, v13.4s") // v0 = A = V + V * [ V < sqrt(1/2) ] - 1.0
1017 __ASM_EMIT("and v8.16b, v13.16b, v8.16b") // v8 = 1.0 & [ V >= sqrt(1/2) ]
1018 __ASM_EMIT("fadd v4.4s, v4.4s, v8.4s") // v4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
1019 // Calculate logarithmic values
1020 __ASM_EMIT("ldp q14, q15, [%[fptr], 0x40]") // v14 = L0, v15 = L1
1021 __ASM_EMIT("fmul v8.4s, v0.4s, v14.4s") // v8 = L0*A
1022 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L1+L0*A
1023 __ASM_EMIT("ldp q12, q13, [%[fptr], 0x60]") // v12 = L2, v13 = L3
1024 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L1+L0*A)
1025 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = L2+A*(L1+L0*A)
1026 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L2+A*(L1+L0*A))
1027 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = L3+A*(L2+A*(L1+L0*A))
1028 __ASM_EMIT("ldp q14, q15, [%[fptr], 0x80]") // v14 = L4, v15 = L5
1029 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L3+A*(L2+A*(L1+L0*A)))
1030 __ASM_EMIT("fadd v8.4s, v8.4s, v14.4s") // v8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
1031 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
1032 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
1033 __ASM_EMIT("ldp q12, q13, [%[fptr], 0xa0]") // v12 = L6, v13 = L7
1034 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
1035 __ASM_EMIT("fadd v8.4s, v8.4s, v12.4s") // v8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
1036 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
1037 __ASM_EMIT("fadd v8.4s, v8.4s, v13.4s") // v8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
1038 __ASM_EMIT("ldp q14, q15, [%[fptr], 0xc0]") // v14 = L8, v15 = L9
1039 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
1040 __ASM_EMIT("fadd v8.4s, v8.4s, v14.4s") // v8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
1041 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
1042 __ASM_EMIT("fadd v8.4s, v8.4s, v15.4s") // v8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
1043 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
1044 __ASM_EMIT("ldr q12, [%[fptr], 0xe0]") // v12 = LXE + LN2
1045 __ASM_EMIT("fmul v8.4s, v8.4s, v0.4s") // v8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
1046 __ASM_EMIT("fmla v8.4s, v4.4s, v12.4s") // v8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
1047 __ASM_EMIT("fadd v8.4s, v8.4s, v0.4s") // v8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
1048 // Apply values to axes, q0 = log(abs(v*zero))
1049 __ASM_EMIT("ld1r {v4.4s}, [%[x]]") // v4 = x
1050 __ASM_EMIT("ld1r {v0.4s}, [%[y]]") // v0 = y
1051 __ASM_EMIT("fmla v4.4s, v8.4s, v25.4s") // v4 = x + log(abs(v*zero)) * norm_x
1052 __ASM_EMIT("fmla v0.4s, v8.4s, v26.4s") // v0 = y + log(abs(v*zero)) * norm_y
1053 __ASM_EMIT("subs %[count], %[count], #1")
1054 __ASM_EMIT("st1 {v4.s}[0], [%[x]]")
1055 __ASM_EMIT("st1 {v0.s}[0], [%[y]]")
1056 __ASM_EMIT("add %[x], %[x], #0x04")
1057 __ASM_EMIT("add %[y], %[y], #0x04")
1058 __ASM_EMIT("b.ge 7b")
1059
1060 __ASM_EMIT("8:")
1061
1062 : [v] "+r" (v), [x] "+r" (x), [y] "+r" (y),
1063 [count] "+r" (count)
1064 : [params] "r" (&params[0]),
1065 [iptr] "r" (&LOG_IARGS[0]),
1066 [fptr] "r" (&LOG_FARGS[0])
1067 : "cc", "memory",
1068 "v0", "v1", "v2", "v3",
1069 "v4", "v5", "v6", "v7",
1070 "v8", "v9", "v10", "v11",
1071 "v12", "v13", "v14", "v15",
1072 "v24", "v25", "v26"
1073 );
1074 }
1075
1076 } /* namespace asimd */
1077 } /* namespace lsp */
1078
1079
1080 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_GRAPHICS_AXIS_H_ */