Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/graphics/axis.h

raw
1 /*
2 * Copyright (C) 2022 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2022 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 9 сент. 2022 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_GRAPHICS_AXIS_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_GRAPHICS_AXIS_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 void axis_apply_lin1(float *x, const float *v, float zero, float norm, size_t count)
34 {
35 ARCH_ARM_ASM
36 (
37 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[zero]]") // q8 = zero
38 __ASM_EMIT("vld1.32 {d18[], d19[]}, [%[norm]]") // q9 = norm
39 // 16x block
40 __ASM_EMIT("subs %[count], #16")
41 __ASM_EMIT("blo 2f")
42 __ASM_EMIT("1:")
43 __ASM_EMIT("vldm %[v]!, {q0-q3}") // q0 = v
44 __ASM_EMIT("vldm %[x], {q4-q7}") // q4 = x
45 __ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = v + zero
46 __ASM_EMIT("vadd.f32 q1, q1, q8")
47 __ASM_EMIT("vadd.f32 q2, q2, q8")
48 __ASM_EMIT("vadd.f32 q3, q3, q8")
49 __ASM_EMIT("vfma.f32 q4, q0, q9") // q4 = x + (v + zero) * norm
50 __ASM_EMIT("vfma.f32 q5, q1, q9")
51 __ASM_EMIT("vfma.f32 q6, q2, q9")
52 __ASM_EMIT("vfma.f32 q7, q3, q9")
53 __ASM_EMIT("subs %[count], #16")
54 __ASM_EMIT("vstm %[x]!, {q4-q7}")
55 __ASM_EMIT("bge 1b")
56 __ASM_EMIT("2:")
57 // 8x block
58 __ASM_EMIT("adds %[count], #8")
59 __ASM_EMIT("blt 4f")
60 __ASM_EMIT("vldm %[v]!, {q0-q1}") // q0 = v
61 __ASM_EMIT("vldm %[x], {q4-q5}") // q4 = x
62 __ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = v + zero
63 __ASM_EMIT("vadd.f32 q1, q1, q8")
64 __ASM_EMIT("vfma.f32 q4, q0, q9") // q4 = x + (v + zero) * norm
65 __ASM_EMIT("vfma.f32 q5, q1, q9")
66 __ASM_EMIT("sub %[count], #8")
67 __ASM_EMIT("vstm %[x]!, {q4-q5}")
68 __ASM_EMIT("4:")
69 // 4x block
70 __ASM_EMIT("adds %[count], #4")
71 __ASM_EMIT("blt 6f")
72 __ASM_EMIT("vldm %[v]!, {q0}") // q0 = v
73 __ASM_EMIT("vldm %[x], {q4}") // q4 = x
74 __ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = v + zero
75 __ASM_EMIT("vfma.f32 q4, q0, q9") // q4 = x + (v + zero) * norm
76 __ASM_EMIT("sub %[count], #4")
77 __ASM_EMIT("vstm %[x]!, {q4}")
78 __ASM_EMIT("6:")
79 // 1x blocks
80 __ASM_EMIT("adds %[count], #3")
81 __ASM_EMIT("blt 8f")
82 __ASM_EMIT("7:")
83 __ASM_EMIT("vld1.32 {d0[0]}, [%[v]]!") // q0 = v
84 __ASM_EMIT("vld1.32 {d8[0]}, [%[x]]") // q4 = x
85 __ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = v + zero
86 __ASM_EMIT("vfma.f32 q4, q0, q9") // q4 = x + (v + zero) * norm
87 __ASM_EMIT("subs %[count], #1")
88 __ASM_EMIT("vst1.32 {d8[0]}, [%[x]]!")
89 __ASM_EMIT("bge 7b")
90 __ASM_EMIT("8:")
91
92 : [x] "+r" (x), [v] "+r" (v),
93 [count] "+r" (count)
94 : [zero] "r" (&zero),
95 [norm] "r" (&norm)
96 : "cc", "memory",
97 "q0", "q1", "q2", "q3",
98 "q4", "q5", "q6", "q7",
99 "q8", "q9"
100 );
101 }
102
103
104 IF_ARCH_ARM(
105 static const uint32_t LOG_IARGS[] __lsp_aligned16 =
106 {
107 LSP_DSP_VEC4(0x007fffff), // X_MANT
108 LSP_DSP_VEC4(0x0000007f) // X_MMASK
109 };
110
111 static const float LOG_FARGS[] __lsp_aligned16 =
112 {
113 LSP_DSP_VEC4(1e-8), // X_AMP
114 LSP_DSP_VEC4(0.5f), // X_HALF
115 LSP_DSP_VEC4(M_SQRT1_2), // SQRT1_2
116 LSP_DSP_VEC4(1.0f), // ONE
117 LSP_DSP_VEC4(7.0376836292E-2), // C0
118 LSP_DSP_VEC4(-1.1514610310E-1), // C1
119 LSP_DSP_VEC4(1.1676998740E-1), // C2
120 LSP_DSP_VEC4(-1.2420140846E-1), // C3
121 LSP_DSP_VEC4(+1.4249322787E-1), // C4
122 LSP_DSP_VEC4(-1.6668057665E-1), // C5
123 LSP_DSP_VEC4(+2.0000714765E-1), // C6
124 LSP_DSP_VEC4(-2.4999993993E-1), // C7
125 LSP_DSP_VEC4(+3.3333331174E-1), // C8
126 LSP_DSP_VEC4(-0.5f), // C9
127 LSP_DSP_VEC4(M_LN2 - 2.12194440e-4) // LXE + LN2
128 };
129 )
130
131 void axis_apply_log1(float *x, const float *v, float zero, float norm_x, size_t count)
132 {
133 IF_ARCH_ARM(
134 float params[8] __lsp_aligned16;
135 params[0] = zero;
136 params[1] = norm_x;
137 const uint32_t *iptr = LOG_IARGS;
138 const float *fptr = LOG_FARGS;
139 );
140
141 //---------------------------------------------------------------
142 // Prepare constants
143 ARCH_ARM_ASM
144 (
145 __ASM_EMIT("vld1.32 {d0}, [%[params]]")
146 __ASM_EMIT("vdup.32 q1, d0[1]") // q2 = norm_x
147 __ASM_EMIT("vdup.32 q0, d0[0]") // q0 = zero
148 __ASM_EMIT("vst1.32 {q0-q1}, [%[params]]")
149
150 __ASM_EMIT("subs %[count], #16")
151 __ASM_EMIT("blo 2f")
152
153 // Do 16x blocks
154 __ASM_EMIT("1:")
155 __ASM_EMIT("vld1.32 {q4-q5}, [%[v]]!") // q4 = v, q5 = v, v += 8
156 __ASM_EMIT("vld1.32 {q6-q7}, [%[v]]!")
157 __ASM_EMIT("vld1.32 {q12}, [%[fptr]]!") // q12 = X_AMP, fptr += 4
158 __ASM_EMIT("vabs.f32 q4, q4") // q4 = abs(v)
159 __ASM_EMIT("vabs.f32 q5, q5")
160 __ASM_EMIT("vabs.f32 q6, q6")
161 __ASM_EMIT("vabs.f32 q7, q7")
162 __ASM_EMIT("vld1.32 {q13}, [%[params]]") // q13 = zero
163 __ASM_EMIT("vmax.f32 q4, q12") // q12 = max(X_AMP, abs(v)), ignores denormalized values
164 __ASM_EMIT("vmax.f32 q5, q12")
165 __ASM_EMIT("vmax.f32 q6, q12")
166 __ASM_EMIT("vmax.f32 q7, q12")
167 __ASM_EMIT("vmul.f32 q0, q4, q13") // q13 = max(X_AMP, abs(v)) * zero
168 __ASM_EMIT("vmul.f32 q1, q5, q13")
169 __ASM_EMIT("vmul.f32 q2, q6, q13")
170 __ASM_EMIT("vmul.f32 q3, q7, q13")
171 // Step 2: parse float value
172 __ASM_EMIT("vld1.32 {q12-q13}, [%[iptr]]") // q12 = MANT_MASK, q13 = FRAC_SUB = 127
173 __ASM_EMIT("vshr.u32 q4, q0, #23") // q4 = frac(v)
174 __ASM_EMIT("vshr.u32 q5, q1, #23")
175 __ASM_EMIT("vshr.u32 q6, q2, #23")
176 __ASM_EMIT("vshr.u32 q7, q3, #23")
177 __ASM_EMIT("vand.u32 q8, q0, q12") // q8 = mant(v)
178 __ASM_EMIT("vand.u32 q9, q1, q12")
179 __ASM_EMIT("vand.u32 q10, q2, q12")
180 __ASM_EMIT("vand.u32 q11, q3, q12")
181 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = 0.5f, q15 = sqrt(1/2), fptr += 8
182 __ASM_EMIT("vsub.i32 q4, q4, q13") // q4 = frac(v) - 127
183 __ASM_EMIT("vsub.i32 q5, q5, q13")
184 __ASM_EMIT("vsub.i32 q6, q6, q13")
185 __ASM_EMIT("vsub.i32 q7, q7, q13")
186 __ASM_EMIT("vorr.i32 q8, q8, q14") // q8 = V = mant(v)+0.5
187 __ASM_EMIT("vorr.i32 q9, q9, q14")
188 __ASM_EMIT("vorr.i32 q10, q10, q14")
189 __ASM_EMIT("vorr.i32 q11, q11, q14")
190 __ASM_EMIT("vcvt.f32.s32 q4, q4") // q4 = E = float(frac(v)-127)
191 __ASM_EMIT("vcvt.f32.s32 q5, q5")
192 __ASM_EMIT("vcvt.f32.s32 q6, q6")
193 __ASM_EMIT("vcvt.f32.s32 q7, q7")
194 // Prepare logarithm approximation calculations
195 __ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = 1.0, q13 = L0 , fptr += 4
196 __ASM_EMIT("vclt.f32 q0, q8, q15") // q0 = [ V < sqrt(1/2) ]
197 __ASM_EMIT("vclt.f32 q1, q9, q15")
198 __ASM_EMIT("vclt.f32 q2, q10, q15")
199 __ASM_EMIT("vclt.f32 q3, q11, q15")
200 __ASM_EMIT("vand.u32 q0, q0, q8") // q0 = V * [ V < sqrt(1/2) ]
201 __ASM_EMIT("vand.u32 q1, q1, q9")
202 __ASM_EMIT("vand.u32 q2, q2, q10")
203 __ASM_EMIT("vand.u32 q3, q3, q11")
204 __ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = V + V * [ V < sqrt(1/2) ]
205 __ASM_EMIT("vadd.f32 q1, q1, q9")
206 __ASM_EMIT("vadd.f32 q2, q2, q10")
207 __ASM_EMIT("vadd.f32 q3, q3, q11")
208 __ASM_EMIT("vclt.f32 q8, q8, q15") // q8 = [ V < sqrt(1/2) ]
209 __ASM_EMIT("vclt.f32 q9, q9, q15")
210 __ASM_EMIT("vclt.f32 q10, q10, q15")
211 __ASM_EMIT("vclt.f32 q11, q11, q15")
212 __ASM_EMIT("vsub.f32 q0, q0, q12") // q0 = A = V + V & [ V < sqrt(1/2) ] - 1.0
213 __ASM_EMIT("vsub.f32 q1, q1, q12")
214 __ASM_EMIT("vsub.f32 q2, q2, q12")
215 __ASM_EMIT("vsub.f32 q3, q3, q12")
216 __ASM_EMIT("vbic.u32 q8, q12, q8") // q8 = 1.0 & [ V >= sqrt(1/2) ]
217 __ASM_EMIT("vbic.u32 q9, q12, q9")
218 __ASM_EMIT("vbic.u32 q10, q12, q10")
219 __ASM_EMIT("vbic.u32 q11, q12, q11")
220 __ASM_EMIT("vadd.f32 q4, q4, q8") // q4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
221 __ASM_EMIT("vadd.f32 q5, q5, q9")
222 __ASM_EMIT("vadd.f32 q6, q6, q10")
223 __ASM_EMIT("vadd.f32 q7, q7, q11")
224 // Calculate logarithmic values
225 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L1, q15 = L2, fptr += 8
226 __ASM_EMIT("vmul.f32 q8, q0, q13") // q8 = L0*A
227 __ASM_EMIT("vmul.f32 q9, q1, q13")
228 __ASM_EMIT("vmul.f32 q10, q2, q13")
229 __ASM_EMIT("vmul.f32 q11, q3, q13")
230 __ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L1+L0*A
231 __ASM_EMIT("vadd.f32 q9, q9, q14")
232 __ASM_EMIT("vadd.f32 q10, q10, q14")
233 __ASM_EMIT("vadd.f32 q11, q11, q14")
234 __ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L3, q13 = L4, fptr += 8
235 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L1+L0*A)
236 __ASM_EMIT("vmul.f32 q9, q9, q1")
237 __ASM_EMIT("vmul.f32 q10, q10, q2")
238 __ASM_EMIT("vmul.f32 q11, q11, q3")
239 __ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L2+A*(L1+L0*A)
240 __ASM_EMIT("vadd.f32 q9, q9, q15")
241 __ASM_EMIT("vadd.f32 q10, q10, q15")
242 __ASM_EMIT("vadd.f32 q11, q11, q15")
243 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L2+A*(L1+L0*A))
244 __ASM_EMIT("vmul.f32 q9, q9, q1")
245 __ASM_EMIT("vmul.f32 q10, q10, q2")
246 __ASM_EMIT("vmul.f32 q11, q11, q3")
247 __ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L3+A*(L2+A*(L1+L0*A))
248 __ASM_EMIT("vadd.f32 q9, q9, q12")
249 __ASM_EMIT("vadd.f32 q10, q10, q12")
250 __ASM_EMIT("vadd.f32 q11, q11, q12")
251 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L5, q15 = L6, fptr += 8
252 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L3+A*(L2+A*(L1+L0*A)))
253 __ASM_EMIT("vmul.f32 q9, q9, q1")
254 __ASM_EMIT("vmul.f32 q10, q10, q2")
255 __ASM_EMIT("vmul.f32 q11, q11, q3")
256 __ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
257 __ASM_EMIT("vadd.f32 q9, q9, q13")
258 __ASM_EMIT("vadd.f32 q10, q10, q13")
259 __ASM_EMIT("vadd.f32 q11, q11, q13")
260 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
261 __ASM_EMIT("vmul.f32 q9, q9, q1")
262 __ASM_EMIT("vmul.f32 q10, q10, q2")
263 __ASM_EMIT("vmul.f32 q11, q11, q3")
264 __ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
265 __ASM_EMIT("vadd.f32 q9, q9, q14")
266 __ASM_EMIT("vadd.f32 q10, q10, q14")
267 __ASM_EMIT("vadd.f32 q11, q11, q14")
268 __ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L7, q13 = L8, fptr += 8
269 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
270 __ASM_EMIT("vmul.f32 q9, q9, q1")
271 __ASM_EMIT("vmul.f32 q10, q10, q2")
272 __ASM_EMIT("vmul.f32 q11, q11, q3")
273 __ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
274 __ASM_EMIT("vadd.f32 q9, q9, q15")
275 __ASM_EMIT("vadd.f32 q10, q10, q15")
276 __ASM_EMIT("vadd.f32 q11, q11, q15")
277 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
278 __ASM_EMIT("vmul.f32 q9, q9, q1")
279 __ASM_EMIT("vmul.f32 q10, q10, q2")
280 __ASM_EMIT("vmul.f32 q11, q11, q3")
281 __ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
282 __ASM_EMIT("vadd.f32 q9, q9, q12")
283 __ASM_EMIT("vadd.f32 q10, q10, q12")
284 __ASM_EMIT("vadd.f32 q11, q11, q12")
285 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]") // q14 = L9, q15 = (LXE + LN2), fptr += 8
286 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
287 __ASM_EMIT("vmul.f32 q9, q9, q1")
288 __ASM_EMIT("vmul.f32 q10, q10, q2")
289 __ASM_EMIT("vmul.f32 q11, q11, q3")
290 __ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
291 __ASM_EMIT("vadd.f32 q9, q9, q13")
292 __ASM_EMIT("vadd.f32 q10, q10, q13")
293 __ASM_EMIT("vadd.f32 q11, q11, q13")
294 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
295 __ASM_EMIT("vmul.f32 q9, q9, q1")
296 __ASM_EMIT("vmul.f32 q10, q10, q2")
297 __ASM_EMIT("vmul.f32 q11, q11, q3")
298 __ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
299 __ASM_EMIT("vadd.f32 q9, q9, q14")
300 __ASM_EMIT("vadd.f32 q10, q10, q14")
301 __ASM_EMIT("vadd.f32 q11, q11, q14")
302 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
303 __ASM_EMIT("vmul.f32 q9, q9, q1")
304 __ASM_EMIT("vmul.f32 q10, q10, q2")
305 __ASM_EMIT("vmul.f32 q11, q11, q3")
306 __ASM_EMIT("sub %[fptr], #0xd0") // fptr -= 52
307 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
308 __ASM_EMIT("vmul.f32 q9, q9, q1")
309 __ASM_EMIT("vmul.f32 q10, q10, q2")
310 __ASM_EMIT("vmul.f32 q11, q11, q3")
311 __ASM_EMIT("vmla.f32 q8, q4, q15") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
312 __ASM_EMIT("vmla.f32 q9, q5, q15")
313 __ASM_EMIT("vmla.f32 q10, q6, q15")
314 __ASM_EMIT("vmla.f32 q11, q7, q15")
315 __ASM_EMIT("vadd.f32 q8, q8, q0") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
316 __ASM_EMIT("vadd.f32 q9, q9, q1")
317 __ASM_EMIT("vadd.f32 q10, q10, q2")
318 __ASM_EMIT("vadd.f32 q11, q11, q3")
319 // Apply values to axes, q0 = log(abs(v*zero))
320 __ASM_EMIT("vldm %[x], {q4-q7}") // q4-q7 = x
321 __ASM_EMIT("vld1.32 {q12-q13}, [%[params]]") // q12 = zero, q13 = norm_x
322 __ASM_EMIT("vmla.f32 q4, q8, q13") // q4 = x + log(abs(v*zero)) * norm_x
323 __ASM_EMIT("vmla.f32 q5, q9, q13")
324 __ASM_EMIT("vmla.f32 q6, q10, q13")
325 __ASM_EMIT("vmla.f32 q7, q11, q13")
326 __ASM_EMIT("subs %[count], #16")
327 __ASM_EMIT("vstm %[x]!, {q4-q7}") // x += 8
328 __ASM_EMIT("bge 1b")
329
330 // Do 8x block
331 __ASM_EMIT("2:")
332 __ASM_EMIT("adds %[count], #8")
333 __ASM_EMIT("blt 4f")
334
335 __ASM_EMIT("vld1.32 {q4-q5}, [%[v]]!") // q4 = v, q5 = v, v += 8
336 __ASM_EMIT("vld1.32 {q12}, [%[fptr]]!") // q12 = X_AMP, fptr += 4
337 __ASM_EMIT("vabs.f32 q4, q4") // q4 = abs(v)
338 __ASM_EMIT("vabs.f32 q5, q5")
339 __ASM_EMIT("vld1.32 {q13}, [%[params]]") // q13 = zero, params += 4
340 __ASM_EMIT("vmax.f32 q4, q12") // q12 = max(X_AMP, abs(v)), ignores denormalized values
341 __ASM_EMIT("vmax.f32 q5, q12")
342 __ASM_EMIT("vmul.f32 q0, q4, q13") // q13 = max(X_AMP, abs(v)) * zero
343 __ASM_EMIT("vmul.f32 q1, q5, q13")
344 // Step 2: parse float value
345 __ASM_EMIT("vld1.32 {q12-q13}, [%[iptr]]") // q12 = MANT_MASK, q13 = FRAC_SUB = 127
346 __ASM_EMIT("vshr.u32 q4, q0, #23") // q4 = frac(v)
347 __ASM_EMIT("vshr.u32 q5, q1, #23")
348 __ASM_EMIT("vand.u32 q8, q0, q12") // q8 = mant(v)
349 __ASM_EMIT("vand.u32 q9, q1, q12")
350 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = 0.5f, q15 = sqrt(1/2), fptr += 8
351 __ASM_EMIT("vsub.i32 q4, q4, q13") // q4 = frac(v) - 127
352 __ASM_EMIT("vsub.i32 q5, q5, q13")
353 __ASM_EMIT("vorr.i32 q8, q8, q14") // q8 = V = mant(v)+0.5
354 __ASM_EMIT("vorr.i32 q9, q9, q14")
355 __ASM_EMIT("vcvt.f32.s32 q4, q4") // q4 = E = float(frac(v)-127)
356 __ASM_EMIT("vcvt.f32.s32 q5, q5")
357 // Prepare logarithm approximation calculations
358 __ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = 1.0, q13 = L0 , fptr += 4
359 __ASM_EMIT("vclt.f32 q0, q8, q15") // q0 = [ V < sqrt(1/2) ]
360 __ASM_EMIT("vclt.f32 q1, q9, q15")
361 __ASM_EMIT("vand.u32 q0, q0, q8") // q0 = V & [ V < sqrt(1/2) ]
362 __ASM_EMIT("vand.u32 q1, q1, q9")
363 __ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = V + V & [ V < sqrt(1/2) ]
364 __ASM_EMIT("vadd.f32 q1, q1, q9")
365 __ASM_EMIT("vclt.f32 q8, q8, q15") // q8 = [ V < sqrt(1/2) ]
366 __ASM_EMIT("vclt.f32 q9, q9, q15")
367 __ASM_EMIT("vsub.f32 q0, q0, q12") // q0 = A = V + V & [ V < sqrt(1/2) ] - 1.0
368 __ASM_EMIT("vsub.f32 q1, q1, q12")
369 __ASM_EMIT("vbic.u32 q8, q12, q8") // q8 = 1.0 & [ V >= sqrt(1/2) ]
370 __ASM_EMIT("vbic.u32 q9, q12, q9")
371 __ASM_EMIT("vadd.f32 q4, q4, q8") // q4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
372 __ASM_EMIT("vadd.f32 q5, q5, q9")
373 // Calculate logarithmic values
374 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L1, q15 = L2, fptr += 8
375 __ASM_EMIT("vmul.f32 q8, q0, q13") // q8 = L0*A
376 __ASM_EMIT("vmul.f32 q9, q1, q13")
377 __ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L1+L0*A
378 __ASM_EMIT("vadd.f32 q9, q9, q14")
379 __ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L3, q13 = L4, fptr += 8
380 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L1+L0*A)
381 __ASM_EMIT("vmul.f32 q9, q9, q1")
382 __ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L2+A*(L1+L0*A)
383 __ASM_EMIT("vadd.f32 q9, q9, q15")
384 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L2+A*(L1+L0*A))
385 __ASM_EMIT("vmul.f32 q9, q9, q1")
386 __ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L3+A*(L2+A*(L1+L0*A))
387 __ASM_EMIT("vadd.f32 q9, q9, q12")
388 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L5, q15 = L6, fptr += 8
389 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L3+A*(L2+A*(L1+L0*A)))
390 __ASM_EMIT("vmul.f32 q9, q9, q1")
391 __ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
392 __ASM_EMIT("vadd.f32 q9, q9, q13")
393 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
394 __ASM_EMIT("vmul.f32 q9, q9, q1")
395 __ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
396 __ASM_EMIT("vadd.f32 q9, q9, q14")
397 __ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L7, q13 = L8, fptr += 8
398 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
399 __ASM_EMIT("vmul.f32 q9, q9, q1")
400 __ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
401 __ASM_EMIT("vadd.f32 q9, q9, q15")
402 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
403 __ASM_EMIT("vmul.f32 q9, q9, q1")
404 __ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
405 __ASM_EMIT("vadd.f32 q9, q9, q12")
406 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]") // q14 = L9, q15 = (LXE + LN2), fptr += 8
407 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
408 __ASM_EMIT("vmul.f32 q9, q9, q1")
409 __ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
410 __ASM_EMIT("vadd.f32 q9, q9, q13")
411 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
412 __ASM_EMIT("vmul.f32 q9, q9, q1")
413 __ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
414 __ASM_EMIT("vadd.f32 q9, q9, q14")
415 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
416 __ASM_EMIT("vmul.f32 q9, q9, q1")
417 __ASM_EMIT("sub %[fptr], #0xd0") // fptr -= 52
418 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
419 __ASM_EMIT("vmul.f32 q9, q9, q1")
420 __ASM_EMIT("vmla.f32 q8, q4, q15") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
421 __ASM_EMIT("vmla.f32 q9, q5, q15")
422 __ASM_EMIT("vadd.f32 q8, q8, q0") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
423 __ASM_EMIT("vadd.f32 q9, q9, q1")
424 // Apply values to axes, q0 = log(abs(v*zero))
425 __ASM_EMIT("vld1.32 {q4-q5}, [%[x]]") // q4 = x, q5 = x
426 __ASM_EMIT("vld1.32 {q12-q13}, [%[params]]") // q12 = zero, q13 = norm_x
427 __ASM_EMIT("vmla.f32 q4, q8, q13") // q4 = x + log(abs(v*zero)) * norm_x
428 __ASM_EMIT("vmla.f32 q5, q9, q13")
429 __ASM_EMIT("sub %[count], #8")
430 __ASM_EMIT("vst1.32 {q4-q5}, [%[x]]!") // x += 8
431
432 // Do x4 block
433 __ASM_EMIT("4:")
434 __ASM_EMIT("adds %[count], #4")
435 __ASM_EMIT("blt 6f")
436
437 __ASM_EMIT("vld1.32 {q4}, [%[v]]!") // q4 = v, v += 4
438 __ASM_EMIT("vld1.32 {q12}, [%[fptr]]!") // q12 = X_AMP, fptr += 4
439 __ASM_EMIT("vabs.f32 q4, q4") // q4 = abs(v)
440 __ASM_EMIT("vld1.32 {q13}, [%[params]]") // q13 = zero, params += 4
441 __ASM_EMIT("vmax.f32 q4, q12") // q4 = max(X_AMP, abs(v)), ignores denormalized values
442 __ASM_EMIT("vmul.f32 q0, q4, q13") // q0 = max(X_AMP, abs(v)) * zero
443 // Step 2: parse float value
444 __ASM_EMIT("vld1.32 {q12-q13}, [%[iptr]]") // q12 = MANT_MASK, q13 = FRAC_SUB = 127
445 __ASM_EMIT("vshr.u32 q4, q0, #23") // q4 = frac(v)
446 __ASM_EMIT("vand.u32 q8, q0, q12") // q8 = mant(v)
447 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = 0.5f, q15 = sqrt(1/2), fptr += 8
448 __ASM_EMIT("vsub.i32 q4, q4, q13") // q4 = frac(v) - 127
449 __ASM_EMIT("vorr.i32 q8, q8, q14") // q8 = V = mant(v)+0.5
450 __ASM_EMIT("vcvt.f32.s32 q4, q4") // q4 = E = float(frac(v)-127)
451 // Prepare logarithm approximation calculations
452 __ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = 1.0, q13 = L0 , fptr += 4
453 __ASM_EMIT("vclt.f32 q0, q8, q15") // q0 = [ V < sqrt(1/2) ]
454 __ASM_EMIT("vand.u32 q0, q0, q8") // q0 = V & [ V < sqrt(1/2) ]
455 __ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = V + V * [ V < sqrt(1/2) ]
456 __ASM_EMIT("vclt.f32 q8, q8, q15") // q8 = [ V < sqrt(1/2) ]
457 __ASM_EMIT("vsub.f32 q0, q0, q12") // q0 = A = V + V & [ V < sqrt(1/2) ] - 1.0
458 __ASM_EMIT("vbic.u32 q8, q12, q8") // q8 = 1.0 & [ V >= sqrt(1/2) ]
459 __ASM_EMIT("vadd.f32 q4, q4, q8") // q4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
460 // Calculate logarithmic values
461 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L1, q15 = L2, fptr += 8
462 __ASM_EMIT("vmul.f32 q8, q0, q13") // q8 = L0*A
463 __ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L1+L0*A
464 __ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L3, q13 = L4, fptr += 8
465 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L1+L0*A)
466 __ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L2+A*(L1+L0*A)
467 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L2+A*(L1+L0*A))
468 __ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L3+A*(L2+A*(L1+L0*A))
469 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L5, q15 = L6, fptr += 8
470 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L3+A*(L2+A*(L1+L0*A)))
471 __ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
472 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
473 __ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
474 __ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L7, q13 = L8, fptr += 8
475 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
476 __ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
477 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
478 __ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
479 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]") // q14 = L9, q15 = (LXE + LN2), fptr += 8
480 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
481 __ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
482 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
483 __ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
484 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
485 __ASM_EMIT("sub %[fptr], #0xd0") // fptr -= 52
486 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
487 __ASM_EMIT("vmla.f32 q8, q4, q15") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
488 __ASM_EMIT("vadd.f32 q8, q8, q0") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
489 // Apply values to axes, q0 = log(abs(v*zero))
490 __ASM_EMIT("vld1.32 {q4}, [%[x]]") // q4 = x
491 __ASM_EMIT("vld1.32 {q12-q13}, [%[params]]") // q12 = zero, q13 = norm_x
492 __ASM_EMIT("vmla.f32 q4, q8, q13") // q4 = x + log(abs(v*zero)) * norm_x
493 __ASM_EMIT("sub %[count], #4")
494 __ASM_EMIT("vst1.32 {q4}, [%[x]]!") // x += 4
495
496 // Do x1 blocks
497 __ASM_EMIT("6:")
498 __ASM_EMIT("adds %[count], #3")
499 __ASM_EMIT("blt 8f")
500
501 __ASM_EMIT("7:")
502 __ASM_EMIT("vldm %[v]!, {s8}") // d4 = v, v += 4
503 __ASM_EMIT("vld1.32 {q6}, [%[fptr]]!") // d12 = X_AMP, fptr += 4
504 __ASM_EMIT("vabs.f32 d4, d4") // d4 = abs(v)
505 __ASM_EMIT("vld1.32 {q7}, [%[params]]") // d14 = zero, params += 4
506 __ASM_EMIT("vmax.f32 d4, d12") // d4 = max(X_AMP, abs(v)), ignores denormalized values
507 __ASM_EMIT("vmul.f32 d0, d4, d14") // d0 = max(X_AMP, abs(v)) * zero
508 // Step 2: parse float value
509 __ASM_EMIT("vld1.32 {q6-q7}, [%[iptr]]") // d12 = MANT_MASK, d14 = FRAC_SUB = 127
510 __ASM_EMIT("vshr.u32 d4, d0, #23") // d4 = frac(v)
511 __ASM_EMIT("vand.u32 d8, d0, d12") // d8 = mant(v)
512 __ASM_EMIT("vld1.32 {q8-q9}, [%[fptr]]!") // d16 = 0.5f, d18 = sqrt(1/2), fptr += 8
513 __ASM_EMIT("vsub.i32 d4, d4, d14") // d4 = frac(v) - 127
514 __ASM_EMIT("vorr.i32 d8, d8, d16") // d8 = V = mant(v)+0.5
515 __ASM_EMIT("vcvt.f32.s32 d4, d4") // d4 = E = float(frac(v)-127)
516 // Prepare logarithm approximation calculations
517 __ASM_EMIT("vld1.32 {q6-q7}, [%[fptr]]!") // d12 = 1.0, d14 = L0 , fptr += 4
518 __ASM_EMIT("vclt.f32 d0, d8, d18") // d0 = [ V < sqrt(1/2) ]
519 __ASM_EMIT("vand.u32 d0, d0, d8") // d0 = V & [ V < sqrt(1/2) ]
520 __ASM_EMIT("vadd.f32 d0, d0, d8") // d0 = V + V & [ V < sqrt(1/2) ]
521 __ASM_EMIT("vclt.f32 d8, d8, d18") // d8 = [ V < sqrt(1/2) ]
522 __ASM_EMIT("vsub.f32 d0, d0, d12") // d0 = A = V + V & [ V < sqrt(1/2) ] - 1.0
523 __ASM_EMIT("vbic.u32 d8, d12, d8") // d8 = 1.0 & [ V >= sqrt(1/2) ]
524 __ASM_EMIT("vadd.f32 d4, d4, d8") // d4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
525 // Calculate logarithmic values
526 __ASM_EMIT("vld1.32 {q8-q9}, [%[fptr]]!") // d16 = L1, d18 = L2, fptr += 8
527 __ASM_EMIT("vmul.f32 d8, d0, d14") // d8 = L0*A
528 __ASM_EMIT("vadd.f32 d8, d8, d16") // d8 = L1+L0*A
529 __ASM_EMIT("vld1.32 {q6-q7}, [%[fptr]]!") // d12 = L3, d14 = L4, fptr += 8
530 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L1+L0*A)
531 __ASM_EMIT("vadd.f32 d8, d8, d18") // d8 = L2+A*(L1+L0*A)
532 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L2+A*(L1+L0*A))
533 __ASM_EMIT("vadd.f32 d8, d8, d12") // d8 = L3+A*(L2+A*(L1+L0*A))
534 __ASM_EMIT("vld1.32 {q8-q9}, [%[fptr]]!") // d16 = L5, d18 = L6, fptr += 8
535 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L3+A*(L2+A*(L1+L0*A)))
536 __ASM_EMIT("vadd.f32 d8, d8, d14") // d8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
537 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
538 __ASM_EMIT("vadd.f32 d8, d8, d16") // d8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
539 __ASM_EMIT("vld1.32 {q6-q7}, [%[fptr]]!") // d12 = L7, d14 = L8, fptr += 8
540 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
541 __ASM_EMIT("vadd.f32 d8, d8, d18") // d8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
542 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
543 __ASM_EMIT("vadd.f32 d8, d8, d12") // d8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
544 __ASM_EMIT("vld1.32 {q8-q9}, [%[fptr]]") // d16 = L9, d18 = (LXE + LN2), fptr += 8
545 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
546 __ASM_EMIT("vadd.f32 d8, d8, d14") // d8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
547 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
548 __ASM_EMIT("vadd.f32 d8, d8, d16") // d8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
549 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
550 __ASM_EMIT("sub %[fptr], #0xd0") // fptr -= 52
551 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
552 __ASM_EMIT("vmla.f32 d8, d4, d18") // d8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
553 __ASM_EMIT("vadd.f32 d8, d8, d0") // d8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
554 // Apply values to axes, d0 = log(abs(v*zero))
555 __ASM_EMIT("vldm %[x], {s8}") // d4 = x
556 __ASM_EMIT("vld1.32 {q6-q7}, [%[params]]") // d12 = zero, d14 = norm_x
557 __ASM_EMIT("vmla.f32 d4, d8, d14") // d4 = x + log(abs(v*zero)) * norm_x
558 __ASM_EMIT("subs %[count], #1")
559 __ASM_EMIT("vstm %[x]!, {s8}") // x++
560 __ASM_EMIT("bge 7b")
561
562 __ASM_EMIT("8:")
563
564 : [v] "+r" (v), [x] "+r" (x),
565 [count] "+r" (count),
566 [iptr] "+r" (iptr), [fptr] "+r" (fptr)
567 : [params] "r" (params)
568 : "cc", "memory",
569 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
570 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
571 );
572 }
573
574 void axis_apply_log2(float *x, float *y, const float *v, float zero, float norm_x, float norm_y, size_t count)
575 {
576 IF_ARCH_ARM(
577 float params[12] __lsp_aligned16;
578 params[0] = zero;
579 params[1] = norm_x;
580 params[2] = norm_y;
581 const uint32_t *iptr = LOG_IARGS;
582 const float *fptr = LOG_FARGS;
583 );
584
585 //---------------------------------------------------------------
586 // Prepare constants
587 ARCH_ARM_ASM
588 (
589 __ASM_EMIT("vld1.32 {q0}, [%[params]]")
590 __ASM_EMIT("vdup.32 q3, d1[0]") // q3 = norm_y
591 __ASM_EMIT("vdup.32 q2, d0[1]") // q2 = norm_x
592 __ASM_EMIT("vdup.32 q0, d0[0]") // q0 = zero
593 __ASM_EMIT("vst1.32 {q0}, [%[params]]!") // params += 4
594 __ASM_EMIT("vst1.32 {q2-q3}, [%[params]]")
595
596 __ASM_EMIT("subs %[count], #16")
597 __ASM_EMIT("blo 2f")
598
599 // Do 16x blocks
600 __ASM_EMIT("1:")
601 __ASM_EMIT("vld1.32 {q4-q5}, [%[v]]!") // q4 = v, q5 = v, v += 8
602 __ASM_EMIT("sub %[params], #0x10") // params -= 4
603 __ASM_EMIT("vld1.32 {q6-q7}, [%[v]]!")
604 __ASM_EMIT("vld1.32 {q12}, [%[fptr]]!") // q12 = X_AMP, fptr += 4
605 __ASM_EMIT("vabs.f32 q4, q4") // q4 = abs(v)
606 __ASM_EMIT("vabs.f32 q5, q5")
607 __ASM_EMIT("vabs.f32 q6, q6")
608 __ASM_EMIT("vabs.f32 q7, q7")
609 __ASM_EMIT("vld1.32 {q13}, [%[params]]!") // q13 = zero, params += 4
610 __ASM_EMIT("vmax.f32 q4, q12") // q12 = max(X_AMP, abs(v)), ignores denormalized values
611 __ASM_EMIT("vmax.f32 q5, q12")
612 __ASM_EMIT("vmax.f32 q6, q12")
613 __ASM_EMIT("vmax.f32 q7, q12")
614 __ASM_EMIT("vmul.f32 q0, q4, q13") // q13 = max(X_AMP, abs(v)) * zero
615 __ASM_EMIT("vmul.f32 q1, q5, q13")
616 __ASM_EMIT("vmul.f32 q2, q6, q13")
617 __ASM_EMIT("vmul.f32 q3, q7, q13")
618 // Step 2: parse float value
619 __ASM_EMIT("vld1.32 {q12-q13}, [%[iptr]]") // q12 = MANT_MASK, q13 = FRAC_SUB = 127
620 __ASM_EMIT("vshr.u32 q4, q0, #23") // q4 = frac(v)
621 __ASM_EMIT("vshr.u32 q5, q1, #23")
622 __ASM_EMIT("vshr.u32 q6, q2, #23")
623 __ASM_EMIT("vshr.u32 q7, q3, #23")
624 __ASM_EMIT("vand.u32 q8, q0, q12") // q8 = mant(v)
625 __ASM_EMIT("vand.u32 q9, q1, q12")
626 __ASM_EMIT("vand.u32 q10, q2, q12")
627 __ASM_EMIT("vand.u32 q11, q3, q12")
628 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = 0.5f, q15 = sqrt(1/2), fptr += 8
629 __ASM_EMIT("vsub.i32 q4, q4, q13") // q4 = frac(v) - 127
630 __ASM_EMIT("vsub.i32 q5, q5, q13")
631 __ASM_EMIT("vsub.i32 q6, q6, q13")
632 __ASM_EMIT("vsub.i32 q7, q7, q13")
633 __ASM_EMIT("vorr.i32 q8, q8, q14") // q8 = V = mant(v)+0.5
634 __ASM_EMIT("vorr.i32 q9, q9, q14")
635 __ASM_EMIT("vorr.i32 q10, q10, q14")
636 __ASM_EMIT("vorr.i32 q11, q11, q14")
637 __ASM_EMIT("vcvt.f32.s32 q4, q4") // q4 = E = float(frac(v)-127)
638 __ASM_EMIT("vcvt.f32.s32 q5, q5")
639 __ASM_EMIT("vcvt.f32.s32 q6, q6")
640 __ASM_EMIT("vcvt.f32.s32 q7, q7")
641 // Prepare logarithm approximation calculations
642 __ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = 1.0, q13 = L0 , fptr += 4
643 __ASM_EMIT("vclt.f32 q0, q8, q15") // q0 = [ V < sqrt(1/2) ]
644 __ASM_EMIT("vclt.f32 q1, q9, q15")
645 __ASM_EMIT("vclt.f32 q2, q10, q15")
646 __ASM_EMIT("vclt.f32 q3, q11, q15")
647 __ASM_EMIT("vand.u32 q0, q0, q8") // q0 = V * [ V < sqrt(1/2) ]
648 __ASM_EMIT("vand.u32 q1, q1, q9")
649 __ASM_EMIT("vand.u32 q2, q2, q10")
650 __ASM_EMIT("vand.u32 q3, q3, q11")
651 __ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = V + V * [ V < sqrt(1/2) ]
652 __ASM_EMIT("vadd.f32 q1, q1, q9")
653 __ASM_EMIT("vadd.f32 q2, q2, q10")
654 __ASM_EMIT("vadd.f32 q3, q3, q11")
655 __ASM_EMIT("vclt.f32 q8, q8, q15") // q8 = [ V < sqrt(1/2) ]
656 __ASM_EMIT("vclt.f32 q9, q9, q15")
657 __ASM_EMIT("vclt.f32 q10, q10, q15")
658 __ASM_EMIT("vclt.f32 q11, q11, q15")
659 __ASM_EMIT("vsub.f32 q0, q0, q12") // q0 = A = V + V & [ V < sqrt(1/2) ] - 1.0
660 __ASM_EMIT("vsub.f32 q1, q1, q12")
661 __ASM_EMIT("vsub.f32 q2, q2, q12")
662 __ASM_EMIT("vsub.f32 q3, q3, q12")
663 __ASM_EMIT("vbic.u32 q8, q12, q8") // q8 = 1.0 & [ V >= sqrt(1/2) ]
664 __ASM_EMIT("vbic.u32 q9, q12, q9")
665 __ASM_EMIT("vbic.u32 q10, q12, q10")
666 __ASM_EMIT("vbic.u32 q11, q12, q11")
667 __ASM_EMIT("vadd.f32 q4, q4, q8") // q4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
668 __ASM_EMIT("vadd.f32 q5, q5, q9")
669 __ASM_EMIT("vadd.f32 q6, q6, q10")
670 __ASM_EMIT("vadd.f32 q7, q7, q11")
671 // Calculate logarithmic values
672 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L1, q15 = L2, fptr += 8
673 __ASM_EMIT("vmul.f32 q8, q0, q13") // q8 = L0*A
674 __ASM_EMIT("vmul.f32 q9, q1, q13")
675 __ASM_EMIT("vmul.f32 q10, q2, q13")
676 __ASM_EMIT("vmul.f32 q11, q3, q13")
677 __ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L1+L0*A
678 __ASM_EMIT("vadd.f32 q9, q9, q14")
679 __ASM_EMIT("vadd.f32 q10, q10, q14")
680 __ASM_EMIT("vadd.f32 q11, q11, q14")
681 __ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L3, q13 = L4, fptr += 8
682 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L1+L0*A)
683 __ASM_EMIT("vmul.f32 q9, q9, q1")
684 __ASM_EMIT("vmul.f32 q10, q10, q2")
685 __ASM_EMIT("vmul.f32 q11, q11, q3")
686 __ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L2+A*(L1+L0*A)
687 __ASM_EMIT("vadd.f32 q9, q9, q15")
688 __ASM_EMIT("vadd.f32 q10, q10, q15")
689 __ASM_EMIT("vadd.f32 q11, q11, q15")
690 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L2+A*(L1+L0*A))
691 __ASM_EMIT("vmul.f32 q9, q9, q1")
692 __ASM_EMIT("vmul.f32 q10, q10, q2")
693 __ASM_EMIT("vmul.f32 q11, q11, q3")
694 __ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L3+A*(L2+A*(L1+L0*A))
695 __ASM_EMIT("vadd.f32 q9, q9, q12")
696 __ASM_EMIT("vadd.f32 q10, q10, q12")
697 __ASM_EMIT("vadd.f32 q11, q11, q12")
698 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L5, q15 = L6, fptr += 8
699 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L3+A*(L2+A*(L1+L0*A)))
700 __ASM_EMIT("vmul.f32 q9, q9, q1")
701 __ASM_EMIT("vmul.f32 q10, q10, q2")
702 __ASM_EMIT("vmul.f32 q11, q11, q3")
703 __ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
704 __ASM_EMIT("vadd.f32 q9, q9, q13")
705 __ASM_EMIT("vadd.f32 q10, q10, q13")
706 __ASM_EMIT("vadd.f32 q11, q11, q13")
707 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
708 __ASM_EMIT("vmul.f32 q9, q9, q1")
709 __ASM_EMIT("vmul.f32 q10, q10, q2")
710 __ASM_EMIT("vmul.f32 q11, q11, q3")
711 __ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
712 __ASM_EMIT("vadd.f32 q9, q9, q14")
713 __ASM_EMIT("vadd.f32 q10, q10, q14")
714 __ASM_EMIT("vadd.f32 q11, q11, q14")
715 __ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L7, q13 = L8, fptr += 8
716 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
717 __ASM_EMIT("vmul.f32 q9, q9, q1")
718 __ASM_EMIT("vmul.f32 q10, q10, q2")
719 __ASM_EMIT("vmul.f32 q11, q11, q3")
720 __ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
721 __ASM_EMIT("vadd.f32 q9, q9, q15")
722 __ASM_EMIT("vadd.f32 q10, q10, q15")
723 __ASM_EMIT("vadd.f32 q11, q11, q15")
724 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
725 __ASM_EMIT("vmul.f32 q9, q9, q1")
726 __ASM_EMIT("vmul.f32 q10, q10, q2")
727 __ASM_EMIT("vmul.f32 q11, q11, q3")
728 __ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
729 __ASM_EMIT("vadd.f32 q9, q9, q12")
730 __ASM_EMIT("vadd.f32 q10, q10, q12")
731 __ASM_EMIT("vadd.f32 q11, q11, q12")
732 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]") // q14 = L9, q15 = (LXE + LN2), fptr += 8
733 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
734 __ASM_EMIT("vmul.f32 q9, q9, q1")
735 __ASM_EMIT("vmul.f32 q10, q10, q2")
736 __ASM_EMIT("vmul.f32 q11, q11, q3")
737 __ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
738 __ASM_EMIT("vadd.f32 q9, q9, q13")
739 __ASM_EMIT("vadd.f32 q10, q10, q13")
740 __ASM_EMIT("vadd.f32 q11, q11, q13")
741 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
742 __ASM_EMIT("vmul.f32 q9, q9, q1")
743 __ASM_EMIT("vmul.f32 q10, q10, q2")
744 __ASM_EMIT("vmul.f32 q11, q11, q3")
745 __ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
746 __ASM_EMIT("vadd.f32 q9, q9, q14")
747 __ASM_EMIT("vadd.f32 q10, q10, q14")
748 __ASM_EMIT("vadd.f32 q11, q11, q14")
749 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
750 __ASM_EMIT("vmul.f32 q9, q9, q1")
751 __ASM_EMIT("vmul.f32 q10, q10, q2")
752 __ASM_EMIT("vmul.f32 q11, q11, q3")
753 __ASM_EMIT("sub %[fptr], #0xd0") // fptr -= 52
754 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
755 __ASM_EMIT("vmul.f32 q9, q9, q1")
756 __ASM_EMIT("vmul.f32 q10, q10, q2")
757 __ASM_EMIT("vmul.f32 q11, q11, q3")
758 __ASM_EMIT("vmla.f32 q8, q4, q15") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
759 __ASM_EMIT("vmla.f32 q9, q5, q15")
760 __ASM_EMIT("vmla.f32 q10, q6, q15")
761 __ASM_EMIT("vmla.f32 q11, q7, q15")
762 __ASM_EMIT("vadd.f32 q8, q8, q0") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
763 __ASM_EMIT("vadd.f32 q9, q9, q1")
764 __ASM_EMIT("vadd.f32 q10, q10, q2")
765 __ASM_EMIT("vadd.f32 q11, q11, q3")
766 // Apply values to axes, q0 = log(abs(v*zero))
767 __ASM_EMIT("vldm %[x], {q4-q7}") // q4 = x, q5 = x, q6 = x, q7 = x
768 __ASM_EMIT("vldm %[y], {q0-q3}") // q0 = y, q1 = y, q2 = y, q3 = y
769 __ASM_EMIT("vld1.32 {q12-q13}, [%[params]]") // q12 = norm_x, q13 = norm_y
770 __ASM_EMIT("vmla.f32 q4, q8, q12") // q4 = x + log(abs(v*zero)) * norm_x
771 __ASM_EMIT("vmla.f32 q5, q9, q12")
772 __ASM_EMIT("vmla.f32 q6, q10, q12")
773 __ASM_EMIT("vmla.f32 q7, q11, q12")
774 __ASM_EMIT("vmla.f32 q0, q8, q13") // q0 = y + log(abs(v*zero)) * norm_y
775 __ASM_EMIT("vmla.f32 q1, q9, q13")
776 __ASM_EMIT("vmla.f32 q2, q10, q13")
777 __ASM_EMIT("vmla.f32 q3, q11, q13")
778 __ASM_EMIT("subs %[count], #16")
779 __ASM_EMIT("vstm %[x]!, {q4-q7}") // x += 16
780 __ASM_EMIT("vstm %[y]!, {q0-q3}") // y += 16
781 __ASM_EMIT("bge 1b")
782
783 // Do 8x block
784 __ASM_EMIT("2:")
785 __ASM_EMIT("adds %[count], #8")
786 __ASM_EMIT("blt 4f")
787
788 __ASM_EMIT("sub %[params], #0x10") // params -= 4
789 __ASM_EMIT("vld1.32 {q4-q5}, [%[v]]!") // q4 = v, q5 = v, v += 8
790 __ASM_EMIT("vld1.32 {q12}, [%[fptr]]!") // q12 = X_AMP, fptr += 4
791 __ASM_EMIT("vabs.f32 q4, q4") // q4 = abs(v)
792 __ASM_EMIT("vabs.f32 q5, q5")
793 __ASM_EMIT("vld1.32 {q13}, [%[params]]!") // q13 = zero, params += 4
794 __ASM_EMIT("vmax.f32 q4, q12") // q12 = max(X_AMP, abs(v)), ignores denormalized values
795 __ASM_EMIT("vmax.f32 q5, q12")
796 __ASM_EMIT("vmul.f32 q0, q4, q13") // q13 = max(X_AMP, abs(v)) * zero
797 __ASM_EMIT("vmul.f32 q1, q5, q13")
798 // Step 2: parse float value
799 __ASM_EMIT("vld1.32 {q12-q13}, [%[iptr]]") // q12 = MANT_MASK, q13 = FRAC_SUB = 127
800 __ASM_EMIT("vshr.u32 q4, q0, #23") // q4 = frac(v)
801 __ASM_EMIT("vshr.u32 q5, q1, #23")
802 __ASM_EMIT("vand.u32 q8, q0, q12") // q8 = mant(v)
803 __ASM_EMIT("vand.u32 q9, q1, q12")
804 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = 0.5f, q15 = sqrt(1/2), fptr += 8
805 __ASM_EMIT("vsub.i32 q4, q4, q13") // q4 = frac(v) - 127
806 __ASM_EMIT("vsub.i32 q5, q5, q13")
807 __ASM_EMIT("vorr.i32 q8, q8, q14") // q8 = V = mant(v)+0.5
808 __ASM_EMIT("vorr.i32 q9, q9, q14")
809 __ASM_EMIT("vcvt.f32.s32 q4, q4") // q4 = E = float(frac(v)-127)
810 __ASM_EMIT("vcvt.f32.s32 q5, q5")
811 // Prepare logarithm approximation calculations
812 __ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = 1.0, q13 = L0 , fptr += 4
813 __ASM_EMIT("vclt.f32 q0, q8, q15") // q0 = [ V < sqrt(1/2) ]
814 __ASM_EMIT("vclt.f32 q1, q9, q15")
815 __ASM_EMIT("vand.u32 q0, q0, q8") // q0 = V & [ V < sqrt(1/2) ]
816 __ASM_EMIT("vand.u32 q1, q1, q9")
817 __ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = V + V & [ V < sqrt(1/2) ]
818 __ASM_EMIT("vadd.f32 q1, q1, q9")
819 __ASM_EMIT("vclt.f32 q8, q8, q15") // q8 = [ V < sqrt(1/2) ]
820 __ASM_EMIT("vclt.f32 q9, q9, q15")
821 __ASM_EMIT("vsub.f32 q0, q0, q12") // q0 = A = V + V & [ V < sqrt(1/2) ] - 1.0
822 __ASM_EMIT("vsub.f32 q1, q1, q12")
823 __ASM_EMIT("vbic.u32 q8, q12, q8") // q8 = 1.0 & [ V >= sqrt(1/2) ]
824 __ASM_EMIT("vbic.u32 q9, q12, q9")
825 __ASM_EMIT("vadd.f32 q4, q4, q8") // q4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
826 __ASM_EMIT("vadd.f32 q5, q5, q9")
827 // Calculate logarithmic values
828 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L1, q15 = L2, fptr += 8
829 __ASM_EMIT("vmul.f32 q8, q0, q13") // q8 = L0*A
830 __ASM_EMIT("vmul.f32 q9, q1, q13")
831 __ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L1+L0*A
832 __ASM_EMIT("vadd.f32 q9, q9, q14")
833 __ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L3, q13 = L4, fptr += 8
834 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L1+L0*A)
835 __ASM_EMIT("vmul.f32 q9, q9, q1")
836 __ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L2+A*(L1+L0*A)
837 __ASM_EMIT("vadd.f32 q9, q9, q15")
838 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L2+A*(L1+L0*A))
839 __ASM_EMIT("vmul.f32 q9, q9, q1")
840 __ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L3+A*(L2+A*(L1+L0*A))
841 __ASM_EMIT("vadd.f32 q9, q9, q12")
842 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L5, q15 = L6, fptr += 8
843 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L3+A*(L2+A*(L1+L0*A)))
844 __ASM_EMIT("vmul.f32 q9, q9, q1")
845 __ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
846 __ASM_EMIT("vadd.f32 q9, q9, q13")
847 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
848 __ASM_EMIT("vmul.f32 q9, q9, q1")
849 __ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
850 __ASM_EMIT("vadd.f32 q9, q9, q14")
851 __ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L7, q13 = L8, fptr += 8
852 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
853 __ASM_EMIT("vmul.f32 q9, q9, q1")
854 __ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
855 __ASM_EMIT("vadd.f32 q9, q9, q15")
856 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
857 __ASM_EMIT("vmul.f32 q9, q9, q1")
858 __ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
859 __ASM_EMIT("vadd.f32 q9, q9, q12")
860 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]") // q14 = L9, q15 = (LXE + LN2), fptr += 8
861 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
862 __ASM_EMIT("vmul.f32 q9, q9, q1")
863 __ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
864 __ASM_EMIT("vadd.f32 q9, q9, q13")
865 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
866 __ASM_EMIT("vmul.f32 q9, q9, q1")
867 __ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
868 __ASM_EMIT("vadd.f32 q9, q9, q14")
869 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
870 __ASM_EMIT("vmul.f32 q9, q9, q1")
871 __ASM_EMIT("sub %[fptr], #0xd0") // fptr -= 52
872 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
873 __ASM_EMIT("vmul.f32 q9, q9, q1")
874 __ASM_EMIT("vmla.f32 q8, q4, q15") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
875 __ASM_EMIT("vmla.f32 q9, q5, q15")
876 __ASM_EMIT("vadd.f32 q8, q8, q0") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
877 __ASM_EMIT("vadd.f32 q9, q9, q1")
878 // Apply values to axes, q0 = log(abs(v*zero))
879 __ASM_EMIT("vld1.32 {q4-q5}, [%[x]]") // q4 = x, q5 = x
880 __ASM_EMIT("vld1.32 {q0-q1}, [%[y]]") // q0 = y, q1 = y
881 __ASM_EMIT("vld1.32 {q12-q13}, [%[params]]") // q12 = norm_x, q13 = norm_y
882 __ASM_EMIT("vmla.f32 q4, q8, q12") // q4 = x + log(abs(v*zero)) * norm_x
883 __ASM_EMIT("vmla.f32 q5, q9, q12")
884 __ASM_EMIT("vmla.f32 q0, q8, q13") // q0 = y + log(abs(v*zero)) * norm_y
885 __ASM_EMIT("vmla.f32 q1, q9, q13")
886 __ASM_EMIT("sub %[count], #8")
887 __ASM_EMIT("vst1.32 {q4-q5}, [%[x]]!") // x += 8
888 __ASM_EMIT("vst1.32 {q0-q1}, [%[y]]!") // y += 8
889
890 // Do x4 block
891 __ASM_EMIT("4:")
892 __ASM_EMIT("adds %[count], #4")
893 __ASM_EMIT("blt 6f")
894
895 __ASM_EMIT("sub %[params], #0x10") // params -= 4
896 __ASM_EMIT("vld1.32 {q4}, [%[v]]!") // q4 = v, v += 4
897 __ASM_EMIT("vld1.32 {q12}, [%[fptr]]!") // q12 = X_AMP, fptr += 4
898 __ASM_EMIT("vabs.f32 q4, q4") // q4 = abs(v)
899 __ASM_EMIT("vld1.32 {q13}, [%[params]]!") // q13 = zero, params += 4
900 __ASM_EMIT("vmax.f32 q4, q12") // q4 = max(X_AMP, abs(v)), ignores denormalized values
901 __ASM_EMIT("vmul.f32 q0, q4, q13") // q0 = max(X_AMP, abs(v)) * zero
902 // Step 2: parse float value
903 __ASM_EMIT("vld1.32 {q12-q13}, [%[iptr]]") // q12 = MANT_MASK, q13 = FRAC_SUB = 127
904 __ASM_EMIT("vshr.u32 q4, q0, #23") // q4 = frac(v)
905 __ASM_EMIT("vand.u32 q8, q0, q12") // q8 = mant(v)
906 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = 0.5f, q15 = sqrt(1/2), fptr += 8
907 __ASM_EMIT("vsub.i32 q4, q4, q13") // q4 = frac(v) - 127
908 __ASM_EMIT("vorr.i32 q8, q8, q14") // q8 = V = mant(v)+0.5
909 __ASM_EMIT("vcvt.f32.s32 q4, q4") // q4 = E = float(frac(v)-127)
910 // Prepare logarithm approximation calculations
911 __ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = 1.0, q13 = L0 , fptr += 4
912 __ASM_EMIT("vclt.f32 q0, q8, q15") // q0 = [ V < sqrt(1/2) ]
913 __ASM_EMIT("vand.u32 q0, q0, q8") // q0 = V & [ V < sqrt(1/2) ]
914 __ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = V + V * [ V < sqrt(1/2) ]
915 __ASM_EMIT("vclt.f32 q8, q8, q15") // q8 = [ V < sqrt(1/2) ]
916 __ASM_EMIT("vsub.f32 q0, q0, q12") // q0 = A = V + V & [ V < sqrt(1/2) ] - 1.0
917 __ASM_EMIT("vbic.u32 q8, q12, q8") // q8 = 1.0 & [ V >= sqrt(1/2) ]
918 __ASM_EMIT("vadd.f32 q4, q4, q8") // q4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
919 // Calculate logarithmic values
920 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L1, q15 = L2, fptr += 8
921 __ASM_EMIT("vmul.f32 q8, q0, q13") // q8 = L0*A
922 __ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L1+L0*A
923 __ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L3, q13 = L4, fptr += 8
924 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L1+L0*A)
925 __ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L2+A*(L1+L0*A)
926 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L2+A*(L1+L0*A))
927 __ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L3+A*(L2+A*(L1+L0*A))
928 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L5, q15 = L6, fptr += 8
929 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L3+A*(L2+A*(L1+L0*A)))
930 __ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
931 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
932 __ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
933 __ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L7, q13 = L8, fptr += 8
934 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
935 __ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
936 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
937 __ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
938 __ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]") // q14 = L9, q15 = (LXE + LN2), fptr += 8
939 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
940 __ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
941 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
942 __ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
943 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
944 __ASM_EMIT("sub %[fptr], #0xd0") // fptr -= 52
945 __ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
946 __ASM_EMIT("vmla.f32 q8, q4, q15") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
947 __ASM_EMIT("vadd.f32 q8, q8, q0") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
948 // Apply values to axes, q0 = log(abs(v*zero))
949 __ASM_EMIT("vld1.32 {q4}, [%[x]]") // q4 = x
950 __ASM_EMIT("vld1.32 {q0}, [%[y]]") // q0 = y
951 __ASM_EMIT("vld1.32 {q12-q13}, [%[params]]") // q12 = norm_x, q13 = norm_y
952 __ASM_EMIT("vmla.f32 q4, q8, q12") // q4 = x + log(abs(v*zero)) * norm_x
953 __ASM_EMIT("vmla.f32 q0, q8, q13") // q0 = y + log(abs(v*zero)) * norm_y
954 __ASM_EMIT("sub %[count], #4")
955 __ASM_EMIT("vst1.32 {q4}, [%[x]]!") // x += 4
956 __ASM_EMIT("vst1.32 {q0}, [%[y]]!") // y += 4
957
958 // Do x1 block
959 __ASM_EMIT("6:")
960 __ASM_EMIT("adds %[count], #3")
961 __ASM_EMIT("blt 8f")
962
963 __ASM_EMIT("7:")
964 __ASM_EMIT("sub %[params], #0x10") // params -= 4
965 __ASM_EMIT("vldm %[v]!, {s8}") // d4 = v, v += 4
966 __ASM_EMIT("vld1.32 {q6}, [%[fptr]]!") // d12 = X_AMP, fptr += 4
967 __ASM_EMIT("vabs.f32 d4, d4") // d4 = abs(v)
968 __ASM_EMIT("vld1.32 {q7}, [%[params]]!") // d14 = zero, params += 4
969 __ASM_EMIT("vmax.f32 d4, d12") // d4 = max(X_AMP, abs(v)), ignores denormalized values
970 __ASM_EMIT("vmul.f32 d0, d4, d14") // d0 = max(X_AMP, abs(v)) * zero
971 // Step 2: parse float value
972 __ASM_EMIT("vld1.32 {q6-q7}, [%[iptr]]") // d12 = MANT_MASK, d14 = FRAC_SUB = 127
973 __ASM_EMIT("vshr.u32 d4, d0, #23") // d4 = frac(v)
974 __ASM_EMIT("vand.u32 d8, d0, d12") // d8 = mant(v)
975 __ASM_EMIT("vld1.32 {q8-q9}, [%[fptr]]!") // d16 = 0.5f, d18 = sqrt(1/2), fptr += 8
976 __ASM_EMIT("vsub.i32 d4, d4, d14") // d4 = frac(v) - 127
977 __ASM_EMIT("vorr.i32 d8, d8, d16") // d8 = V = mant(v)+0.5
978 __ASM_EMIT("vcvt.f32.s32 d4, d4") // d4 = E = float(frac(v)-127)
979 // Prepare logarithm approximation calculations
980 __ASM_EMIT("vld1.32 {q6-q7}, [%[fptr]]!") // d12 = 1.0, d14 = L0 , fptr += 4
981 __ASM_EMIT("vclt.f32 d0, d8, d18") // d0 = [ V < sqrt(1/2) ]
982 __ASM_EMIT("vand.u32 d0, d0, d8") // d0 = V & [ V < sqrt(1/2) ]
983 __ASM_EMIT("vadd.f32 d0, d0, d8") // d0 = V + V & [ V < sqrt(1/2) ]
984 __ASM_EMIT("vclt.f32 d8, d8, d18") // d8 = [ V < sqrt(1/2) ]
985 __ASM_EMIT("vsub.f32 d0, d0, d12") // d0 = A = V + V & [ V < sqrt(1/2) ] - 1.0
986 __ASM_EMIT("vbic.u32 d8, d12, d8") // d8 = 1.0 & [ V >= sqrt(1/2) ]
987 __ASM_EMIT("vadd.f32 d4, d4, d8") // d4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
988 // Calculate logarithmic values
989 __ASM_EMIT("vld1.32 {q8-q9}, [%[fptr]]!") // d16 = L1, d18 = L2, fptr += 8
990 __ASM_EMIT("vmul.f32 d8, d0, d14") // d8 = L0*A
991 __ASM_EMIT("vadd.f32 d8, d8, d16") // d8 = L1+L0*A
992 __ASM_EMIT("vld1.32 {q6-q7}, [%[fptr]]!") // d12 = L3, d14 = L4, fptr += 8
993 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L1+L0*A)
994 __ASM_EMIT("vadd.f32 d8, d8, d18") // d8 = L2+A*(L1+L0*A)
995 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L2+A*(L1+L0*A))
996 __ASM_EMIT("vadd.f32 d8, d8, d12") // d8 = L3+A*(L2+A*(L1+L0*A))
997 __ASM_EMIT("vld1.32 {q8-q9}, [%[fptr]]!") // d16 = L5, d18 = L6, fptr += 8
998 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L3+A*(L2+A*(L1+L0*A)))
999 __ASM_EMIT("vadd.f32 d8, d8, d14") // d8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
1000 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
1001 __ASM_EMIT("vadd.f32 d8, d8, d16") // d8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
1002 __ASM_EMIT("vld1.32 {q6-q7}, [%[fptr]]!") // d12 = L7, d14 = L8, fptr += 8
1003 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
1004 __ASM_EMIT("vadd.f32 d8, d8, d18") // d8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
1005 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
1006 __ASM_EMIT("vadd.f32 d8, d8, d12") // d8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
1007 __ASM_EMIT("vld1.32 {q8-q9}, [%[fptr]]") // d16 = L9, d18 = (LXE + LN2), fptr += 8
1008 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
1009 __ASM_EMIT("vadd.f32 d8, d8, d14") // d8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
1010 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
1011 __ASM_EMIT("vadd.f32 d8, d8, d16") // d8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
1012 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
1013 __ASM_EMIT("sub %[fptr], #0xd0") // fptr -= 52
1014 __ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
1015 __ASM_EMIT("vmla.f32 d8, d4, d18") // d8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
1016 __ASM_EMIT("vadd.f32 d8, d8, d0") // d8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
1017 // Apply values to axes, d0 = log(abs(v*zero))
1018 __ASM_EMIT("vldm %[x], {s8}") // d4 = x
1019 __ASM_EMIT("vldm %[y], {s0}") // d0 = y
1020 __ASM_EMIT("vld1.32 {q6-q7}, [%[params]]") // d12 = norm_x, d14 = norm_y
1021 __ASM_EMIT("vmla.f32 d4, d8, d12") // d4 = x + log(abs(v*zero)) * norm_x
1022 __ASM_EMIT("vmla.f32 d0, d8, d14") // d0 = y + log(abs(v*zero)) * norm_y
1023 __ASM_EMIT("subs %[count], #1")
1024 __ASM_EMIT("vstm %[x]!, {s8}") // x++
1025 __ASM_EMIT("vstm %[y]!, {s0}") // y++
1026 __ASM_EMIT("bge 7b")
1027
1028 __ASM_EMIT("8:")
1029
1030 : [v] "+r" (v), [x] "+r" (x) , [y] "+r" (y),
1031 [count] "+r" (count),
1032 [iptr] "+r" (iptr), [fptr] "+r" (fptr)
1033 : [params] "r" (params)
1034 : "cc", "memory",
1035 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
1036 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
1037 );
1038 }
1039
1040 } /* namespace neon_d32 */
1041 } /* namespace lsp */
1042
1043
1044 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_GRAPHICS_AXIS_H_ */