Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/aarch64/asimd/pmath/pow.h

raw
1 /*
2 * Copyright (C) 2023 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2023 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_PMATH_POW_H_
23 #define PRIVATE_DSP_ARCH_AARCH64_ASIMD_PMATH_POW_H_
24
25 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL */
28
29 namespace lsp
30 {
31 namespace asimd
32 {
33 #define POW_LOAD_VALUES \
34 __ASM_EMIT("ldp q16, q17, [%[P2C], #0x000]") /* v16 = LC0, v17 = LC1 */ \
35 __ASM_EMIT("ldp q18, q19, [%[P2C], #0x020]") /* v18 = LC2, v19 = LC3 */ \
36 __ASM_EMIT("ldp q20, q21, [%[P2C], #0x040]") /* v20 = LC4, v21 = EC5 */ \
37 __ASM_EMIT("ldp q24, q25, [%[P2C], #0x060]") /* v24 = EC4, v25 = EC3 */ \
38 __ASM_EMIT("ldp q26, q27, [%[P2C], #0x080]") /* v26 = EC2, v27 = EC1 */ \
39 __ASM_EMIT("ldp q28, q29, [%[P2C], #0x0a0]") /* v28 = EC0, v29 = EC6 */ \
40 __ASM_EMIT("ldp q30, q31, [%[P2C], #0x0c0]") /* v30 = MM , v31 = ME */ \
41 __ASM_EMIT("ldp q12, q13, [%[P2C], #0x0e0]") /* v12 = C7 , v13 = L2 */ \
42 __ASM_EMIT("ldr q14, [%[P2C], #0x100]") /* v14 = LE */
43
44 #define POW_LOG_X4 \
45 LOGN_CORE_X4("v30", "v31", "v16", "v17", "v18", "v19", "v20", "v12")
46
47 #define POW_LOG_X8 \
48 LOGN_CORE_X8("v30", "v31", "v16", "v17", "v18", "v19", "v20", "v12")
49
50 #define POW_POW2_X8 \
51 POW2_CORE_X8("v31", "v13", "v21", "v24", "v25", "v26", "v27", "v28", "v29", "v12")
52
53 #define POW_POW2_X4 \
54 POW2_CORE_X4("v31", "v13", "v21", "v24", "v25", "v26", "v27", "v28", "v29", "v12")
55
56 IF_ARCH_AARCH64(
57 static const uint32_t POW_CONST[] __lsp_aligned16 =
58 {
59 LSP_DSP_VEC4(0x3dba2e8c), // LC0 = 1/11 = 0.0909090936183929
60 LSP_DSP_VEC4(0x3de38e39), // LC1 = 1/9 = 0.1111111119389534
61 LSP_DSP_VEC4(0x3e124925), // LC2 = 1/7 = 0.1428571492433548
62 LSP_DSP_VEC4(0x3e4ccccd), // LC3 = 1/5 = 0.2000000029802322
63 LSP_DSP_VEC4(0x3eaaaaab), // LC4 = 1/3 = 0.3333333432674408
64 LSP_DSP_VEC4(0x40e00000), // EC5 = 7!/6! = 7.0000000000000000
65
66 LSP_DSP_VEC4(0x42280000), // EC4 = 7!/5! = 42.0000000000000000
67 LSP_DSP_VEC4(0x43520000), // EC3 = 7!/4! = 210.0000000000000000
68 LSP_DSP_VEC4(0x44520000), // EC2 = 7!/3! = 840.0000000000000000
69 LSP_DSP_VEC4(0x451d8000), // EC1 = 7!/2! = 2520.0000000000000000
70 LSP_DSP_VEC4(0x459d8000), // EC0 = 7!/1! = 5040.0000000000000000
71 LSP_DSP_VEC4(0x39500d01), // EC6 = 1/7! = 0.0001984127011383
72 LSP_DSP_VEC4(0x007fffff), // MM = frac
73 LSP_DSP_VEC4(0x0000007f), // ME = 127
74
75 LSP_DSP_VEC4(0x3f800000), // C7 = 1.0f
76 LSP_DSP_VEC4(0x3f317218), // L2 = ln(2)
77 LSP_DSP_VEC4(0x4038aa3b) // LE = 2*log2(e)
78 };
79 )
80
81 void powcv2(float *dst, const float *v, float c, size_t count)
82 {
83 // float C = logf(c);
84 // for (size_t i=0; i<count; ++i)
85 // v[i] = expf(v[i] * C);
86 ARCH_AARCH64_ASM(
87 __ASM_EMIT("dup v0.4s, %[C].s[0]") // v15 = C
88 POW_LOAD_VALUES
89 // log(c)
90 POW_LOG_X4
91 __ASM_EMIT("fmul v0.4s, v0.4s, v14.4s") // v0 = 2*y*L*log2(E)
92 __ASM_EMIT("fadd v15.4s, v0.4s, v2.4s") // v15 = 2*y*L*log2(E) + R = log(c)*log2(E)
93 __ASM_EMIT("subs %[count], %[count], #8")
94 __ASM_EMIT("b.lo 2f")
95 // x8 blocks
96 __ASM_EMIT("1:")
97 __ASM_EMIT("ldp q0, q1, [%[src]]")
98 __ASM_EMIT("fmul v0.4s, v0.4s, v15.4s")
99 __ASM_EMIT("fmul v1.4s, v1.4s, v15.4s")
100 POW_POW2_X8
101 __ASM_EMIT("subs %[count], %[count], #8")
102 __ASM_EMIT("stp q0, q1, [%[dst]]")
103 __ASM_EMIT("add %[src], %[src], #0x20")
104 __ASM_EMIT("add %[dst], %[dst], #0x20")
105 __ASM_EMIT("b.hs 1b")
106 // x4 block
107 __ASM_EMIT("2:")
108 __ASM_EMIT("adds %[count], %[count], #4")
109 __ASM_EMIT("b.lt 4f")
110 __ASM_EMIT("ldr q0, [%[src]]")
111 __ASM_EMIT("fmul v0.4s, v0.4s, v15.4s")
112 POW_POW2_X4
113 __ASM_EMIT("sub %[count], %[count], #4")
114 __ASM_EMIT("str q0, [%[dst]]")
115 __ASM_EMIT("add %[src], %[src], #0x10")
116 __ASM_EMIT("add %[dst], %[dst], #0x10")
117 // Tail: 1x-3x block
118 __ASM_EMIT("4:")
119 __ASM_EMIT("adds %[count], %[count], #4")
120 __ASM_EMIT("b.ls 12f")
121 __ASM_EMIT("tst %[count], #1")
122 __ASM_EMIT("b.eq 6f")
123 __ASM_EMIT("ld1 {v0.s}[0], [%[src]]")
124 __ASM_EMIT("add %[src], %[src], #0x04")
125 __ASM_EMIT("6:")
126 __ASM_EMIT("tst %[count], #2")
127 __ASM_EMIT("b.eq 8f")
128 __ASM_EMIT("ld1 {v0.d}[1], [%[src]]")
129 __ASM_EMIT("8:")
130 __ASM_EMIT("fmul v0.4s, v0.4s, v15.4s")
131 POW_POW2_X4
132 __ASM_EMIT("tst %[count], #1")
133 __ASM_EMIT("b.eq 10f")
134 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
135 __ASM_EMIT("add %[dst], %[dst], #0x04")
136 __ASM_EMIT("10:")
137 __ASM_EMIT("tst %[count], #2")
138 __ASM_EMIT("b.eq 12f")
139 __ASM_EMIT("st1 {v0.d}[1], [%[dst]]")
140 // End
141 __ASM_EMIT("12:")
142
143 : [dst] "+r" (dst), [src] "+r" (v), [C] "+w" (c),
144 [count] "+r" (count)
145 : [P2C] "r" (&POW_CONST[0])
146 : "cc", "memory",
147 "v1", "v2", "v3",
148 "v4", "v5", "v6", "v7",
149 "v8", "v9", "v10", "v11",
150 "v12", "v13", "v14", "v15",
151 "v16", "v17", "v18", "v19",
152 "v20", "v21", "v22", "v23",
153 "v24", "v25", "v26", "v27",
154 "v28", "v29", "v30", "v31"
155 );
156 }
157
158 void powcv1(float *dst, float c, size_t count)
159 {
160 // float C = logf(c);
161 // for (size_t i=0; i<count; ++i)
162 // v[i] = expf(v[i] * C);
163 ARCH_AARCH64_ASM(
164 __ASM_EMIT("dup v0.4s, %[C].s[0]") // v15 = C
165 POW_LOAD_VALUES
166 // log(c)
167 POW_LOG_X4
168 __ASM_EMIT("fmul v0.4s, v0.4s, v14.4s") // v0 = 2*y*L*log2(E)
169 __ASM_EMIT("fadd v15.4s, v0.4s, v2.4s") // v15 = 2*y*L*log2(E) + R = log(c)*log2(E)
170 __ASM_EMIT("subs %[count], %[count], #8")
171 __ASM_EMIT("b.lo 2f")
172 // x8 blocks
173 __ASM_EMIT("1:")
174 __ASM_EMIT("ldp q0, q1, [%[dst]]")
175 __ASM_EMIT("fmul v0.4s, v0.4s, v15.4s")
176 __ASM_EMIT("fmul v1.4s, v1.4s, v15.4s")
177 POW_POW2_X8
178 __ASM_EMIT("subs %[count], %[count], #8")
179 __ASM_EMIT("stp q0, q1, [%[dst]]")
180 __ASM_EMIT("add %[dst], %[dst], #0x20")
181 __ASM_EMIT("b.hs 1b")
182 // x4 block
183 __ASM_EMIT("2:")
184 __ASM_EMIT("adds %[count], %[count], #4")
185 __ASM_EMIT("b.lt 4f")
186 __ASM_EMIT("ldr q0, [%[dst]]")
187 __ASM_EMIT("fmul v0.4s, v0.4s, v15.4s")
188 POW_POW2_X4
189 __ASM_EMIT("sub %[count], %[count], #4")
190 __ASM_EMIT("str q0, [%[dst]]")
191 __ASM_EMIT("add %[dst], %[dst], #0x10")
192 // Tail: 1x-3x block
193 __ASM_EMIT("4:")
194 __ASM_EMIT("adds %[count], %[count], #4")
195 __ASM_EMIT("b.ls 12f")
196 __ASM_EMIT("tst %[count], #1")
197 __ASM_EMIT("b.eq 6f")
198 __ASM_EMIT("ld1 {v0.s}[0], [%[dst]]")
199 __ASM_EMIT("add %[dst], %[dst], #0x04")
200 __ASM_EMIT("6:")
201 __ASM_EMIT("tst %[count], #2")
202 __ASM_EMIT("b.eq 8f")
203 __ASM_EMIT("ld1 {v0.d}[1], [%[dst]]")
204 __ASM_EMIT("8:")
205 __ASM_EMIT("fmul v0.4s, v0.4s, v15.4s")
206 POW_POW2_X4
207 __ASM_EMIT("tst %[count], #1")
208 __ASM_EMIT("b.eq 10f")
209 __ASM_EMIT("sub %[dst], %[dst], #0x04")
210 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
211 __ASM_EMIT("add %[dst], %[dst], #0x04")
212 __ASM_EMIT("10:")
213 __ASM_EMIT("tst %[count], #2")
214 __ASM_EMIT("b.eq 12f")
215 __ASM_EMIT("st1 {v0.d}[1], [%[dst]]")
216 // End
217 __ASM_EMIT("12:")
218
219 : [dst] "+r" (dst), [C] "+w" (c),
220 [count] "+r" (count)
221 : [P2C] "r" (&POW_CONST[0])
222 : "cc", "memory",
223 "v1", "v2", "v3",
224 "v4", "v5", "v6", "v7",
225 "v8", "v9", "v10", "v11",
226 "v12", "v13", "v14", "v15",
227 "v16", "v17", "v18", "v19",
228 "v20", "v21", "v22", "v23",
229 "v24", "v25", "v26", "v27",
230 "v28", "v29", "v30", "v31"
231 );
232 }
233
234 void powvc2(float *dst, const float *c, float v, size_t count)
235 {
236 // for (size_t i=0; i<count; ++i)
237 // dst[i] = expf(v * logf(c[i]));
238 ARCH_AARCH64_ASM(
239 __ASM_EMIT("dup v15.4s, %[V].s[0]") // v15 = V
240 POW_LOAD_VALUES
241 __ASM_EMIT("subs %[count], %[count], #8")
242 __ASM_EMIT("b.lo 2f")
243 // x8 blocks
244 __ASM_EMIT("1:")
245 __ASM_EMIT("ldp q0, q1, [%[src]]")
246 POW_LOG_X8
247 __ASM_EMIT("fmla v2.4s, v0.4s, v14.4s") // v2 = 2*y*L*log2(E) + R
248 __ASM_EMIT("fmla v3.4s, v1.4s, v14.4s")
249 __ASM_EMIT("fmul v0.4s, v2.4s, v15.4s") // q0 = (2*y*L*log2(E) + R)*v = log(c[i])*v
250 __ASM_EMIT("fmul v1.4s, v3.4s, v15.4s")
251 POW_POW2_X8
252 __ASM_EMIT("subs %[count], %[count], #8")
253 __ASM_EMIT("stp q0, q1, [%[dst]]")
254 __ASM_EMIT("add %[src], %[src], #0x20")
255 __ASM_EMIT("add %[dst], %[dst], #0x20")
256 __ASM_EMIT("b.hs 1b")
257 // x4 block
258 __ASM_EMIT("2:")
259 __ASM_EMIT("adds %[count], %[count], #4")
260 __ASM_EMIT("b.lt 4f")
261 __ASM_EMIT("ldr q0, [%[src]]")
262 POW_LOG_X4
263 __ASM_EMIT("fmla v2.4s, v0.4s, v14.4s") // v2 = 2*y*L*log2(E) + R
264 __ASM_EMIT("fmul v0.4s, v2.4s, v15.4s") // q0 = (2*y*L*log2(E) + R)*v = log(c[i])*v
265 POW_POW2_X4
266 __ASM_EMIT("subs %[count], %[count], #4")
267 __ASM_EMIT("str q0, [%[dst]]")
268 __ASM_EMIT("add %[src], %[src], #0x10")
269 __ASM_EMIT("add %[dst], %[dst], #0x10")
270 // Tail: 1x-3x block
271 __ASM_EMIT("4:")
272 __ASM_EMIT("adds %[count], %[count], #4")
273 __ASM_EMIT("b.ls 12f")
274 __ASM_EMIT("tst %[count], #1")
275 __ASM_EMIT("b.eq 6f")
276 __ASM_EMIT("ld1 {v0.s}[0], [%[src]]")
277 __ASM_EMIT("add %[src], %[src], #0x04")
278 __ASM_EMIT("6:")
279 __ASM_EMIT("tst %[count], #2")
280 __ASM_EMIT("b.eq 8f")
281 __ASM_EMIT("ld1 {v0.d}[1], [%[src]]")
282 __ASM_EMIT("8:")
283 POW_LOG_X4
284 __ASM_EMIT("fmla v2.4s, v0.4s, v14.4s") // v2 = 2*y*L*log2(E) + R
285 __ASM_EMIT("fmul v0.4s, v2.4s, v15.4s") // q0 = (2*y*L*log2(E) + R)*v = log(c[i])*v
286 POW_POW2_X4
287 __ASM_EMIT("tst %[count], #1")
288 __ASM_EMIT("b.eq 10f")
289 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
290 __ASM_EMIT("add %[dst], %[dst], #0x04")
291 __ASM_EMIT("10:")
292 __ASM_EMIT("tst %[count], #2")
293 __ASM_EMIT("b.eq 12f")
294 __ASM_EMIT("st1 {v0.d}[1], [%[dst]]")
295 // End
296 __ASM_EMIT("12:")
297
298 : [dst] "+r" (dst), [src] "+r" (c), [V] "+w" (v),
299 [count] "+r" (count)
300 : [P2C] "r" (&POW_CONST[0])
301 : "cc", "memory",
302 "v1", "v2", "v3",
303 "v4", "v5", "v6", "v7",
304 "v8", "v9", "v10", "v11",
305 "v12", "v13", "v14", "v15",
306 "v16", "v17", "v18", "v19",
307 "v20", "v21", "v22", "v23",
308 "v24", "v25", "v26", "v27",
309 "v28", "v29", "v30", "v31"
310 );
311 }
312
313 void powvc1(float *c, float v, size_t count)
314 {
315 // for (size_t i=0; i<count; ++i)
316 // c[i] = expf(v * logf(c[i]));
317 ARCH_AARCH64_ASM(
318 __ASM_EMIT("dup v15.4s, %[V].s[0]") // v15 = V
319 POW_LOAD_VALUES
320 __ASM_EMIT("subs %[count], %[count], #8")
321 __ASM_EMIT("b.lo 2f")
322 // x8 blocks
323 __ASM_EMIT("1:")
324 __ASM_EMIT("ldp q0, q1, [%[dst]]")
325 POW_LOG_X8
326 __ASM_EMIT("fmla v2.4s, v0.4s, v14.4s") // v2 = 2*y*L*log2(E) + R
327 __ASM_EMIT("fmla v3.4s, v1.4s, v14.4s")
328 __ASM_EMIT("fmul v0.4s, v2.4s, v15.4s") // q0 = (2*y*L*log2(E) + R)*v = log(c[i])*v
329 __ASM_EMIT("fmul v1.4s, v3.4s, v15.4s")
330 POW_POW2_X8
331 __ASM_EMIT("subs %[count], %[count], #8")
332 __ASM_EMIT("stp q0, q1, [%[dst]]")
333 __ASM_EMIT("add %[dst], %[dst], #0x20")
334 __ASM_EMIT("b.hs 1b")
335 // x4 block
336 __ASM_EMIT("2:")
337 __ASM_EMIT("adds %[count], %[count], #4")
338 __ASM_EMIT("b.lt 4f")
339 __ASM_EMIT("ldr q0, [%[dst]]")
340 POW_LOG_X4
341 __ASM_EMIT("fmla v2.4s, v0.4s, v14.4s") // v2 = 2*y*L*log2(E) + R
342 __ASM_EMIT("fmul v0.4s, v2.4s, v15.4s") // q0 = (2*y*L*log2(E) + R)*v = log(c[i])*v
343 POW_POW2_X4
344 __ASM_EMIT("subs %[count], %[count], #4")
345 __ASM_EMIT("str q0, [%[dst]]")
346 __ASM_EMIT("add %[dst], %[dst], #0x10")
347 // Tail: 1x-3x block
348 __ASM_EMIT("4:")
349 __ASM_EMIT("adds %[count], %[count], #4")
350 __ASM_EMIT("b.ls 12f")
351 __ASM_EMIT("tst %[count], #1")
352 __ASM_EMIT("b.eq 6f")
353 __ASM_EMIT("ld1 {v0.s}[0], [%[dst]]")
354 __ASM_EMIT("add %[dst], %[dst], #0x04")
355 __ASM_EMIT("6:")
356 __ASM_EMIT("tst %[count], #2")
357 __ASM_EMIT("b.eq 8f")
358 __ASM_EMIT("ld1 {v0.d}[1], [%[dst]]")
359 __ASM_EMIT("8:")
360 POW_LOG_X4
361 __ASM_EMIT("fmla v2.4s, v0.4s, v14.4s") // v2 = 2*y*L*log2(E) + R
362 __ASM_EMIT("fmul v0.4s, v2.4s, v15.4s") // q0 = (2*y*L*log2(E) + R)*v = log(c[i])*v
363 POW_POW2_X4
364 __ASM_EMIT("tst %[count], #1")
365 __ASM_EMIT("b.eq 10f")
366 __ASM_EMIT("sub %[dst], %[dst], #0x04")
367 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
368 __ASM_EMIT("add %[dst], %[dst], #0x04")
369 __ASM_EMIT("10:")
370 __ASM_EMIT("tst %[count], #2")
371 __ASM_EMIT("b.eq 12f")
372 __ASM_EMIT("st1 {v0.d}[1], [%[dst]]")
373 // End
374 __ASM_EMIT("12:")
375
376 : [dst] "+r" (c), [V] "+w" (v),
377 [count] "+r" (count)
378 : [P2C] "r" (&POW_CONST[0])
379 : "cc", "memory",
380 "v1", "v2", "v3",
381 "v4", "v5", "v6", "v7",
382 "v8", "v9", "v10", "v11",
383 "v12", "v13", "v14", "v15",
384 "v16", "v17", "v18", "v19",
385 "v20", "v21", "v22", "v23",
386 "v24", "v25", "v26", "v27",
387 "v28", "v29", "v30", "v31"
388 );
389 }
390
391 void powvx2(float *dst, const float *v, const float *x, size_t count)
392 {
393 // for (size_t i=0; i<count; ++i)
394 // dst[i] = expf(x[i] * logf(v[i]));
395 ARCH_AARCH64_ASM(
396 POW_LOAD_VALUES
397 __ASM_EMIT("subs %[count], %[count], #8")
398 __ASM_EMIT("b.lo 2f")
399 // x8 blocks
400 __ASM_EMIT("1:")
401 __ASM_EMIT("ldp q0, q1, [%[src]]")
402 POW_LOG_X8
403 __ASM_EMIT("ldp q4, q5, [%[x]]") // q4 = x
404 __ASM_EMIT("fmla v2.4s, v0.4s, v14.4s") // v2 = 2*y*L*log2(E) + R
405 __ASM_EMIT("fmla v3.4s, v1.4s, v14.4s")
406 __ASM_EMIT("fmul v0.4s, v2.4s, v4.4s") // q0 = (2*y*L*log2(E) + R)*x = log(v[i])*x[i]
407 __ASM_EMIT("fmul v1.4s, v3.4s, v5.4s")
408 POW_POW2_X8
409 __ASM_EMIT("subs %[count], %[count], #8")
410 __ASM_EMIT("stp q0, q1, [%[dst]]")
411 __ASM_EMIT("add %[src], %[src], #0x20")
412 __ASM_EMIT("add %[dst], %[dst], #0x20")
413 __ASM_EMIT("add %[x], %[x], #0x20")
414 __ASM_EMIT("b.hs 1b")
415 // x4 block
416 __ASM_EMIT("2:")
417 __ASM_EMIT("adds %[count], %[count], #4")
418 __ASM_EMIT("b.lt 4f")
419 __ASM_EMIT("ldr q0, [%[src]]")
420 POW_LOG_X4
421 __ASM_EMIT("ldr q4, [%[x]]") // q4 = x
422 __ASM_EMIT("fmla v2.4s, v0.4s, v14.4s") // v2 = 2*y*L*log2(E) + R
423 __ASM_EMIT("fmul v0.4s, v2.4s, v4.4s") // q0 = (2*y*L*log2(E) + R)*x = log(v[i])*x[i]
424 POW_POW2_X4
425 __ASM_EMIT("subs %[count], %[count], #4")
426 __ASM_EMIT("str q0, [%[dst]]")
427 __ASM_EMIT("add %[src], %[src], #0x10")
428 __ASM_EMIT("add %[dst], %[dst], #0x10")
429 __ASM_EMIT("add %[x], %[x], #0x10")
430 // Tail: 1x-3x block
431 __ASM_EMIT("4:")
432 __ASM_EMIT("adds %[count], %[count], #4")
433 __ASM_EMIT("b.ls 12f")
434 __ASM_EMIT("tst %[count], #1")
435 __ASM_EMIT("b.eq 6f")
436 __ASM_EMIT("ld1 {v0.s}[0], [%[src]]")
437 __ASM_EMIT("ld1 {v15.s}[0], [%[x]]")
438 __ASM_EMIT("add %[src], %[src], #0x04")
439 __ASM_EMIT("add %[x], %[x], #0x04")
440 __ASM_EMIT("6:")
441 __ASM_EMIT("tst %[count], #2")
442 __ASM_EMIT("b.eq 8f")
443 __ASM_EMIT("ld1 {v0.d}[1], [%[src]]")
444 __ASM_EMIT("ld1 {v15.d}[1], [%[x]]")
445 __ASM_EMIT("8:")
446 POW_LOG_X4
447 __ASM_EMIT("fmla v2.4s, v0.4s, v14.4s") // v2 = 2*y*L*log2(E) + R
448 __ASM_EMIT("fmul v0.4s, v2.4s, v15.4s") // q0 = (2*y*L*log2(E) + R)*v = log(c[i])*v
449 POW_POW2_X4
450 __ASM_EMIT("tst %[count], #1")
451 __ASM_EMIT("b.eq 10f")
452 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
453 __ASM_EMIT("add %[dst], %[dst], #0x04")
454 __ASM_EMIT("10:")
455 __ASM_EMIT("tst %[count], #2")
456 __ASM_EMIT("b.eq 12f")
457 __ASM_EMIT("st1 {v0.d}[1], [%[dst]]")
458 // End
459 __ASM_EMIT("12:")
460
461 : [dst] "+r" (dst), [src] "+r" (v), [x] "+r" (x),
462 [count] "+r" (count)
463 : [P2C] "r" (&POW_CONST[0])
464 : "cc", "memory",
465 "v0", "v1", "v2", "v3",
466 "v4", "v5", "v6", "v7",
467 "v8", "v9", "v10", "v11",
468 "v12", "v13", "v14", "v15",
469 "v16", "v17", "v18", "v19",
470 "v20", "v21", "v22", "v23",
471 "v24", "v25", "v26", "v27",
472 "v28", "v29", "v30", "v31"
473 );
474 }
475
476 void powvx1(float *v, const float *x, size_t count)
477 {
478 // for (size_t i=0; i<count; ++i)
479 // dst[i] = expf(x[i] * logf(v[i]));
480 ARCH_AARCH64_ASM(
481 POW_LOAD_VALUES
482 __ASM_EMIT("subs %[count], %[count], #8")
483 __ASM_EMIT("b.lo 2f")
484 // x8 blocks
485 __ASM_EMIT("1:")
486 __ASM_EMIT("ldp q0, q1, [%[dst]]")
487 POW_LOG_X8
488 __ASM_EMIT("ldp q4, q5, [%[x]]") // q4 = x
489 __ASM_EMIT("fmla v2.4s, v0.4s, v14.4s") // v2 = 2*y*L*log2(E) + R
490 __ASM_EMIT("fmla v3.4s, v1.4s, v14.4s")
491 __ASM_EMIT("fmul v0.4s, v2.4s, v4.4s") // q0 = (2*y*L*log2(E) + R)*x = log(v[i])*x[i]
492 __ASM_EMIT("fmul v1.4s, v3.4s, v5.4s")
493 POW_POW2_X8
494 __ASM_EMIT("subs %[count], %[count], #8")
495 __ASM_EMIT("stp q0, q1, [%[dst]]")
496 __ASM_EMIT("add %[dst], %[dst], #0x20")
497 __ASM_EMIT("add %[x], %[x], #0x20")
498 __ASM_EMIT("b.hs 1b")
499 // x4 block
500 __ASM_EMIT("2:")
501 __ASM_EMIT("adds %[count], %[count], #4")
502 __ASM_EMIT("b.lt 4f")
503 __ASM_EMIT("ldr q0, [%[dst]]")
504 POW_LOG_X4
505 __ASM_EMIT("ldr q4, [%[x]]") // q4 = x
506 __ASM_EMIT("fmla v2.4s, v0.4s, v14.4s") // v2 = 2*y*L*log2(E) + R
507 __ASM_EMIT("fmul v0.4s, v2.4s, v4.4s") // q0 = (2*y*L*log2(E) + R)*x = log(v[i])*x[i]
508 POW_POW2_X4
509 __ASM_EMIT("subs %[count], %[count], #4")
510 __ASM_EMIT("str q0, [%[dst]]")
511 __ASM_EMIT("add %[dst], %[dst], #0x10")
512 __ASM_EMIT("add %[x], %[x], #0x10")
513 // Tail: 1x-3x block
514 __ASM_EMIT("4:")
515 __ASM_EMIT("adds %[count], %[count], #4")
516 __ASM_EMIT("b.ls 12f")
517 __ASM_EMIT("tst %[count], #1")
518 __ASM_EMIT("b.eq 6f")
519 __ASM_EMIT("ld1 {v0.s}[0], [%[dst]]")
520 __ASM_EMIT("ld1 {v15.s}[0], [%[x]]")
521 __ASM_EMIT("add %[dst], %[dst], #0x04")
522 __ASM_EMIT("add %[x], %[x], #0x04")
523 __ASM_EMIT("6:")
524 __ASM_EMIT("tst %[count], #2")
525 __ASM_EMIT("b.eq 8f")
526 __ASM_EMIT("ld1 {v0.d}[1], [%[dst]]")
527 __ASM_EMIT("ld1 {v15.d}[1], [%[x]]")
528 __ASM_EMIT("8:")
529 POW_LOG_X4
530 __ASM_EMIT("fmla v2.4s, v0.4s, v14.4s") // v2 = 2*y*L*log2(E) + R
531 __ASM_EMIT("fmul v0.4s, v2.4s, v15.4s") // q0 = (2*y*L*log2(E) + R)*v = log(c[i])*v
532 POW_POW2_X4
533 __ASM_EMIT("tst %[count], #1")
534 __ASM_EMIT("b.eq 10f")
535 __ASM_EMIT("sub %[dst], %[dst], #0x04")
536 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
537 __ASM_EMIT("add %[dst], %[dst], #0x04")
538 __ASM_EMIT("10:")
539 __ASM_EMIT("tst %[count], #2")
540 __ASM_EMIT("b.eq 12f")
541 __ASM_EMIT("st1 {v0.d}[1], [%[dst]]")
542 // End
543 __ASM_EMIT("12:")
544
545 : [dst] "+r" (v), [x] "+r" (x),
546 [count] "+r" (count)
547 : [P2C] "r" (&POW_CONST[0])
548 : "cc", "memory",
549 "v0", "v1", "v2", "v3",
550 "v4", "v5", "v6", "v7",
551 "v8", "v9", "v10", "v11",
552 "v12", "v13", "v14", "v15",
553 "v16", "v17", "v18", "v19",
554 "v20", "v21", "v22", "v23",
555 "v24", "v25", "v26", "v27",
556 "v28", "v29", "v30", "v31"
557 );
558 }
559
560 #undef POW_LOG_X4
561 #undef POW_LOG_X8
562 #undef POW_POW2_X8
563 #undef POW_POW2_X4
564 #undef POW_LOAD_VALUES
565 } /* namespace asimd */
566 } /* namespace lsp */
567
568 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_PMATH_POW_H_ */