/*
* Copyright (C) 2022 Linux Studio Plugins Project
* (C) 2022 Vladimir Sadovnikov
*
* This file is part of lsp-dsp-lib
* Created on: 9 сент. 2022 г.
*
* lsp-dsp-lib is free software: you can redistribute it and/or modify
* it under the terms of the GNU Lesser General Public License as published by
* the Free Software Foundation, either version 3 of the License, or
* any later version.
*
* lsp-dsp-lib is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
* GNU Lesser General Public License for more details.
*
* You should have received a copy of the GNU Lesser General Public License
* along with lsp-dsp-lib. If not, see .
*/
#ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_GRAPHICS_AXIS_H_
#define PRIVATE_DSP_ARCH_ARM_NEON_D32_GRAPHICS_AXIS_H_
#ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
#error "This header should not be included directly"
#endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
namespace lsp
{
namespace neon_d32
{
void axis_apply_lin1(float *x, const float *v, float zero, float norm, size_t count)
{
ARCH_ARM_ASM
(
__ASM_EMIT("vld1.32 {d16[], d17[]}, [%[zero]]") // q8 = zero
__ASM_EMIT("vld1.32 {d18[], d19[]}, [%[norm]]") // q9 = norm
// 16x block
__ASM_EMIT("subs %[count], #16")
__ASM_EMIT("blo 2f")
__ASM_EMIT("1:")
__ASM_EMIT("vldm %[v]!, {q0-q3}") // q0 = v
__ASM_EMIT("vldm %[x], {q4-q7}") // q4 = x
__ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = v + zero
__ASM_EMIT("vadd.f32 q1, q1, q8")
__ASM_EMIT("vadd.f32 q2, q2, q8")
__ASM_EMIT("vadd.f32 q3, q3, q8")
__ASM_EMIT("vfma.f32 q4, q0, q9") // q4 = x + (v + zero) * norm
__ASM_EMIT("vfma.f32 q5, q1, q9")
__ASM_EMIT("vfma.f32 q6, q2, q9")
__ASM_EMIT("vfma.f32 q7, q3, q9")
__ASM_EMIT("subs %[count], #16")
__ASM_EMIT("vstm %[x]!, {q4-q7}")
__ASM_EMIT("bge 1b")
__ASM_EMIT("2:")
// 8x block
__ASM_EMIT("adds %[count], #8")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldm %[v]!, {q0-q1}") // q0 = v
__ASM_EMIT("vldm %[x], {q4-q5}") // q4 = x
__ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = v + zero
__ASM_EMIT("vadd.f32 q1, q1, q8")
__ASM_EMIT("vfma.f32 q4, q0, q9") // q4 = x + (v + zero) * norm
__ASM_EMIT("vfma.f32 q5, q1, q9")
__ASM_EMIT("sub %[count], #8")
__ASM_EMIT("vstm %[x]!, {q4-q5}")
__ASM_EMIT("4:")
// 4x block
__ASM_EMIT("adds %[count], #4")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vldm %[v]!, {q0}") // q0 = v
__ASM_EMIT("vldm %[x], {q4}") // q4 = x
__ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = v + zero
__ASM_EMIT("vfma.f32 q4, q0, q9") // q4 = x + (v + zero) * norm
__ASM_EMIT("sub %[count], #4")
__ASM_EMIT("vstm %[x]!, {q4}")
__ASM_EMIT("6:")
// 1x blocks
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 8f")
__ASM_EMIT("7:")
__ASM_EMIT("vld1.32 {d0[0]}, [%[v]]!") // q0 = v
__ASM_EMIT("vld1.32 {d8[0]}, [%[x]]") // q4 = x
__ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = v + zero
__ASM_EMIT("vfma.f32 q4, q0, q9") // q4 = x + (v + zero) * norm
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("vst1.32 {d8[0]}, [%[x]]!")
__ASM_EMIT("bge 7b")
__ASM_EMIT("8:")
: [x] "+r" (x), [v] "+r" (v),
[count] "+r" (count)
: [zero] "r" (&zero),
[norm] "r" (&norm)
: "cc", "memory",
"q0", "q1", "q2", "q3",
"q4", "q5", "q6", "q7",
"q8", "q9"
);
}
IF_ARCH_ARM(
static const uint32_t LOG_IARGS[] __lsp_aligned16 =
{
LSP_DSP_VEC4(0x007fffff), // X_MANT
LSP_DSP_VEC4(0x0000007f) // X_MMASK
};
static const float LOG_FARGS[] __lsp_aligned16 =
{
LSP_DSP_VEC4(1e-8), // X_AMP
LSP_DSP_VEC4(0.5f), // X_HALF
LSP_DSP_VEC4(M_SQRT1_2), // SQRT1_2
LSP_DSP_VEC4(1.0f), // ONE
LSP_DSP_VEC4(7.0376836292E-2), // C0
LSP_DSP_VEC4(-1.1514610310E-1), // C1
LSP_DSP_VEC4(1.1676998740E-1), // C2
LSP_DSP_VEC4(-1.2420140846E-1), // C3
LSP_DSP_VEC4(+1.4249322787E-1), // C4
LSP_DSP_VEC4(-1.6668057665E-1), // C5
LSP_DSP_VEC4(+2.0000714765E-1), // C6
LSP_DSP_VEC4(-2.4999993993E-1), // C7
LSP_DSP_VEC4(+3.3333331174E-1), // C8
LSP_DSP_VEC4(-0.5f), // C9
LSP_DSP_VEC4(M_LN2 - 2.12194440e-4) // LXE + LN2
};
)
void axis_apply_log1(float *x, const float *v, float zero, float norm_x, size_t count)
{
IF_ARCH_ARM(
float params[8] __lsp_aligned16;
params[0] = zero;
params[1] = norm_x;
const uint32_t *iptr = LOG_IARGS;
const float *fptr = LOG_FARGS;
);
//---------------------------------------------------------------
// Prepare constants
ARCH_ARM_ASM
(
__ASM_EMIT("vld1.32 {d0}, [%[params]]")
__ASM_EMIT("vdup.32 q1, d0[1]") // q2 = norm_x
__ASM_EMIT("vdup.32 q0, d0[0]") // q0 = zero
__ASM_EMIT("vst1.32 {q0-q1}, [%[params]]")
__ASM_EMIT("subs %[count], #16")
__ASM_EMIT("blo 2f")
// Do 16x blocks
__ASM_EMIT("1:")
__ASM_EMIT("vld1.32 {q4-q5}, [%[v]]!") // q4 = v, q5 = v, v += 8
__ASM_EMIT("vld1.32 {q6-q7}, [%[v]]!")
__ASM_EMIT("vld1.32 {q12}, [%[fptr]]!") // q12 = X_AMP, fptr += 4
__ASM_EMIT("vabs.f32 q4, q4") // q4 = abs(v)
__ASM_EMIT("vabs.f32 q5, q5")
__ASM_EMIT("vabs.f32 q6, q6")
__ASM_EMIT("vabs.f32 q7, q7")
__ASM_EMIT("vld1.32 {q13}, [%[params]]") // q13 = zero
__ASM_EMIT("vmax.f32 q4, q12") // q12 = max(X_AMP, abs(v)), ignores denormalized values
__ASM_EMIT("vmax.f32 q5, q12")
__ASM_EMIT("vmax.f32 q6, q12")
__ASM_EMIT("vmax.f32 q7, q12")
__ASM_EMIT("vmul.f32 q0, q4, q13") // q13 = max(X_AMP, abs(v)) * zero
__ASM_EMIT("vmul.f32 q1, q5, q13")
__ASM_EMIT("vmul.f32 q2, q6, q13")
__ASM_EMIT("vmul.f32 q3, q7, q13")
// Step 2: parse float value
__ASM_EMIT("vld1.32 {q12-q13}, [%[iptr]]") // q12 = MANT_MASK, q13 = FRAC_SUB = 127
__ASM_EMIT("vshr.u32 q4, q0, #23") // q4 = frac(v)
__ASM_EMIT("vshr.u32 q5, q1, #23")
__ASM_EMIT("vshr.u32 q6, q2, #23")
__ASM_EMIT("vshr.u32 q7, q3, #23")
__ASM_EMIT("vand.u32 q8, q0, q12") // q8 = mant(v)
__ASM_EMIT("vand.u32 q9, q1, q12")
__ASM_EMIT("vand.u32 q10, q2, q12")
__ASM_EMIT("vand.u32 q11, q3, q12")
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = 0.5f, q15 = sqrt(1/2), fptr += 8
__ASM_EMIT("vsub.i32 q4, q4, q13") // q4 = frac(v) - 127
__ASM_EMIT("vsub.i32 q5, q5, q13")
__ASM_EMIT("vsub.i32 q6, q6, q13")
__ASM_EMIT("vsub.i32 q7, q7, q13")
__ASM_EMIT("vorr.i32 q8, q8, q14") // q8 = V = mant(v)+0.5
__ASM_EMIT("vorr.i32 q9, q9, q14")
__ASM_EMIT("vorr.i32 q10, q10, q14")
__ASM_EMIT("vorr.i32 q11, q11, q14")
__ASM_EMIT("vcvt.f32.s32 q4, q4") // q4 = E = float(frac(v)-127)
__ASM_EMIT("vcvt.f32.s32 q5, q5")
__ASM_EMIT("vcvt.f32.s32 q6, q6")
__ASM_EMIT("vcvt.f32.s32 q7, q7")
// Prepare logarithm approximation calculations
__ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = 1.0, q13 = L0 , fptr += 4
__ASM_EMIT("vclt.f32 q0, q8, q15") // q0 = [ V < sqrt(1/2) ]
__ASM_EMIT("vclt.f32 q1, q9, q15")
__ASM_EMIT("vclt.f32 q2, q10, q15")
__ASM_EMIT("vclt.f32 q3, q11, q15")
__ASM_EMIT("vand.u32 q0, q0, q8") // q0 = V * [ V < sqrt(1/2) ]
__ASM_EMIT("vand.u32 q1, q1, q9")
__ASM_EMIT("vand.u32 q2, q2, q10")
__ASM_EMIT("vand.u32 q3, q3, q11")
__ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = V + V * [ V < sqrt(1/2) ]
__ASM_EMIT("vadd.f32 q1, q1, q9")
__ASM_EMIT("vadd.f32 q2, q2, q10")
__ASM_EMIT("vadd.f32 q3, q3, q11")
__ASM_EMIT("vclt.f32 q8, q8, q15") // q8 = [ V < sqrt(1/2) ]
__ASM_EMIT("vclt.f32 q9, q9, q15")
__ASM_EMIT("vclt.f32 q10, q10, q15")
__ASM_EMIT("vclt.f32 q11, q11, q15")
__ASM_EMIT("vsub.f32 q0, q0, q12") // q0 = A = V + V & [ V < sqrt(1/2) ] - 1.0
__ASM_EMIT("vsub.f32 q1, q1, q12")
__ASM_EMIT("vsub.f32 q2, q2, q12")
__ASM_EMIT("vsub.f32 q3, q3, q12")
__ASM_EMIT("vbic.u32 q8, q12, q8") // q8 = 1.0 & [ V >= sqrt(1/2) ]
__ASM_EMIT("vbic.u32 q9, q12, q9")
__ASM_EMIT("vbic.u32 q10, q12, q10")
__ASM_EMIT("vbic.u32 q11, q12, q11")
__ASM_EMIT("vadd.f32 q4, q4, q8") // q4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
__ASM_EMIT("vadd.f32 q5, q5, q9")
__ASM_EMIT("vadd.f32 q6, q6, q10")
__ASM_EMIT("vadd.f32 q7, q7, q11")
// Calculate logarithmic values
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L1, q15 = L2, fptr += 8
__ASM_EMIT("vmul.f32 q8, q0, q13") // q8 = L0*A
__ASM_EMIT("vmul.f32 q9, q1, q13")
__ASM_EMIT("vmul.f32 q10, q2, q13")
__ASM_EMIT("vmul.f32 q11, q3, q13")
__ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L1+L0*A
__ASM_EMIT("vadd.f32 q9, q9, q14")
__ASM_EMIT("vadd.f32 q10, q10, q14")
__ASM_EMIT("vadd.f32 q11, q11, q14")
__ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L3, q13 = L4, fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L1+L0*A)
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L2+A*(L1+L0*A)
__ASM_EMIT("vadd.f32 q9, q9, q15")
__ASM_EMIT("vadd.f32 q10, q10, q15")
__ASM_EMIT("vadd.f32 q11, q11, q15")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L2+A*(L1+L0*A))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L3+A*(L2+A*(L1+L0*A))
__ASM_EMIT("vadd.f32 q9, q9, q12")
__ASM_EMIT("vadd.f32 q10, q10, q12")
__ASM_EMIT("vadd.f32 q11, q11, q12")
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L5, q15 = L6, fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L3+A*(L2+A*(L1+L0*A)))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
__ASM_EMIT("vadd.f32 q9, q9, q13")
__ASM_EMIT("vadd.f32 q10, q10, q13")
__ASM_EMIT("vadd.f32 q11, q11, q13")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
__ASM_EMIT("vadd.f32 q9, q9, q14")
__ASM_EMIT("vadd.f32 q10, q10, q14")
__ASM_EMIT("vadd.f32 q11, q11, q14")
__ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L7, q13 = L8, fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
__ASM_EMIT("vadd.f32 q9, q9, q15")
__ASM_EMIT("vadd.f32 q10, q10, q15")
__ASM_EMIT("vadd.f32 q11, q11, q15")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
__ASM_EMIT("vadd.f32 q9, q9, q12")
__ASM_EMIT("vadd.f32 q10, q10, q12")
__ASM_EMIT("vadd.f32 q11, q11, q12")
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]") // q14 = L9, q15 = (LXE + LN2), fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
__ASM_EMIT("vadd.f32 q9, q9, q13")
__ASM_EMIT("vadd.f32 q10, q10, q13")
__ASM_EMIT("vadd.f32 q11, q11, q13")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
__ASM_EMIT("vadd.f32 q9, q9, q14")
__ASM_EMIT("vadd.f32 q10, q10, q14")
__ASM_EMIT("vadd.f32 q11, q11, q14")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("sub %[fptr], #0xd0") // fptr -= 52
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("vmla.f32 q8, q4, q15") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vmla.f32 q9, q5, q15")
__ASM_EMIT("vmla.f32 q10, q6, q15")
__ASM_EMIT("vmla.f32 q11, q7, q15")
__ASM_EMIT("vadd.f32 q8, q8, q0") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
__ASM_EMIT("vadd.f32 q9, q9, q1")
__ASM_EMIT("vadd.f32 q10, q10, q2")
__ASM_EMIT("vadd.f32 q11, q11, q3")
// Apply values to axes, q0 = log(abs(v*zero))
__ASM_EMIT("vldm %[x], {q4-q7}") // q4-q7 = x
__ASM_EMIT("vld1.32 {q12-q13}, [%[params]]") // q12 = zero, q13 = norm_x
__ASM_EMIT("vmla.f32 q4, q8, q13") // q4 = x + log(abs(v*zero)) * norm_x
__ASM_EMIT("vmla.f32 q5, q9, q13")
__ASM_EMIT("vmla.f32 q6, q10, q13")
__ASM_EMIT("vmla.f32 q7, q11, q13")
__ASM_EMIT("subs %[count], #16")
__ASM_EMIT("vstm %[x]!, {q4-q7}") // x += 8
__ASM_EMIT("bge 1b")
// Do 8x block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #8")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vld1.32 {q4-q5}, [%[v]]!") // q4 = v, q5 = v, v += 8
__ASM_EMIT("vld1.32 {q12}, [%[fptr]]!") // q12 = X_AMP, fptr += 4
__ASM_EMIT("vabs.f32 q4, q4") // q4 = abs(v)
__ASM_EMIT("vabs.f32 q5, q5")
__ASM_EMIT("vld1.32 {q13}, [%[params]]") // q13 = zero, params += 4
__ASM_EMIT("vmax.f32 q4, q12") // q12 = max(X_AMP, abs(v)), ignores denormalized values
__ASM_EMIT("vmax.f32 q5, q12")
__ASM_EMIT("vmul.f32 q0, q4, q13") // q13 = max(X_AMP, abs(v)) * zero
__ASM_EMIT("vmul.f32 q1, q5, q13")
// Step 2: parse float value
__ASM_EMIT("vld1.32 {q12-q13}, [%[iptr]]") // q12 = MANT_MASK, q13 = FRAC_SUB = 127
__ASM_EMIT("vshr.u32 q4, q0, #23") // q4 = frac(v)
__ASM_EMIT("vshr.u32 q5, q1, #23")
__ASM_EMIT("vand.u32 q8, q0, q12") // q8 = mant(v)
__ASM_EMIT("vand.u32 q9, q1, q12")
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = 0.5f, q15 = sqrt(1/2), fptr += 8
__ASM_EMIT("vsub.i32 q4, q4, q13") // q4 = frac(v) - 127
__ASM_EMIT("vsub.i32 q5, q5, q13")
__ASM_EMIT("vorr.i32 q8, q8, q14") // q8 = V = mant(v)+0.5
__ASM_EMIT("vorr.i32 q9, q9, q14")
__ASM_EMIT("vcvt.f32.s32 q4, q4") // q4 = E = float(frac(v)-127)
__ASM_EMIT("vcvt.f32.s32 q5, q5")
// Prepare logarithm approximation calculations
__ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = 1.0, q13 = L0 , fptr += 4
__ASM_EMIT("vclt.f32 q0, q8, q15") // q0 = [ V < sqrt(1/2) ]
__ASM_EMIT("vclt.f32 q1, q9, q15")
__ASM_EMIT("vand.u32 q0, q0, q8") // q0 = V & [ V < sqrt(1/2) ]
__ASM_EMIT("vand.u32 q1, q1, q9")
__ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = V + V & [ V < sqrt(1/2) ]
__ASM_EMIT("vadd.f32 q1, q1, q9")
__ASM_EMIT("vclt.f32 q8, q8, q15") // q8 = [ V < sqrt(1/2) ]
__ASM_EMIT("vclt.f32 q9, q9, q15")
__ASM_EMIT("vsub.f32 q0, q0, q12") // q0 = A = V + V & [ V < sqrt(1/2) ] - 1.0
__ASM_EMIT("vsub.f32 q1, q1, q12")
__ASM_EMIT("vbic.u32 q8, q12, q8") // q8 = 1.0 & [ V >= sqrt(1/2) ]
__ASM_EMIT("vbic.u32 q9, q12, q9")
__ASM_EMIT("vadd.f32 q4, q4, q8") // q4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
__ASM_EMIT("vadd.f32 q5, q5, q9")
// Calculate logarithmic values
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L1, q15 = L2, fptr += 8
__ASM_EMIT("vmul.f32 q8, q0, q13") // q8 = L0*A
__ASM_EMIT("vmul.f32 q9, q1, q13")
__ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L1+L0*A
__ASM_EMIT("vadd.f32 q9, q9, q14")
__ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L3, q13 = L4, fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L1+L0*A)
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L2+A*(L1+L0*A)
__ASM_EMIT("vadd.f32 q9, q9, q15")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L2+A*(L1+L0*A))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L3+A*(L2+A*(L1+L0*A))
__ASM_EMIT("vadd.f32 q9, q9, q12")
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L5, q15 = L6, fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L3+A*(L2+A*(L1+L0*A)))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
__ASM_EMIT("vadd.f32 q9, q9, q13")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
__ASM_EMIT("vadd.f32 q9, q9, q14")
__ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L7, q13 = L8, fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
__ASM_EMIT("vadd.f32 q9, q9, q15")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
__ASM_EMIT("vadd.f32 q9, q9, q12")
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]") // q14 = L9, q15 = (LXE + LN2), fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
__ASM_EMIT("vadd.f32 q9, q9, q13")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
__ASM_EMIT("vadd.f32 q9, q9, q14")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("sub %[fptr], #0xd0") // fptr -= 52
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmla.f32 q8, q4, q15") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vmla.f32 q9, q5, q15")
__ASM_EMIT("vadd.f32 q8, q8, q0") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
__ASM_EMIT("vadd.f32 q9, q9, q1")
// Apply values to axes, q0 = log(abs(v*zero))
__ASM_EMIT("vld1.32 {q4-q5}, [%[x]]") // q4 = x, q5 = x
__ASM_EMIT("vld1.32 {q12-q13}, [%[params]]") // q12 = zero, q13 = norm_x
__ASM_EMIT("vmla.f32 q4, q8, q13") // q4 = x + log(abs(v*zero)) * norm_x
__ASM_EMIT("vmla.f32 q5, q9, q13")
__ASM_EMIT("sub %[count], #8")
__ASM_EMIT("vst1.32 {q4-q5}, [%[x]]!") // x += 8
// Do x4 block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #4")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vld1.32 {q4}, [%[v]]!") // q4 = v, v += 4
__ASM_EMIT("vld1.32 {q12}, [%[fptr]]!") // q12 = X_AMP, fptr += 4
__ASM_EMIT("vabs.f32 q4, q4") // q4 = abs(v)
__ASM_EMIT("vld1.32 {q13}, [%[params]]") // q13 = zero, params += 4
__ASM_EMIT("vmax.f32 q4, q12") // q4 = max(X_AMP, abs(v)), ignores denormalized values
__ASM_EMIT("vmul.f32 q0, q4, q13") // q0 = max(X_AMP, abs(v)) * zero
// Step 2: parse float value
__ASM_EMIT("vld1.32 {q12-q13}, [%[iptr]]") // q12 = MANT_MASK, q13 = FRAC_SUB = 127
__ASM_EMIT("vshr.u32 q4, q0, #23") // q4 = frac(v)
__ASM_EMIT("vand.u32 q8, q0, q12") // q8 = mant(v)
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = 0.5f, q15 = sqrt(1/2), fptr += 8
__ASM_EMIT("vsub.i32 q4, q4, q13") // q4 = frac(v) - 127
__ASM_EMIT("vorr.i32 q8, q8, q14") // q8 = V = mant(v)+0.5
__ASM_EMIT("vcvt.f32.s32 q4, q4") // q4 = E = float(frac(v)-127)
// Prepare logarithm approximation calculations
__ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = 1.0, q13 = L0 , fptr += 4
__ASM_EMIT("vclt.f32 q0, q8, q15") // q0 = [ V < sqrt(1/2) ]
__ASM_EMIT("vand.u32 q0, q0, q8") // q0 = V & [ V < sqrt(1/2) ]
__ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = V + V * [ V < sqrt(1/2) ]
__ASM_EMIT("vclt.f32 q8, q8, q15") // q8 = [ V < sqrt(1/2) ]
__ASM_EMIT("vsub.f32 q0, q0, q12") // q0 = A = V + V & [ V < sqrt(1/2) ] - 1.0
__ASM_EMIT("vbic.u32 q8, q12, q8") // q8 = 1.0 & [ V >= sqrt(1/2) ]
__ASM_EMIT("vadd.f32 q4, q4, q8") // q4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
// Calculate logarithmic values
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L1, q15 = L2, fptr += 8
__ASM_EMIT("vmul.f32 q8, q0, q13") // q8 = L0*A
__ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L1+L0*A
__ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L3, q13 = L4, fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L1+L0*A)
__ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L2+A*(L1+L0*A)
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L2+A*(L1+L0*A))
__ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L3+A*(L2+A*(L1+L0*A))
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L5, q15 = L6, fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L3+A*(L2+A*(L1+L0*A)))
__ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
__ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
__ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L7, q13 = L8, fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
__ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
__ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]") // q14 = L9, q15 = (LXE + LN2), fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
__ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
__ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("sub %[fptr], #0xd0") // fptr -= 52
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vmla.f32 q8, q4, q15") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vadd.f32 q8, q8, q0") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
// Apply values to axes, q0 = log(abs(v*zero))
__ASM_EMIT("vld1.32 {q4}, [%[x]]") // q4 = x
__ASM_EMIT("vld1.32 {q12-q13}, [%[params]]") // q12 = zero, q13 = norm_x
__ASM_EMIT("vmla.f32 q4, q8, q13") // q4 = x + log(abs(v*zero)) * norm_x
__ASM_EMIT("sub %[count], #4")
__ASM_EMIT("vst1.32 {q4}, [%[x]]!") // x += 4
// Do x1 blocks
__ASM_EMIT("6:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 8f")
__ASM_EMIT("7:")
__ASM_EMIT("vldm %[v]!, {s8}") // d4 = v, v += 4
__ASM_EMIT("vld1.32 {q6}, [%[fptr]]!") // d12 = X_AMP, fptr += 4
__ASM_EMIT("vabs.f32 d4, d4") // d4 = abs(v)
__ASM_EMIT("vld1.32 {q7}, [%[params]]") // d14 = zero, params += 4
__ASM_EMIT("vmax.f32 d4, d12") // d4 = max(X_AMP, abs(v)), ignores denormalized values
__ASM_EMIT("vmul.f32 d0, d4, d14") // d0 = max(X_AMP, abs(v)) * zero
// Step 2: parse float value
__ASM_EMIT("vld1.32 {q6-q7}, [%[iptr]]") // d12 = MANT_MASK, d14 = FRAC_SUB = 127
__ASM_EMIT("vshr.u32 d4, d0, #23") // d4 = frac(v)
__ASM_EMIT("vand.u32 d8, d0, d12") // d8 = mant(v)
__ASM_EMIT("vld1.32 {q8-q9}, [%[fptr]]!") // d16 = 0.5f, d18 = sqrt(1/2), fptr += 8
__ASM_EMIT("vsub.i32 d4, d4, d14") // d4 = frac(v) - 127
__ASM_EMIT("vorr.i32 d8, d8, d16") // d8 = V = mant(v)+0.5
__ASM_EMIT("vcvt.f32.s32 d4, d4") // d4 = E = float(frac(v)-127)
// Prepare logarithm approximation calculations
__ASM_EMIT("vld1.32 {q6-q7}, [%[fptr]]!") // d12 = 1.0, d14 = L0 , fptr += 4
__ASM_EMIT("vclt.f32 d0, d8, d18") // d0 = [ V < sqrt(1/2) ]
__ASM_EMIT("vand.u32 d0, d0, d8") // d0 = V & [ V < sqrt(1/2) ]
__ASM_EMIT("vadd.f32 d0, d0, d8") // d0 = V + V & [ V < sqrt(1/2) ]
__ASM_EMIT("vclt.f32 d8, d8, d18") // d8 = [ V < sqrt(1/2) ]
__ASM_EMIT("vsub.f32 d0, d0, d12") // d0 = A = V + V & [ V < sqrt(1/2) ] - 1.0
__ASM_EMIT("vbic.u32 d8, d12, d8") // d8 = 1.0 & [ V >= sqrt(1/2) ]
__ASM_EMIT("vadd.f32 d4, d4, d8") // d4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
// Calculate logarithmic values
__ASM_EMIT("vld1.32 {q8-q9}, [%[fptr]]!") // d16 = L1, d18 = L2, fptr += 8
__ASM_EMIT("vmul.f32 d8, d0, d14") // d8 = L0*A
__ASM_EMIT("vadd.f32 d8, d8, d16") // d8 = L1+L0*A
__ASM_EMIT("vld1.32 {q6-q7}, [%[fptr]]!") // d12 = L3, d14 = L4, fptr += 8
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L1+L0*A)
__ASM_EMIT("vadd.f32 d8, d8, d18") // d8 = L2+A*(L1+L0*A)
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L2+A*(L1+L0*A))
__ASM_EMIT("vadd.f32 d8, d8, d12") // d8 = L3+A*(L2+A*(L1+L0*A))
__ASM_EMIT("vld1.32 {q8-q9}, [%[fptr]]!") // d16 = L5, d18 = L6, fptr += 8
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L3+A*(L2+A*(L1+L0*A)))
__ASM_EMIT("vadd.f32 d8, d8, d14") // d8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
__ASM_EMIT("vadd.f32 d8, d8, d16") // d8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
__ASM_EMIT("vld1.32 {q6-q7}, [%[fptr]]!") // d12 = L7, d14 = L8, fptr += 8
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
__ASM_EMIT("vadd.f32 d8, d8, d18") // d8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
__ASM_EMIT("vadd.f32 d8, d8, d12") // d8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
__ASM_EMIT("vld1.32 {q8-q9}, [%[fptr]]") // d16 = L9, d18 = (LXE + LN2), fptr += 8
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
__ASM_EMIT("vadd.f32 d8, d8, d14") // d8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
__ASM_EMIT("vadd.f32 d8, d8, d16") // d8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("sub %[fptr], #0xd0") // fptr -= 52
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vmla.f32 d8, d4, d18") // d8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vadd.f32 d8, d8, d0") // d8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
// Apply values to axes, d0 = log(abs(v*zero))
__ASM_EMIT("vldm %[x], {s8}") // d4 = x
__ASM_EMIT("vld1.32 {q6-q7}, [%[params]]") // d12 = zero, d14 = norm_x
__ASM_EMIT("vmla.f32 d4, d8, d14") // d4 = x + log(abs(v*zero)) * norm_x
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("vstm %[x]!, {s8}") // x++
__ASM_EMIT("bge 7b")
__ASM_EMIT("8:")
: [v] "+r" (v), [x] "+r" (x),
[count] "+r" (count),
[iptr] "+r" (iptr), [fptr] "+r" (fptr)
: [params] "r" (params)
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
);
}
void axis_apply_log2(float *x, float *y, const float *v, float zero, float norm_x, float norm_y, size_t count)
{
IF_ARCH_ARM(
float params[12] __lsp_aligned16;
params[0] = zero;
params[1] = norm_x;
params[2] = norm_y;
const uint32_t *iptr = LOG_IARGS;
const float *fptr = LOG_FARGS;
);
//---------------------------------------------------------------
// Prepare constants
ARCH_ARM_ASM
(
__ASM_EMIT("vld1.32 {q0}, [%[params]]")
__ASM_EMIT("vdup.32 q3, d1[0]") // q3 = norm_y
__ASM_EMIT("vdup.32 q2, d0[1]") // q2 = norm_x
__ASM_EMIT("vdup.32 q0, d0[0]") // q0 = zero
__ASM_EMIT("vst1.32 {q0}, [%[params]]!") // params += 4
__ASM_EMIT("vst1.32 {q2-q3}, [%[params]]")
__ASM_EMIT("subs %[count], #16")
__ASM_EMIT("blo 2f")
// Do 16x blocks
__ASM_EMIT("1:")
__ASM_EMIT("vld1.32 {q4-q5}, [%[v]]!") // q4 = v, q5 = v, v += 8
__ASM_EMIT("sub %[params], #0x10") // params -= 4
__ASM_EMIT("vld1.32 {q6-q7}, [%[v]]!")
__ASM_EMIT("vld1.32 {q12}, [%[fptr]]!") // q12 = X_AMP, fptr += 4
__ASM_EMIT("vabs.f32 q4, q4") // q4 = abs(v)
__ASM_EMIT("vabs.f32 q5, q5")
__ASM_EMIT("vabs.f32 q6, q6")
__ASM_EMIT("vabs.f32 q7, q7")
__ASM_EMIT("vld1.32 {q13}, [%[params]]!") // q13 = zero, params += 4
__ASM_EMIT("vmax.f32 q4, q12") // q12 = max(X_AMP, abs(v)), ignores denormalized values
__ASM_EMIT("vmax.f32 q5, q12")
__ASM_EMIT("vmax.f32 q6, q12")
__ASM_EMIT("vmax.f32 q7, q12")
__ASM_EMIT("vmul.f32 q0, q4, q13") // q13 = max(X_AMP, abs(v)) * zero
__ASM_EMIT("vmul.f32 q1, q5, q13")
__ASM_EMIT("vmul.f32 q2, q6, q13")
__ASM_EMIT("vmul.f32 q3, q7, q13")
// Step 2: parse float value
__ASM_EMIT("vld1.32 {q12-q13}, [%[iptr]]") // q12 = MANT_MASK, q13 = FRAC_SUB = 127
__ASM_EMIT("vshr.u32 q4, q0, #23") // q4 = frac(v)
__ASM_EMIT("vshr.u32 q5, q1, #23")
__ASM_EMIT("vshr.u32 q6, q2, #23")
__ASM_EMIT("vshr.u32 q7, q3, #23")
__ASM_EMIT("vand.u32 q8, q0, q12") // q8 = mant(v)
__ASM_EMIT("vand.u32 q9, q1, q12")
__ASM_EMIT("vand.u32 q10, q2, q12")
__ASM_EMIT("vand.u32 q11, q3, q12")
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = 0.5f, q15 = sqrt(1/2), fptr += 8
__ASM_EMIT("vsub.i32 q4, q4, q13") // q4 = frac(v) - 127
__ASM_EMIT("vsub.i32 q5, q5, q13")
__ASM_EMIT("vsub.i32 q6, q6, q13")
__ASM_EMIT("vsub.i32 q7, q7, q13")
__ASM_EMIT("vorr.i32 q8, q8, q14") // q8 = V = mant(v)+0.5
__ASM_EMIT("vorr.i32 q9, q9, q14")
__ASM_EMIT("vorr.i32 q10, q10, q14")
__ASM_EMIT("vorr.i32 q11, q11, q14")
__ASM_EMIT("vcvt.f32.s32 q4, q4") // q4 = E = float(frac(v)-127)
__ASM_EMIT("vcvt.f32.s32 q5, q5")
__ASM_EMIT("vcvt.f32.s32 q6, q6")
__ASM_EMIT("vcvt.f32.s32 q7, q7")
// Prepare logarithm approximation calculations
__ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = 1.0, q13 = L0 , fptr += 4
__ASM_EMIT("vclt.f32 q0, q8, q15") // q0 = [ V < sqrt(1/2) ]
__ASM_EMIT("vclt.f32 q1, q9, q15")
__ASM_EMIT("vclt.f32 q2, q10, q15")
__ASM_EMIT("vclt.f32 q3, q11, q15")
__ASM_EMIT("vand.u32 q0, q0, q8") // q0 = V * [ V < sqrt(1/2) ]
__ASM_EMIT("vand.u32 q1, q1, q9")
__ASM_EMIT("vand.u32 q2, q2, q10")
__ASM_EMIT("vand.u32 q3, q3, q11")
__ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = V + V * [ V < sqrt(1/2) ]
__ASM_EMIT("vadd.f32 q1, q1, q9")
__ASM_EMIT("vadd.f32 q2, q2, q10")
__ASM_EMIT("vadd.f32 q3, q3, q11")
__ASM_EMIT("vclt.f32 q8, q8, q15") // q8 = [ V < sqrt(1/2) ]
__ASM_EMIT("vclt.f32 q9, q9, q15")
__ASM_EMIT("vclt.f32 q10, q10, q15")
__ASM_EMIT("vclt.f32 q11, q11, q15")
__ASM_EMIT("vsub.f32 q0, q0, q12") // q0 = A = V + V & [ V < sqrt(1/2) ] - 1.0
__ASM_EMIT("vsub.f32 q1, q1, q12")
__ASM_EMIT("vsub.f32 q2, q2, q12")
__ASM_EMIT("vsub.f32 q3, q3, q12")
__ASM_EMIT("vbic.u32 q8, q12, q8") // q8 = 1.0 & [ V >= sqrt(1/2) ]
__ASM_EMIT("vbic.u32 q9, q12, q9")
__ASM_EMIT("vbic.u32 q10, q12, q10")
__ASM_EMIT("vbic.u32 q11, q12, q11")
__ASM_EMIT("vadd.f32 q4, q4, q8") // q4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
__ASM_EMIT("vadd.f32 q5, q5, q9")
__ASM_EMIT("vadd.f32 q6, q6, q10")
__ASM_EMIT("vadd.f32 q7, q7, q11")
// Calculate logarithmic values
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L1, q15 = L2, fptr += 8
__ASM_EMIT("vmul.f32 q8, q0, q13") // q8 = L0*A
__ASM_EMIT("vmul.f32 q9, q1, q13")
__ASM_EMIT("vmul.f32 q10, q2, q13")
__ASM_EMIT("vmul.f32 q11, q3, q13")
__ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L1+L0*A
__ASM_EMIT("vadd.f32 q9, q9, q14")
__ASM_EMIT("vadd.f32 q10, q10, q14")
__ASM_EMIT("vadd.f32 q11, q11, q14")
__ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L3, q13 = L4, fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L1+L0*A)
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L2+A*(L1+L0*A)
__ASM_EMIT("vadd.f32 q9, q9, q15")
__ASM_EMIT("vadd.f32 q10, q10, q15")
__ASM_EMIT("vadd.f32 q11, q11, q15")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L2+A*(L1+L0*A))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L3+A*(L2+A*(L1+L0*A))
__ASM_EMIT("vadd.f32 q9, q9, q12")
__ASM_EMIT("vadd.f32 q10, q10, q12")
__ASM_EMIT("vadd.f32 q11, q11, q12")
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L5, q15 = L6, fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L3+A*(L2+A*(L1+L0*A)))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
__ASM_EMIT("vadd.f32 q9, q9, q13")
__ASM_EMIT("vadd.f32 q10, q10, q13")
__ASM_EMIT("vadd.f32 q11, q11, q13")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
__ASM_EMIT("vadd.f32 q9, q9, q14")
__ASM_EMIT("vadd.f32 q10, q10, q14")
__ASM_EMIT("vadd.f32 q11, q11, q14")
__ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L7, q13 = L8, fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
__ASM_EMIT("vadd.f32 q9, q9, q15")
__ASM_EMIT("vadd.f32 q10, q10, q15")
__ASM_EMIT("vadd.f32 q11, q11, q15")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
__ASM_EMIT("vadd.f32 q9, q9, q12")
__ASM_EMIT("vadd.f32 q10, q10, q12")
__ASM_EMIT("vadd.f32 q11, q11, q12")
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]") // q14 = L9, q15 = (LXE + LN2), fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
__ASM_EMIT("vadd.f32 q9, q9, q13")
__ASM_EMIT("vadd.f32 q10, q10, q13")
__ASM_EMIT("vadd.f32 q11, q11, q13")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
__ASM_EMIT("vadd.f32 q9, q9, q14")
__ASM_EMIT("vadd.f32 q10, q10, q14")
__ASM_EMIT("vadd.f32 q11, q11, q14")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("sub %[fptr], #0xd0") // fptr -= 52
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmul.f32 q10, q10, q2")
__ASM_EMIT("vmul.f32 q11, q11, q3")
__ASM_EMIT("vmla.f32 q8, q4, q15") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vmla.f32 q9, q5, q15")
__ASM_EMIT("vmla.f32 q10, q6, q15")
__ASM_EMIT("vmla.f32 q11, q7, q15")
__ASM_EMIT("vadd.f32 q8, q8, q0") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
__ASM_EMIT("vadd.f32 q9, q9, q1")
__ASM_EMIT("vadd.f32 q10, q10, q2")
__ASM_EMIT("vadd.f32 q11, q11, q3")
// Apply values to axes, q0 = log(abs(v*zero))
__ASM_EMIT("vldm %[x], {q4-q7}") // q4 = x, q5 = x, q6 = x, q7 = x
__ASM_EMIT("vldm %[y], {q0-q3}") // q0 = y, q1 = y, q2 = y, q3 = y
__ASM_EMIT("vld1.32 {q12-q13}, [%[params]]") // q12 = norm_x, q13 = norm_y
__ASM_EMIT("vmla.f32 q4, q8, q12") // q4 = x + log(abs(v*zero)) * norm_x
__ASM_EMIT("vmla.f32 q5, q9, q12")
__ASM_EMIT("vmla.f32 q6, q10, q12")
__ASM_EMIT("vmla.f32 q7, q11, q12")
__ASM_EMIT("vmla.f32 q0, q8, q13") // q0 = y + log(abs(v*zero)) * norm_y
__ASM_EMIT("vmla.f32 q1, q9, q13")
__ASM_EMIT("vmla.f32 q2, q10, q13")
__ASM_EMIT("vmla.f32 q3, q11, q13")
__ASM_EMIT("subs %[count], #16")
__ASM_EMIT("vstm %[x]!, {q4-q7}") // x += 16
__ASM_EMIT("vstm %[y]!, {q0-q3}") // y += 16
__ASM_EMIT("bge 1b")
// Do 8x block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #8")
__ASM_EMIT("blt 4f")
__ASM_EMIT("sub %[params], #0x10") // params -= 4
__ASM_EMIT("vld1.32 {q4-q5}, [%[v]]!") // q4 = v, q5 = v, v += 8
__ASM_EMIT("vld1.32 {q12}, [%[fptr]]!") // q12 = X_AMP, fptr += 4
__ASM_EMIT("vabs.f32 q4, q4") // q4 = abs(v)
__ASM_EMIT("vabs.f32 q5, q5")
__ASM_EMIT("vld1.32 {q13}, [%[params]]!") // q13 = zero, params += 4
__ASM_EMIT("vmax.f32 q4, q12") // q12 = max(X_AMP, abs(v)), ignores denormalized values
__ASM_EMIT("vmax.f32 q5, q12")
__ASM_EMIT("vmul.f32 q0, q4, q13") // q13 = max(X_AMP, abs(v)) * zero
__ASM_EMIT("vmul.f32 q1, q5, q13")
// Step 2: parse float value
__ASM_EMIT("vld1.32 {q12-q13}, [%[iptr]]") // q12 = MANT_MASK, q13 = FRAC_SUB = 127
__ASM_EMIT("vshr.u32 q4, q0, #23") // q4 = frac(v)
__ASM_EMIT("vshr.u32 q5, q1, #23")
__ASM_EMIT("vand.u32 q8, q0, q12") // q8 = mant(v)
__ASM_EMIT("vand.u32 q9, q1, q12")
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = 0.5f, q15 = sqrt(1/2), fptr += 8
__ASM_EMIT("vsub.i32 q4, q4, q13") // q4 = frac(v) - 127
__ASM_EMIT("vsub.i32 q5, q5, q13")
__ASM_EMIT("vorr.i32 q8, q8, q14") // q8 = V = mant(v)+0.5
__ASM_EMIT("vorr.i32 q9, q9, q14")
__ASM_EMIT("vcvt.f32.s32 q4, q4") // q4 = E = float(frac(v)-127)
__ASM_EMIT("vcvt.f32.s32 q5, q5")
// Prepare logarithm approximation calculations
__ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = 1.0, q13 = L0 , fptr += 4
__ASM_EMIT("vclt.f32 q0, q8, q15") // q0 = [ V < sqrt(1/2) ]
__ASM_EMIT("vclt.f32 q1, q9, q15")
__ASM_EMIT("vand.u32 q0, q0, q8") // q0 = V & [ V < sqrt(1/2) ]
__ASM_EMIT("vand.u32 q1, q1, q9")
__ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = V + V & [ V < sqrt(1/2) ]
__ASM_EMIT("vadd.f32 q1, q1, q9")
__ASM_EMIT("vclt.f32 q8, q8, q15") // q8 = [ V < sqrt(1/2) ]
__ASM_EMIT("vclt.f32 q9, q9, q15")
__ASM_EMIT("vsub.f32 q0, q0, q12") // q0 = A = V + V & [ V < sqrt(1/2) ] - 1.0
__ASM_EMIT("vsub.f32 q1, q1, q12")
__ASM_EMIT("vbic.u32 q8, q12, q8") // q8 = 1.0 & [ V >= sqrt(1/2) ]
__ASM_EMIT("vbic.u32 q9, q12, q9")
__ASM_EMIT("vadd.f32 q4, q4, q8") // q4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
__ASM_EMIT("vadd.f32 q5, q5, q9")
// Calculate logarithmic values
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L1, q15 = L2, fptr += 8
__ASM_EMIT("vmul.f32 q8, q0, q13") // q8 = L0*A
__ASM_EMIT("vmul.f32 q9, q1, q13")
__ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L1+L0*A
__ASM_EMIT("vadd.f32 q9, q9, q14")
__ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L3, q13 = L4, fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L1+L0*A)
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L2+A*(L1+L0*A)
__ASM_EMIT("vadd.f32 q9, q9, q15")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L2+A*(L1+L0*A))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L3+A*(L2+A*(L1+L0*A))
__ASM_EMIT("vadd.f32 q9, q9, q12")
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L5, q15 = L6, fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L3+A*(L2+A*(L1+L0*A)))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
__ASM_EMIT("vadd.f32 q9, q9, q13")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
__ASM_EMIT("vadd.f32 q9, q9, q14")
__ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L7, q13 = L8, fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
__ASM_EMIT("vadd.f32 q9, q9, q15")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
__ASM_EMIT("vadd.f32 q9, q9, q12")
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]") // q14 = L9, q15 = (LXE + LN2), fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
__ASM_EMIT("vadd.f32 q9, q9, q13")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
__ASM_EMIT("vadd.f32 q9, q9, q14")
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("sub %[fptr], #0xd0") // fptr -= 52
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vmul.f32 q9, q9, q1")
__ASM_EMIT("vmla.f32 q8, q4, q15") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vmla.f32 q9, q5, q15")
__ASM_EMIT("vadd.f32 q8, q8, q0") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
__ASM_EMIT("vadd.f32 q9, q9, q1")
// Apply values to axes, q0 = log(abs(v*zero))
__ASM_EMIT("vld1.32 {q4-q5}, [%[x]]") // q4 = x, q5 = x
__ASM_EMIT("vld1.32 {q0-q1}, [%[y]]") // q0 = y, q1 = y
__ASM_EMIT("vld1.32 {q12-q13}, [%[params]]") // q12 = norm_x, q13 = norm_y
__ASM_EMIT("vmla.f32 q4, q8, q12") // q4 = x + log(abs(v*zero)) * norm_x
__ASM_EMIT("vmla.f32 q5, q9, q12")
__ASM_EMIT("vmla.f32 q0, q8, q13") // q0 = y + log(abs(v*zero)) * norm_y
__ASM_EMIT("vmla.f32 q1, q9, q13")
__ASM_EMIT("sub %[count], #8")
__ASM_EMIT("vst1.32 {q4-q5}, [%[x]]!") // x += 8
__ASM_EMIT("vst1.32 {q0-q1}, [%[y]]!") // y += 8
// Do x4 block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #4")
__ASM_EMIT("blt 6f")
__ASM_EMIT("sub %[params], #0x10") // params -= 4
__ASM_EMIT("vld1.32 {q4}, [%[v]]!") // q4 = v, v += 4
__ASM_EMIT("vld1.32 {q12}, [%[fptr]]!") // q12 = X_AMP, fptr += 4
__ASM_EMIT("vabs.f32 q4, q4") // q4 = abs(v)
__ASM_EMIT("vld1.32 {q13}, [%[params]]!") // q13 = zero, params += 4
__ASM_EMIT("vmax.f32 q4, q12") // q4 = max(X_AMP, abs(v)), ignores denormalized values
__ASM_EMIT("vmul.f32 q0, q4, q13") // q0 = max(X_AMP, abs(v)) * zero
// Step 2: parse float value
__ASM_EMIT("vld1.32 {q12-q13}, [%[iptr]]") // q12 = MANT_MASK, q13 = FRAC_SUB = 127
__ASM_EMIT("vshr.u32 q4, q0, #23") // q4 = frac(v)
__ASM_EMIT("vand.u32 q8, q0, q12") // q8 = mant(v)
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = 0.5f, q15 = sqrt(1/2), fptr += 8
__ASM_EMIT("vsub.i32 q4, q4, q13") // q4 = frac(v) - 127
__ASM_EMIT("vorr.i32 q8, q8, q14") // q8 = V = mant(v)+0.5
__ASM_EMIT("vcvt.f32.s32 q4, q4") // q4 = E = float(frac(v)-127)
// Prepare logarithm approximation calculations
__ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = 1.0, q13 = L0 , fptr += 4
__ASM_EMIT("vclt.f32 q0, q8, q15") // q0 = [ V < sqrt(1/2) ]
__ASM_EMIT("vand.u32 q0, q0, q8") // q0 = V & [ V < sqrt(1/2) ]
__ASM_EMIT("vadd.f32 q0, q0, q8") // q0 = V + V * [ V < sqrt(1/2) ]
__ASM_EMIT("vclt.f32 q8, q8, q15") // q8 = [ V < sqrt(1/2) ]
__ASM_EMIT("vsub.f32 q0, q0, q12") // q0 = A = V + V & [ V < sqrt(1/2) ] - 1.0
__ASM_EMIT("vbic.u32 q8, q12, q8") // q8 = 1.0 & [ V >= sqrt(1/2) ]
__ASM_EMIT("vadd.f32 q4, q4, q8") // q4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
// Calculate logarithmic values
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L1, q15 = L2, fptr += 8
__ASM_EMIT("vmul.f32 q8, q0, q13") // q8 = L0*A
__ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L1+L0*A
__ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L3, q13 = L4, fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L1+L0*A)
__ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L2+A*(L1+L0*A)
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L2+A*(L1+L0*A))
__ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L3+A*(L2+A*(L1+L0*A))
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]!") // q14 = L5, q15 = L6, fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L3+A*(L2+A*(L1+L0*A)))
__ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
__ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
__ASM_EMIT("vld1.32 {q12-q13}, [%[fptr]]!") // q12 = L7, q13 = L8, fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
__ASM_EMIT("vadd.f32 q8, q8, q15") // q8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
__ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
__ASM_EMIT("vld1.32 {q14-q15}, [%[fptr]]") // q14 = L9, q15 = (LXE + LN2), fptr += 8
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
__ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
__ASM_EMIT("vadd.f32 q8, q8, q14") // q8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("sub %[fptr], #0xd0") // fptr -= 52
__ASM_EMIT("vmul.f32 q8, q8, q0") // q8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vmla.f32 q8, q4, q15") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vadd.f32 q8, q8, q0") // q8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
// Apply values to axes, q0 = log(abs(v*zero))
__ASM_EMIT("vld1.32 {q4}, [%[x]]") // q4 = x
__ASM_EMIT("vld1.32 {q0}, [%[y]]") // q0 = y
__ASM_EMIT("vld1.32 {q12-q13}, [%[params]]") // q12 = norm_x, q13 = norm_y
__ASM_EMIT("vmla.f32 q4, q8, q12") // q4 = x + log(abs(v*zero)) * norm_x
__ASM_EMIT("vmla.f32 q0, q8, q13") // q0 = y + log(abs(v*zero)) * norm_y
__ASM_EMIT("sub %[count], #4")
__ASM_EMIT("vst1.32 {q4}, [%[x]]!") // x += 4
__ASM_EMIT("vst1.32 {q0}, [%[y]]!") // y += 4
// Do x1 block
__ASM_EMIT("6:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 8f")
__ASM_EMIT("7:")
__ASM_EMIT("sub %[params], #0x10") // params -= 4
__ASM_EMIT("vldm %[v]!, {s8}") // d4 = v, v += 4
__ASM_EMIT("vld1.32 {q6}, [%[fptr]]!") // d12 = X_AMP, fptr += 4
__ASM_EMIT("vabs.f32 d4, d4") // d4 = abs(v)
__ASM_EMIT("vld1.32 {q7}, [%[params]]!") // d14 = zero, params += 4
__ASM_EMIT("vmax.f32 d4, d12") // d4 = max(X_AMP, abs(v)), ignores denormalized values
__ASM_EMIT("vmul.f32 d0, d4, d14") // d0 = max(X_AMP, abs(v)) * zero
// Step 2: parse float value
__ASM_EMIT("vld1.32 {q6-q7}, [%[iptr]]") // d12 = MANT_MASK, d14 = FRAC_SUB = 127
__ASM_EMIT("vshr.u32 d4, d0, #23") // d4 = frac(v)
__ASM_EMIT("vand.u32 d8, d0, d12") // d8 = mant(v)
__ASM_EMIT("vld1.32 {q8-q9}, [%[fptr]]!") // d16 = 0.5f, d18 = sqrt(1/2), fptr += 8
__ASM_EMIT("vsub.i32 d4, d4, d14") // d4 = frac(v) - 127
__ASM_EMIT("vorr.i32 d8, d8, d16") // d8 = V = mant(v)+0.5
__ASM_EMIT("vcvt.f32.s32 d4, d4") // d4 = E = float(frac(v)-127)
// Prepare logarithm approximation calculations
__ASM_EMIT("vld1.32 {q6-q7}, [%[fptr]]!") // d12 = 1.0, d14 = L0 , fptr += 4
__ASM_EMIT("vclt.f32 d0, d8, d18") // d0 = [ V < sqrt(1/2) ]
__ASM_EMIT("vand.u32 d0, d0, d8") // d0 = V & [ V < sqrt(1/2) ]
__ASM_EMIT("vadd.f32 d0, d0, d8") // d0 = V + V & [ V < sqrt(1/2) ]
__ASM_EMIT("vclt.f32 d8, d8, d18") // d8 = [ V < sqrt(1/2) ]
__ASM_EMIT("vsub.f32 d0, d0, d12") // d0 = A = V + V & [ V < sqrt(1/2) ] - 1.0
__ASM_EMIT("vbic.u32 d8, d12, d8") // d8 = 1.0 & [ V >= sqrt(1/2) ]
__ASM_EMIT("vadd.f32 d4, d4, d8") // d4 = B = E + 1.0 & [ V >= sqrt(1/2) ]
// Calculate logarithmic values
__ASM_EMIT("vld1.32 {q8-q9}, [%[fptr]]!") // d16 = L1, d18 = L2, fptr += 8
__ASM_EMIT("vmul.f32 d8, d0, d14") // d8 = L0*A
__ASM_EMIT("vadd.f32 d8, d8, d16") // d8 = L1+L0*A
__ASM_EMIT("vld1.32 {q6-q7}, [%[fptr]]!") // d12 = L3, d14 = L4, fptr += 8
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L1+L0*A)
__ASM_EMIT("vadd.f32 d8, d8, d18") // d8 = L2+A*(L1+L0*A)
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L2+A*(L1+L0*A))
__ASM_EMIT("vadd.f32 d8, d8, d12") // d8 = L3+A*(L2+A*(L1+L0*A))
__ASM_EMIT("vld1.32 {q8-q9}, [%[fptr]]!") // d16 = L5, d18 = L6, fptr += 8
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L3+A*(L2+A*(L1+L0*A)))
__ASM_EMIT("vadd.f32 d8, d8, d14") // d8 = L4+A*(L3+A*(L2+A*(L1+L0*A)))
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
__ASM_EMIT("vadd.f32 d8, d8, d16") // d8 = L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))
__ASM_EMIT("vld1.32 {q6-q7}, [%[fptr]]!") // d12 = L7, d14 = L8, fptr += 8
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
__ASM_EMIT("vadd.f32 d8, d8, d18") // d8 = L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
__ASM_EMIT("vadd.f32 d8, d8, d12") // d8 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))
__ASM_EMIT("vld1.32 {q8-q9}, [%[fptr]]") // d16 = L9, d18 = (LXE + LN2), fptr += 8
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
__ASM_EMIT("vadd.f32 d8, d8, d14") // d8 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
__ASM_EMIT("vadd.f32 d8, d8, d16") // d8 = L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("sub %[fptr], #0xd0") // fptr -= 52
__ASM_EMIT("vmul.f32 d8, d8, d0") // d8 = A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vmla.f32 d8, d4, d18") // d8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A)))))))))
__ASM_EMIT("vadd.f32 d8, d8, d0") // d8 = B*(LXE + LN2) + A*A*(L9+A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*(L2+A*(L1+L0*A))))))))) + A
// Apply values to axes, d0 = log(abs(v*zero))
__ASM_EMIT("vldm %[x], {s8}") // d4 = x
__ASM_EMIT("vldm %[y], {s0}") // d0 = y
__ASM_EMIT("vld1.32 {q6-q7}, [%[params]]") // d12 = norm_x, d14 = norm_y
__ASM_EMIT("vmla.f32 d4, d8, d12") // d4 = x + log(abs(v*zero)) * norm_x
__ASM_EMIT("vmla.f32 d0, d8, d14") // d0 = y + log(abs(v*zero)) * norm_y
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("vstm %[x]!, {s8}") // x++
__ASM_EMIT("vstm %[y]!, {s0}") // y++
__ASM_EMIT("bge 7b")
__ASM_EMIT("8:")
: [v] "+r" (v), [x] "+r" (x) , [y] "+r" (y),
[count] "+r" (count),
[iptr] "+r" (iptr), [fptr] "+r" (fptr)
: [params] "r" (params)
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
);
}
} /* namespace neon_d32 */
} /* namespace lsp */
#endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_GRAPHICS_AXIS_H_ */