/*
* Copyright (C) 2020 Linux Studio Plugins Project
* (C) 2020 Vladimir Sadovnikov
*
* This file is part of lsp-dsp-lib
* Created on: 13 дек. 2020 г.
*
* lsp-dsp-lib is free software: you can redistribute it and/or modify
* it under the terms of the GNU Lesser General Public License as published by
* the Free Software Foundation, either version 3 of the License, or
* any later version.
*
* lsp-dsp-lib is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
* GNU Lesser General Public License for more details.
*
* You should have received a copy of the GNU Lesser General Public License
* along with lsp-dsp-lib. If not, see .
*/
#ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_INTERPOLATION_LINEAR_H_
#define PRIVATE_DSP_ARCH_ARM_NEON_D32_INTERPOLATION_LINEAR_H_
#ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
#error "This header should not be included directly"
#endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
namespace lsp
{
namespace neon_d32
{
static const float lin_inter_const[] __lsp_aligned16 =
{
0.0f, 1.0f, 2.0f, 3.0f, 4.0f, 5.0f, 6.0f, 7.0f, // Initial values 0..7
8.0f, 9.0f, 10.0f, 11.0f, 12.0f, 13.0f, 14.0f, 15.0f, // Initial values 8..15
16.0f, 16.0f, 16.0f, 16.0f, 16.0f, 16.0f, 16.0f, 16.0f // Step
};
void lin_inter_set(float *dst, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
{
IF_ARCH_ARM(
float v[4];
v[0] = x1 - x0;
v[1] = x - x0;
v[2] = y1 - y0;
v[3] = y0;
const float *CC = lin_inter_const;
)
ARCH_ARM_ASM(
// Prepare parameters
__ASM_EMIT("vld4.32 {d24[], d26[], d28[], d30[]}, [%[v]]")
__ASM_EMIT("vldm %[CC]!, {q8-q11}") // q8 = 0..3, q9=4..7, q10=8..11, q11=12..15
__ASM_EMIT("vld4.32 {d25[], d27[], d29[], d31[]}, [%[v]]") // q12 = (x1-x0), q13 = (x-x0), q14 = (y1-y0), q15 = y0
__ASM_EMIT("vrecpe.f32 q0, q12") // q0 = s2
__ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = x[0]
__ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2)
__ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]
__ASM_EMIT("vmul.f32 q0, q1, q0") // q0 = s2' = s2 * (2 - R*s2)
__ASM_EMIT("vadd.f32 q10, q10, q13") // q10 = x[2]
__ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2')
__ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]
__ASM_EMIT("vmul.f32 q12, q1, q0") // q14 = s2" = s2' * (2 - R*s2) = 1/s2
__ASM_EMIT("vmul.f32 q14, q14, q12") // q14 = k = (y1-y0)/(x1-x0)
__ASM_EMIT("vldm %[CC], {q12-q13}") // q12 = d[0], q13=d[1]
// Register allocation:
// q8 = x[0]
// q9 = x[1]
// q10 = x[2]
// q11 = x[3]
// q12 = d[0]
// q13 = d[1]
// q14 = k
// q15 = y0
__ASM_EMIT("subs %[n], %[n], #16")
__ASM_EMIT("blo 2f")
// 16x blocks
__ASM_EMIT("1:")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
__ASM_EMIT("vmul.f32 q6, q10, q14") // q6 = k*x[2]
__ASM_EMIT("vmul.f32 q7, q11, q14") // q7 = k*x[3]
__ASM_EMIT("vadd.f32 q0, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vadd.f32 q1, q5, q15") // q1 = k*x[1] + y0
__ASM_EMIT("vadd.f32 q2, q6, q15") // q2 = k*x[2] + y0
__ASM_EMIT("vadd.f32 q3, q7, q15") // q3 = k*x[3] + y0
__ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = x[0]' = x[0]+d[0]
__ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]' = x[1]+d[1]
__ASM_EMIT("vadd.f32 q10, q10, q12") // q10 = x[2]' = x[2]+d[0]
__ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]' = x[3]+d[1]
__ASM_EMIT("vstm %[dst]!, {q0-q3}")
__ASM_EMIT("subs %[n], %[n], #16")
__ASM_EMIT("bhs 1b")
// 8x block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[n], %[n], #8")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
__ASM_EMIT("vadd.f32 q0, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vadd.f32 q1, q5, q15") // q1 = k*x[1] + y0
__ASM_EMIT("vmov q8, q10") // q8 = x[0]'
__ASM_EMIT("vmov q9, q11") // q9 = x[1]'
__ASM_EMIT("vstm %[dst]!, {q0-q1}")
__ASM_EMIT("sub %[n], %[n], #8")
// 4x block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[n], %[n], #4")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vadd.f32 q0, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vmov q8, q9") // q8 = x[0]'
__ASM_EMIT("vstm %[dst]!, {q0}")
__ASM_EMIT("sub %[n], %[n], #4")
// 1x blocks
__ASM_EMIT("6:")
__ASM_EMIT("adds %[n], %[n], #3")
__ASM_EMIT("blt 8f")
__ASM_EMIT("7:")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vadd.f32 q0, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vext.32 q8, q8, #1") // q8 = x[0]'
__ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
__ASM_EMIT("subs %[n], %[n], #1")
__ASM_EMIT("bge 7b")
__ASM_EMIT("8:")
: [dst] "+r" (dst),
[n] "+r" (n),
[CC] "+r" (CC)
: [v] "r" (&v[0])
: "cc", "memory",
"q0", "q1", "q2", "q3",
"q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11",
"q12", "q13", "q14", "q15"
);
}
void lin_inter_mul2(float *dst, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
{
IF_ARCH_ARM(
float v[4];
v[0] = x1 - x0;
v[1] = x - x0;
v[2] = y1 - y0;
v[3] = y0;
const float *CC = lin_inter_const;
)
ARCH_ARM_ASM(
// Prepare parameters
__ASM_EMIT("vld4.32 {d24[], d26[], d28[], d30[]}, [%[v]]")
__ASM_EMIT("vldm %[CC]!, {q8-q11}") // q8 = 0..3, q9=4..7, q10=8..11, q11=12..15
__ASM_EMIT("vld4.32 {d25[], d27[], d29[], d31[]}, [%[v]]") // q12 = (x1-x0), q13 = (x-x0), q14 = (y1-y0), q15 = y0
__ASM_EMIT("vrecpe.f32 q0, q12") // q0 = s2
__ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = x[0]
__ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2)
__ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]
__ASM_EMIT("vmul.f32 q0, q1, q0") // q0 = s2' = s2 * (2 - R*s2)
__ASM_EMIT("vadd.f32 q10, q10, q13") // q10 = x[2]
__ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2')
__ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]
__ASM_EMIT("vmul.f32 q12, q1, q0") // q14 = s2" = s2' * (2 - R*s2) = 1/s2
__ASM_EMIT("vmul.f32 q14, q14, q12") // q14 = k = (y1-y0)/(x1-x0)
__ASM_EMIT("vldm %[CC], {q12-q13}") // q12 = d[0], q13=d[1]
// Register allocation:
// q8 = x[0]
// q9 = x[1]
// q10 = x[2]
// q11 = x[3]
// q12 = d[0]
// q13 = d[1]
// q14 = k
// q15 = y0
__ASM_EMIT("subs %[n], %[n], #16")
__ASM_EMIT("blo 2f")
// 16x blocks
__ASM_EMIT("1:")
__ASM_EMIT("vldm %[dst], {q0-q3}")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
__ASM_EMIT("vmul.f32 q6, q10, q14") // q6 = k*x[2]
__ASM_EMIT("vmul.f32 q7, q11, q14") // q7 = k*x[3]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
__ASM_EMIT("vadd.f32 q6, q6, q15") // q2 = k*x[2] + y0
__ASM_EMIT("vadd.f32 q7, q7, q15") // q3 = k*x[3] + y0
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
__ASM_EMIT("vmul.f32 q2, q2, q6") // q2 = s0[2]*(k*x[2] + y0)
__ASM_EMIT("vmul.f32 q3, q3, q7") // q3 = s0[3]*(k*x[3] + y0)
__ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = x[0]' = x[0]+d[0]
__ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]' = x[1]+d[1]
__ASM_EMIT("vadd.f32 q10, q10, q12") // q10 = x[2]' = x[2]+d[0]
__ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]' = x[3]+d[1]
__ASM_EMIT("vstm %[dst]!, {q0-q3}")
__ASM_EMIT("subs %[n], %[n], #16")
__ASM_EMIT("bhs 1b")
// 8x block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[n], %[n], #8")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldm %[dst], {q0-q1}")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
__ASM_EMIT("vmov q8, q10") // q8 = x[0]'
__ASM_EMIT("vmov q9, q11") // q9 = x[1]'
__ASM_EMIT("vstm %[dst]!, {q0-q1}")
__ASM_EMIT("sub %[n], %[n], #8")
// 4x block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[n], %[n], #4")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vldm %[dst], {q0}")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vmov q8, q9") // q8 = x[0]'
__ASM_EMIT("vstm %[dst]!, {q0}")
__ASM_EMIT("sub %[n], %[n], #4")
// 1x blocks
__ASM_EMIT("6:")
__ASM_EMIT("adds %[n], %[n], #3")
__ASM_EMIT("blt 8f")
__ASM_EMIT("7:")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[dst]]")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vext.32 q8, q8, #1") // q8 = x[0]'
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
__ASM_EMIT("subs %[n], %[n], #1")
__ASM_EMIT("bge 7b")
__ASM_EMIT("8:")
: [dst] "+r" (dst),
[n] "+r" (n),
[CC] "+r" (CC)
: [v] "r" (&v[0])
: "cc", "memory",
"q0", "q1", "q2", "q3",
"q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11",
"q12", "q13", "q14", "q15"
);
}
void lin_inter_mul3(float *dst, const float *src, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
{
IF_ARCH_ARM(
float v[4];
v[0] = x1 - x0;
v[1] = x - x0;
v[2] = y1 - y0;
v[3] = y0;
const float *CC = lin_inter_const;
)
ARCH_ARM_ASM(
// Prepare parameters
__ASM_EMIT("vld4.32 {d24[], d26[], d28[], d30[]}, [%[v]]")
__ASM_EMIT("vldm %[CC]!, {q8-q11}") // q8 = 0..3, q9=4..7, q10=8..11, q11=12..15
__ASM_EMIT("vld4.32 {d25[], d27[], d29[], d31[]}, [%[v]]") // q12 = (x1-x0), q13 = (x-x0), q14 = (y1-y0), q15 = y0
__ASM_EMIT("vrecpe.f32 q0, q12") // q0 = s2
__ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = x[0]
__ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2)
__ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]
__ASM_EMIT("vmul.f32 q0, q1, q0") // q0 = s2' = s2 * (2 - R*s2)
__ASM_EMIT("vadd.f32 q10, q10, q13") // q10 = x[2]
__ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2')
__ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]
__ASM_EMIT("vmul.f32 q12, q1, q0") // q14 = s2" = s2' * (2 - R*s2) = 1/s2
__ASM_EMIT("vmul.f32 q14, q14, q12") // q14 = k = (y1-y0)/(x1-x0)
__ASM_EMIT("vldm %[CC], {q12-q13}") // q12 = d[0], q13=d[1]
// Register allocation:
// q8 = x[0]
// q9 = x[1]
// q10 = x[2]
// q11 = x[3]
// q12 = d[0]
// q13 = d[1]
// q14 = k
// q15 = y0
__ASM_EMIT("subs %[n], %[n], #16")
__ASM_EMIT("blo 2f")
// 16x blocks
__ASM_EMIT("1:")
__ASM_EMIT("vldm %[src]!, {q0-q3}")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
__ASM_EMIT("vmul.f32 q6, q10, q14") // q6 = k*x[2]
__ASM_EMIT("vmul.f32 q7, q11, q14") // q7 = k*x[3]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
__ASM_EMIT("vadd.f32 q6, q6, q15") // q2 = k*x[2] + y0
__ASM_EMIT("vadd.f32 q7, q7, q15") // q3 = k*x[3] + y0
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
__ASM_EMIT("vmul.f32 q2, q2, q6") // q2 = s0[2]*(k*x[2] + y0)
__ASM_EMIT("vmul.f32 q3, q3, q7") // q3 = s0[3]*(k*x[3] + y0)
__ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = x[0]' = x[0]+d[0]
__ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]' = x[1]+d[1]
__ASM_EMIT("vadd.f32 q10, q10, q12") // q10 = x[2]' = x[2]+d[0]
__ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]' = x[3]+d[1]
__ASM_EMIT("vstm %[dst]!, {q0-q3}")
__ASM_EMIT("subs %[n], %[n], #16")
__ASM_EMIT("bhs 1b")
// 8x block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[n], %[n], #8")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldm %[src]!, {q0-q1}")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
__ASM_EMIT("vmov q8, q10") // q8 = x[0]'
__ASM_EMIT("vmov q9, q11") // q9 = x[1]'
__ASM_EMIT("vstm %[dst]!, {q0-q1}")
__ASM_EMIT("sub %[n], %[n], #8")
// 4x block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[n], %[n], #4")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vldm %[src]!, {q0}")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vmov q8, q9") // q8 = x[0]'
__ASM_EMIT("vstm %[dst]!, {q0}")
__ASM_EMIT("sub %[n], %[n], #4")
// 1x blocks
__ASM_EMIT("6:")
__ASM_EMIT("adds %[n], %[n], #3")
__ASM_EMIT("blt 8f")
__ASM_EMIT("7:")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vext.32 q8, q8, #1") // q8 = x[0]'
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
__ASM_EMIT("subs %[n], %[n], #1")
__ASM_EMIT("bge 7b")
__ASM_EMIT("8:")
: [dst] "+r" (dst), [src] "+r" (src),
[n] "+r" (n),
[CC] "+r" (CC)
: [v] "r" (&v[0])
: "cc", "memory",
"q0", "q1", "q2", "q3",
"q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11",
"q12", "q13", "q14", "q15"
);
}
void lin_inter_fmadd2(float *dst, const float *src, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
{
IF_ARCH_ARM(
float v[4];
v[0] = x1 - x0;
v[1] = x - x0;
v[2] = y1 - y0;
v[3] = y0;
const float *CC = lin_inter_const;
)
ARCH_ARM_ASM(
// Prepare parameters
__ASM_EMIT("vld4.32 {d24[], d26[], d28[], d30[]}, [%[v]]")
__ASM_EMIT("vldm %[CC]!, {q8-q11}") // q8 = 0..3, q9=4..7, q10=8..11, q11=12..15
__ASM_EMIT("vld4.32 {d25[], d27[], d29[], d31[]}, [%[v]]") // q12 = (x1-x0), q13 = (x-x0), q14 = (y1-y0), q15 = y0
__ASM_EMIT("vrecpe.f32 q0, q12") // q0 = s2
__ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = x[0]
__ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2)
__ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]
__ASM_EMIT("vmul.f32 q0, q1, q0") // q0 = s2' = s2 * (2 - R*s2)
__ASM_EMIT("vadd.f32 q10, q10, q13") // q10 = x[2]
__ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2')
__ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]
__ASM_EMIT("vmul.f32 q12, q1, q0") // q14 = s2" = s2' * (2 - R*s2) = 1/s2
__ASM_EMIT("vmul.f32 q14, q14, q12") // q14 = k = (y1-y0)/(x1-x0)
__ASM_EMIT("vldm %[CC], {q12-q13}") // q12 = d[0], q13=d[1]
// Register allocation:
// q8 = x[0]
// q9 = x[1]
// q10 = x[2]
// q11 = x[3]
// q12 = d[0]
// q13 = d[1]
// q14 = k
// q15 = y0
__ASM_EMIT("subs %[n], %[n], #16")
__ASM_EMIT("blo 2f")
// 16x blocks
__ASM_EMIT("1:")
__ASM_EMIT("vldm %[src]!, {q0-q3}")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
__ASM_EMIT("vmul.f32 q6, q10, q14") // q6 = k*x[2]
__ASM_EMIT("vmul.f32 q7, q11, q14") // q7 = k*x[3]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
__ASM_EMIT("vadd.f32 q6, q6, q15") // q2 = k*x[2] + y0
__ASM_EMIT("vadd.f32 q7, q7, q15") // q3 = k*x[3] + y0
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
__ASM_EMIT("vmul.f32 q2, q2, q6") // q2 = s0[2]*(k*x[2] + y0)
__ASM_EMIT("vmul.f32 q3, q3, q7") // q3 = s0[3]*(k*x[3] + y0)
__ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = x[0]' = x[0]+d[0]
__ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]' = x[1]+d[1]
__ASM_EMIT("vadd.f32 q10, q10, q12") // q10 = x[2]' = x[2]+d[0]
__ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]' = x[3]+d[1]
__ASM_EMIT("vldm %[dst], {q4-q7}")
__ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
__ASM_EMIT("vadd.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0) + s1[1]
__ASM_EMIT("vadd.f32 q2, q2, q6") // q2 = s0[2]*(k*x[2] + y0) + s1[2]
__ASM_EMIT("vadd.f32 q3, q3, q7") // q3 = s0[3]*(k*x[3] + y0) + s1[3]
__ASM_EMIT("vstm %[dst]!, {q0-q3}")
__ASM_EMIT("subs %[n], %[n], #16")
__ASM_EMIT("bhs 1b")
// 8x block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[n], %[n], #8")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldm %[src]!, {q0-q1}")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
__ASM_EMIT("vmov q8, q10") // q8 = x[0]'
__ASM_EMIT("vmov q9, q11") // q9 = x[1]'
__ASM_EMIT("vldm %[dst], {q4-q5}")
__ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
__ASM_EMIT("vadd.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0) + s1[1]
__ASM_EMIT("vstm %[dst]!, {q0-q1}")
__ASM_EMIT("sub %[n], %[n], #8")
// 4x block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[n], %[n], #4")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vldm %[src]!, {q0}")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vmov q8, q9") // q8 = x[0]'
__ASM_EMIT("vldm %[dst], {q4}")
__ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
__ASM_EMIT("vstm %[dst]!, {q0}")
__ASM_EMIT("sub %[n], %[n], #4")
// 1x blocks
__ASM_EMIT("6:")
__ASM_EMIT("adds %[n], %[n], #3")
__ASM_EMIT("blt 8f")
__ASM_EMIT("7:")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vext.32 q8, q8, #1") // q8 = x[0]'
__ASM_EMIT("vld1.32 {d8[], d9[]}, [%[dst]]")
__ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
__ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
__ASM_EMIT("subs %[n], %[n], #1")
__ASM_EMIT("bge 7b")
__ASM_EMIT("8:")
: [dst] "+r" (dst), [src] "+r" (src),
[n] "+r" (n),
[CC] "+r" (CC)
: [v] "r" (&v[0])
: "cc", "memory",
"q0", "q1", "q2", "q3",
"q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11",
"q12", "q13", "q14", "q15"
);
}
void lin_inter_frmadd2(float *dst, const float *src, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
{
IF_ARCH_ARM(
float v[4];
v[0] = x1 - x0;
v[1] = x - x0;
v[2] = y1 - y0;
v[3] = y0;
const float *CC = lin_inter_const;
)
ARCH_ARM_ASM(
// Prepare parameters
__ASM_EMIT("vld4.32 {d24[], d26[], d28[], d30[]}, [%[v]]")
__ASM_EMIT("vldm %[CC]!, {q8-q11}") // q8 = 0..3, q9=4..7, q10=8..11, q11=12..15
__ASM_EMIT("vld4.32 {d25[], d27[], d29[], d31[]}, [%[v]]") // q12 = (x1-x0), q13 = (x-x0), q14 = (y1-y0), q15 = y0
__ASM_EMIT("vrecpe.f32 q0, q12") // q0 = s2
__ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = x[0]
__ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2)
__ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]
__ASM_EMIT("vmul.f32 q0, q1, q0") // q0 = s2' = s2 * (2 - R*s2)
__ASM_EMIT("vadd.f32 q10, q10, q13") // q10 = x[2]
__ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2')
__ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]
__ASM_EMIT("vmul.f32 q12, q1, q0") // q14 = s2" = s2' * (2 - R*s2) = 1/s2
__ASM_EMIT("vmul.f32 q14, q14, q12") // q14 = k = (y1-y0)/(x1-x0)
__ASM_EMIT("vldm %[CC], {q12-q13}") // q12 = d[0], q13=d[1]
// Register allocation:
// q8 = x[0]
// q9 = x[1]
// q10 = x[2]
// q11 = x[3]
// q12 = d[0]
// q13 = d[1]
// q14 = k
// q15 = y0
__ASM_EMIT("subs %[n], %[n], #16")
__ASM_EMIT("blo 2f")
// 16x blocks
__ASM_EMIT("1:")
__ASM_EMIT("vldm %[dst], {q0-q3}")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
__ASM_EMIT("vmul.f32 q6, q10, q14") // q6 = k*x[2]
__ASM_EMIT("vmul.f32 q7, q11, q14") // q7 = k*x[3]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
__ASM_EMIT("vadd.f32 q6, q6, q15") // q2 = k*x[2] + y0
__ASM_EMIT("vadd.f32 q7, q7, q15") // q3 = k*x[3] + y0
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
__ASM_EMIT("vmul.f32 q2, q2, q6") // q2 = s0[2]*(k*x[2] + y0)
__ASM_EMIT("vmul.f32 q3, q3, q7") // q3 = s0[3]*(k*x[3] + y0)
__ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = x[0]' = x[0]+d[0]
__ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]' = x[1]+d[1]
__ASM_EMIT("vadd.f32 q10, q10, q12") // q10 = x[2]' = x[2]+d[0]
__ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]' = x[3]+d[1]
__ASM_EMIT("vldm %[src]!, {q4-q7}")
__ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
__ASM_EMIT("vadd.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0) + s1[1]
__ASM_EMIT("vadd.f32 q2, q2, q6") // q2 = s0[2]*(k*x[2] + y0) + s1[2]
__ASM_EMIT("vadd.f32 q3, q3, q7") // q3 = s0[3]*(k*x[3] + y0) + s1[3]
__ASM_EMIT("vstm %[dst]!, {q0-q3}")
__ASM_EMIT("subs %[n], %[n], #16")
__ASM_EMIT("bhs 1b")
// 8x block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[n], %[n], #8")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldm %[dst], {q0-q1}")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
__ASM_EMIT("vmov q8, q10") // q8 = x[0]'
__ASM_EMIT("vmov q9, q11") // q9 = x[1]'
__ASM_EMIT("vldm %[src]!, {q4-q5}")
__ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
__ASM_EMIT("vadd.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0) + s1[1]
__ASM_EMIT("vstm %[dst]!, {q0-q1}")
__ASM_EMIT("sub %[n], %[n], #8")
// 4x block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[n], %[n], #4")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vldm %[dst], {q0}")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vmov q8, q9") // q8 = x[0]'
__ASM_EMIT("vldm %[src]!, {q4}")
__ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
__ASM_EMIT("vstm %[dst]!, {q0}")
__ASM_EMIT("sub %[n], %[n], #4")
// 1x blocks
__ASM_EMIT("6:")
__ASM_EMIT("adds %[n], %[n], #3")
__ASM_EMIT("blt 8f")
__ASM_EMIT("7:")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[dst]]")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vext.32 q8, q8, #1") // q8 = x[0]'
__ASM_EMIT("vld1.32 {d8[], d9[]}, [%[src]]!")
__ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
__ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
__ASM_EMIT("subs %[n], %[n], #1")
__ASM_EMIT("bge 7b")
__ASM_EMIT("8:")
: [dst] "+r" (dst), [src] "+r" (src),
[n] "+r" (n),
[CC] "+r" (CC)
: [v] "r" (&v[0])
: "cc", "memory",
"q0", "q1", "q2", "q3",
"q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11",
"q12", "q13", "q14", "q15"
);
}
void lin_inter_fmadd3(float *dst, const float *src1, const float *src2, int32_t x0, float y0, int32_t x1, float y1, int32_t x, uint32_t n)
{
IF_ARCH_ARM(
float v[4];
v[0] = x1 - x0;
v[1] = x - x0;
v[2] = y1 - y0;
v[3] = y0;
const float *CC = lin_inter_const;
)
ARCH_ARM_ASM(
// Prepare parameters
__ASM_EMIT("vld4.32 {d24[], d26[], d28[], d30[]}, [%[v]]")
__ASM_EMIT("vldm %[CC]!, {q8-q11}") // q8 = 0..3, q9=4..7, q10=8..11, q11=12..15
__ASM_EMIT("vld4.32 {d25[], d27[], d29[], d31[]}, [%[v]]") // q12 = (x1-x0), q13 = (x-x0), q14 = (y1-y0), q15 = y0
__ASM_EMIT("vrecpe.f32 q0, q12") // q0 = s2
__ASM_EMIT("vadd.f32 q8, q8, q13") // q8 = x[0]
__ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2)
__ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]
__ASM_EMIT("vmul.f32 q0, q1, q0") // q0 = s2' = s2 * (2 - R*s2)
__ASM_EMIT("vadd.f32 q10, q10, q13") // q10 = x[2]
__ASM_EMIT("vrecps.f32 q1, q0, q12") // q1 = (2 - R*s2')
__ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]
__ASM_EMIT("vmul.f32 q12, q1, q0") // q14 = s2" = s2' * (2 - R*s2) = 1/s2
__ASM_EMIT("vmul.f32 q14, q14, q12") // q14 = k = (y1-y0)/(x1-x0)
__ASM_EMIT("vldm %[CC], {q12-q13}") // q12 = d[0], q13=d[1]
// Register allocation:
// q8 = x[0]
// q9 = x[1]
// q10 = x[2]
// q11 = x[3]
// q12 = d[0]
// q13 = d[1]
// q14 = k
// q15 = y0
__ASM_EMIT("subs %[n], %[n], #16")
__ASM_EMIT("blo 2f")
// 16x blocks
__ASM_EMIT("1:")
__ASM_EMIT("vldm %[src1]!, {q0-q3}")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
__ASM_EMIT("vmul.f32 q6, q10, q14") // q6 = k*x[2]
__ASM_EMIT("vmul.f32 q7, q11, q14") // q7 = k*x[3]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
__ASM_EMIT("vadd.f32 q6, q6, q15") // q2 = k*x[2] + y0
__ASM_EMIT("vadd.f32 q7, q7, q15") // q3 = k*x[3] + y0
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
__ASM_EMIT("vmul.f32 q2, q2, q6") // q2 = s0[2]*(k*x[2] + y0)
__ASM_EMIT("vmul.f32 q3, q3, q7") // q3 = s0[3]*(k*x[3] + y0)
__ASM_EMIT("vadd.f32 q8, q8, q12") // q8 = x[0]' = x[0]+d[0]
__ASM_EMIT("vadd.f32 q9, q9, q13") // q9 = x[1]' = x[1]+d[1]
__ASM_EMIT("vadd.f32 q10, q10, q12") // q10 = x[2]' = x[2]+d[0]
__ASM_EMIT("vadd.f32 q11, q11, q13") // q11 = x[3]' = x[3]+d[1]
__ASM_EMIT("vldm %[src2]!, {q4-q7}")
__ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
__ASM_EMIT("vadd.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0) + s1[1]
__ASM_EMIT("vadd.f32 q2, q2, q6") // q2 = s0[2]*(k*x[2] + y0) + s1[2]
__ASM_EMIT("vadd.f32 q3, q3, q7") // q3 = s0[3]*(k*x[3] + y0) + s1[3]
__ASM_EMIT("vstm %[dst]!, {q0-q3}")
__ASM_EMIT("subs %[n], %[n], #16")
__ASM_EMIT("bhs 1b")
// 8x block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[n], %[n], #8")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldm %[src1]!, {q0-q1}")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vmul.f32 q5, q9, q14") // q5 = k*x[1]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vadd.f32 q5, q5, q15") // q1 = k*x[1] + y0
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vmul.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0)
__ASM_EMIT("vmov q8, q10") // q8 = x[0]'
__ASM_EMIT("vmov q9, q11") // q9 = x[1]'
__ASM_EMIT("vldm %[src2]!, {q4-q5}")
__ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
__ASM_EMIT("vadd.f32 q1, q1, q5") // q1 = s0[1]*(k*x[1] + y0) + s1[1]
__ASM_EMIT("vstm %[dst]!, {q0-q1}")
__ASM_EMIT("sub %[n], %[n], #8")
// 4x block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[n], %[n], #4")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vldm %[src1]!, {q0}")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vmov q8, q9") // q8 = x[0]'
__ASM_EMIT("vldm %[src2]!, {q4}")
__ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
__ASM_EMIT("vstm %[dst]!, {q0}")
__ASM_EMIT("sub %[n], %[n], #4")
// 1x blocks
__ASM_EMIT("6:")
__ASM_EMIT("adds %[n], %[n], #3")
__ASM_EMIT("blt 8f")
__ASM_EMIT("7:")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src1]]!")
__ASM_EMIT("vmul.f32 q4, q8, q14") // q4 = k*x[0]
__ASM_EMIT("vadd.f32 q4, q4, q15") // q0 = k*x[0] + y0
__ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0)
__ASM_EMIT("vext.32 q8, q8, #1") // q8 = x[0]'
__ASM_EMIT("vld1.32 {d8[], d9[]}, [%[src2]]!")
__ASM_EMIT("vadd.f32 q0, q0, q4") // q0 = s0[0]*(k*x[0] + y0) + s1[0]
__ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
__ASM_EMIT("subs %[n], %[n], #1")
__ASM_EMIT("bge 7b")
__ASM_EMIT("8:")
: [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
[n] "+r" (n),
[CC] "+r" (CC)
: [v] "r" (&v[0])
: "cc", "memory",
"q0", "q1", "q2", "q3",
"q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11",
"q12", "q13", "q14", "q15"
);
}
}
}
#endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_INTERPOLATION_LINEAR_H_ */