/*
* Copyright (C) 2020 Linux Studio Plugins Project
* (C) 2020 Vladimir Sadovnikov
*
* This file is part of lsp-dsp-lib
* Created on: 31 мар. 2020 г.
*
* lsp-dsp-lib is free software: you can redistribute it and/or modify
* it under the terms of the GNU Lesser General Public License as published by
* the Free Software Foundation, either version 3 of the License, or
* any later version.
*
* lsp-dsp-lib is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
* GNU Lesser General Public License for more details.
*
* You should have received a copy of the GNU Lesser General Public License
* along with lsp-dsp-lib. If not, see .
*/
#ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_RESAMPLING_H_
#define PRIVATE_DSP_ARCH_ARM_NEON_D32_RESAMPLING_H_
#ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
#error "This header should not be included directly"
#endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
namespace lsp
{
namespace neon_d32
{
IF_ARCH_ARM(
static const float lanczos_2x2[] __lsp_aligned16 =
{
+0.0000000000000000f,
-0.0636843520278618f, // k1
+0.0000000000000000f,
+0.5731591682507563f, // k0
+1.0000000000000000f,
+0.5731591682507563f, // k0
+0.0000000000000000f,
-0.0636843520278618f // k1
};
)
void lanczos_resample_2x2(float *dst, const float *src, size_t count)
{
IF_ARCH_ARM(
const float *kernel = lanczos_2x2;
);
ARCH_ARM_ASM
(
// Prepare
__ASM_EMIT("subs %[count], #8")
__ASM_EMIT("vld1.32 {q0-q1}, [%[kernel]]") // q0 = 0 k1 0 k0, q1 = 1 k0 0 k1
__ASM_EMIT("blo 2f")
// 8x blocks
__ASM_EMIT("1:")
// Even cycle: prepare
__ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!") // q2 = s0 s2 s4 s6, q3 = s1 s3 s5 s7
__ASM_EMIT("vldm %[dst], {d14-d23}")
__ASM_EMIT("vdup.32 q6, d5[1]")
__ASM_EMIT("vdup.32 q5, d5[0]")
__ASM_EMIT("vdup.32 q4, d4[1]")
__ASM_EMIT("vdup.32 q2, d4[0]")
// Even cycle: convolve
__ASM_EMIT("vmla.f32 q7, q2, q0")
__ASM_EMIT("vmla.f32 q8, q4, q0")
__ASM_EMIT("vmla.f32 q9, q5, q0")
__ASM_EMIT("vmla.f32 q10, q6, q0")
__ASM_EMIT("vmla.f32 q8, q2, q1")
__ASM_EMIT("vmla.f32 q9, q4, q1")
__ASM_EMIT("vmla.f32 q10, q5, q1")
__ASM_EMIT("vmla.f32 q11, q6, q1")
__ASM_EMIT("vstm %[dst], {d14-d23}")
__ASM_EMIT("add %[dst], #0x08")
// Odd cycle: prepare
__ASM_EMIT("vldm %[dst], {d14-d23}")
__ASM_EMIT("vdup.32 q6, d7[1]")
__ASM_EMIT("vdup.32 q5, d7[0]")
__ASM_EMIT("vdup.32 q4, d6[1]")
__ASM_EMIT("vdup.32 q3, d6[0]")
// Odd cycle: convolve
__ASM_EMIT("vmla.f32 q7, q3, q0")
__ASM_EMIT("vmla.f32 q8, q4, q0")
__ASM_EMIT("vmla.f32 q9, q5, q0")
__ASM_EMIT("vmla.f32 q10, q6, q0")
__ASM_EMIT("vmla.f32 q8, q3, q1")
__ASM_EMIT("vmla.f32 q9, q4, q1")
__ASM_EMIT("vmla.f32 q10, q5, q1")
__ASM_EMIT("vmla.f32 q11, q6, q1")
__ASM_EMIT("vstm %[dst], {d14-d23}")
__ASM_EMIT("add %[dst], #0x38")
// Repeat loop
__ASM_EMIT("subs %[count], #8")
__ASM_EMIT("bhs 1b")
// 4x block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #4")
__ASM_EMIT("blt 4f")
// Prepare
__ASM_EMIT("vld1.32 {q2}, [%[src]]!")
__ASM_EMIT("vldm %[dst], {d14-d19}")
__ASM_EMIT("vdup.32 q5, d5[1]") // q5 = s3
__ASM_EMIT("vdup.32 q4, d5[0]") // q4 = s2
__ASM_EMIT("vdup.32 q3, d4[1]") // q3 = s1
__ASM_EMIT("vdup.32 q2, d4[0]") // q2 = s0
// Even cycle: convolve
__ASM_EMIT("vmla.f32 q7, q2, q0")
__ASM_EMIT("vmla.f32 q8, q4, q0")
__ASM_EMIT("vmla.f32 q8, q2, q1")
__ASM_EMIT("vmla.f32 q9, q4, q1")
__ASM_EMIT("vstm %[dst], {d14-d19}")
__ASM_EMIT("add %[dst], #0x08")
// Odd cycle: convolve
__ASM_EMIT("vldm %[dst], {d14-d19}")
__ASM_EMIT("vmla.f32 q7, q3, q0")
__ASM_EMIT("vmla.f32 q8, q5, q0")
__ASM_EMIT("vmla.f32 q8, q3, q1")
__ASM_EMIT("vmla.f32 q9, q5, q1")
__ASM_EMIT("vstm %[dst], {d14-d19}")
__ASM_EMIT("sub %[count], #4")
__ASM_EMIT("add %[dst], #0x18")
// 1x blocks
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 6f")
__ASM_EMIT("7:")
__ASM_EMIT("vld1.32 {d4[], d5[]}, [%[src]]!")
__ASM_EMIT("vldm %[dst], {q3-q4}")
__ASM_EMIT("vmla.f32 q3, q2, q0")
__ASM_EMIT("vmla.f32 q4, q2, q1")
__ASM_EMIT("vstm %[dst], {q3-q4}")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("add %[dst], #0x08")
__ASM_EMIT("bge 7b")
__ASM_EMIT("6:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count)
: [kernel] "r" (kernel)
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
);
}
IF_ARCH_ARM
(
static const float lanczos_2x3[] __lsp_aligned16 =
{
+0.0000000000000000f,
+0.0243170840741611f, // k2
+0.0000000000000000f,
-0.1350949115231170f, // k1
+0.0000000000000000f,
+0.6079271018540265f, // k0
+1.0000000000000000f,
+0.6079271018540265f, // k0
+0.0000000000000000f,
-0.1350949115231170f, // k1
+0.0000000000000000f,
+0.0243170840741611f // k2
};
)
void lanczos_resample_2x3(float *dst, const float *src, size_t count)
{
IF_ARCH_ARM(
const float *kernel = lanczos_2x3;
);
ARCH_ARM_ASM
(
// Prepare
__ASM_EMIT("vldm %[kernel], {q0-q2}")
__ASM_EMIT("subs %[count], #8")
__ASM_EMIT("blo 2f")
// 8x blocks
__ASM_EMIT("1:")
// Even cycle: prepare
__ASM_EMIT("vld2.32 {q4-q5}, [%[src]]!") // q4 = s0 s2 s4 s6, q5 = s1 s3 s5 s7
__ASM_EMIT("vldm %[dst], {q10-q15}")
__ASM_EMIT("vdup.32 q8, d9[1]") // q8 = s6
__ASM_EMIT("vdup.32 q7, d9[0]") // q7 = s4
__ASM_EMIT("vdup.32 q6, d8[1]") // q6 = s2
__ASM_EMIT("vdup.32 q4, d8[0]") // q4 = s0
// Even cycle: convolve
__ASM_EMIT("vmla.f32 q10, q4, q0")
__ASM_EMIT("vmla.f32 q11, q6, q0")
__ASM_EMIT("vmla.f32 q12, q7, q0")
__ASM_EMIT("vmla.f32 q13, q8, q0")
__ASM_EMIT("vmla.f32 q11, q4, q1")
__ASM_EMIT("vmla.f32 q12, q6, q1")
__ASM_EMIT("vmla.f32 q13, q7, q1")
__ASM_EMIT("vmla.f32 q14, q8, q1")
__ASM_EMIT("vmla.f32 q12, q4, q2")
__ASM_EMIT("vmla.f32 q13, q6, q2")
__ASM_EMIT("vmla.f32 q14, q7, q2")
__ASM_EMIT("vmla.f32 q15, q8, q2")
__ASM_EMIT("vstm %[dst], {q10-q15}")
__ASM_EMIT("add %[dst], #0x08")
// Odd cycle: prepare
__ASM_EMIT("vldm %[dst], {q10-q15}")
__ASM_EMIT("vdup.32 q8, d11[1]") // q8 = s7
__ASM_EMIT("vdup.32 q7, d11[0]") // q7 = s5
__ASM_EMIT("vdup.32 q6, d10[1]") // q6 = s3
__ASM_EMIT("vdup.32 q5, d10[0]") // q5 = s1
// Odd cycle: convolve
__ASM_EMIT("vmla.f32 q10, q5, q0")
__ASM_EMIT("vmla.f32 q11, q6, q0")
__ASM_EMIT("vmla.f32 q12, q7, q0")
__ASM_EMIT("vmla.f32 q13, q8, q0")
__ASM_EMIT("vmla.f32 q11, q5, q1")
__ASM_EMIT("vmla.f32 q12, q6, q1")
__ASM_EMIT("vmla.f32 q13, q7, q1")
__ASM_EMIT("vmla.f32 q14, q8, q1")
__ASM_EMIT("vmla.f32 q12, q5, q2")
__ASM_EMIT("vmla.f32 q13, q6, q2")
__ASM_EMIT("vmla.f32 q14, q7, q2")
__ASM_EMIT("vmla.f32 q15, q8, q2")
__ASM_EMIT("vstm %[dst], {q10-q15}")
__ASM_EMIT("subs %[count], #8")
__ASM_EMIT("add %[dst], #0x38")
__ASM_EMIT("bhs 1b")
// 4x block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #4")
__ASM_EMIT("blt 4f")
// Prepare
__ASM_EMIT("vld1.32 {q4}, [%[src]]!")
__ASM_EMIT("vldm %[dst], {q10-q13}")
__ASM_EMIT("vdup.32 q7, d9[1]") // q7 = s3
__ASM_EMIT("vdup.32 q6, d9[0]") // q6 = s2
__ASM_EMIT("vdup.32 q5, d8[1]") // q5 = s1
__ASM_EMIT("vdup.32 q4, d8[0]") // q4 = s0
// Even cycle: convolve
__ASM_EMIT("vmla.f32 q10, q4, q0")
__ASM_EMIT("vmla.f32 q11, q6, q0")
__ASM_EMIT("vmla.f32 q11, q4, q1")
__ASM_EMIT("vmla.f32 q12, q6, q1")
__ASM_EMIT("vmla.f32 q12, q4, q2")
__ASM_EMIT("vmla.f32 q13, q6, q2")
__ASM_EMIT("vstm %[dst], {q10-q13}")
__ASM_EMIT("add %[dst], #0x08")
// Odd cycle: convolve
__ASM_EMIT("vldm %[dst], {q10-q13}")
__ASM_EMIT("vmla.f32 q10, q5, q0")
__ASM_EMIT("vmla.f32 q11, q7, q0")
__ASM_EMIT("vmla.f32 q11, q5, q1")
__ASM_EMIT("vmla.f32 q12, q7, q1")
__ASM_EMIT("vmla.f32 q12, q5, q2")
__ASM_EMIT("vmla.f32 q13, q7, q2")
__ASM_EMIT("vstm %[dst], {q10-q13}")
__ASM_EMIT("sub %[count], #4")
__ASM_EMIT("add %[dst], #0x18")
// 1x blocks
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 6f")
__ASM_EMIT("7:")
__ASM_EMIT("vld1.32 {d6[], d7[]}, [%[src]]!")
__ASM_EMIT("vldm %[dst], {q4-q6}")
__ASM_EMIT("vmla.f32 q4, q3, q0")
__ASM_EMIT("vmla.f32 q5, q3, q1")
__ASM_EMIT("vmla.f32 q6, q3, q2")
__ASM_EMIT("vstm %[dst], {q4-q6}")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("add %[dst], #0x08")
__ASM_EMIT("bge 7b")
__ASM_EMIT("6:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count)
: [kernel] "r" (kernel)
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
);
}
IF_ARCH_ARM
(
static const float lanczos_2x4[] __lsp_aligned16 =
{
+0.0000000000000000f,
-0.0126608778212387f,
+0.0000000000000000f,
+0.0599094833772629f,
+0.0000000000000000f,
-0.1664152316035080f,
+0.0000000000000000f,
+0.6203830132406946f,
+1.0000000000000000f,
+0.6203830132406946f,
+0.0000000000000000f,
-0.1664152316035080f,
+0.0000000000000000f,
+0.0599094833772629f,
+0.0000000000000000f,
-0.0126608778212387f
};
)
void lanczos_resample_2x4(float *dst, const float *src, size_t count)
{
IF_ARCH_ARM(
const float *kernel = lanczos_2x4;
);
ARCH_ARM_ASM
(
// Prepare
__ASM_EMIT("vldm %[kernel], {q0-q3}")
__ASM_EMIT("subs %[count], #8")
__ASM_EMIT("blo 2f")
// 8x blocks
__ASM_EMIT("1:")
// Even cycle: prepare
__ASM_EMIT("vld2.32 {q4-q5}, [%[src]]!") // q4 = s0 s2 s4 s6, q5 = s1 s3 s5 s7
__ASM_EMIT("vldm %[dst], {q9-q15}")
__ASM_EMIT("vdup.32 q6, d8[1]") // q6 = s2
__ASM_EMIT("vdup.32 q7, d9[0]") // q7 = s4
__ASM_EMIT("vdup.32 q8, d9[1]") // q8 = s6
__ASM_EMIT("vdup.32 q4, d8[0]") // q4 = s0
// Even cycle: convolve
__ASM_EMIT("vmla.f32 q10, q6, q0")
__ASM_EMIT("vmla.f32 q11, q6, q1")
__ASM_EMIT("vmla.f32 q12, q6, q2")
__ASM_EMIT("vmla.f32 q13, q6, q3")
__ASM_EMIT("vmla.f32 q11, q7, q0")
__ASM_EMIT("vmla.f32 q12, q7, q1")
__ASM_EMIT("vmla.f32 q13, q7, q2")
__ASM_EMIT("vmla.f32 q14, q7, q3")
__ASM_EMIT("vmla.f32 q12, q8, q0")
__ASM_EMIT("vmla.f32 q13, q8, q1")
__ASM_EMIT("vmla.f32 q14, q8, q2")
__ASM_EMIT("vmla.f32 q15, q8, q3")
__ASM_EMIT("vmla.f32 q9, q4, q0")
__ASM_EMIT("vmla.f32 q10, q4, q1")
__ASM_EMIT("vmla.f32 q11, q4, q2")
__ASM_EMIT("vmla.f32 q12, q4, q3")
__ASM_EMIT("vstm %[dst], {q9-q15}")
__ASM_EMIT("add %[dst], #0x08")
// Odd cycle: prepare
__ASM_EMIT("vdup.32 q6, d10[1]") // q6 = s3
__ASM_EMIT("vdup.32 q7, d11[0]") // q7 = s5
__ASM_EMIT("vdup.32 q8, d11[1]") // q8 = s7
__ASM_EMIT("vdup.32 q5, d10[0]") // q5 = s1
__ASM_EMIT("vldm %[dst], {q9-q15}")
// Odd cycle: convolve
__ASM_EMIT("vmla.f32 q10, q6, q0")
__ASM_EMIT("vmla.f32 q11, q6, q1")
__ASM_EMIT("vmla.f32 q12, q6, q2")
__ASM_EMIT("vmla.f32 q13, q6, q3")
__ASM_EMIT("vmla.f32 q11, q7, q0")
__ASM_EMIT("vmla.f32 q12, q7, q1")
__ASM_EMIT("vmla.f32 q13, q7, q2")
__ASM_EMIT("vmla.f32 q14, q7, q3")
__ASM_EMIT("vmla.f32 q12, q8, q0")
__ASM_EMIT("vmla.f32 q13, q8, q1")
__ASM_EMIT("vmla.f32 q14, q8, q2")
__ASM_EMIT("vmla.f32 q15, q8, q3")
__ASM_EMIT("vmla.f32 q9, q5, q0")
__ASM_EMIT("vmla.f32 q10, q5, q1")
__ASM_EMIT("vmla.f32 q11, q5, q2")
__ASM_EMIT("vmla.f32 q12, q5, q3")
__ASM_EMIT("vstm %[dst], {q9-q15}")
__ASM_EMIT("subs %[count], #8")
__ASM_EMIT("add %[dst], #0x38")
__ASM_EMIT("bhs 1b")
// 4x block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #4")
__ASM_EMIT("blt 4f")
// Prepare
__ASM_EMIT("vld1.32 {q4}, [%[src]]!")
__ASM_EMIT("vldm %[dst], {q9-q13}")
__ASM_EMIT("vdup.32 q6, d9[0]") // q6 = s2
__ASM_EMIT("vdup.32 q5, d8[0]") // q4 = s0
// Even cycle: convolve
__ASM_EMIT("vmla.f32 q10, q6, q0")
__ASM_EMIT("vmla.f32 q11, q6, q1")
__ASM_EMIT("vmla.f32 q12, q6, q2")
__ASM_EMIT("vmla.f32 q13, q6, q3")
__ASM_EMIT("vmla.f32 q9, q5, q0")
__ASM_EMIT("vmla.f32 q10, q5, q1")
__ASM_EMIT("vmla.f32 q11, q5, q2")
__ASM_EMIT("vmla.f32 q12, q5, q3")
__ASM_EMIT("vstm %[dst], {q9-q13}")
__ASM_EMIT("add %[dst], #0x08")
// Odd cycle: convolve
__ASM_EMIT("vdup.32 q6, d9[1]") // q6 = s3
__ASM_EMIT("vdup.32 q5, d8[1]") // q5 = s1
__ASM_EMIT("vldm %[dst], {q9-q13}")
__ASM_EMIT("vmla.f32 q10, q6, q0")
__ASM_EMIT("vmla.f32 q11, q6, q1")
__ASM_EMIT("vmla.f32 q12, q6, q2")
__ASM_EMIT("vmla.f32 q13, q6, q3")
__ASM_EMIT("vmla.f32 q9, q5, q0")
__ASM_EMIT("vmla.f32 q10, q5, q1")
__ASM_EMIT("vmla.f32 q11, q5, q2")
__ASM_EMIT("vmla.f32 q12, q5, q3")
__ASM_EMIT("vstm %[dst], {q9-q13}")
__ASM_EMIT("sub %[count], #4")
__ASM_EMIT("add %[dst], #0x18")
// 1x blocks
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 6f")
__ASM_EMIT("7:")
__ASM_EMIT("vld1.32 {d8[], d9[]}, [%[src]]!")
__ASM_EMIT("vldm %[dst], {q9-q12}")
__ASM_EMIT("vmla.f32 q9, q4, q0")
__ASM_EMIT("vmla.f32 q10, q4, q1")
__ASM_EMIT("vmla.f32 q11, q4, q2")
__ASM_EMIT("vmla.f32 q12, q4, q3")
__ASM_EMIT("vstm %[dst], {q9-q12}")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("add %[dst], #0x08")
__ASM_EMIT("bge 7b")
__ASM_EMIT("6:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count)
: [kernel] "r" (kernel)
: "cc", "memory",
"q0", "q1", "q2", "q3",
"q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11",
"q12", "q13", "q14", "q15"
);
}
IF_ARCH_ARM(
static const float lanczos_kernel_3x2[] __lsp_aligned16 =
{
+0.0000000000000000f,
-0.0315888188312782f,
-0.0854897486982225f,
+0.0000000000000000f,
+0.3419589947928900f,
+0.7897204707819555f,
+1.0000000000000000f,
+0.7897204707819555f,
+0.3419589947928900f,
+0.0000000000000000f,
-0.0854897486982225f,
-0.0315888188312782f,
// Shifted by 1 left
-0.0315888188312782f,
-0.0854897486982225f,
+0.0000000000000000f,
+0.3419589947928900f,
+0.7897204707819555f,
+1.0000000000000000f,
+0.7897204707819555f,
+0.3419589947928900f,
+0.0000000000000000f,
-0.0854897486982225f,
-0.0315888188312782f,
+0.0000000000000000f
};
)
void lanczos_resample_3x2(float *dst, const float *src, size_t count)
{
IF_ARCH_ARM(
const float *kernel = lanczos_kernel_3x2;
);
ARCH_ARM_ASM
(
// Prepare
__ASM_EMIT("vldm %[kernel], {q2-q7}")
__ASM_EMIT("subs %[count], #2")
__ASM_EMIT("blo 2f")
// 2x blocks
__ASM_EMIT("1:")
// Even cycle: prepare
__ASM_EMIT("vld1.32 {d0}, [%[src]]!") // d0 = s1 s2
__ASM_EMIT("vldm %[dst], {q8-q11}")
__ASM_EMIT("vdup.32 q1, d0[1]") // q1 = s2 s2 s2 s2
__ASM_EMIT("vdup.32 q0, d0[0]") // q0 = s1 s1 s1 s1
__ASM_EMIT("vmla.f32 q8, q2, q0")
__ASM_EMIT("vmla.f32 q9, q3, q0")
__ASM_EMIT("vmla.f32 q10, q4, q0")
__ASM_EMIT("vmla.f32 q9, q5, q1")
__ASM_EMIT("vmla.f32 q10, q6, q1")
__ASM_EMIT("vmla.f32 q11, q7, q1")
__ASM_EMIT("vstm %[dst], {q8-q11}")
__ASM_EMIT("subs %[count], #2")
__ASM_EMIT("add %[dst], #0x18")
__ASM_EMIT("bhs 1b")
// 1x block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #1")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]")
__ASM_EMIT("vldm %[dst], {q8-q10}")
__ASM_EMIT("vmla.f32 q8, q2, q0")
__ASM_EMIT("vmla.f32 q9, q3, q0")
__ASM_EMIT("vmla.f32 q10, q4, q0")
__ASM_EMIT("vstm %[dst], {q8-q10}")
__ASM_EMIT("4:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count)
: [kernel] "r" (kernel)
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
);
}
IF_ARCH_ARM(
static const float lanczos_kernel_3x3[] __lsp_aligned16 =
{
// Middle part
+0.8103009258121772f,
+1.0000000000000000f,
+0.8103009258121772f,
+0.3807169003008463f,
+0.0000000000000000f,
-0.1458230329384726f,
-0.0933267410806225f,
+0.0000000000000000f,
+0.0310789306368038f,
+0.0126609519658153f,
+0.0000000000000000f,
+0.0000000000000000f,
+0.0126609519658153f,
+0.0310789306368038f,
+0.0000000000000000f,
-0.0933267410806225f,
-0.1458230329384726f,
+0.0000000000000000f,
+0.3807169003008463f,
+0.8103009258121772f,
+1.0000000000000000f,
+0.8103009258121772f,
+0.3807169003008463f,
+0.0000000000000000f,
// Head part
+0.0000000000000000f,
+0.0126609519658153f,
+0.0310789306368038f,
+0.0000000000000000f,
-0.0933267410806225f,
-0.1458230329384726f,
+0.0000000000000000f,
+0.3807169003008463f,
// Tail part
-0.1458230329384726f,
-0.0933267410806225f,
+0.0000000000000000f,
+0.0310789306368038f,
+0.0126609519658153f,
+0.0000000000000000f,
+0.0000000000000000f,
+0.0000000000000000f
};
)
void lanczos_resample_3x3(float *dst, const float *src, size_t count)
{
IF_ARCH_ARM(
const float *kernel = lanczos_kernel_3x3;
);
ARCH_ARM_ASM
(
// Prepare
__ASM_EMIT("vldm %[kernel]!, {q10-q15}")
__ASM_EMIT("subs %[count], #2")
__ASM_EMIT("blo 2f")
// 2x blocks
__ASM_EMIT("1:")
__ASM_EMIT("vld1.32 {d0}, [%[src]]!") // d0 = s1 s2
__ASM_EMIT("vldm %[dst], {q2-q7}")
__ASM_EMIT("vdup.32 q1, d0[1]") // q1 = s2 s2 s2 s2
__ASM_EMIT("vdup.32 q0, d0[0]") // q0 = s1 s1 s1 s1
__ASM_EMIT("vld1.32 {q8-q9}, [%[kernel]]")
__ASM_EMIT("vmla.f32 q2, q8, q0")
__ASM_EMIT("vmla.f32 q3, q9, q0")
__ASM_EMIT("vmla.f32 q4, q10, q0")
__ASM_EMIT("add %[kernel], #0x20")
__ASM_EMIT("vmla.f32 q3, q13, q1")
__ASM_EMIT("vmla.f32 q4, q14, q1")
__ASM_EMIT("vmla.f32 q5, q11, q0")
__ASM_EMIT("vld1.32 {q8-q9}, [%[kernel]]")
__ASM_EMIT("vmla.f32 q6, q12, q0")
__ASM_EMIT("vmla.f32 q5, q15, q1")
__ASM_EMIT("vmla.f32 q6, q8, q1")
__ASM_EMIT("vmla.f32 q7, q9, q1")
__ASM_EMIT("vstm %[dst], {q2-q7}")
__ASM_EMIT("sub %[kernel], #0x20")
__ASM_EMIT("subs %[count], #2")
__ASM_EMIT("add %[dst], #0x18")
__ASM_EMIT("bhs 1b")
// 1x block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #1")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]")
__ASM_EMIT("vldm %[dst], {q2-q6}")
__ASM_EMIT("vld1.32 {q8-q9}, [%[kernel]]")
__ASM_EMIT("vmla.f32 q2, q8, q0")
__ASM_EMIT("vmla.f32 q3, q9, q0")
__ASM_EMIT("vmla.f32 q4, q10, q0")
__ASM_EMIT("vmla.f32 q5, q11, q0")
__ASM_EMIT("vmla.f32 q6, q12, q0")
__ASM_EMIT("vstm %[dst], {q2-q6}")
__ASM_EMIT("4:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count), [kernel] "+r" (kernel)
:
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
);
}
IF_ARCH_ARM(
static const float lanczos_kernel_3x4[] __lsp_aligned16 =
{
// Part 1 (unshifted)
+0.0000000000000000f,
-0.0067568495254777f,
-0.0157944094156391f,
+0.0000000000000000f,
+0.0427448743491113f,
+0.0622703182267308f,
+0.0000000000000000f,
-0.1220498237243924f,
-0.1709794973964449f,
+0.0000000000000000f,
+0.3948602353909778f,
+0.8175787925827955f,
// Part 1 (shifted)
-0.0067568495254777f,
-0.0157944094156391f,
+0.0000000000000000f,
+0.0427448743491113f,
+0.0622703182267308f,
+0.0000000000000000f,
-0.1220498237243924f,
-0.1709794973964449f,
+0.0000000000000000f,
+0.3948602353909778f,
+0.8175787925827955f,
+1.0000000000000000f,
// Part 2 (unshifted)
+1.0000000000000000f,
+0.8175787925827955f,
+0.3948602353909778f,
+0.0000000000000000f,
-0.1709794973964449f,
-0.1220498237243924f,
+0.0000000000000000f,
+0.0622703182267308f,
+0.0427448743491113f,
+0.0000000000000000f,
-0.0157944094156391f,
-0.0067568495254777f,
// Part 2 (shifted)
+0.8175787925827955f,
+0.3948602353909778f,
+0.0000000000000000f,
-0.1709794973964449f,
-0.1220498237243924f,
+0.0000000000000000f,
+0.0622703182267308f,
+0.0427448743491113f,
+0.0000000000000000f,
-0.0157944094156391f,
-0.0067568495254777f,
+0.0000000000000000f
};
)
void lanczos_resample_3x4(float *dst, const float *src, size_t count)
{
IF_ARCH_ARM(
const float *kernel = lanczos_kernel_3x4;
);
ARCH_ARM_ASM
(
// Prepare
__ASM_EMIT("vldm %[kernel], {q2-q7}")
__ASM_EMIT("subs %[count], #2")
__ASM_EMIT("blo 2f")
// 2x blocks
__ASM_EMIT("1:")
__ASM_EMIT("vldm %[src]!, {d0}") // d0 = s0 s1
__ASM_EMIT("vldm %[dst], {q8-q14}")
__ASM_EMIT("vdup.32 q1, d0[1]") // q1 = s1 s1 s1 s1
__ASM_EMIT("vdup.32 q0, d0[0]") // q0 = s0 s0 s0 s0
// Step 1
__ASM_EMIT("vldm %[kernel], {q2-q7}")
__ASM_EMIT("vmla.f32 q8, q0, q2")
__ASM_EMIT("vmla.f32 q9, q0, q3")
__ASM_EMIT("vmla.f32 q10, q0, q4")
__ASM_EMIT("add %[kernel], #0x60")
__ASM_EMIT("vmla.f32 q9, q1, q5")
__ASM_EMIT("vmla.f32 q10, q1, q6")
__ASM_EMIT("vmla.f32 q11, q1, q7")
// Step 2
__ASM_EMIT("vldm %[kernel], {q2-q7}")
__ASM_EMIT("vmla.f32 q11, q0, q2")
__ASM_EMIT("vmla.f32 q12, q0, q3")
__ASM_EMIT("vmla.f32 q13, q0, q4")
__ASM_EMIT("sub %[kernel], #0x60")
__ASM_EMIT("vmla.f32 q12, q1, q5")
__ASM_EMIT("vmla.f32 q13, q1, q6")
__ASM_EMIT("vmla.f32 q14, q1, q7")
__ASM_EMIT("vstm %[dst], {q8-q14}")
__ASM_EMIT("subs %[count], #2")
__ASM_EMIT("add %[dst], #0x18")
__ASM_EMIT("bhs 1b")
// 1x block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #1")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]") // q0 = s0 s0 s0 s0
__ASM_EMIT("vldm %[dst], {q8-q13}")
// Step 1
__ASM_EMIT("vldm %[kernel], {q2-q4}")
__ASM_EMIT("add %[kernel], #0x60")
__ASM_EMIT("vmla.f32 q8, q0, q2")
__ASM_EMIT("vmla.f32 q9, q0, q3")
__ASM_EMIT("vmla.f32 q10, q0, q4")
// Step 2
__ASM_EMIT("vldm %[kernel], {q2-q4}")
__ASM_EMIT("vmla.f32 q11, q0, q2")
__ASM_EMIT("vmla.f32 q12, q0, q3")
__ASM_EMIT("vmla.f32 q13, q0, q4")
__ASM_EMIT("vstm %[dst], {q8-q13}")
__ASM_EMIT("4:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count), [kernel] "+r" (kernel)
:
: "cc", "memory",
"q0", "q1", "q2", "q3",
"q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11",
"q12", "q13", "q14", "q15"
);
}
IF_ARCH_ARM(
static const float lanczos_kernel_4x2[] __lsp_aligned16 =
{
+0.0000000000000000f,
-0.0179051851263444f,
-0.0636843520278618f,
-0.0847248039068907f,
+0.0000000000000000f,
+0.2353466775191407f,
+0.5731591682507563f,
+0.8773540711908775f,
+1.0000000000000000f,
+0.8773540711908775f,
+0.5731591682507563f,
+0.2353466775191407f,
+0.0000000000000000f,
-0.0847248039068907f,
-0.0636843520278618f,
-0.0179051851263444f
};
)
void lanczos_resample_4x2(float *dst, const float *src, size_t count)
{
IF_ARCH_ARM(
const float *kernel = lanczos_kernel_4x2;
);
ARCH_ARM_ASM
(
// Prepare
__ASM_EMIT("vldm %[kernel], {q12-q15}")
__ASM_EMIT("subs %[count], #4")
__ASM_EMIT("blo 2f")
// 4x blocks
__ASM_EMIT("1:")
__ASM_EMIT("vldm %[src]!, {q0}")
__ASM_EMIT("vldm %[dst], {q4-q10}")
__ASM_EMIT("vdup.32 q3, d1[1]")
__ASM_EMIT("vdup.32 q2, d1[0]")
__ASM_EMIT("vdup.32 q1, d0[1]")
__ASM_EMIT("vdup.32 q0, d0[0]")
__ASM_EMIT("vmla.f32 q4, q12, q0")
__ASM_EMIT("vmla.f32 q5, q13, q0")
__ASM_EMIT("vmla.f32 q6, q14, q0")
__ASM_EMIT("vmla.f32 q7, q15, q0")
__ASM_EMIT("vmla.f32 q5, q12, q1")
__ASM_EMIT("vmla.f32 q6, q13, q1")
__ASM_EMIT("vmla.f32 q7, q14, q1")
__ASM_EMIT("vmla.f32 q8, q15, q1")
__ASM_EMIT("vmla.f32 q6, q12, q2")
__ASM_EMIT("vmla.f32 q7, q13, q2")
__ASM_EMIT("vmla.f32 q8, q14, q2")
__ASM_EMIT("vmla.f32 q9, q15, q2")
__ASM_EMIT("vmla.f32 q7, q12, q3")
__ASM_EMIT("vmla.f32 q8, q13, q3")
__ASM_EMIT("vmla.f32 q9, q14, q3")
__ASM_EMIT("vmla.f32 q10, q15, q3")
__ASM_EMIT("vstm %[dst], {q4-q10}")
__ASM_EMIT("subs %[count], #4")
__ASM_EMIT("add %[dst], #0x40")
__ASM_EMIT("bhs 1b")
// 2x block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #2")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldm %[src]!, {d0}")
__ASM_EMIT("vldm %[dst], {q4-q8}")
__ASM_EMIT("vdup.32 q1, d0[1]")
__ASM_EMIT("vdup.32 q0, d0[0]")
__ASM_EMIT("vmla.f32 q4, q12, q0")
__ASM_EMIT("vmla.f32 q5, q13, q0")
__ASM_EMIT("vmla.f32 q6, q14, q0")
__ASM_EMIT("vmla.f32 q7, q15, q0")
__ASM_EMIT("vmla.f32 q5, q12, q1")
__ASM_EMIT("vmla.f32 q6, q13, q1")
__ASM_EMIT("vmla.f32 q7, q14, q1")
__ASM_EMIT("vmla.f32 q8, q15, q1")
__ASM_EMIT("vstm %[dst], {q4-q8}")
__ASM_EMIT("sub %[count], #2")
__ASM_EMIT("add %[dst], #0x20")
// 1x block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #1")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]")
__ASM_EMIT("vldm %[dst], {d8-d15}")
__ASM_EMIT("vmla.f32 q4, q12, q0")
__ASM_EMIT("vmla.f32 q5, q13, q0")
__ASM_EMIT("vmla.f32 q6, q14, q0")
__ASM_EMIT("vmla.f32 q7, q15, q0")
__ASM_EMIT("vstm %[dst], {d8-d15}")
__ASM_EMIT("6:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count)
: [kernel] "r" (kernel)
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
);
}
IF_ARCH_ARM(
static const float lanczos_kernel_4x3[] __lsp_aligned16 =
{
+0.0000000000000000f,
+0.0073559260471942f,
+0.0243170840741611f,
+0.0300210914495816f,
+0.0000000000000000f,
-0.0677913359005429f,
-0.1350949115231170f,
-0.1328710183650640f,
+0.0000000000000000f,
+0.2701898230462341f,
+0.6079271018540265f,
+0.8900670517104946f,
+1.0000000000000000f,
+0.8900670517104946f,
+0.6079271018540265f,
+0.2701898230462341f,
+0.0000000000000000f,
-0.1328710183650640f,
-0.1350949115231170f,
-0.0677913359005429f,
+0.0000000000000000f,
+0.0300210914495816f,
+0.0243170840741611f,
+0.0073559260471942f
};
)
void lanczos_resample_4x3(float *dst, const float *src, size_t count)
{
IF_ARCH_ARM(
const float *kernel = lanczos_kernel_4x3;
);
ARCH_ARM_ASM
(
// Prepare
__ASM_EMIT("vldm %[kernel], {q10-q15}")
__ASM_EMIT("subs %[count], #4")
__ASM_EMIT("blo 2f")
// 4x blocks
__ASM_EMIT("1:")
__ASM_EMIT("vldm %[src]!, {q0}")
__ASM_EMIT("vdup.32 q3, d1[1]")
__ASM_EMIT("vdup.32 q2, d1[0]")
__ASM_EMIT("vdup.32 q1, d0[1]")
__ASM_EMIT("vdup.32 q0, d0[0]")
// Part 1 - process 10 multiplications
__ASM_EMIT("vldm %[dst], {q4-q7}")
__ASM_EMIT("vmla.f32 q4, q10, q0")
__ASM_EMIT("vmla.f32 q5, q11, q0")
__ASM_EMIT("vmla.f32 q6, q12, q0")
__ASM_EMIT("vmla.f32 q7, q13, q0")
__ASM_EMIT("vmla.f32 q6, q11, q1")
__ASM_EMIT("vmla.f32 q7, q11, q2")
__ASM_EMIT("vmla.f32 q6, q10, q2")
__ASM_EMIT("vmla.f32 q7, q10, q3")
__ASM_EMIT("vmla.f32 q5, q10, q1")
__ASM_EMIT("vmla.f32 q7, q12, q1")
__ASM_EMIT("vstm %[dst], {q4-q7}")
__ASM_EMIT("add %[dst], #0x40")
// Part 2 - process 8 multiplications
__ASM_EMIT("vldm %[dst], {q4-q5}")
__ASM_EMIT("vmla.f32 q4, q14, q0")
__ASM_EMIT("vmla.f32 q5, q15, q0")
__ASM_EMIT("vmla.f32 q4, q13, q1")
__ASM_EMIT("vmla.f32 q5, q14, q1")
__ASM_EMIT("vmla.f32 q4, q12, q2")
__ASM_EMIT("vmla.f32 q5, q13, q2")
__ASM_EMIT("vmla.f32 q4, q11, q3")
__ASM_EMIT("vmla.f32 q5, q12, q3")
__ASM_EMIT("vstm %[dst], {q4-q5}")
__ASM_EMIT("add %[dst], #0x20")
// Part 3 - process 6 multiplications
__ASM_EMIT("vldm %[dst], {q4-q6}")
__ASM_EMIT("vmla.f32 q4, q15, q1")
__ASM_EMIT("vmla.f32 q5, q15, q2")
__ASM_EMIT("vmla.f32 q4, q14, q2")
__ASM_EMIT("vmla.f32 q5, q14, q3")
__ASM_EMIT("vmla.f32 q4, q13, q3")
__ASM_EMIT("vmla.f32 q6, q15, q3")
__ASM_EMIT("vstm %[dst], {q4-q6}")
__ASM_EMIT("subs %[count], #4")
__ASM_EMIT("sub %[dst], #0x20")
__ASM_EMIT("bhs 1b")
// 2x block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #2")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldm %[src]!, {d0}")
__ASM_EMIT("vdup.32 q1, d0[1]")
__ASM_EMIT("vdup.32 q0, d0[0]")
// Part 1 - 7 multiplications
__ASM_EMIT("vldm %[dst], {q4-q7}")
__ASM_EMIT("vmla.f32 q4, q10, q0")
__ASM_EMIT("vmla.f32 q5, q10, q1")
__ASM_EMIT("vmla.f32 q5, q11, q0")
__ASM_EMIT("vmla.f32 q6, q11, q1")
__ASM_EMIT("vmla.f32 q7, q12, q1")
__ASM_EMIT("vmla.f32 q6, q12, q0")
__ASM_EMIT("vmla.f32 q7, q13, q0")
__ASM_EMIT("vstm %[dst], {q4-q7}")
__ASM_EMIT("add %[dst], #0x40")
// Part 2 - 5 multiplications
__ASM_EMIT("vldm %[dst], {q4-q6}")
__ASM_EMIT("vmla.f32 q4, q14, q0")
__ASM_EMIT("vmla.f32 q5, q14, q1")
__ASM_EMIT("vmla.f32 q4, q13, q1")
__ASM_EMIT("vmla.f32 q5, q15, q0")
__ASM_EMIT("vmla.f32 q6, q15, q1")
__ASM_EMIT("vstm %[dst], {q4-q6}")
__ASM_EMIT("sub %[count], #2")
__ASM_EMIT("sub %[dst], #0x20")
// 1x block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #1")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]")
__ASM_EMIT("vldm %[dst], {q4-q9}")
__ASM_EMIT("vmla.f32 q4, q0, q10")
__ASM_EMIT("vmla.f32 q5, q0, q11")
__ASM_EMIT("vmla.f32 q6, q0, q12")
__ASM_EMIT("vmla.f32 q7, q0, q13")
__ASM_EMIT("vmla.f32 q8, q0, q14")
__ASM_EMIT("vmla.f32 q9, q0, q15")
__ASM_EMIT("vstm %[dst], {q4-q9}")
__ASM_EMIT("6:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count)
: [kernel] "r" (kernel)
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
);
}
IF_ARCH_ARM(
static const float lanczos_kernel_4x4[] __lsp_aligned16 =
{
+0.0000000000000000f,
-0.0039757442382413f,
-0.0126608778212387f,
-0.0150736176408234f,
+0.0000000000000000f,
+0.0315083921595442f,
+0.0599094833772629f,
+0.0555206000541729f,
+0.0000000000000000f,
-0.0917789511099593f,
-0.1664152316035080f,
-0.1525006180521938f,
+0.0000000000000000f,
+0.2830490423665725f,
+0.6203830132406946f,
+0.8945424536042901f,
+1.0000000000000000f,
+0.8945424536042901f,
+0.6203830132406946f,
+0.2830490423665725f,
+0.0000000000000000f,
-0.1525006180521938f,
-0.1664152316035080f,
-0.0917789511099593f,
+0.0000000000000000f,
+0.0555206000541729f,
+0.0599094833772629f,
+0.0315083921595442f,
+0.0000000000000000f,
-0.0150736176408234f,
-0.0126608778212387f,
-0.0039757442382413f
};
)
void lanczos_resample_4x4(float *dst, const float *src, size_t count)
{
IF_ARCH_ARM(
const float *kernel = lanczos_kernel_4x4;
);
ARCH_ARM_ASM
(
// Prepare
__ASM_EMIT("vldm %[kernel], {q8-q15}")
__ASM_EMIT("subs %[count], #4")
__ASM_EMIT("blo 2f")
// 4x blocks
__ASM_EMIT("1:")
__ASM_EMIT("vldm %[src]!, {q0}")
__ASM_EMIT("vdup.32 q3, d1[1]")
__ASM_EMIT("vdup.32 q2, d1[0]")
__ASM_EMIT("vdup.32 q1, d0[1]")
__ASM_EMIT("vdup.32 q0, d0[0]")
// Part 1
__ASM_EMIT("vldm %[dst], {q4-q7}")
__ASM_EMIT("vmla.f32 q7, q3, q8")
__ASM_EMIT("vmla.f32 q4, q0, q8")
__ASM_EMIT("vmla.f32 q5, q0, q9")
__ASM_EMIT("vmla.f32 q6, q0, q10")
__ASM_EMIT("vmla.f32 q7, q0, q11")
__ASM_EMIT("vmla.f32 q5, q1, q8")
__ASM_EMIT("vmla.f32 q6, q1, q9")
__ASM_EMIT("vmla.f32 q7, q1, q10")
__ASM_EMIT("vmla.f32 q6, q2, q8")
__ASM_EMIT("vmla.f32 q7, q2, q9")
__ASM_EMIT("vstm %[dst], {q4-q7}")
__ASM_EMIT("add %[dst], #0x40")
// Part 2
__ASM_EMIT("vldm %[dst], {q4-q7}")
__ASM_EMIT("vmla.f32 q4, q0, q12")
__ASM_EMIT("vmla.f32 q5, q0, q13")
__ASM_EMIT("vmla.f32 q6, q0, q14")
__ASM_EMIT("vmla.f32 q7, q0, q15")
__ASM_EMIT("vmla.f32 q4, q1, q11")
__ASM_EMIT("vmla.f32 q5, q1, q12")
__ASM_EMIT("vmla.f32 q6, q1, q13")
__ASM_EMIT("vmla.f32 q7, q1, q14")
__ASM_EMIT("vmla.f32 q4, q2, q10")
__ASM_EMIT("vmla.f32 q5, q2, q11")
__ASM_EMIT("vmla.f32 q6, q2, q12")
__ASM_EMIT("vmla.f32 q7, q2, q13")
__ASM_EMIT("vmla.f32 q4, q3, q9")
__ASM_EMIT("vmla.f32 q5, q3, q10")
__ASM_EMIT("vmla.f32 q6, q3, q11")
__ASM_EMIT("vmla.f32 q7, q3, q12")
__ASM_EMIT("vstm %[dst], {q4-q7}")
__ASM_EMIT("add %[dst], #0x40")
// Part 3
__ASM_EMIT("vldm %[dst], {q4-q6}")
__ASM_EMIT("vmla.f32 q4, q1, q15")
__ASM_EMIT("vmla.f32 q5, q2, q15")
__ASM_EMIT("vmla.f32 q4, q2, q14")
__ASM_EMIT("vmla.f32 q5, q3, q14")
__ASM_EMIT("vmla.f32 q4, q3, q13")
__ASM_EMIT("vmla.f32 q6, q3, q15")
__ASM_EMIT("vstm %[dst], {q4-q6}")
__ASM_EMIT("subs %[count], #4")
__ASM_EMIT("sub %[dst], #0x40")
__ASM_EMIT("bhs 1b")
// 1x blocks
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 4f")
__ASM_EMIT("3:")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
__ASM_EMIT("vldm %[dst], {q4-q7}")
__ASM_EMIT("vmla.f32 q4, q0, q8")
__ASM_EMIT("vmla.f32 q5, q0, q9")
__ASM_EMIT("vmla.f32 q6, q0, q10")
__ASM_EMIT("vmla.f32 q7, q0, q11")
__ASM_EMIT("vstm %[dst], {q4-q7}")
__ASM_EMIT("add %[dst], #0x40")
__ASM_EMIT("vldm %[dst], {q4-q7}")
__ASM_EMIT("vmla.f32 q4, q0, q12")
__ASM_EMIT("vmla.f32 q5, q0, q13")
__ASM_EMIT("vmla.f32 q6, q0, q14")
__ASM_EMIT("vmla.f32 q7, q0, q15")
__ASM_EMIT("vstm %[dst], {q4-q7}")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("sub %[dst], #0x30")
__ASM_EMIT("bhs 3b")
__ASM_EMIT("4:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count)
: [kernel] "r" (kernel)
: "cc", "memory",
"q0", "q1", "q2", "q3",
"q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11",
"q12", "q13", "q14", "q15"
);
}
IF_ARCH_ARM(
static const float lanczos_kernel_6x2[] __lsp_aligned16 =
{
+0.0000000000000000f,
-0.0078021377848166f,
-0.0315888188312782f,
-0.0636843520278618f,
-0.0854897486982225f,
-0.0719035699814534f,
+0.0000000000000000f,
+0.1409309971636486f,
+0.3419589947928900f,
+0.5731591682507563f,
+0.7897204707819555f,
+0.9440586719628122f,
+1.0000000000000000f,
+0.9440586719628122f,
+0.7897204707819555f,
+0.5731591682507563f,
+0.3419589947928900f,
+0.1409309971636486f,
+0.0000000000000000f,
-0.0719035699814534f,
-0.0854897486982225f,
-0.0636843520278618f,
-0.0315888188312782f,
-0.0078021377848166f
};
)
void lanczos_resample_6x2(float *dst, const float *src, size_t count)
{
IF_ARCH_ARM(
const float *kernel = lanczos_kernel_6x2;
);
ARCH_ARM_ASM
(
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("blo 2f")
__ASM_EMIT("vldm %[kernel], {q8-q13}")
__ASM_EMIT("1:")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
__ASM_EMIT("vldm %[dst], {q2-q7}")
__ASM_EMIT("vmla.f32 q2, q8, q0")
__ASM_EMIT("vmla.f32 q3, q9, q0")
__ASM_EMIT("vmla.f32 q4, q10, q0")
__ASM_EMIT("vmla.f32 q5, q11, q0")
__ASM_EMIT("vmla.f32 q6, q12, q0")
__ASM_EMIT("vmla.f32 q7, q13, q0")
__ASM_EMIT("vstm %[dst], {q2-q7}")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("add %[dst], #0x18")
__ASM_EMIT("bhs 1b")
__ASM_EMIT("2:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count)
: [kernel] "r" (kernel)
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
);
}
IF_ARCH_ARM(
static const float lanczos_kernel_6x3[] __lsp_aligned16 =
{
+0.0000000000000000f,
+0.0032875048460955f,
+0.0126609519658153f,
+0.0243170840741611f,
+0.0310789306368038f,
+0.0248005479513036f,
+0.0000000000000000f,
-0.0424907562338176f,
-0.0933267410806225f,
-0.1350949115231170f,
-0.1458230329384726f,
-0.1049261531488149f,
+0.0000000000000000f,
+0.1676517041508127f,
+0.3807169003008463f,
+0.6079271018540265f,
+0.8103009258121772f,
+0.9500889005216107f,
+1.0000000000000000f,
+0.9500889005216107f,
+0.8103009258121772f,
+0.6079271018540265f,
+0.3807169003008463f,
+0.1676517041508127f,
+0.0000000000000000f,
-0.1049261531488149f,
-0.1458230329384726f,
-0.1350949115231170f,
-0.0933267410806225f,
-0.0424907562338176f,
+0.0000000000000000f,
+0.0248005479513036f,
+0.0310789306368038f,
+0.0243170840741611f,
+0.0126609519658153f,
+0.0032875048460955f
};
)
void lanczos_resample_6x3(float *dst, const float *src, size_t count)
{
IF_ARCH_ARM(
const float *k1, *kernel = lanczos_kernel_6x3;
float *d1;
);
ARCH_ARM_ASM
(
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("blo 2f")
__ASM_EMIT("add %[k1], %[k0], #0x30")
__ASM_EMIT("vldm %[k1], {q11-q13}")
__ASM_EMIT("add %[k1], #0x30")
// 1x blocks
__ASM_EMIT("1:")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
__ASM_EMIT("vldm %[k0], {q8-q10}")
__ASM_EMIT("vldm %[d0], {q2-q7}")
__ASM_EMIT("add %[d1], %[d0], #0x60")
__ASM_EMIT("vmla.f32 q2, q8, q0")
__ASM_EMIT("vmla.f32 q3, q9, q0")
__ASM_EMIT("vmla.f32 q4, q10, q0")
__ASM_EMIT("vmla.f32 q5, q11, q0")
__ASM_EMIT("vmla.f32 q6, q12, q0")
__ASM_EMIT("vmla.f32 q7, q13, q0")
__ASM_EMIT("vstm %[d0], {q2-q7}")
__ASM_EMIT("vldm %[k1], {q8-q10}")
__ASM_EMIT("vldm %[d1], {q2-q4}")
__ASM_EMIT("vmla.f32 q2, q8, q0")
__ASM_EMIT("vmla.f32 q3, q9, q0")
__ASM_EMIT("vmla.f32 q4, q10, q0")
__ASM_EMIT("vstm %[d1], {q2-q4}")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("add %[d0], #0x18")
__ASM_EMIT("bhs 1b")
__ASM_EMIT("2:")
: [d0] "+r" (dst), [d1] "=&r" (d1), [k1] "=&r" (k1),
[src] "+r" (src),
[count] "+r" (count)
: [k0] "r" (kernel)
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
);
}
IF_ARCH_ARM(
static const float lanczos_kernel_6x4[] __lsp_aligned16 =
{
+0.0000000000000000f,
-0.0018000092949500f,
-0.0067568495254777f,
-0.0126608778212387f,
-0.0157944094156391f,
-0.0123019137260206f,
+0.0000000000000000f,
+0.0200263389720192f,
+0.0427448743491113f,
+0.0599094833772629f,
+0.0622703182267308f,
+0.0427971267140625f,
+0.0000000000000000f,
-0.0597744992948478f,
-0.1220498237243924f,
-0.1664152316035080f,
-0.1709794973964449f,
-0.1181145298553785f,
+0.0000000000000000f,
+0.1776396342037379f,
+0.3948602353909778f,
+0.6203830132406946f,
+0.8175787925827955f,
+0.9522049170285306f,
+1.0000000000000000f,
+0.9522049170285306f,
+0.8175787925827955f,
+0.6203830132406946f,
+0.3948602353909778f,
+0.1776396342037379f,
+0.0000000000000000f,
-0.1181145298553785f,
-0.1709794973964449f,
-0.1664152316035080f,
-0.1220498237243924f,
-0.0597744992948478f,
+0.0000000000000000f,
+0.0427971267140625f,
+0.0622703182267308f,
+0.0599094833772629f,
+0.0427448743491113f,
+0.0200263389720192f,
+0.0000000000000000f,
-0.0123019137260206f,
-0.0157944094156391f,
-0.0126608778212387f,
-0.0067568495254777f,
-0.0018000092949500f
};
)
void lanczos_resample_6x4(float *dst, const float *src, size_t count)
{
IF_ARCH_ARM(
const float *k0 = lanczos_kernel_6x4, *k1;
);
ARCH_ARM_ASM
(
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("blo 2f")
__ASM_EMIT("add %[k1], %[k0], #0x60")
// 1x blocks
__ASM_EMIT("1:")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
// Part 1
__ASM_EMIT("vldm %[k0], {q8-q13}")
__ASM_EMIT("vldm %[dst], {q2-q7}")
__ASM_EMIT("vmla.f32 q2, q8, q0")
__ASM_EMIT("vmla.f32 q3, q9, q0")
__ASM_EMIT("vmla.f32 q4, q10, q0")
__ASM_EMIT("vmla.f32 q5, q11, q0")
__ASM_EMIT("vmla.f32 q6, q12, q0")
__ASM_EMIT("vmla.f32 q7, q13, q0")
__ASM_EMIT("vstm %[dst], {q2-q7}")
__ASM_EMIT("add %[dst], #0x60")
// Part 2
__ASM_EMIT("vldm %[k1], {q8-q13}")
__ASM_EMIT("vldm %[dst], {q2-q7}")
__ASM_EMIT("vmla.f32 q2, q8, q0")
__ASM_EMIT("vmla.f32 q3, q9, q0")
__ASM_EMIT("vmla.f32 q4, q10, q0")
__ASM_EMIT("vmla.f32 q5, q11, q0")
__ASM_EMIT("vmla.f32 q6, q12, q0")
__ASM_EMIT("vmla.f32 q7, q13, q0")
__ASM_EMIT("vstm %[dst], {q2-q7}")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("sub %[dst], #0x48")
__ASM_EMIT("bhs 1b")
__ASM_EMIT("2:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count),
[k1] "=&r" (k1)
: [k0] "r" (k0)
: "cc", "memory",
"q0", "q1", "q2", "q3",
"q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11",
"q12", "q13"
);
}
IF_ARCH_ARM(
static const float lanczos_kernel_8x2[] __lsp_aligned16 =
{
+0.0000000000000000f,
-0.0043033145538298f,
-0.0179051851263444f,
-0.0393892611124141f,
-0.0636843520278618f,
-0.0823353965569232f,
-0.0847248039068907f,
-0.0600950644541902f,
+0.0000000000000000f,
+0.0993408208324369f,
+0.2353466775191407f,
+0.3985033193355084f,
+0.5731591682507563f,
+0.7396427919997760f,
+0.8773540711908775f,
+0.9682457746117045f,
+1.0000000000000000f,
+0.9682457746117045f,
+0.8773540711908775f,
+0.7396427919997760f,
+0.5731591682507563f,
+0.3985033193355084f,
+0.2353466775191407f,
+0.0993408208324369f,
+0.0000000000000000f,
-0.0600950644541902f,
-0.0847248039068907f,
-0.0823353965569232f,
-0.0636843520278618f,
-0.0393892611124141f,
-0.0179051851263444f,
-0.0043033145538298f
};
)
void lanczos_resample_8x2(float *dst, const float *src, size_t count)
{
IF_ARCH_ARM(
const float *kernel = lanczos_kernel_8x2;
float *d1, *d2, *d3;
);
ARCH_ARM_ASM
(
__ASM_EMIT("subs %[count], #4")
__ASM_EMIT("vldm %[kernel], {q8-q15}")
__ASM_EMIT("blo 2f")
// x4 blocks
__ASM_EMIT("1:")
__ASM_EMIT("vld1.32 {q0}, [%[src]]!")
__ASM_EMIT("add %[d1], %[d0], #0x40")
__ASM_EMIT("add %[d2], %[d0], #0x80")
__ASM_EMIT("add %[d3], %[d0], #0xc0")
__ASM_EMIT("vdup.32 q3, d1[1]")
__ASM_EMIT("vdup.32 q2, d1[0]")
__ASM_EMIT("vdup.32 q1, d0[1]")
__ASM_EMIT("vdup.32 q0, d0[0]")
// Part 1
__ASM_EMIT("vldm %[d0], {q4-q7}")
__ASM_EMIT("vmla.f32 q4, q8, q0")
__ASM_EMIT("vmla.f32 q5, q9, q0")
__ASM_EMIT("vmla.f32 q6, q8, q1")
__ASM_EMIT("vmla.f32 q7, q9, q1")
__ASM_EMIT("vmla.f32 q6, q10, q0")
__ASM_EMIT("vmla.f32 q7, q11, q0")
__ASM_EMIT("vstm %[d0], {q4-q7}")
// Part 2
__ASM_EMIT("vldm %[d1], {q4-q7}")
__ASM_EMIT("vmla.f32 q4, q12, q0")
__ASM_EMIT("vmla.f32 q5, q11, q1")
__ASM_EMIT("vmla.f32 q6, q10, q2")
__ASM_EMIT("vmla.f32 q7, q9, q3")
__ASM_EMIT("vmla.f32 q5, q13, q0")
__ASM_EMIT("vmla.f32 q6, q12, q1")
__ASM_EMIT("vmla.f32 q7, q11, q2")
__ASM_EMIT("vmla.f32 q4, q8, q2")
__ASM_EMIT("vmla.f32 q6, q14, q0")
__ASM_EMIT("vmla.f32 q7, q13, q1")
__ASM_EMIT("vmla.f32 q5, q9, q2")
__ASM_EMIT("vmla.f32 q6, q8, q3")
__ASM_EMIT("vmla.f32 q4, q10, q1")
__ASM_EMIT("vmla.f32 q7, q15, q0")
__ASM_EMIT("vstm %[d1], {q4-q7}")
// Part 3
__ASM_EMIT("vldm %[d2], {q4-q7}")
__ASM_EMIT("vmla.f32 q4, q14, q1")
__ASM_EMIT("vmla.f32 q5, q13, q2")
__ASM_EMIT("vmla.f32 q6, q12, q3")
__ASM_EMIT("vmla.f32 q5, q15, q1")
__ASM_EMIT("vmla.f32 q6, q14, q2")
__ASM_EMIT("vmla.f32 q7, q13, q3")
__ASM_EMIT("vmla.f32 q4, q12, q2")
__ASM_EMIT("vmla.f32 q5, q11, q3")
__ASM_EMIT("vmla.f32 q7, q15, q2")
__ASM_EMIT("vmla.f32 q4, q10, q3")
__ASM_EMIT("vstm %[d2], {q4-q7}")
// Part 4
__ASM_EMIT("vldm %[d3], {q4-q5}")
__ASM_EMIT("vmla.f32 q4, q14, q3")
__ASM_EMIT("vmla.f32 q5, q15, q3")
__ASM_EMIT("vstm %[d3], {q4-q5}")
__ASM_EMIT("subs %[count], #4")
__ASM_EMIT("add %[d0], #0x80")
__ASM_EMIT("bhs 1b")
// x2 block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #2")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldm %[src]!, {d0}")
__ASM_EMIT("add %[d1], %[d0], #0x50")
__ASM_EMIT("vdup.32 q1, d0[1]")
__ASM_EMIT("vdup.32 q0, d0[0]")
// Part 1
__ASM_EMIT("vldm %[d0], {q2-q6}")
__ASM_EMIT("vmla.f32 q2, q8, q0")
__ASM_EMIT("vmla.f32 q5, q9, q1")
__ASM_EMIT("vmla.f32 q4, q10, q0")
__ASM_EMIT("vmla.f32 q6, q12, q0")
__ASM_EMIT("vmla.f32 q3, q9, q0")
__ASM_EMIT("vmla.f32 q4, q8, q1")
__ASM_EMIT("vmla.f32 q5, q11, q0")
__ASM_EMIT("vmla.f32 q6, q10, q1")
__ASM_EMIT("vstm %[d0], {q2-q6}")
// Part 2
__ASM_EMIT("vldm %[d1], {q2-q6}")
__ASM_EMIT("vmla.f32 q2, q13, q0")
__ASM_EMIT("vmla.f32 q5, q14, q1")
__ASM_EMIT("vmla.f32 q4, q15, q0")
__ASM_EMIT("vmla.f32 q2, q11, q1")
__ASM_EMIT("vmla.f32 q3, q14, q0")
__ASM_EMIT("vmla.f32 q6, q15, q1")
__ASM_EMIT("vmla.f32 q3, q12, q1")
__ASM_EMIT("vmla.f32 q4, q13, q1")
__ASM_EMIT("vstm %[d1], {q2-q6}")
__ASM_EMIT("sub %[count], #2")
__ASM_EMIT("add %[d0], #0x40")
// x1 block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #1")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]")
__ASM_EMIT("add %[d1], %[d0], #0x40")
__ASM_EMIT("vldm %[d0], {q2-q5}")
// Part 1
__ASM_EMIT("vmla.f32 q2, q8, q0")
__ASM_EMIT("vmla.f32 q3, q9, q0")
__ASM_EMIT("vmla.f32 q4, q10, q0")
__ASM_EMIT("vmla.f32 q5, q11, q0")
__ASM_EMIT("vstm %[d0], {q2-q5}")
// Part 2
__ASM_EMIT("vldm %[d1], {q2-q5}")
__ASM_EMIT("vmla.f32 q2, q12, q0")
__ASM_EMIT("vmla.f32 q3, q13, q0")
__ASM_EMIT("vmla.f32 q4, q14, q0")
__ASM_EMIT("vmla.f32 q5, q15, q0")
__ASM_EMIT("vstm %[d1], {q2-q5}")
__ASM_EMIT("6:")
: [d0] "+r" (dst), [d1] "=&r" (d1), [d2] "=&r" (d2), [d3] "=&r" (d3),
[src] "+r" (src),
[count] "+r" (count)
: [kernel] "r" (kernel)
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
);
}
IF_ARCH_ARM(
static const float lanczos_kernel_8x3[] __lsp_aligned16 =
{
+0.0000000000000000f,
+0.0018368899607481f,
+0.0073559260471942f,
+0.0155961678435580f,
+0.0243170840741611f,
+0.0303079634725070f,
+0.0300210914495816f,
+0.0204366616947175f,
+0.0000000000000000f,
-0.0305684889733737f,
-0.0677913359005429f,
-0.1054383717904384f,
-0.1350949115231170f,
-0.1472651639056537f,
-0.1328710183650640f,
-0.0849124693704824f,
+0.0000000000000000f,
+0.1205345965259870f,
+0.2701898230462341f,
+0.4376469925430009f,
+0.6079271018540265f,
+0.7642122243343417f,
+0.8900670517104946f,
+0.9717147892357163f,
+1.0000000000000000f,
+0.9717147892357163f,
+0.8900670517104946f,
+0.7642122243343417f,
+0.6079271018540265f,
+0.4376469925430009f,
+0.2701898230462341f,
+0.1205345965259870f,
+0.0000000000000000f,
-0.0849124693704824f,
-0.1328710183650640f,
-0.1472651639056537f,
-0.1350949115231170f,
-0.1054383717904384f,
-0.0677913359005429f,
-0.0305684889733737f,
+0.0000000000000000f,
+0.0204366616947175f,
+0.0300210914495816f,
+0.0303079634725070f,
+0.0243170840741611f,
+0.0155961678435580f,
+0.0073559260471942f,
+0.0018368899607481f
};
)
void lanczos_resample_8x3(float *dst, const float *src, size_t count)
{
IF_ARCH_ARM(
const float *k1, *kernel = lanczos_kernel_8x3;
float *d1, *d2;
);
ARCH_ARM_ASM
(
__ASM_EMIT("subs %[count], #4")
__ASM_EMIT("blo 2f")
// x4 blocks
__ASM_EMIT("1:")
__ASM_EMIT("vld1.32 {q0}, [%[src]]!")
__ASM_EMIT("vldm %[k0], {q10-q15}")
__ASM_EMIT("add %[k1], %[k0], #0x60")
__ASM_EMIT("add %[d1], %[d0], #0x60")
__ASM_EMIT("add %[d2], %[d0], #0xc0")
__ASM_EMIT("vdup.32 q3, d1[1]")
__ASM_EMIT("vdup.32 q2, d1[0]")
__ASM_EMIT("vdup.32 q1, d0[1]")
__ASM_EMIT("vdup.32 q0, d0[0]")
// Part 1
__ASM_EMIT("vldm %[d0], {q4-q9}")
__ASM_EMIT("vmla.f32 q4, q10, q0")
__ASM_EMIT("vmla.f32 q7, q11, q1")
__ASM_EMIT("vmla.f32 q6, q12, q0")
__ASM_EMIT("vmla.f32 q9, q13, q1")
__ASM_EMIT("vmla.f32 q5, q11, q0")
__ASM_EMIT("vmla.f32 q8, q10, q2")
__ASM_EMIT("vmla.f32 q7, q13, q0")
__ASM_EMIT("vmla.f32 q9, q11, q2")
__ASM_EMIT("vmla.f32 q8, q14, q0")
__ASM_EMIT("vmla.f32 q6, q10, q1")
__ASM_EMIT("vmla.f32 q9, q15, q0")
__ASM_EMIT("vmla.f32 q8, q12, q1")
__ASM_EMIT("vstm %[d0], {q4-q9}")
// Part 2
__ASM_EMIT("vldm %[d1], {q4-q9}")
__ASM_EMIT("vmla.f32 q4, q14, q1")
__ASM_EMIT("vmla.f32 q7, q15, q2")
__ASM_EMIT("vmla.f32 q8, q14, q3")
__ASM_EMIT("vmla.f32 q6, q12, q3")
__ASM_EMIT("vmla.f32 q5, q13, q2")
__ASM_EMIT("vmla.f32 q9, q15, q3")
__ASM_EMIT("vmla.f32 q4, q12, q2")
__ASM_EMIT("vmla.f32 q7, q13, q3")
__ASM_EMIT("vmla.f32 q6, q14, q2")
__ASM_EMIT("vmla.f32 q4, q10, q3")
__ASM_EMIT("vmla.f32 q5, q15, q1")
__ASM_EMIT("vmla.f32 q5, q11, q3")
// Part 3
__ASM_EMIT("vldm %[k1], {q10-q15}")
__ASM_EMIT("vmla.f32 q4, q10, q0")
__ASM_EMIT("vmla.f32 q7, q11, q1")
__ASM_EMIT("vmla.f32 q6, q12, q0")
__ASM_EMIT("vmla.f32 q9, q13, q1")
__ASM_EMIT("vmla.f32 q5, q11, q0")
__ASM_EMIT("vmla.f32 q8, q10, q2")
__ASM_EMIT("vmla.f32 q7, q13, q0")
__ASM_EMIT("vmla.f32 q9, q11, q2")
__ASM_EMIT("vmla.f32 q8, q14, q0")
__ASM_EMIT("vmla.f32 q6, q10, q1")
__ASM_EMIT("vmla.f32 q9, q15, q0")
__ASM_EMIT("vmla.f32 q8, q12, q1")
__ASM_EMIT("vstm %[d1], {q4-q9}")
// Part 4
__ASM_EMIT("vldm %[d2], {q4-q9}")
__ASM_EMIT("vmla.f32 q4, q14, q1")
__ASM_EMIT("vmla.f32 q7, q15, q2")
__ASM_EMIT("vmla.f32 q8, q14, q3")
__ASM_EMIT("vmla.f32 q6, q12, q3")
__ASM_EMIT("vmla.f32 q5, q13, q2")
__ASM_EMIT("vmla.f32 q9, q15, q3")
__ASM_EMIT("vmla.f32 q4, q12, q2")
__ASM_EMIT("vmla.f32 q7, q13, q3")
__ASM_EMIT("vmla.f32 q6, q14, q2")
__ASM_EMIT("vmla.f32 q4, q10, q3")
__ASM_EMIT("vmla.f32 q5, q15, q1")
__ASM_EMIT("vmla.f32 q5, q11, q3")
__ASM_EMIT("vstm %[d2], {q4-q9}")
__ASM_EMIT("subs %[count], #4")
__ASM_EMIT("add %[d0], #0x80")
__ASM_EMIT("bhs 1b")
// x2 block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #2")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldm %[src]!, {d0}")
__ASM_EMIT("add %[d1], %[d0], #0x70")
__ASM_EMIT("vldm %[k0], {q9-q15}")
__ASM_EMIT("add %[k1], %[k0], #0x50")
__ASM_EMIT("vdup.32 q1, d0[1]")
__ASM_EMIT("vdup.32 q0, d0[0]")
// Part 1
__ASM_EMIT("vldm %[d0], {q2-q8}")
__ASM_EMIT("vmla.f32 q2, q9, q0")
__ASM_EMIT("vmla.f32 q7, q14, q0")
__ASM_EMIT("vmla.f32 q4, q9, q1")
__ASM_EMIT("vmla.f32 q3, q10, q0")
__ASM_EMIT("vmla.f32 q6, q11, q1")
__ASM_EMIT("vmla.f32 q8, q15, q0")
__ASM_EMIT("vmla.f32 q5, q12, q0")
__ASM_EMIT("vmla.f32 q8, q13, q1")
__ASM_EMIT("vmla.f32 q4, q11, q0")
__ASM_EMIT("vmla.f32 q5, q10, q1")
__ASM_EMIT("vmla.f32 q6, q13, q0")
__ASM_EMIT("vmla.f32 q7, q12, q1")
__ASM_EMIT("vstm %[d0], {q2-q8}")
// Part 2
__ASM_EMIT("vldm %[k1], {q9-q15}")
__ASM_EMIT("vldm %[d1], {q2-q8}")
__ASM_EMIT("vmla.f32 q2, q9, q1")
__ASM_EMIT("vmla.f32 q3, q10, q1")
__ASM_EMIT("vmla.f32 q4, q13, q0")
__ASM_EMIT("vmla.f32 q7, q14, q1")
__ASM_EMIT("vmla.f32 q2, q11, q0")
__ASM_EMIT("vmla.f32 q5, q12, q1")
__ASM_EMIT("vmla.f32 q6, q15, q0")
__ASM_EMIT("vmla.f32 q4, q11, q1")
__ASM_EMIT("vmla.f32 q5, q14, q0")
__ASM_EMIT("vmla.f32 q8, q15, q1")
__ASM_EMIT("vmla.f32 q3, q12, q0")
__ASM_EMIT("vmla.f32 q6, q13, q1")
__ASM_EMIT("vstm %[d1], {q2-q8}")
__ASM_EMIT("sub %[count], #2")
__ASM_EMIT("add %[d0], #0x40")
// x1 block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #1")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]")
__ASM_EMIT("vldm %[k0], {q10-q15}")
__ASM_EMIT("add %[d1], %[d0], #0x60")
__ASM_EMIT("add %[k1], %[k0], #0x60")
// Part 1
__ASM_EMIT("vldm %[d0], {q4-q9}")
__ASM_EMIT("vmla.f32 q4, q10, q0")
__ASM_EMIT("vmla.f32 q5, q11, q0")
__ASM_EMIT("vmla.f32 q6, q12, q0")
__ASM_EMIT("vmla.f32 q7, q13, q0")
__ASM_EMIT("vmla.f32 q8, q14, q0")
__ASM_EMIT("vmla.f32 q9, q15, q0")
__ASM_EMIT("vstm %[d0], {q4-q9}")
// Part 2
__ASM_EMIT("vldm %[k1], {q10-q15}")
__ASM_EMIT("vldm %[d1], {q4-q9}")
__ASM_EMIT("vmla.f32 q4, q10, q0")
__ASM_EMIT("vmla.f32 q5, q11, q0")
__ASM_EMIT("vmla.f32 q6, q12, q0")
__ASM_EMIT("vmla.f32 q7, q13, q0")
__ASM_EMIT("vmla.f32 q8, q14, q0")
__ASM_EMIT("vmla.f32 q9, q15, q0")
__ASM_EMIT("vstm %[d1], {q4-q9}")
__ASM_EMIT("6:")
: [d0] "+r" (dst), [d1] "=&r" (d1), [d2] "=&r" (d2), [k1] "=&r" (k1),
[src] "+r" (src),
[count] "+r" (count)
: [k0] "r" (kernel)
: "cc", "memory",
"q0", "q1", "q2", "q3",
"q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11",
"q12", "q13", "q14", "q15"
);
}
IF_ARCH_ARM(
static const float lanczos_kernel_8x4[] __lsp_aligned16 =
{
+0.0000000000000000f,
-0.0010124148822791f,
-0.0039757442382413f,
-0.0082714887261119f,
-0.0126608778212387f,
-0.0154958216565010f,
-0.0150736176408234f,
-0.0100753105205530f,
+0.0000000000000000f,
+0.0145047275409824f,
+0.0315083921595442f,
+0.0479233082326825f,
+0.0599094833772629f,
+0.0635233253590927f,
+0.0555206000541729f,
+0.0341810767869351f,
+0.0000000000000000f,
-0.0439036941841078f,
-0.0917789511099593f,
-0.1356918370096595f,
-0.1664152316035080f,
-0.1746626357901899f,
-0.1525006180521938f,
-0.0947284057923417f,
+0.0000000000000000f,
+0.1285116137825641f,
+0.2830490423665725f,
+0.4518581595035692f,
+0.6203830132406946f,
+0.7729246687400148f,
+0.8945424536042901f,
+0.9729307018702211f,
+1.0000000000000000f,
+0.9729307018702211f,
+0.8945424536042901f,
+0.7729246687400148f,
+0.6203830132406946f,
+0.4518581595035692f,
+0.2830490423665725f,
+0.1285116137825641f,
+0.0000000000000000f,
-0.0947284057923417f,
-0.1525006180521938f,
-0.1746626357901899f,
-0.1664152316035080f,
-0.1356918370096595f,
-0.0917789511099593f,
-0.0439036941841078f,
+0.0000000000000000f,
+0.0341810767869351f,
+0.0555206000541729f,
+0.0635233253590927f,
+0.0599094833772629f,
+0.0479233082326825f,
+0.0315083921595442f,
+0.0145047275409824f,
+0.0000000000000000f,
-0.0100753105205530f,
-0.0150736176408234f,
-0.0154958216565010f,
-0.0126608778212387f,
-0.0082714887261119f,
-0.0039757442382413f,
-0.0010124148822791f
};
)
void lanczos_resample_8x4(float *dst, const float *src, size_t count)
{
IF_ARCH_ARM(
const float *k0 = lanczos_kernel_8x4, *k1;
);
ARCH_ARM_ASM
(
__ASM_EMIT("subs %[count], #2")
__ASM_EMIT("add %[k1], %[k0], #0x80")
__ASM_EMIT("blo 2f")
// x2 blocks
__ASM_EMIT("1:")
__ASM_EMIT("vldm %[src]!, {d0}")
__ASM_EMIT("vdup.32 q1, d0[1]")
__ASM_EMIT("vdup.32 q0, d0[0]")
// Part 1
__ASM_EMIT("vldm %[k0], {q8-q15}")
__ASM_EMIT("vldm %[dst], {q4-q7}")
__ASM_EMIT("vmla.f32 q4, q8, q0")
__ASM_EMIT("vmla.f32 q5, q9, q0")
__ASM_EMIT("vmla.f32 q6, q10, q0")
__ASM_EMIT("vmla.f32 q7, q11, q0")
__ASM_EMIT("vmla.f32 q6, q8, q1")
__ASM_EMIT("vmla.f32 q7, q9, q1")
__ASM_EMIT("vmul.f32 q2, q10, q1")
__ASM_EMIT("vmul.f32 q3, q11, q1")
__ASM_EMIT("vstm %[dst], {q4-q7}")
__ASM_EMIT("add %[dst], #0x40")
// Part 2
__ASM_EMIT("vldm %[dst], {q4-q7}")
__ASM_EMIT("vmla.f32 q4, q12, q0")
__ASM_EMIT("vmla.f32 q5, q13, q0")
__ASM_EMIT("vmla.f32 q6, q14, q0")
__ASM_EMIT("vmla.f32 q7, q15, q0")
__ASM_EMIT("vadd.f32 q4, q4, q2")
__ASM_EMIT("vadd.f32 q5, q5, q3")
__ASM_EMIT("vmla.f32 q6, q12, q1")
__ASM_EMIT("vmla.f32 q7, q13, q1")
__ASM_EMIT("vmul.f32 q2, q14, q1")
__ASM_EMIT("vmul.f32 q3, q15, q1")
__ASM_EMIT("vstm %[dst], {q4-q7}")
__ASM_EMIT("add %[dst], #0x40")
// Part 3
__ASM_EMIT("vldm %[k1], {q8-q15}")
__ASM_EMIT("vldm %[dst], {q4-q7}")
__ASM_EMIT("vmla.f32 q4, q8, q0")
__ASM_EMIT("vmla.f32 q5, q9, q0")
__ASM_EMIT("vmla.f32 q6, q10, q0")
__ASM_EMIT("vmla.f32 q7, q11, q0")
__ASM_EMIT("vadd.f32 q4, q4, q2")
__ASM_EMIT("vadd.f32 q5, q5, q3")
__ASM_EMIT("vmla.f32 q6, q8, q1")
__ASM_EMIT("vmla.f32 q7, q9, q1")
__ASM_EMIT("vmul.f32 q2, q10, q1")
__ASM_EMIT("vmul.f32 q3, q11, q1")
__ASM_EMIT("vstm %[dst], {q4-q7}")
__ASM_EMIT("add %[dst], #0x40")
// Part 4
__ASM_EMIT("vldm %[dst], {q4-q9}")
__ASM_EMIT("vmla.f32 q4, q12, q0")
__ASM_EMIT("vmla.f32 q5, q13, q0")
__ASM_EMIT("vmla.f32 q6, q14, q0")
__ASM_EMIT("vmla.f32 q7, q15, q0")
__ASM_EMIT("vadd.f32 q4, q4, q2")
__ASM_EMIT("vadd.f32 q5, q5, q3")
__ASM_EMIT("vmla.f32 q6, q12, q1")
__ASM_EMIT("vmla.f32 q7, q13, q1")
__ASM_EMIT("vmla.f32 q8, q14, q1")
__ASM_EMIT("vmla.f32 q9, q15, q1")
__ASM_EMIT("vstm %[dst], {q4-q9}")
__ASM_EMIT("subs %[count], #2")
__ASM_EMIT("sub %[dst], #0x80")
__ASM_EMIT("bhs 1b")
// x2 block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #1")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]")
// Part 1
__ASM_EMIT("vldm %[k0], {q8-q15}")
__ASM_EMIT("vldm %[dst], {q4-q7}")
__ASM_EMIT("vmla.f32 q4, q8, q0")
__ASM_EMIT("vmla.f32 q5, q9, q0")
__ASM_EMIT("vmla.f32 q6, q10, q0")
__ASM_EMIT("vmla.f32 q7, q11, q0")
__ASM_EMIT("vstm %[dst], {q4-q7}")
__ASM_EMIT("add %[dst], #0x40")
// Part 2
__ASM_EMIT("vldm %[dst], {q4-q7}")
__ASM_EMIT("vmla.f32 q4, q12, q0")
__ASM_EMIT("vmla.f32 q5, q13, q0")
__ASM_EMIT("vmla.f32 q6, q14, q0")
__ASM_EMIT("vmla.f32 q7, q15, q0")
__ASM_EMIT("vstm %[dst], {q4-q7}")
__ASM_EMIT("add %[dst], #0x40")
// Part 3
__ASM_EMIT("vldm %[k1], {q8-q15}")
__ASM_EMIT("vldm %[dst], {q4-q7}")
__ASM_EMIT("vmla.f32 q4, q8, q0")
__ASM_EMIT("vmla.f32 q5, q9, q0")
__ASM_EMIT("vmla.f32 q6, q10, q0")
__ASM_EMIT("vmla.f32 q7, q11, q0")
__ASM_EMIT("vstm %[dst], {q4-q7}")
__ASM_EMIT("add %[dst], #0x40")
// Part 4
__ASM_EMIT("vldm %[dst], {q4-q7}")
__ASM_EMIT("vmla.f32 q4, q12, q0")
__ASM_EMIT("vmla.f32 q5, q13, q0")
__ASM_EMIT("vmla.f32 q6, q14, q0")
__ASM_EMIT("vmla.f32 q7, q15, q0")
__ASM_EMIT("vstm %[dst], {q4-q7}")
__ASM_EMIT("add %[dst], #0x40")
__ASM_EMIT("4:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count),
[k1] "=&r" (k1)
: [k0] "r" (k0)
: "cc", "memory",
"q0", "q1", "q2", "q3",
"q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11",
"q12", "q13", "q14", "q15"
);
}
void downsample_2x(float *dst, const float *src, size_t count)
{
ARCH_ARM_ASM
(
__ASM_EMIT("subs %[count], #32")
__ASM_EMIT("blo 2f")
// x32 blocks
__ASM_EMIT("1:")
__ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!")
__ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!")
__ASM_EMIT("vld2.32 {q4-q5}, [%[src]]!")
__ASM_EMIT("vmov q1, q2")
__ASM_EMIT("vld2.32 {q6-q7}, [%[src]]!")
__ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
__ASM_EMIT("vmov q2, q4")
__ASM_EMIT("vld2.32 {q8-q9}, [%[src]]!")
__ASM_EMIT("vmov q3, q6")
__ASM_EMIT("vld2.32 {q10-q11}, [%[src]]!")
__ASM_EMIT("vst1.32 {q2-q3}, [%[dst]]!")
__ASM_EMIT("vmov q4, q8")
__ASM_EMIT("vld2.32 {q12-q13}, [%[src]]!")
__ASM_EMIT("vmov q5, q10")
__ASM_EMIT("vld2.32 {q14-q15}, [%[src]]!")
__ASM_EMIT("vst1.32 {q4-q5}, [%[dst]]!")
__ASM_EMIT("vmov q6, q12")
__ASM_EMIT("vmov q7, q14")
__ASM_EMIT("subs %[count], #32")
__ASM_EMIT("vst1.32 {q6-q7}, [%[dst]]!")
__ASM_EMIT("bhs 1b")
// x16 block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #16")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!")
__ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!")
__ASM_EMIT("vld2.32 {q4-q5}, [%[src]]!")
__ASM_EMIT("vmov q1, q2")
__ASM_EMIT("vld2.32 {q6-q7}, [%[src]]!")
__ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
__ASM_EMIT("vmov q2, q4")
__ASM_EMIT("vmov q3, q6")
__ASM_EMIT("sub %[count], #16")
__ASM_EMIT("vst1.32 {q2-q3}, [%[dst]]!")
// x8 block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #8")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!")
__ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!")
__ASM_EMIT("vmov q1, q2")
__ASM_EMIT("sub %[count], #8")
__ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
// x4 block
__ASM_EMIT("6:")
__ASM_EMIT("adds %[count], #4")
__ASM_EMIT("blt 8f")
__ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!")
__ASM_EMIT("sub %[count], #4")
__ASM_EMIT("vst1.32 {q0}, [%[dst]]!")
// x1 blocks
__ASM_EMIT("8:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 10f")
__ASM_EMIT("9:")
__ASM_EMIT("vldm.32 %[src]!, {s0, s1}")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("vstm.32 %[dst]!, {s0}")
__ASM_EMIT("bge 9b")
__ASM_EMIT("10:")
: [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
:
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
);
}
void downsample_3x(float *dst, const float *src, size_t count)
{
ARCH_ARM_ASM
(
__ASM_EMIT("subs %[count], #16")
__ASM_EMIT("blo 2f")
// x16 blocks
__ASM_EMIT("1:")
__ASM_EMIT("vldr s0, [%[src], #0x000]")
__ASM_EMIT("vldr s1, [%[src], #0x00c]")
__ASM_EMIT("vldr s2, [%[src], #0x018]")
__ASM_EMIT("vldr s3, [%[src], #0x024]")
__ASM_EMIT("vldr s4, [%[src], #0x030]")
__ASM_EMIT("vldr s5, [%[src], #0x03c]")
__ASM_EMIT("vldr s6, [%[src], #0x048]")
__ASM_EMIT("vldr s7, [%[src], #0x054]")
__ASM_EMIT("vldr s8, [%[src], #0x060]")
__ASM_EMIT("vldr s9, [%[src], #0x06c]")
__ASM_EMIT("vldr s10, [%[src], #0x078]")
__ASM_EMIT("vldr s11, [%[src], #0x084]")
__ASM_EMIT("vldr s12, [%[src], #0x090]")
__ASM_EMIT("vldr s13, [%[src], #0x09c]")
__ASM_EMIT("vldr s14, [%[src], #0x0a8]")
__ASM_EMIT("vldr s15, [%[src], #0x0b4]")
__ASM_EMIT("vstm %[dst]!, {q0-q3}")
__ASM_EMIT("add %[src], #0xc0")
__ASM_EMIT("subs %[count], #16")
__ASM_EMIT("bhs 1b")
// x8 block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #8")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldr s0, [%[src], #0x000]")
__ASM_EMIT("vldr s1, [%[src], #0x00c]")
__ASM_EMIT("vldr s2, [%[src], #0x018]")
__ASM_EMIT("vldr s3, [%[src], #0x024]")
__ASM_EMIT("vldr s4, [%[src], #0x030]")
__ASM_EMIT("vldr s5, [%[src], #0x03c]")
__ASM_EMIT("vldr s6, [%[src], #0x048]")
__ASM_EMIT("vldr s7, [%[src], #0x054]")
__ASM_EMIT("vstm %[dst]!, {q0-q1}")
__ASM_EMIT("add %[src], #0x60")
__ASM_EMIT("sub %[count], #8")
// x4 block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #4")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vldr s0, [%[src], #0x000]")
__ASM_EMIT("vldr s1, [%[src], #0x00c]")
__ASM_EMIT("vldr s2, [%[src], #0x018]")
__ASM_EMIT("vldr s3, [%[src], #0x024]")
__ASM_EMIT("vstm %[dst]!, {q0}")
__ASM_EMIT("add %[src], #0x30")
__ASM_EMIT("sub %[count], #4")
// x1 blocks
__ASM_EMIT("6:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 8f")
__ASM_EMIT("7:")
__ASM_EMIT("vldm.32 %[src]!, {s0-s2}")
__ASM_EMIT("vstm.32 %[dst]!, {s0}")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("bge 7b")
__ASM_EMIT("8:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count)
:
: "cc", "memory",
"q0", "q1", "q2", "q3"
);
}
void downsample_4x(float *dst, const float *src, size_t count)
{
ARCH_ARM_ASM
(
__ASM_EMIT("subs %[count], #16")
__ASM_EMIT("blo 2f")
// x16 blocks
__ASM_EMIT("1:")
__ASM_EMIT("vldr s0, [%[src], #0x000]")
__ASM_EMIT("vldr s1, [%[src], #0x010]")
__ASM_EMIT("vldr s2, [%[src], #0x020]")
__ASM_EMIT("vldr s3, [%[src], #0x030]")
__ASM_EMIT("vldr s4, [%[src], #0x040]")
__ASM_EMIT("vldr s5, [%[src], #0x050]")
__ASM_EMIT("vldr s6, [%[src], #0x060]")
__ASM_EMIT("vldr s7, [%[src], #0x070]")
__ASM_EMIT("vldr s8, [%[src], #0x080]")
__ASM_EMIT("vldr s9, [%[src], #0x090]")
__ASM_EMIT("vldr s10, [%[src], #0x0a0]")
__ASM_EMIT("vldr s11, [%[src], #0x0b0]")
__ASM_EMIT("vldr s12, [%[src], #0x0c0]")
__ASM_EMIT("vldr s13, [%[src], #0x0d0]")
__ASM_EMIT("vldr s14, [%[src], #0x0e0]")
__ASM_EMIT("vldr s15, [%[src], #0x0f0]")
__ASM_EMIT("vstm %[dst]!, {q0-q3}")
__ASM_EMIT("add %[src], #0x100")
__ASM_EMIT("subs %[count], #16")
__ASM_EMIT("bhs 1b")
// x8 block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #8")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldr s0, [%[src], #0x000]")
__ASM_EMIT("vldr s1, [%[src], #0x010]")
__ASM_EMIT("vldr s2, [%[src], #0x020]")
__ASM_EMIT("vldr s3, [%[src], #0x030]")
__ASM_EMIT("vldr s4, [%[src], #0x040]")
__ASM_EMIT("vldr s5, [%[src], #0x050]")
__ASM_EMIT("vldr s6, [%[src], #0x060]")
__ASM_EMIT("vldr s7, [%[src], #0x070]")
__ASM_EMIT("vstm %[dst]!, {q0-q1}")
__ASM_EMIT("add %[src], #0x80")
__ASM_EMIT("sub %[count], #8")
// x4 block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #4")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vldr s0, [%[src], #0x000]")
__ASM_EMIT("vldr s1, [%[src], #0x010]")
__ASM_EMIT("vldr s2, [%[src], #0x020]")
__ASM_EMIT("vldr s3, [%[src], #0x030]")
__ASM_EMIT("vstm %[dst]!, {q0}")
__ASM_EMIT("add %[src], #0x40")
__ASM_EMIT("sub %[count], #4")
// x1 blocks
__ASM_EMIT("6:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 8f")
__ASM_EMIT("7:")
__ASM_EMIT("vldm.32 %[src]!, {q0}")
__ASM_EMIT("vstm.32 %[dst]!, {s0}")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("bge 7b")
__ASM_EMIT("8:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count)
:
: "cc", "memory",
"q0", "q1", "q2", "q3"
);
}
void downsample_6x(float *dst, const float *src, size_t count)
{
ARCH_ARM_ASM
(
__ASM_EMIT("subs %[count], #16")
__ASM_EMIT("blo 2f")
// x16 blocks
__ASM_EMIT("1:")
__ASM_EMIT("vldr s0, [%[src], #0x000]")
__ASM_EMIT("vldr s1, [%[src], #0x018]")
__ASM_EMIT("vldr s2, [%[src], #0x030]")
__ASM_EMIT("vldr s3, [%[src], #0x048]")
__ASM_EMIT("vldr s4, [%[src], #0x060]")
__ASM_EMIT("vldr s5, [%[src], #0x078]")
__ASM_EMIT("vldr s6, [%[src], #0x090]")
__ASM_EMIT("vldr s7, [%[src], #0x0a8]")
__ASM_EMIT("vldr s8, [%[src], #0x0c0]")
__ASM_EMIT("vldr s9, [%[src], #0x0d8]")
__ASM_EMIT("vldr s10, [%[src], #0x0f0]")
__ASM_EMIT("vldr s11, [%[src], #0x108]")
__ASM_EMIT("vldr s12, [%[src], #0x120]")
__ASM_EMIT("vldr s13, [%[src], #0x138]")
__ASM_EMIT("vldr s14, [%[src], #0x150]")
__ASM_EMIT("vldr s15, [%[src], #0x168]")
__ASM_EMIT("vstm %[dst]!, {q0-q3}")
__ASM_EMIT("add %[src], #0x180")
__ASM_EMIT("subs %[count], #16")
__ASM_EMIT("bhs 1b")
// x8 block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #8")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldr s0, [%[src], #0x000]")
__ASM_EMIT("vldr s1, [%[src], #0x018]")
__ASM_EMIT("vldr s2, [%[src], #0x030]")
__ASM_EMIT("vldr s3, [%[src], #0x048]")
__ASM_EMIT("vldr s4, [%[src], #0x060]")
__ASM_EMIT("vldr s5, [%[src], #0x078]")
__ASM_EMIT("vldr s6, [%[src], #0x090]")
__ASM_EMIT("vldr s7, [%[src], #0x0a8]")
__ASM_EMIT("vstm %[dst]!, {q0-q1}")
__ASM_EMIT("add %[src], #0xc0")
__ASM_EMIT("sub %[count], #8")
// x4 block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #4")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vldr s0, [%[src], #0x000]")
__ASM_EMIT("vldr s1, [%[src], #0x018]")
__ASM_EMIT("vldr s2, [%[src], #0x030]")
__ASM_EMIT("vldr s3, [%[src], #0x048]")
__ASM_EMIT("vstm %[dst]!, {q0}")
__ASM_EMIT("add %[src], #0x60")
__ASM_EMIT("sub %[count], #4")
// x1 blocks
__ASM_EMIT("6:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 8f")
__ASM_EMIT("7:")
__ASM_EMIT("vldm.32 %[src]!, {d0-d2}")
__ASM_EMIT("vstm.32 %[dst]!, {s0}")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("bge 7b")
__ASM_EMIT("8:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count)
:
: "cc", "memory",
"q0", "q1", "q2", "q3"
);
}
void downsample_8x(float *dst, const float *src, size_t count)
{
ARCH_ARM_ASM
(
__ASM_EMIT("subs %[count], #16")
__ASM_EMIT("blo 2f")
// x16 blocks
__ASM_EMIT("1:")
__ASM_EMIT("vldr s0, [%[src], #0x000]")
__ASM_EMIT("vldr s1, [%[src], #0x020]")
__ASM_EMIT("vldr s2, [%[src], #0x040]")
__ASM_EMIT("vldr s3, [%[src], #0x060]")
__ASM_EMIT("vldr s4, [%[src], #0x080]")
__ASM_EMIT("vldr s5, [%[src], #0x0a0]")
__ASM_EMIT("vldr s6, [%[src], #0x0c0]")
__ASM_EMIT("vldr s7, [%[src], #0x0e0]")
__ASM_EMIT("vldr s8, [%[src], #0x100]")
__ASM_EMIT("vldr s9, [%[src], #0x120]")
__ASM_EMIT("vldr s10, [%[src], #0x140]")
__ASM_EMIT("vldr s11, [%[src], #0x160]")
__ASM_EMIT("vldr s12, [%[src], #0x180]")
__ASM_EMIT("vldr s13, [%[src], #0x1a0]")
__ASM_EMIT("vldr s14, [%[src], #0x1c0]")
__ASM_EMIT("vldr s15, [%[src], #0x1e0]")
__ASM_EMIT("vstm %[dst]!, {q0-q3}")
__ASM_EMIT("add %[src], #0x200")
__ASM_EMIT("subs %[count], #16")
__ASM_EMIT("bhs 1b")
// x8 block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #8")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldr s0, [%[src], #0x000]")
__ASM_EMIT("vldr s1, [%[src], #0x020]")
__ASM_EMIT("vldr s2, [%[src], #0x040]")
__ASM_EMIT("vldr s3, [%[src], #0x060]")
__ASM_EMIT("vldr s4, [%[src], #0x080]")
__ASM_EMIT("vldr s5, [%[src], #0x0a0]")
__ASM_EMIT("vldr s6, [%[src], #0x0c0]")
__ASM_EMIT("vldr s7, [%[src], #0x0e0]")
__ASM_EMIT("vstm %[dst]!, {q0-q1}")
__ASM_EMIT("add %[src], #0x100")
__ASM_EMIT("sub %[count], #8")
// x4 block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #4")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vldr s0, [%[src], #0x000]")
__ASM_EMIT("vldr s1, [%[src], #0x020]")
__ASM_EMIT("vldr s2, [%[src], #0x040]")
__ASM_EMIT("vldr s3, [%[src], #0x060]")
__ASM_EMIT("vstm %[dst]!, {q0}")
__ASM_EMIT("add %[src], #0x80")
__ASM_EMIT("sub %[count], #4")
// x1 blocks
__ASM_EMIT("6:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 8f")
__ASM_EMIT("7:")
__ASM_EMIT("vldm.32 %[src]!, {q0-q1}")
__ASM_EMIT("vstm.32 %[dst]!, {s0}")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("bge 7b")
__ASM_EMIT("8:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count)
:
: "cc", "memory",
"q0", "q1", "q2", "q3"
);
}
}
}
#endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_RESAMPLING_H_ */