/*
* Copyright (C) 2020 Linux Studio Plugins Project
* (C) 2020 Vladimir Sadovnikov
*
* This file is part of lsp-dsp-lib
* Created on: 31 мар. 2020 г.
*
* lsp-dsp-lib is free software: you can redistribute it and/or modify
* it under the terms of the GNU Lesser General Public License as published by
* the Free Software Foundation, either version 3 of the License, or
* any later version.
*
* lsp-dsp-lib is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
* GNU Lesser General Public License for more details.
*
* You should have received a copy of the GNU Lesser General Public License
* along with lsp-dsp-lib. If not, see .
*/
#ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_COPY_H_
#define PRIVATE_DSP_ARCH_ARM_NEON_D32_COPY_H_
#ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
#error "This header should not be included directly"
#endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
namespace lsp
{
namespace neon_d32
{
void copy(float *dst, const float *src, size_t count)
{
ARCH_ARM_ASM
(
__ASM_EMIT("cmp %[dst], %[src]")
__ASM_EMIT("beq 10f")
__ASM_EMIT("subs %[count], #0x20")
__ASM_EMIT("blo 2f")
/* 32x block */
__ASM_EMIT("1:")
__ASM_EMIT("vldm %[src]!, {d0-d15}")
__ASM_EMIT("subs %[count], #0x20")
__ASM_EMIT("vstm %[dst]!, {d0-d15}")
__ASM_EMIT("bhs 1b")
/* 16x block */
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #0x10") // + 0x20 - 0x10
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldm %[src]!, {d0-d7}")
__ASM_EMIT("sub %[count], #0x10")
__ASM_EMIT("vstm %[dst]!, {d0-d7}")
/* 8x block */
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #0x08") // + 0x10 - 0x8
__ASM_EMIT("blt 5f")
__ASM_EMIT("vld1.32 {q0-q1}, [%[src]]!")
__ASM_EMIT("sub %[count], #0x08")
__ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
/* 4x block */
__ASM_EMIT("5:")
__ASM_EMIT("adds %[count], #0x04") // + 0x8 - 0x4
__ASM_EMIT("blt 8f")
__ASM_EMIT("vld1.32 {q0}, [%[src]]!")
__ASM_EMIT("sub %[count], #0x04")
__ASM_EMIT("vst1.32 {q0}, [%[dst]]!")
/* 1x blocks */
__ASM_EMIT("8:")
__ASM_EMIT("adds %[count], #0x03") // + 0x4 - 0x1
__ASM_EMIT("blt 10f")
__ASM_EMIT("9:")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
__ASM_EMIT("subs %[count], #0x01")
__ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
__ASM_EMIT("bge 9b")
__ASM_EMIT("10:")
: [src] "+r" (src), [dst] "+r"(dst),
[count] "+r" (count)
:
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7"
);
}
void move(float *dst, const float *src, size_t count)
{
ARCH_ARM_ASM
(
__ASM_EMIT("cmp %[dst], %[src]")
__ASM_EMIT("beq 2000f")
__ASM_EMIT("blo 1000f")
// Address-decreasing copy
__ASM_EMIT("add %[src], %[src], %[count], lsl #2")
__ASM_EMIT("add %[dst], %[dst], %[count], lsl #2")
__ASM_EMIT("subs %[count], #32")
__ASM_EMIT("blo 2f")
/* 32x block */
__ASM_EMIT("1:")
__ASM_EMIT("vldmdb %[src]!, {d0-d15}")
__ASM_EMIT("subs %[count], #32")
__ASM_EMIT("vstmdb %[dst]!, {d0-d15}")
__ASM_EMIT("bhs 1b")
/* 16x block */
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #16") // + 0x20 - 0x10
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldmdb %[src]!, {d0-d7}")
__ASM_EMIT("subs %[count], #16")
__ASM_EMIT("vstmdb %[dst]!, {d0-d7}")
/* 8x block */
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #8") // + 0x10 - 0x8
__ASM_EMIT("blt 6f")
__ASM_EMIT("vldmdb %[src]!, {d0-d3}")
__ASM_EMIT("subs %[count], #8")
__ASM_EMIT("vstmdb %[dst]!, {d0-d3}")
/* 4x block */
__ASM_EMIT("6:")
__ASM_EMIT("adds %[count], #4") // + 0x8 - 0x4
__ASM_EMIT("blt 8f")
__ASM_EMIT("vldmdb %[src]!, {q0}")
__ASM_EMIT("vstmdb %[dst]!, {q0}")
__ASM_EMIT("sub %[count], #0x04")
/* 1x blocks */
__ASM_EMIT("8:")
__ASM_EMIT("adds %[count], #0x03") // + 0x4 - 0x1
__ASM_EMIT("blt 2000f")
__ASM_EMIT("9:")
__ASM_EMIT("vldmdb %[src]!, {s0}")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("vstmdb %[dst]!, {s0}")
__ASM_EMIT("bge 9b")
__ASM_EMIT("b 2000f")
// Address-increasing copy
__ASM_EMIT("1000:")
__ASM_EMIT("subs %[count], #0x20")
__ASM_EMIT("blo 2f")
/* 32x block */
__ASM_EMIT("1:")
__ASM_EMIT("vldm %[src]!, {d0-d15}")
__ASM_EMIT("subs %[count], #0x20")
__ASM_EMIT("vstm %[dst]!, {d0-d15}")
__ASM_EMIT("bhs 1b")
/* 16x block */
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #0x10") // + 0x20 - 0x10
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldm %[src]!, {d0-d7}")
__ASM_EMIT("sub %[count], #0x10")
__ASM_EMIT("vstm %[dst]!, {d0-d7}")
/* 8x block */
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #0x08") // + 0x10 - 0x8
__ASM_EMIT("blt 5f")
__ASM_EMIT("vld1.32 {q0-q1}, [%[src]]!")
__ASM_EMIT("sub %[count], #0x08")
__ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
/* 4x block */
__ASM_EMIT("5:")
__ASM_EMIT("adds %[count], #0x04") // + 0x8 - 0x4
__ASM_EMIT("blt 8f")
__ASM_EMIT("vld1.32 {q0}, [%[src]]!")
__ASM_EMIT("sub %[count], #0x04")
__ASM_EMIT("vst1.32 {q0}, [%[dst]]!")
/* 1x blocks */
__ASM_EMIT("8:")
__ASM_EMIT("adds %[count], #0x03") // + 0x4 - 0x1
__ASM_EMIT("blt 2000f")
__ASM_EMIT("9:")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
__ASM_EMIT("subs %[count], #0x01")
__ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
__ASM_EMIT("bge 9b")
__ASM_EMIT("2000:")
: [src] "+r" (src), [dst] "+r"(dst), [count] "+r" (count) :
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7"
);
}
void fill_zero(float *dst, size_t count)
{
ARCH_ARM_ASM
(
__ASM_EMIT("subs %[count], #32")
__ASM_EMIT("veor q0, q0")
__ASM_EMIT("veor q1, q1")
__ASM_EMIT("blo 2f")
/* 32x block */
__ASM_EMIT("veor q2, q2")
__ASM_EMIT("veor q3, q3")
__ASM_EMIT("veor q4, q4")
__ASM_EMIT("veor q5, q5")
__ASM_EMIT("veor q6, q6")
__ASM_EMIT("veor q7, q7")
__ASM_EMIT("1:")
__ASM_EMIT("subs %[count], #32")
__ASM_EMIT("vstm %[dst]!, {q0-q7}")
__ASM_EMIT("bhs 1b")
/* 16x block */
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #16")
__ASM_EMIT("blt 4f")
__ASM_EMIT("veor q2, q2")
__ASM_EMIT("veor q3, q3")
__ASM_EMIT("sub %[count], #16")
__ASM_EMIT("vstm %[dst]!, {q0-q3}")
/* 8x block */
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #8")
__ASM_EMIT("blt 5f")
__ASM_EMIT("sub %[count], #0x08")
__ASM_EMIT("vstm %[dst]!, {q0-q1}")
/* 4x block */
__ASM_EMIT("5:")
__ASM_EMIT("adds %[count], #4")
__ASM_EMIT("blt 8f")
__ASM_EMIT("sub %[count], #4")
__ASM_EMIT("vst1.32 {q0}, [%[dst]]!")
/* 1x blocks */
__ASM_EMIT("8:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 10f")
__ASM_EMIT("9:")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
__ASM_EMIT("bge 9b")
__ASM_EMIT("10:")
: [dst] "+r"(dst),
[count] "+r" (count)
:
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7"
);
}
void fill(float *dst, float value, size_t count)
{
ARCH_ARM_ASM
(
__ASM_EMIT("vldr s0, [%[pv]]")
__ASM_EMIT("subs %[count], #32")
__ASM_EMIT("vdup.32 q0, d0[0]")
__ASM_EMIT("vmov q1, q0")
__ASM_EMIT("blo 2f")
/* 32x block */
__ASM_EMIT("vmov q2, q0")
__ASM_EMIT("vmov q3, q1")
__ASM_EMIT("vmov q4, q0")
__ASM_EMIT("vmov q5, q1")
__ASM_EMIT("vmov q6, q0")
__ASM_EMIT("vmov q7, q1")
__ASM_EMIT("1:")
__ASM_EMIT("subs %[count], #32")
__ASM_EMIT("vstm %[dst]!, {q0-q7}")
__ASM_EMIT("bhs 1b")
/* 16x block */
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #16")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vmov q2, q0")
__ASM_EMIT("vmov q3, q1")
__ASM_EMIT("sub %[count], #16")
__ASM_EMIT("vstm %[dst]!, {q0-q3}")
/* 8x block */
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #8")
__ASM_EMIT("blt 5f")
__ASM_EMIT("sub %[count], #0x08")
__ASM_EMIT("vstm %[dst]!, {q0-q1}")
/* 4x block */
__ASM_EMIT("5:")
__ASM_EMIT("adds %[count], #4")
__ASM_EMIT("blt 8f")
__ASM_EMIT("sub %[count], #4")
__ASM_EMIT("vst1.32 {q0}, [%[dst]]!")
/* 1x blocks */
__ASM_EMIT("8:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 10f")
__ASM_EMIT("9:")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
__ASM_EMIT("bge 9b")
__ASM_EMIT("10:")
: [dst] "+r"(dst),
[count] "+r" (count)
: [pv] "r" (&value)
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7"
);
}
void fill_one(float *dst, size_t count)
{
fill(dst, 1.0f, count);
}
void fill_minus_one(float *dst, size_t count)
{
fill(dst, -1.0f, count);
}
void reverse1(float *dst, size_t count)
{
IF_ARCH_ARM(float *src);
ARCH_ARM_ASM
(
__ASM_EMIT("add %[src], %[dst], %[count], lsl #2")
__ASM_EMIT("lsr %[count], #1")
__ASM_EMIT("subs %[count], #16")
__ASM_EMIT("blo 2f")
/* 16x block */
__ASM_EMIT("1:")
__ASM_EMIT("sub %[src], #0x40")
__ASM_EMIT("vldm %[dst], {q4-q7}")
__ASM_EMIT("vldm %[src], {q0-q3}")
__ASM_EMIT("vrev64.f32 q0, q0")
__ASM_EMIT("vrev64.f32 q1, q1")
__ASM_EMIT("vrev64.f32 q2, q2")
__ASM_EMIT("vrev64.f32 q3, q3")
__ASM_EMIT("vrev64.f32 q4, q4")
__ASM_EMIT("vrev64.f32 q5, q5")
__ASM_EMIT("vrev64.f32 q6, q6")
__ASM_EMIT("vrev64.f32 q7, q7")
__ASM_EMIT("vext.32 q0, q0, q0, #2")
__ASM_EMIT("vext.32 q1, q1, q1, #2")
__ASM_EMIT("vext.32 q2, q2, q2, #2")
__ASM_EMIT("vext.32 q3, q3, q3, #2")
__ASM_EMIT("vext.32 q4, q4, q4, #2")
__ASM_EMIT("vext.32 q5, q5, q5, #2")
__ASM_EMIT("vext.32 q6, q6, q6, #2")
__ASM_EMIT("vext.32 q7, q7, q7, #2")
__ASM_EMIT("vswp q0, q3")
__ASM_EMIT("vswp q1, q2")
__ASM_EMIT("vswp q4, q7")
__ASM_EMIT("vswp q5, q6")
__ASM_EMIT("subs %[count], #16")
__ASM_EMIT("vstm %[dst]!, {q0-q3}")
__ASM_EMIT("vstm %[src], {q4-q7}")
__ASM_EMIT("bhs 1b")
/* 8x block */
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #8")
__ASM_EMIT("blt 4f")
__ASM_EMIT("sub %[src], #0x20")
__ASM_EMIT("vldm %[dst], {q4-q5}")
__ASM_EMIT("vldm %[src], {q0-q1}")
__ASM_EMIT("vrev64.f32 q0, q0")
__ASM_EMIT("vrev64.f32 q1, q1")
__ASM_EMIT("vrev64.f32 q4, q4")
__ASM_EMIT("vrev64.f32 q5, q5")
__ASM_EMIT("vext.32 q0, q0, q0, #2")
__ASM_EMIT("vext.32 q1, q1, q1, #2")
__ASM_EMIT("vext.32 q4, q4, q4, #2")
__ASM_EMIT("vext.32 q5, q5, q5, #2")
__ASM_EMIT("vswp q0, q1")
__ASM_EMIT("vswp q4, q5")
__ASM_EMIT("sub %[count], #8")
__ASM_EMIT("vstm %[dst]!, {q0-q1}")
__ASM_EMIT("vstm %[src], {q4-q5}")
/* 4x block */
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #4")
__ASM_EMIT("blt 6f")
__ASM_EMIT("sub %[src], #0x10")
__ASM_EMIT("vldm %[dst], {q4}")
__ASM_EMIT("vldm %[src], {q0}")
__ASM_EMIT("vrev64.f32 q0, q0")
__ASM_EMIT("vrev64.f32 q4, q4")
__ASM_EMIT("vext.32 q0, q0, q0, #2")
__ASM_EMIT("vext.32 q4, q4, q4, #2")
__ASM_EMIT("sub %[count], #4")
__ASM_EMIT("vstm %[src], {q4}")
__ASM_EMIT("vstm %[dst]!, {q0}")
/* 1x blocks */
__ASM_EMIT("6:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 8f")
__ASM_EMIT("9:")
__ASM_EMIT("sub %[src], #0x04")
__ASM_EMIT("vld1.32 {d8[], d9[]}, [%[dst]]")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("vst1.32 {d8[0]}, [%[src]]")
__ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
__ASM_EMIT("bge 9b")
__ASM_EMIT("8:")
: [dst] "+r"(dst), [src] "=&r" (src),
[count] "+r" (count)
:
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7"
);
}
void reverse2(float *dst, const float *src, size_t count)
{
ARCH_ARM_ASM
(
__ASM_EMIT("add %[dst], %[dst], %[count], lsl #2")
__ASM_EMIT("subs %[count], #32")
__ASM_EMIT("blo 2f")
/* 32x block */
__ASM_EMIT("1:")
__ASM_EMIT("sub %[dst], #0x80")
__ASM_EMIT("vldm %[src]!, {q0-q7}")
__ASM_EMIT("vrev64.f32 q0, q0")
__ASM_EMIT("vrev64.f32 q1, q1")
__ASM_EMIT("vrev64.f32 q2, q2")
__ASM_EMIT("vrev64.f32 q3, q3")
__ASM_EMIT("vrev64.f32 q4, q4")
__ASM_EMIT("vrev64.f32 q5, q5")
__ASM_EMIT("vrev64.f32 q6, q6")
__ASM_EMIT("vrev64.f32 q7, q7")
__ASM_EMIT("vext.32 q0, q0, q0, #2")
__ASM_EMIT("vext.32 q1, q1, q1, #2")
__ASM_EMIT("vext.32 q2, q2, q2, #2")
__ASM_EMIT("vext.32 q3, q3, q3, #2")
__ASM_EMIT("vext.32 q4, q4, q4, #2")
__ASM_EMIT("vext.32 q5, q5, q5, #2")
__ASM_EMIT("vext.32 q6, q6, q6, #2")
__ASM_EMIT("vext.32 q7, q7, q7, #2")
__ASM_EMIT("vswp q0, q7")
__ASM_EMIT("vswp q1, q6")
__ASM_EMIT("vswp q2, q5")
__ASM_EMIT("vswp q3, q4")
__ASM_EMIT("subs %[count], #32")
__ASM_EMIT("vstm %[dst], {q0-q7}")
__ASM_EMIT("bhs 1b")
/* 16x block */
__ASM_EMIT("2:")
__ASM_EMIT("add %[count], #16")
__ASM_EMIT("blt 4f")
__ASM_EMIT("sub %[dst], #0x40")
__ASM_EMIT("vldm %[src]!, {q0-q3}")
__ASM_EMIT("vrev64.f32 q0, q0")
__ASM_EMIT("vrev64.f32 q1, q1")
__ASM_EMIT("vrev64.f32 q2, q2")
__ASM_EMIT("vrev64.f32 q3, q3")
__ASM_EMIT("vext.32 q0, q0, q0, #2")
__ASM_EMIT("vext.32 q1, q1, q1, #2")
__ASM_EMIT("vext.32 q2, q2, q2, #2")
__ASM_EMIT("vext.32 q3, q3, q3, #2")
__ASM_EMIT("vswp q0, q3")
__ASM_EMIT("vswp q1, q2")
__ASM_EMIT("sub %[count], #16")
__ASM_EMIT("vstm %[dst], {q0-q3}")
/* 8x block */
__ASM_EMIT("4:")
__ASM_EMIT("add %[count], #8")
__ASM_EMIT("blt 6f")
__ASM_EMIT("sub %[dst], #0x20")
__ASM_EMIT("vldm %[src]!, {q0-q1}")
__ASM_EMIT("vrev64.f32 q0, q0")
__ASM_EMIT("vrev64.f32 q1, q1")
__ASM_EMIT("vext.32 q0, q0, q0, #2")
__ASM_EMIT("vext.32 q1, q1, q1, #2")
__ASM_EMIT("vswp q0, q1")
__ASM_EMIT("sub %[count], #8")
__ASM_EMIT("vstm %[dst], {q0-q1}")
/* 4x block */
__ASM_EMIT("6:")
__ASM_EMIT("add %[count], #4")
__ASM_EMIT("blt 8f")
__ASM_EMIT("sub %[dst], #0x10")
__ASM_EMIT("vldm %[src]!, {q0}")
__ASM_EMIT("vrev64.f32 q0, q0")
__ASM_EMIT("vext.32 q0, q0, q0, #2")
__ASM_EMIT("sub %[count], #4")
__ASM_EMIT("vstm %[dst], {q0}")
/* 1x blocks */
__ASM_EMIT("8:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 10f")
__ASM_EMIT("9:")
__ASM_EMIT("sub %[dst], #0x04")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]")
__ASM_EMIT("bge 9b")
/* end */
__ASM_EMIT("10:")
: [dst] "+r"(dst), [src] "+r" (src),
[count] "+r" (count)
:
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7"
);
}
}
}
#endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_COPY_H_ */