/*
* Copyright (C) 2020 Linux Studio Plugins Project
* (C) 2020 Vladimir Sadovnikov
*
* This file is part of lsp-dsp-lib
* Created on: 10 окт. 2020 г.
*
* lsp-dsp-lib is free software: you can redistribute it and/or modify
* it under the terms of the GNU Lesser General Public License as published by
* the Free Software Foundation, either version 3 of the License, or
* any later version.
*
* lsp-dsp-lib is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
* GNU Lesser General Public License for more details.
*
* You should have received a copy of the GNU Lesser General Public License
* along with lsp-dsp-lib. If not, see .
*/
#ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_GRAPHICS_PIXELFMT_H_
#define PRIVATE_DSP_ARCH_ARM_NEON_D32_GRAPHICS_PIXELFMT_H_
#ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
#error "This header should not be included directly"
#endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
namespace lsp
{
namespace neon_d32
{
void rgba32_to_bgra32(void *dst, const void *src, size_t count)
{
IF_ARCH_ARM(
uint32_t mask;
uint32_t t1, t2;
);
ARCH_ARM_ASM(
// 64x blocks
__ASM_EMIT("subs %[count], #64")
__ASM_EMIT("blo 2f")
__ASM_EMIT("1:")
__ASM_EMIT("vld4.8 {q0-q1}, [%[src]]!") // d0 = R, d1 = G, d2 = B, d3 = A
__ASM_EMIT("vld4.8 {q2-q3}, [%[src]]!")
__ASM_EMIT("vswp d0, d2")
__ASM_EMIT("vld4.8 {q4-q5}, [%[src]]!")
__ASM_EMIT("vst4.8 {q0-q1}, [%[dst]]!")
__ASM_EMIT("vswp d4, d6")
__ASM_EMIT("vld4.8 {q6-q7}, [%[src]]!")
__ASM_EMIT("vst4.8 {q2-q3}, [%[dst]]!")
__ASM_EMIT("vswp d8, d10")
__ASM_EMIT("vld4.8 {q8-q9}, [%[src]]!")
__ASM_EMIT("vst4.8 {q4-q5}, [%[dst]]!")
__ASM_EMIT("vswp d12, d14")
__ASM_EMIT("vld4.8 {q10-q11}, [%[src]]!")
__ASM_EMIT("vst4.8 {q6-q7}, [%[dst]]!")
__ASM_EMIT("vswp d16, d18")
__ASM_EMIT("vld4.8 {q12-q13}, [%[src]]!")
__ASM_EMIT("vst4.8 {q8-q9}, [%[dst]]!")
__ASM_EMIT("vswp d20, d22")
__ASM_EMIT("vld4.8 {q14-q15}, [%[src]]!")
__ASM_EMIT("vst4.8 {q10-q11}, [%[dst]]!")
__ASM_EMIT("vswp d24, d26")
__ASM_EMIT("vswp d28, d30")
__ASM_EMIT("vst4.8 {q12-q13}, [%[dst]]!")
__ASM_EMIT("vst4.8 {q14-q15}, [%[dst]]!")
__ASM_EMIT("subs %[count], #64")
__ASM_EMIT("bhs 1b")
// 32x blocks
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #32")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vld4.8 {q0-q1}, [%[src]]!") // d0 = R, d1 = G, d2 = B, d3 = A
__ASM_EMIT("vld4.8 {q2-q3}, [%[src]]!")
__ASM_EMIT("vswp d0, d2")
__ASM_EMIT("vld4.8 {q4-q5}, [%[src]]!")
__ASM_EMIT("vst4.8 {q0-q1}, [%[dst]]!")
__ASM_EMIT("vswp d4, d6")
__ASM_EMIT("vld4.8 {q6-q7}, [%[src]]!")
__ASM_EMIT("vst4.8 {q2-q3}, [%[dst]]!")
__ASM_EMIT("vswp d8, d10")
__ASM_EMIT("vswp d12, d14")
__ASM_EMIT("vst4.8 {q4-q5}, [%[dst]]!")
__ASM_EMIT("vst4.8 {q6-q7}, [%[dst]]!")
__ASM_EMIT("sub %[count], #32")
// 16x blocks
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #16")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vld4.8 {q0-q1}, [%[src]]!") // d0 = R, d1 = G, d2 = B, d3 = A
__ASM_EMIT("vld4.8 {q2-q3}, [%[src]]!")
__ASM_EMIT("vswp d0, d2")
__ASM_EMIT("vswp d4, d6")
__ASM_EMIT("vst4.8 {q0-q1}, [%[dst]]!")
__ASM_EMIT("vst4.8 {q2-q3}, [%[dst]]!")
__ASM_EMIT("sub %[count], #16")
// 8x blocks
__ASM_EMIT("6:")
__ASM_EMIT("adds %[count], #8")
__ASM_EMIT("blt 8f")
__ASM_EMIT("vld4.8 {q0-q1}, [%[src]]!") // d0 = R, d1 = G, d2 = B, d3 = A
__ASM_EMIT("vswp d0, d2")
__ASM_EMIT("vst4.8 {q0-q1}, [%[dst]]!")
__ASM_EMIT("sub %[count], #8")
// 4x blocks
__ASM_EMIT("8:")
__ASM_EMIT("adds %[count], #4")
__ASM_EMIT("blt 10f")
__ASM_EMIT("vld2.8 {q0}, [%[src]]!") // d0 = RB, d1 = GA
__ASM_EMIT("vshl.i16 d2, d0, #8")
__ASM_EMIT("vshr.u16 d0, d0, #8")
__ASM_EMIT("vorr d0, d2")
__ASM_EMIT("vst2.8 {q0}, [%[dst]]!")
__ASM_EMIT("sub %[count], #4")
// 1x blocks
__ASM_EMIT("10:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 12f")
__ASM_EMIT("mov %[mask], #0xff")
__ASM_EMIT("orr %[mask], #0xff0000") // mask = ff 00 ff 00
__ASM_EMIT("11:")
__ASM_EMIT("ldr %[t1], [%[src]], #4") // t1 = R G B A
__ASM_EMIT("and %[t2], %[t1], %[mask]") // t2 = R 0 B 0
__ASM_EMIT("and %[t1], %[t1], %[mask], lsl #8") // t1 = 0 G 0 A
__ASM_EMIT("orr %[t1], %[t1], %[t2], ror #16") // t1 = B G R A
__ASM_EMIT("str %[t1], [%[dst]], #4")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("bge 11b")
__ASM_EMIT("12:")
: [src] "+r" (src), [dst] "+r" (dst), [count] "+r" (count),
[t1] "=&r" (t1), [t2] "=&r" (t2), [mask] "=&r" (mask)
:
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
);
}
IF_ARCH_ARM(
static const uint32_t abgr32_to_bgrff32_const[] __lsp_aligned32 =
{
LSP_DSP_VEC8(0xff000000),
LSP_DSP_VEC8(0xff000000),
LSP_DSP_VEC8(0xff000000),
LSP_DSP_VEC8(0xff000000)
};
);
void abgr32_to_bgrff32(void *dst, const void *src, size_t count)
{
ARCH_ARM_ASM
(
__ASM_EMIT("vldm %[MASK], {q8-q15}")
__ASM_EMIT("subs %[count], #32")
__ASM_EMIT("blo 2f")
// 32x blocks
__ASM_EMIT("1:")
__ASM_EMIT("vldm %[src]!, {q0-q7}")
__ASM_EMIT("vsri.32 q8, q0, #8")
__ASM_EMIT("vsri.32 q9, q1, #8")
__ASM_EMIT("vsri.32 q10, q2, #8")
__ASM_EMIT("vsri.32 q11, q3, #8")
__ASM_EMIT("vsri.32 q12, q4, #8")
__ASM_EMIT("vsri.32 q13, q5, #8")
__ASM_EMIT("vsri.32 q14, q6, #8")
__ASM_EMIT("vsri.32 q15, q7, #8")
__ASM_EMIT("subs %[count], #32")
__ASM_EMIT("vstm %[dst]!, {q8-q15}")
__ASM_EMIT("bhs 1b")
// 16x block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #16")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldm %[src]!, {q0-q3}")
__ASM_EMIT("vsri.32 q8, q0, #8")
__ASM_EMIT("vsri.32 q9, q1, #8")
__ASM_EMIT("vsri.32 q10, q2, #8")
__ASM_EMIT("vsri.32 q11, q3, #8")
__ASM_EMIT("sub %[count], #16")
__ASM_EMIT("vstm %[dst]!, {q8-q11}")
// 8x block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #8")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vldm %[src]!, {q0-q1}")
__ASM_EMIT("vsri.32 q8, q0, #8")
__ASM_EMIT("vsri.32 q9, q1, #8")
__ASM_EMIT("sub %[count], #8")
__ASM_EMIT("vstm %[dst]!, {q8-q9}")
// 4x block
__ASM_EMIT("6:")
__ASM_EMIT("adds %[count], #4")
__ASM_EMIT("blt 8f")
__ASM_EMIT("vldm %[src]!, {q0}")
__ASM_EMIT("vsri.32 q8, q0, #8")
__ASM_EMIT("sub %[count], #4")
__ASM_EMIT("vstm %[dst]!, {q8}")
// 1x blocks
__ASM_EMIT("8:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 10f")
__ASM_EMIT("9:")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
__ASM_EMIT("vsri.32 q8, q0, #8")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("vst1.32 {d16[0]}, [%[dst]]!")
__ASM_EMIT("bge 9b")
__ASM_EMIT("10:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count)
: [MASK] "r" (&abgr32_to_bgrff32_const[0])
: "cc", "memory",
"q0", "q1", "q2", "q3",
"q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11",
"q12", "q13", "q14", "q15"
);
}
IF_ARCH_ARM(
static const uint32_t pabc32_set_alpha_const[] __lsp_aligned16 =
{
LSP_DSP_VEC4(0x00ffffff),
LSP_DSP_VEC4(0x00ffffff)
};
);
void pabc32_set_alpha(void *dst, const void *src, uint8_t alpha, size_t count)
{
IF_ARCH_ARM(
uint32_t a = uint32_t(alpha) << 24;
);
ARCH_ARM_ASM
(
__ASM_EMIT("vld1.f32 {d16[], d17[]}, [%[a]]") // q8 = alpha
__ASM_EMIT("vldm %[MASK], {q10-q11}") // q10 = q11 = mask
__ASM_EMIT("vmov q9, q8") // q9 = alpha
__ASM_EMIT("subs %[count], #32")
__ASM_EMIT("blo 2f")
// 32x blocks
__ASM_EMIT("1:")
__ASM_EMIT("vldm %[src]!, {q0-q7}")
__ASM_EMIT("vbif q0, q8, q10")
__ASM_EMIT("vbif q1, q9, q11")
__ASM_EMIT("vbif q2, q8, q10")
__ASM_EMIT("vbif q3, q9, q11")
__ASM_EMIT("vbif q4, q8, q10")
__ASM_EMIT("vbif q5, q9, q11")
__ASM_EMIT("vbif q6, q8, q10")
__ASM_EMIT("vbif q7, q9, q11")
__ASM_EMIT("subs %[count], #32")
__ASM_EMIT("vstm %[dst]!, {q0-q7}")
__ASM_EMIT("bhs 1b")
// 16x block
__ASM_EMIT("2:")
__ASM_EMIT("adds %[count], #16")
__ASM_EMIT("blt 4f")
__ASM_EMIT("vldm %[src]!, {q0-q3}")
__ASM_EMIT("vbif q0, q8, q10")
__ASM_EMIT("vbif q1, q9, q11")
__ASM_EMIT("vbif q2, q8, q10")
__ASM_EMIT("vbif q3, q9, q11")
__ASM_EMIT("sub %[count], #16")
__ASM_EMIT("vstm %[dst]!, {q0-q3}")
// 8x block
__ASM_EMIT("4:")
__ASM_EMIT("adds %[count], #8")
__ASM_EMIT("blt 6f")
__ASM_EMIT("vldm %[src]!, {q0-q1}")
__ASM_EMIT("vbif q0, q8, q10")
__ASM_EMIT("vbif q1, q9, q11")
__ASM_EMIT("sub %[count], #8")
__ASM_EMIT("vstm %[dst]!, {q0-q1}")
// 4x block
__ASM_EMIT("6:")
__ASM_EMIT("adds %[count], #4")
__ASM_EMIT("blt 8f")
__ASM_EMIT("vldm %[src]!, {q0}")
__ASM_EMIT("vbif q0, q8, q10")
__ASM_EMIT("sub %[count], #4")
__ASM_EMIT("vstm %[dst]!, {q0}")
// 1x blocks
__ASM_EMIT("8:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 10f")
__ASM_EMIT("9:")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
__ASM_EMIT("vbif q0, q8, q10")
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
__ASM_EMIT("bge 9b")
// End
__ASM_EMIT("10:")
: [dst] "+r"(dst), [src] "+r"(src),
[count] "+r" (count)
: [MASK] "r" (&pabc32_set_alpha_const[0]),
[a] "r" (&a)
: "cc", "memory",
"q0", "q1", "q2", "q3",
"q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11"
);
}
} /* namespace neon_d32 */
} /* namespace lsp */
#endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_GRAPHICS_PIXELFMT_H_ */