/*
* Copyright (C) 2020 Linux Studio Plugins Project
* (C) 2020 Vladimir Sadovnikov
*
* This file is part of lsp-dsp-lib
* Created on: 31 мар. 2020 г.
*
* lsp-dsp-lib is free software: you can redistribute it and/or modify
* it under the terms of the GNU Lesser General Public License as published by
* the Free Software Foundation, either version 3 of the License, or
* any later version.
*
* lsp-dsp-lib is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
* GNU Lesser General Public License for more details.
*
* You should have received a copy of the GNU Lesser General Public License
* along with lsp-dsp-lib. If not, see .
*/
#ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_CONVOLUTION_H_
#define PRIVATE_DSP_ARCH_ARM_NEON_D32_CONVOLUTION_H_
#ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
#error "This header should not be included directly"
#endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
namespace lsp
{
namespace neon_d32
{
void convolve(float *dst, const float *src, const float *conv, size_t length, size_t count)
{
IF_ARCH_ARM(
const float *c; // , *cc;
float *d; //, *dd;
size_t clen;
)
ARCH_ARM_ASM(
__ASM_EMIT("subs %[count], #4")
__ASM_EMIT("blo 20f")
__ASM_EMIT("10:")
__ASM_EMIT("veor q15, q15, q15") // q15 = p0 p1 p2 p3 = 0 0 0 0 (history)
__ASM_EMIT("mov %[d], %[dst]")
__ASM_EMIT("mov %[c], %[conv]")
__ASM_EMIT("subs %[clen], %[length], #4")
__ASM_EMIT("blo 12f")
// Load convolution coefficients
__ASM_EMIT("vld2.32 {d0[], d2[]}, [%[k]]") // q0 = k0 k0 ? ?, q1 = k1 k1 ? ?
__ASM_EMIT("vld2.32 {d1[], d3[]}, [%[k]]!") // q0 = k0 k0 k0 k0, q1 = k1 k1 k1 k1, k += 8
__ASM_EMIT("vld2.32 {d4[], d6[]}, [%[k]]") // q2 = k2 k2 ? ?, q3 = k3 k3 ? ?
__ASM_EMIT("vld2.32 {d5[], d7[]}, [%[k]]") // q2 = k2 k2 k2 k2, q3 = k3 k3 k3 k3
__ASM_EMIT("sub %[k], #8") // k -= 8
// Load convolution kernel
__ASM_EMIT("11:")
__ASM_EMIT("vld1.32 {q4}, [%[c]]!") // q4 = c0 c1 c2 c3, c += 4
__ASM_EMIT("vld1.32 {q8}, [%[d]]") // q8 = d0 d1 d2 d3
__ASM_EMIT("vext.8 q5, q15, q4, #12") // q5 = p3 c0 c1 c2
__ASM_EMIT("vext.8 q6, q15, q4, #8") // q6 = p2 p3 c0 c1
__ASM_EMIT("vext.8 q7, q15, q4, #4") // q7 = p1 p2 p3 c0
__ASM_EMIT("vmla.f32 q8, q5, q1") // q8 = d0 + k0*c0 + k1*p3 ...
__ASM_EMIT("vmla.f32 q8, q4, q0") // q8 = d0+k0*c0 d1+k0*c1 d2+k0*c2 d3+k0*c3
__ASM_EMIT("vmla.f32 q8, q6, q2") // q8 = d0 + k0*c0 + k1*p3 + k2*p2 ...
__ASM_EMIT("vmla.f32 q8, q7, q3") // q8 = d0 + k0*c0 + k1*p3 + k2*p2 + k3*p1 ...
__ASM_EMIT("vmov q15, q4") // q15 = c0 c1 c2 c3
__ASM_EMIT("vst1.32 {q8}, [%[d]]!") // d += 4
__ASM_EMIT("subs %[clen], #4") // clen -= 4
__ASM_EMIT("bhs 11b")
// Apply tail: q15 = p0 p1 p2 p3
__ASM_EMIT("vld1.32 {q1}, [%[k]]") // s4 = k0, s5 = k1, s6 = k2, s7 = k3
__ASM_EMIT("vmov q7, q15") // s28 = p0, s29 = p1, s30 = p2, s31 = p3
__ASM_EMIT("vldm.32 %[d], {s0-s2}") // s0 = d0, s1 = d1, s2 = d2
__ASM_EMIT("vmla.f32 s0, s7, s29") // s0 = d0 + k3*p1
__ASM_EMIT("vmla.f32 s1, s7, s30") // s1 = d1 + k3*p2
__ASM_EMIT("vmla.f32 s2, s7, s31") // s2 = d2 + k3*p3
__ASM_EMIT("vmla.f32 s0, s6, s30") // s0 = d0 + k2*p2 + k3*p1
__ASM_EMIT("vmla.f32 s1, s6, s31") // s1 = d1 + k2*p3 + k3*p2
__ASM_EMIT("vmla.f32 s0, s5, s31") // s0 = d0 + k1*p3 + k2*p2 + k3*p1
__ASM_EMIT("vstm.f32 %[d], {s0-s2}")
// Apply tail
__ASM_EMIT("12:")
__ASM_EMIT("adds %[clen], #3") // while (clen >= 0)
__ASM_EMIT("blt 14f")
__ASM_EMIT("vld1.32 {q0}, [%[k]]") // q0 = k0 k1 k2 k3 k += 4
__ASM_EMIT("15:")
__ASM_EMIT("vld1.32 {d2[], d3[]}, [%[c]]!") // q1 = c0 c0 c0 c0, c++
__ASM_EMIT("vld1.32 {q2}, [%[d]]") // q2 = d0 d1 d2 d3
__ASM_EMIT("vmla.f32 q2, q0, q1") // q2 = d0+k0*c0 d1+k1*c0 d2+k2*c0 d3+k3*c0
__ASM_EMIT("vst1.32 {q2}, [%[d]]")
__ASM_EMIT("subs %[clen], #1")
__ASM_EMIT("add %[d], #4") // d++
__ASM_EMIT("bge 15b")
__ASM_EMIT("14:")
__ASM_EMIT("add %[dst], #0x10") // dst += 4
__ASM_EMIT("add %[k], #0x10") // k += 4
__ASM_EMIT("subs %[count], #4") // count -= 4
__ASM_EMIT("bge 10b")
__ASM_EMIT("20:")
__ASM_EMIT("adds %[count], #3")
__ASM_EMIT("blt 40f")
__ASM_EMIT("21:")
__ASM_EMIT("mov %[d], %[dst]")
__ASM_EMIT("mov %[c], %[conv]")
__ASM_EMIT("vld1.32 {d0[], d1[]}, [%[k]]") // q0 = k0 k0 k0 k0
__ASM_EMIT("subs %[clen], %[length], #8")
__ASM_EMIT("vmov q1, q0") // q1 = k0 k0 k0 k0
__ASM_EMIT("blo 22f")
__ASM_EMIT("23:")
__ASM_EMIT("vld1.32 {q2-q3}, [%[c]]!") // q2 = c0 c1 c2 c3, c+= 8
__ASM_EMIT("vld1.32 {q8-q9}, [%[d]]") // q8 = d0 d1 d2 d3
__ASM_EMIT("vmla.f32 q8, q2, q0") // q8 = d0+k0*c0 d1+k0*c1 d2+k0*c2 d3+k0*c3
__ASM_EMIT("vmla.f32 q9, q3, q1")
__ASM_EMIT("subs %[clen], #8") // clen -= 8
__ASM_EMIT("vst1.32 {q8-q9}, [%[d]]!") // d += 8
__ASM_EMIT("bge 23b")
// Apply convolution
__ASM_EMIT("22:")
__ASM_EMIT("adds %[clen], #4")
__ASM_EMIT("blt 24f")
__ASM_EMIT("vld1.32 {q2}, [%[c]]!") // q2 = c0 c1 c2 c3, c+= 8
__ASM_EMIT("vld1.32 {q8}, [%[d]]") // q8 = d0 d1 d2 d3
__ASM_EMIT("vmla.f32 q8, q2, q0") // q8 = d0+k0*c0 d1+k0*c1 d2+k0*c2 d3+k0*c3
__ASM_EMIT("subs %[clen], #4") // clen -= 4
__ASM_EMIT("vst1.32 {q8}, [%[d]]!") // d += 4
// Apply tail
__ASM_EMIT("24:")
__ASM_EMIT("adds %[clen], #3")
__ASM_EMIT("blt 26f")
__ASM_EMIT("25:")
__ASM_EMIT("vldm.32 %[c]!, {s2}") // s2 = c0, c++
__ASM_EMIT("vldm.32 %[d], {s8}") // s8 = d0
__ASM_EMIT("vmla.f32 s8, s2, s0") // s8 = d0+k0*c0
__ASM_EMIT("subs %[clen], #1") // clen --
__ASM_EMIT("vstm.32 %[d]!, {s8}") // d ++
__ASM_EMIT("bge 25b")
__ASM_EMIT("26:")
__ASM_EMIT("add %[k], #0x04")
__ASM_EMIT("add %[dst], #0x04") // dst++
__ASM_EMIT("subs %[count], #1")
__ASM_EMIT("bge 21b")
__ASM_EMIT("40:")
: [dst] "+r" (dst),
[k] "+r" (src), [count] "+r" (count),
[c] "=&r" (c), [d] "=&r" (d),
[clen] "=&r" (clen)
: [conv] "r" (conv), [length] "r" (length)
: "cc", "memory",
"q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
"q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
);
}
}
}
#endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_CONVOLUTION_H_ */