/*
* Copyright (C) 2024 Linux Studio Plugins Project
* (C) 2024 Vladimir Sadovnikov
*
* This file is part of lsp-dsp-lib
* Created on: 31 мар. 2020 г.
*
* lsp-dsp-lib is free software: you can redistribute it and/or modify
* it under the terms of the GNU Lesser General Public License as published by
* the Free Software Foundation, either version 3 of the License, or
* any later version.
*
* lsp-dsp-lib is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
* GNU Lesser General Public License for more details.
*
* You should have received a copy of the GNU Lesser General Public License
* along with lsp-dsp-lib. If not, see .
*/
#ifndef PRIVATE_DSP_ARCH_X86_SSE3_PCOMPLEX_H_
#define PRIVATE_DSP_ARCH_X86_SSE3_PCOMPLEX_H_
#ifndef PRIVATE_DSP_ARCH_X86_SSE3_IMPL
#error "This header should not be included directly"
#endif /* PRIVATE_DSP_ARCH_X86_SSE3_IMPL */
namespace lsp
{
namespace sse3
{
IF_ARCH_X86(
static const uint32_t pcomplex_div_const[] __lsp_aligned16 =
{
LSP_DSP_VEC4(0x3f800000),
LSP_DSP_VEC4(0x80000000)
};
);
#define PCOMPLEX_MUL_CORE(DST, T, B) \
__ASM_EMIT("xor %[off], %[off]") \
/* x4 blocks */ \
__ASM_EMIT("sub $4, %[count]") \
__ASM_EMIT("jb 2f") \
__ASM_EMIT("1:") \
__ASM_EMIT("lddqu 0x00(%[" T "], %[off]), %%xmm0") /* xmm0 = ar0 ai0 ar1 ai1 */ \
__ASM_EMIT("lddqu 0x10(%[" T "], %[off]), %%xmm4") /* xmm4 = ar2 ai2 ar3 ai3 */ \
__ASM_EMIT("lddqu 0x00(%[" B "], %[off]), %%xmm1") /* xmm1 = br0 bi0 br1 bi1 */ \
__ASM_EMIT("lddqu 0x10(%[" B "], %[off]), %%xmm5") /* xmm5 = br2 bi2 br3 bi3 */ \
__ASM_EMIT("movsldup %%xmm0, %%xmm2") /* xmm2 = ar0 ar0 ar1 ar1 */ \
__ASM_EMIT("movsldup %%xmm4, %%xmm6") /* xmm6 = ar2 ar2 ar3 ar3 */ \
__ASM_EMIT("movshdup %%xmm0, %%xmm0") /* xmm0 = ai0 ai0 ai1 ai1 */ \
__ASM_EMIT("movshdup %%xmm4, %%xmm4") /* xmm4 = ai2 ai2 ai3 ai3 */ \
__ASM_EMIT("mulps %%xmm1, %%xmm0") /* xmm0 = ai0*br0 ai0*bi0 ai1*br1 ai1*bi1 */ \
__ASM_EMIT("mulps %%xmm5, %%xmm4") /* xmm4 = ai2*br2 ai2*bi2 ai3*br3 ai3*bi3 */ \
__ASM_EMIT("mulps %%xmm1, %%xmm2") /* xmm2 = ar0*br0 ar0*bi0 ar1*br1 ar1*bi1 */ \
__ASM_EMIT("mulps %%xmm5, %%xmm6") /* xmm6 = ar2*br2 ar2*bi2 ar3*br3 ar3*bi3 */ \
__ASM_EMIT("shufps $0xb1, %%xmm0, %%xmm0") /* xmm0 = ai0*bi0 ai0*br0 ai1*bi1 ai1*br1 */ \
__ASM_EMIT("shufps $0xb1, %%xmm4, %%xmm4") /* xmm4 = ai2*bi2 ai2*br2 ai3*bi3 ai3*br3 */ \
__ASM_EMIT("addsubps %%xmm0, %%xmm2") /* xmm2 = ar0*br0 - ai0*bi0 ar0*bi0 + ai0*br0 ar1*br1 - ai1*bi1 ar1*bi1 + ai1*br1 */ \
__ASM_EMIT("addsubps %%xmm4, %%xmm6") /* xmm6 = ar2*br2 - ai2*bi2 ar2*bi2 + ai2*br2 ar3*br3 - ai3*bi3 ar3*bi3 + ai3*br3 */ \
__ASM_EMIT("movdqu %%xmm2, 0x00(%[" DST "], %[off])") \
__ASM_EMIT("movdqu %%xmm6, 0x10(%[" DST "], %[off])") \
__ASM_EMIT("add $0x20, %[off]") \
__ASM_EMIT("sub $4, %[count]") \
__ASM_EMIT("jae 1b") \
__ASM_EMIT("2:") \
/* Process scalar data */ \
__ASM_EMIT("add $3, %[count]") \
__ASM_EMIT("jl 4f") \
__ASM_EMIT("3:") \
__ASM_EMIT("movlps 0x00(%[" T "], %[off]), %%xmm0") /* xmm0 = ar0 ai0 ar1 ai1 */ \
__ASM_EMIT("movlps 0x00(%[" B "], %[off]), %%xmm1") /* xmm1 = br0 bi0 br1 bi1 */ \
__ASM_EMIT("movsldup %%xmm0, %%xmm2") /* xmm2 = ar0 ar0 ar1 ar1 */ \
__ASM_EMIT("movshdup %%xmm0, %%xmm0") /* xmm0 = ai0 ai0 ai1 ai1 */ \
__ASM_EMIT("mulps %%xmm1, %%xmm0") /* xmm0 = ai0*br0 ai0*bi0 ai1*br1 ai1*bi1 */ \
__ASM_EMIT("mulps %%xmm1, %%xmm2") /* xmm2 = ar0*br0 ar0*bi0 ar1*br1 ar1*bi1 */ \
__ASM_EMIT("shufps $0xb1, %%xmm0, %%xmm0") /* xmm0 = ai0*bi0 ai0*br0 ai1*bi1 ai1*br1 */ \
__ASM_EMIT("addsubps %%xmm0, %%xmm2") /* xmm2 = ar0*br0 - ai0*bi0 ar0*bi0 + ai0*br0 ar1*br1 - ai1*bi1 ar1*bi1 + ai1*br1 */ \
__ASM_EMIT("movlps %%xmm2, 0x00(%[" DST "], %[off])") \
__ASM_EMIT("add $0x08, %[off]") \
__ASM_EMIT("dec %[count]") \
__ASM_EMIT("jge 3b") \
__ASM_EMIT("4:")
void pcomplex_mul3(float *dst, const float *src1, const float *src2, size_t count)
{
IF_ARCH_X86(size_t off);
ARCH_X86_ASM
(
PCOMPLEX_MUL_CORE("dst", "src1", "src2")
: [off] "=&r" (off),
[count] "+r" (count)
: [dst] "r" (dst), [src1] "r" (src1), [src2] "r" (src2)
: "cc", "memory",
"%xmm0", "%xmm1", "%xmm2", "%xmm4",
"%xmm5", "%xmm6"
);
}
void pcomplex_mul2(float *dst, const float *src, size_t count)
{
IF_ARCH_X86(size_t off);
ARCH_X86_ASM
(
PCOMPLEX_MUL_CORE("dst", "dst", "src")
: [off] "=&r" (off),
[count] "+r" (count)
: [dst] "r" (dst), [src] "r" (src)
: "cc", "memory",
"%xmm0", "%xmm1", "%xmm2", "%xmm4",
"%xmm5", "%xmm6"
);
}
#undef PCOMPLEX_MUL_CORE
#define PCOMPLEX_DIV_CORE(DST, T, B) \
__ASM_EMIT("xor %[off], %[off]") \
/* x4 blocks */ \
__ASM_EMIT("sub $4, %[count]") \
__ASM_EMIT("jb 2f") \
__ASM_EMIT("1:") \
__ASM_EMIT("lddqu 0x00(%[" T "], %[off]), %%xmm0") /* xmm0 = tr0 ti0 tr1 ti1 */ \
__ASM_EMIT("lddqu 0x10(%[" T "], %[off]), %%xmm4") \
__ASM_EMIT("lddqu 0x00(%[" B "], %[off]), %%xmm1") /* xmm1 = br0 bi0 br1 bi1 */ \
__ASM_EMIT("lddqu 0x10(%[" B "], %[off]), %%xmm5") \
__ASM_EMIT("movsldup %%xmm0, %%xmm2") /* xmm2 = tr0 tr0 tr1 tr1 */ \
__ASM_EMIT("movsldup %%xmm4, %%xmm6") \
__ASM_EMIT("movshdup %%xmm0, %%xmm0") /* xmm0 = ti0 ti0 ti1 ti1 */ \
__ASM_EMIT("movshdup %%xmm4, %%xmm4") \
__ASM_EMIT("mulps %%xmm1, %%xmm2") /* xmm2 = tr0*br0 tr0*bi0 tr1*br1 tr1*bi1 */ \
__ASM_EMIT("mulps %%xmm5, %%xmm6") \
__ASM_EMIT("mulps %%xmm1, %%xmm0") /* xmm0 = ti0*br0 ti0*bi0 ti1*br1 ti1*bi1 */ \
__ASM_EMIT("mulps %%xmm5, %%xmm4") \
__ASM_EMIT("xorps 0x10 + %[CC], %%xmm2") /* xmm2 = -tr0*br0 -tr0*bi0 -tr1*br1 -tr1*bi1 */ \
__ASM_EMIT("xorps 0x10 + %[CC], %%xmm6") \
__ASM_EMIT("mulps %%xmm1, %%xmm1") /* xmm1 = br0*br0 bi0*bi0 br1*br1 bi1*bi1 */ \
__ASM_EMIT("mulps %%xmm5, %%xmm5") \
__ASM_EMIT("shufps $0xb1, %%xmm0, %%xmm0") /* xmm0 = ti0*bi0 ti0*br0 ti1*bi1 ti1*br1 */ \
__ASM_EMIT("shufps $0xb1, %%xmm4, %%xmm4") \
__ASM_EMIT("movaps 0x00 + %[CC], %%xmm3") /* xmm3 = 1 */ \
__ASM_EMIT("haddps %%xmm5, %%xmm1") /* xmm1 = R0 R1 R2 R3 = br0*br0+bi0*bi0 br1*br1+bi1*bi1 */ \
__ASM_EMIT("divps %%xmm1, %%xmm3") /* xmm3 = 1/R0 1/R2 1/R2 1/R3 */ \
__ASM_EMIT("addsubps %%xmm2, %%xmm0") /* xmm0 = r0 i0 r1 i1 = ti0*bi0+tr0*br0 ti0*br0-tr0*bi0 ti1*bi1+tr1*br1 ti1*br1-tr1*bi1 */ \
__ASM_EMIT("addsubps %%xmm6, %%xmm4") \
__ASM_EMIT("movaps %%xmm3, %%xmm7") /* xmm7 = 1/R0 1/R2 1/R2 1/R3 */ \
__ASM_EMIT("unpcklps %%xmm3, %%xmm3") /* xmm3 = 1/R0 1/R0 1/R2 1/R2 */ \
__ASM_EMIT("unpckhps %%xmm7, %%xmm7") /* xmm7 = 1/R2 1/R2 1/R3 1/R3 */ \
__ASM_EMIT("mulps %%xmm3, %%xmm0") /* xmm0 = r0' i0' r1' i1' */ \
__ASM_EMIT("mulps %%xmm7, %%xmm4") \
__ASM_EMIT("movdqu %%xmm0, 0x00(%[" DST "], %[off])") \
__ASM_EMIT("movdqu %%xmm4, 0x10(%[" DST "], %[off])") \
__ASM_EMIT("add $0x20, %[off]") \
__ASM_EMIT("sub $4, %[count]") \
__ASM_EMIT("jae 1b") \
__ASM_EMIT("2:") \
/* Process scalar data */ \
__ASM_EMIT("add $3, %[count]") \
__ASM_EMIT("jl 4f") \
__ASM_EMIT("3:") \
__ASM_EMIT("movlps 0x00(%[" T "], %[off]), %%xmm0") /* xmm0 = tr ti */ \
__ASM_EMIT("movlps 0x00(%[" B "], %[off]), %%xmm1") /* xmm1 = br bi */ \
__ASM_EMIT("movsldup %%xmm0, %%xmm2") /* xmm2 = tr tr */ \
__ASM_EMIT("movshdup %%xmm0, %%xmm0") /* xmm0 = ti ti */ \
__ASM_EMIT("mulps %%xmm1, %%xmm2") /* xmm2 = tr*br tr*bi */ \
__ASM_EMIT("mulps %%xmm1, %%xmm0") /* xmm0 = ti*br ti*bi */ \
__ASM_EMIT("xorps 0x10 + %[CC], %%xmm2") /* xmm2 = -tr*br -tr*bi */ \
__ASM_EMIT("mulps %%xmm1, %%xmm1") /* xmm1 = br*br bi*bi */ \
__ASM_EMIT("shufps $0xb1, %%xmm0, %%xmm0") /* xmm0 = ti*bi ti*br */ \
__ASM_EMIT("haddps %%xmm1, %%xmm1") /* xmm1 = R = br*br+bi*bi */ \
__ASM_EMIT("addsubps %%xmm2, %%xmm0") /* xmm0 = r i = ti*bi+tr*br ti*br-tr*bi */ \
__ASM_EMIT("unpcklps %%xmm1, %%xmm1") /* xmm1 = R R */ \
__ASM_EMIT("divps %%xmm1, %%xmm0") /* xmm0 = r' i' */ \
__ASM_EMIT("movlps %%xmm0, 0x00(%[" DST "], %[off])") \
__ASM_EMIT("add $0x08, %[off]") \
__ASM_EMIT("dec %[count]") \
__ASM_EMIT("jge 3b") \
__ASM_EMIT("4:")
void pcomplex_div3(float *dst, const float *src1, const float *src2, size_t count)
{
size_t off;
ARCH_X86_ASM
(
PCOMPLEX_DIV_CORE("dst", "src1", "src2")
: [off] "=&r" (off),
[count] "+r" (count)
: [dst] "r" (dst), [src1] "r" (src1), [src2] "r" (src2),
[CC] "o" (pcomplex_div_const)
: "cc", "memory",
"%xmm0", "%xmm1", "%xmm2", "%xmm3",
"%xmm4", "%xmm5", "%xmm6", "%xmm7"
);
}
void pcomplex_div2(float *dst, const float *src, size_t count)
{
IF_ARCH_X86(size_t off);
ARCH_X86_ASM
(
PCOMPLEX_DIV_CORE("dst", "dst", "src")
: [off] "=&r" (off),
[count] "+r" (count)
: [dst] "r" (dst), [src] "r" (src),
[CC] "o" (pcomplex_div_const)
: "cc", "memory",
"%xmm0", "%xmm1", "%xmm2", "%xmm3",
"%xmm4", "%xmm5", "%xmm6", "%xmm7"
);
}
void pcomplex_rdiv2(float *dst, const float *src, size_t count)
{
IF_ARCH_X86(size_t off);
ARCH_X86_ASM
(
PCOMPLEX_DIV_CORE("dst", "src", "dst")
: [off] "=&r" (off),
[count] "+r" (count)
: [dst] "r" (dst), [src] "r" (src),
[CC] "o" (pcomplex_div_const)
: "cc", "memory",
"%xmm0", "%xmm1", "%xmm2", "%xmm3",
"%xmm4", "%xmm5", "%xmm6", "%xmm7"
);
}
#undef PCOMPLEX_DIV_CORE
void pcomplex_mod(float *dst, const float *src, size_t count)
{
IF_ARCH_X86(size_t off);
ARCH_X86_ASM
(
__ASM_EMIT("xor %[off], %[off]")
__ASM_EMIT("sub $16, %[count]")
__ASM_EMIT("jb 2f")
// 16x blocks
__ASM_EMIT("1:")
__ASM_EMIT("lddqu 0x00(%[src], %[off], 2), %%xmm0")
__ASM_EMIT("lddqu 0x10(%[src], %[off], 2), %%xmm1")
__ASM_EMIT("lddqu 0x20(%[src], %[off], 2), %%xmm2")
__ASM_EMIT("lddqu 0x30(%[src], %[off], 2), %%xmm3")
__ASM_EMIT("lddqu 0x40(%[src], %[off], 2), %%xmm4")
__ASM_EMIT("lddqu 0x50(%[src], %[off], 2), %%xmm5")
__ASM_EMIT("lddqu 0x60(%[src], %[off], 2), %%xmm6")
__ASM_EMIT("lddqu 0x70(%[src], %[off], 2), %%xmm7")
__ASM_EMIT("mulps %%xmm0, %%xmm0")
__ASM_EMIT("mulps %%xmm1, %%xmm1")
__ASM_EMIT("mulps %%xmm2, %%xmm2")
__ASM_EMIT("mulps %%xmm3, %%xmm3")
__ASM_EMIT("mulps %%xmm4, %%xmm4")
__ASM_EMIT("mulps %%xmm5, %%xmm5")
__ASM_EMIT("mulps %%xmm6, %%xmm6")
__ASM_EMIT("mulps %%xmm7, %%xmm7")
__ASM_EMIT("haddps %%xmm1, %%xmm0")
__ASM_EMIT("haddps %%xmm3, %%xmm2")
__ASM_EMIT("haddps %%xmm5, %%xmm4")
__ASM_EMIT("haddps %%xmm7, %%xmm6")
__ASM_EMIT("sqrtps %%xmm0, %%xmm0")
__ASM_EMIT("sqrtps %%xmm2, %%xmm2")
__ASM_EMIT("sqrtps %%xmm4, %%xmm4")
__ASM_EMIT("sqrtps %%xmm6, %%xmm6")
__ASM_EMIT("movdqu %%xmm0, 0x00(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm2, 0x10(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm4, 0x20(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm6, 0x30(%[dst], %[off])")
__ASM_EMIT("add $0x40, %[off]")
__ASM_EMIT("sub $16, %[count]")
__ASM_EMIT("jae 1b")
// 4x blocks
__ASM_EMIT("2:")
__ASM_EMIT("add $12, %[count]")
__ASM_EMIT("jl 4f")
__ASM_EMIT("3:")
__ASM_EMIT("lddqu 0x00(%[src], %[off], 2), %%xmm0")
__ASM_EMIT("lddqu 0x10(%[src], %[off], 2), %%xmm1")
__ASM_EMIT("mulps %%xmm0, %%xmm0")
__ASM_EMIT("mulps %%xmm1, %%xmm1")
__ASM_EMIT("haddps %%xmm1, %%xmm0")
__ASM_EMIT("sqrtps %%xmm0, %%xmm0")
__ASM_EMIT("movdqu %%xmm0, 0x00(%[dst], %[off])")
__ASM_EMIT("add $0x10, %[off]")
__ASM_EMIT("sub $4, %[count]")
__ASM_EMIT("jae 3b")
// 1x blocks
__ASM_EMIT("4:")
__ASM_EMIT("add $3, %[count]")
__ASM_EMIT("jl 6f")
__ASM_EMIT("5:")
__ASM_EMIT("movlps 0x00(%[src], %[off], 2), %%xmm0")
__ASM_EMIT("mulps %%xmm0, %%xmm0")
__ASM_EMIT("haddps %%xmm0, %%xmm0")
__ASM_EMIT("sqrtss %%xmm0, %%xmm0")
__ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
__ASM_EMIT("add $0x4, %[off]")
__ASM_EMIT("dec %[count]")
__ASM_EMIT("jge 5b")
// End
__ASM_EMIT("6:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count), [off] "=&r" (off)
:
: "cc", "memory",
"%xmm0", "%xmm1", "%xmm2", "%xmm3",
"%xmm4", "%xmm5", "%xmm6", "%xmm7"
);
}
void x64_pcomplex_mul3(float *dst, const float *src1, const float *src2, size_t count)
{
IF_ARCH_X86_64(size_t off);
ARCH_X86_64_ASM
(
/* Do block processing */
__ASM_EMIT("xor %[off], %[off]")
__ASM_EMIT("sub $8, %[count]")
__ASM_EMIT("jb 3f")
__ASM_EMIT(".align 16")
__ASM_EMIT("2:")
/* Process vectorized data */
__ASM_EMIT("lddqu 0x00(%[src1], %[off]), %%xmm0") /* xmm0 = ar0 ai0 ar1 ai1 */
__ASM_EMIT("lddqu 0x10(%[src1], %[off]), %%xmm4") /* xmm4 = ar2 ai2 ar3 ai3 */
__ASM_EMIT("lddqu 0x20(%[src1], %[off]), %%xmm8")
__ASM_EMIT("lddqu 0x30(%[src1], %[off]), %%xmm12")
__ASM_EMIT("lddqu 0x00(%[src2], %[off]), %%xmm1") /* xmm1 = br0 bi0 br1 bi1 */
__ASM_EMIT("lddqu 0x10(%[src2], %[off]), %%xmm5") /* xmm5 = br2 bi2 br3 bi3 */
__ASM_EMIT("lddqu 0x20(%[src2], %[off]), %%xmm9")
__ASM_EMIT("lddqu 0x30(%[src2], %[off]), %%xmm13")
/* Calc multiplication */
__ASM_EMIT("movsldup %%xmm0, %%xmm2") /* xmm2 = ar0 ar0 ar1, ar1 */
__ASM_EMIT("movsldup %%xmm4, %%xmm6") /* xmm6 = ar2 ar2 ar3, ar3 */
__ASM_EMIT("movsldup %%xmm8, %%xmm10")
__ASM_EMIT("movsldup %%xmm12, %%xmm14")
__ASM_EMIT("movshdup %%xmm0, %%xmm0") /* xmm0 = ai0 ai0 ai1, ai1 */
__ASM_EMIT("movshdup %%xmm4, %%xmm4") /* xmm4 = ai2 ai2 ai3, ai3 */
__ASM_EMIT("movshdup %%xmm8, %%xmm8")
__ASM_EMIT("movshdup %%xmm12, %%xmm12")
__ASM_EMIT("mulps %%xmm1, %%xmm0") /* xmm0 = ai0*br0 ai0*bi0 ai1*br1 ai1*bi1 */
__ASM_EMIT("mulps %%xmm5, %%xmm4") /* xmm4 = ai2*br2 ai2*bi2 ai3*br3 ai3*bi3 */
__ASM_EMIT("mulps %%xmm9, %%xmm8")
__ASM_EMIT("mulps %%xmm13, %%xmm12")
__ASM_EMIT("mulps %%xmm1, %%xmm2") /* xmm2 = ar0*br0 ar0*bi0 ar1*br1 ar1*bi1 */
__ASM_EMIT("mulps %%xmm5, %%xmm6") /* xmm6 = ar2*br2 ar2*bi2 ar3*br3 ar3*bi3 */
__ASM_EMIT("mulps %%xmm9, %%xmm10")
__ASM_EMIT("mulps %%xmm13, %%xmm14")
__ASM_EMIT("shufps $0xb1, %%xmm0, %%xmm0") /* xmm0 = ai0*bi0 ai0*br0 ai1*bi1 ai1*br1 */
__ASM_EMIT("shufps $0xb1, %%xmm4, %%xmm4") /* xmm4 = ai2*bi2 ai2*br2 ai3*bi3 ai3*br3 */
__ASM_EMIT("shufps $0xb1, %%xmm8, %%xmm8")
__ASM_EMIT("shufps $0xb1, %%xmm12, %%xmm12")
__ASM_EMIT("addsubps %%xmm0, %%xmm2") /* xmm2 = ar0*br0 - ai0*bi0 ar0*bi0 + ai0*br0 ar1*br1 - ai1*bi1 ar1*bi1 + ai1*br1 */
__ASM_EMIT("addsubps %%xmm4, %%xmm6") /* xmm6 = ar2*br2 - ai2*bi2 ar2*bi2 + ai2*br2 ar3*br3 - ai3*bi3 ar3*bi3 + ai3*br3 */
__ASM_EMIT("addsubps %%xmm8, %%xmm10")
__ASM_EMIT("addsubps %%xmm12, %%xmm14")
/* Store */
__ASM_EMIT("movdqu %%xmm2, 0x00(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm6, 0x10(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm10, 0x20(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm14, 0x30(%[dst], %[off])")
/* Repeat loop */
__ASM_EMIT("add $0x40, %[off]")
__ASM_EMIT("sub $8, %[count]")
__ASM_EMIT("jae 2b")
/* 4-element block */
__ASM_EMIT("3:")
__ASM_EMIT("add $4, %[count]")
__ASM_EMIT("jl 4f")
/* Process vectorized data */
__ASM_EMIT("lddqu 0x00(%[src1], %[off]), %%xmm0") /* xmm0 = ar0 ai0 ar1 ai1 */
__ASM_EMIT("lddqu 0x10(%[src1], %[off]), %%xmm4") /* xmm4 = ar2 ai2 ar3 ai3 */
__ASM_EMIT("lddqu 0x00(%[src2], %[off]), %%xmm1") /* xmm1 = br0 bi0 br1 bi1 */
__ASM_EMIT("lddqu 0x10(%[src2], %[off]), %%xmm5") /* xmm5 = br2 bi2 br3 bi3 */
/* Calc multiplication */
__ASM_EMIT("movsldup %%xmm0, %%xmm2") /* xmm2 = ar0 ar0 ar1, ar1 */
__ASM_EMIT("movsldup %%xmm4, %%xmm6") /* xmm6 = ar2 ar2 ar3, ar3 */
__ASM_EMIT("movshdup %%xmm0, %%xmm0") /* xmm0 = ai0 ai0 ai1, ai1 */
__ASM_EMIT("movshdup %%xmm4, %%xmm4") /* xmm4 = ai2 ai2 ai3, ai3 */
__ASM_EMIT("mulps %%xmm1, %%xmm0") /* xmm0 = ai0*br0 ai0*bi0 ai1*br1 ai1*bi1 */
__ASM_EMIT("mulps %%xmm5, %%xmm4") /* xmm4 = ai2*br2 ai2*bi2 ai3*br3 ai3*bi3 */
__ASM_EMIT("mulps %%xmm1, %%xmm2") /* xmm2 = ar0*br0 ar0*bi0 ar1*br1 ar1*bi1 */
__ASM_EMIT("mulps %%xmm5, %%xmm6") /* xmm6 = ar2*br2 ar2*bi2 ar3*br3 ar3*bi3 */
__ASM_EMIT("shufps $0xb1, %%xmm0, %%xmm0") /* xmm0 = ai0*bi0 ai0*br0 ai1*bi1 ai1*br1 */
__ASM_EMIT("shufps $0xb1, %%xmm4, %%xmm4") /* xmm4 = ai2*bi2 ai2*br2 ai3*bi3 ai3*br3 */
__ASM_EMIT("addsubps %%xmm0, %%xmm2") /* xmm2 = ar0*br0 - ai0*bi0 ar0*bi0 + ai0*br0 ar1*br1 - ai1*bi1 ar1*bi1 + ai1*br1 */
__ASM_EMIT("addsubps %%xmm4, %%xmm6") /* xmm6 = ar2*br2 - ai2*bi2 ar2*bi2 + ai2*br2 ar3*br3 - ai3*bi3 ar3*bi3 + ai3*br3 */
/* Store */
__ASM_EMIT("movdqu %%xmm2, 0x00(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm6, 0x10(%[dst], %[off])")
/* Repeat loop */
__ASM_EMIT("add $0x20, %[off]")
__ASM_EMIT("sub $4, %[count]")
/* Check count again */
__ASM_EMIT("4:")
__ASM_EMIT("add $4, %[count]")
__ASM_EMIT("jle 6f")
/* Process scalar data */
__ASM_EMIT("5:")
/* Load */
__ASM_EMIT("movss 0x00(%[src1], %[off]), %%xmm0") /* xmm0 = ar */
__ASM_EMIT("movss 0x04(%[src1], %[off]), %%xmm2") /* xmm2 = ai */
__ASM_EMIT("movss 0x00(%[src2], %[off]), %%xmm4") /* xmm4 = br */
__ASM_EMIT("movss 0x04(%[src2], %[off]), %%xmm6") /* xmm6 = bi */
/* Calculate multiplication */
__ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = ar */
__ASM_EMIT("mulss %%xmm4, %%xmm0") /* xmm0 = ar*br */
__ASM_EMIT("mulss %%xmm6, %%xmm1") /* xmm1 = ar*bi */
__ASM_EMIT("mulss %%xmm2, %%xmm6") /* xmm6 = ai*bi */
__ASM_EMIT("mulss %%xmm2, %%xmm4") /* xmm4 = ai*br */
__ASM_EMIT("addss %%xmm4, %%xmm1") /* xmm1 = ar*bi + ai*br = i */
__ASM_EMIT("subss %%xmm6, %%xmm0") /* xmm0 = ar*br - ai*bi = r */
/* Store */
__ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
__ASM_EMIT("movss %%xmm1, 0x04(%[dst], %[off])")
/* Repeat loop */
__ASM_EMIT("add $0x08, %[off]")
__ASM_EMIT("dec %[count]")
__ASM_EMIT("jnz 5b")
/* Exit */
__ASM_EMIT("6:")
: [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2),
[off] "=&r" (off),
[count] "+r" (count)
:
: "cc", "memory",
"%xmm0", "%xmm1", "%xmm2",
"%xmm4", "%xmm5", "%xmm6",
"%xmm8", "%xmm9", "%xmm10",
"%xmm12", "%xmm13", "%xmm14"
);
}
void x64_pcomplex_mul2(float *dst, const float *src, size_t count)
{
IF_ARCH_X86_64(size_t off);
ARCH_X86_64_ASM
(
/* Do block processing */
__ASM_EMIT("xor %[off], %[off]")
__ASM_EMIT("sub $8, %[count]")
__ASM_EMIT("jb 3f")
__ASM_EMIT(".align 16")
__ASM_EMIT("2:")
/* Process vectorized data */
__ASM_EMIT("lddqu 0x00(%[dst], %[off]), %%xmm0") /* xmm0 = ar0 ai0 ar1 ai1 */
__ASM_EMIT("lddqu 0x10(%[dst], %[off]), %%xmm4") /* xmm4 = ar2 ai2 ar3 ai3 */
__ASM_EMIT("lddqu 0x20(%[dst], %[off]), %%xmm8")
__ASM_EMIT("lddqu 0x30(%[dst], %[off]), %%xmm12")
__ASM_EMIT("lddqu 0x00(%[src], %[off]), %%xmm1") /* xmm1 = br0 bi0 br1 bi1 */
__ASM_EMIT("lddqu 0x10(%[src], %[off]), %%xmm5") /* xmm5 = br2 bi2 br3 bi3 */
__ASM_EMIT("lddqu 0x20(%[src], %[off]), %%xmm9")
__ASM_EMIT("lddqu 0x30(%[src], %[off]), %%xmm13")
/* Calc multiplication */
__ASM_EMIT("movsldup %%xmm0, %%xmm2") /* xmm2 = ar0 ar0 ar1, ar1 */
__ASM_EMIT("movsldup %%xmm4, %%xmm6") /* xmm6 = ar2 ar2 ar3, ar3 */
__ASM_EMIT("movsldup %%xmm8, %%xmm10")
__ASM_EMIT("movsldup %%xmm12, %%xmm14")
__ASM_EMIT("movshdup %%xmm0, %%xmm0") /* xmm0 = ai0 ai0 ai1, ai1 */
__ASM_EMIT("movshdup %%xmm4, %%xmm4") /* xmm4 = ai2 ai2 ai3, ai3 */
__ASM_EMIT("movshdup %%xmm8, %%xmm8")
__ASM_EMIT("movshdup %%xmm12, %%xmm12")
__ASM_EMIT("mulps %%xmm1, %%xmm0") /* xmm0 = ai0*br0 ai0*bi0 ai1*br1 ai1*bi1 */
__ASM_EMIT("mulps %%xmm5, %%xmm4") /* xmm4 = ai2*br2 ai2*bi2 ai3*br3 ai3*bi3 */
__ASM_EMIT("mulps %%xmm9, %%xmm8")
__ASM_EMIT("mulps %%xmm13, %%xmm12")
__ASM_EMIT("mulps %%xmm1, %%xmm2") /* xmm2 = ar0*br0 ar0*bi0 ar1*br1 ar1*bi1 */
__ASM_EMIT("mulps %%xmm5, %%xmm6") /* xmm6 = ar2*br2 ar2*bi2 ar3*br3 ar3*bi3 */
__ASM_EMIT("mulps %%xmm9, %%xmm10")
__ASM_EMIT("mulps %%xmm13, %%xmm14")
__ASM_EMIT("shufps $0xb1, %%xmm0, %%xmm0") /* xmm0 = ai0*bi0 ai0*br0 ai1*bi1 ai1*br1 */
__ASM_EMIT("shufps $0xb1, %%xmm4, %%xmm4") /* xmm4 = ai2*bi2 ai2*br2 ai3*bi3 ai3*br3 */
__ASM_EMIT("shufps $0xb1, %%xmm8, %%xmm8")
__ASM_EMIT("shufps $0xb1, %%xmm12, %%xmm12")
__ASM_EMIT("addsubps %%xmm0, %%xmm2") /* xmm2 = ar0*br0 - ai0*bi0 ar0*bi0 + ai0*br0 ar1*br1 - ai1*bi1 ar1*bi1 + ai1*br1 */
__ASM_EMIT("addsubps %%xmm4, %%xmm6") /* xmm6 = ar2*br2 - ai2*bi2 ar2*bi2 + ai2*br2 ar3*br3 - ai3*bi3 ar3*bi3 + ai3*br3 */
__ASM_EMIT("addsubps %%xmm8, %%xmm10")
__ASM_EMIT("addsubps %%xmm12, %%xmm14")
/* Store */
__ASM_EMIT("movdqu %%xmm2, 0x00(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm6, 0x10(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm10, 0x20(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm14, 0x30(%[dst], %[off])")
/* Repeat loop */
__ASM_EMIT("add $0x40, %[off]")
__ASM_EMIT("sub $8, %[count]")
__ASM_EMIT("jae 2b")
/* 4-element block */
__ASM_EMIT("3:")
__ASM_EMIT("add $4, %[count]")
__ASM_EMIT("jl 4f")
/* Process vectorized data */
__ASM_EMIT("lddqu 0x00(%[dst], %[off]), %%xmm0") /* xmm0 = ar0 ai0 ar1 ai1 */
__ASM_EMIT("lddqu 0x10(%[dst], %[off]), %%xmm4") /* xmm4 = ar2 ai2 ar3 ai3 */
__ASM_EMIT("lddqu 0x00(%[src], %[off]), %%xmm1") /* xmm1 = br0 bi0 br1 bi1 */
__ASM_EMIT("lddqu 0x10(%[src], %[off]), %%xmm5") /* xmm5 = br2 bi2 br3 bi3 */
/* Calc multiplication */
__ASM_EMIT("movsldup %%xmm0, %%xmm2") /* xmm2 = ar0 ar0 ar1, ar1 */
__ASM_EMIT("movsldup %%xmm4, %%xmm6") /* xmm6 = ar2 ar2 ar3, ar3 */
__ASM_EMIT("movshdup %%xmm0, %%xmm0") /* xmm0 = ai0 ai0 ai1, ai1 */
__ASM_EMIT("movshdup %%xmm4, %%xmm4") /* xmm4 = ai2 ai2 ai3, ai3 */
__ASM_EMIT("mulps %%xmm1, %%xmm0") /* xmm0 = ai0*br0 ai0*bi0 ai1*br1 ai1*bi1 */
__ASM_EMIT("mulps %%xmm5, %%xmm4") /* xmm4 = ai2*br2 ai2*bi2 ai3*br3 ai3*bi3 */
__ASM_EMIT("mulps %%xmm1, %%xmm2") /* xmm2 = ar0*br0 ar0*bi0 ar1*br1 ar1*bi1 */
__ASM_EMIT("mulps %%xmm5, %%xmm6") /* xmm6 = ar2*br2 ar2*bi2 ar3*br3 ar3*bi3 */
__ASM_EMIT("shufps $0xb1, %%xmm0, %%xmm0") /* xmm0 = ai0*bi0 ai0*br0 ai1*bi1 ai1*br1 */
__ASM_EMIT("shufps $0xb1, %%xmm4, %%xmm4") /* xmm4 = ai2*bi2 ai2*br2 ai3*bi3 ai3*br3 */
__ASM_EMIT("addsubps %%xmm0, %%xmm2") /* xmm2 = ar0*br0 - ai0*bi0 ar0*bi0 + ai0*br0 ar1*br1 - ai1*bi1 ar1*bi1 + ai1*br1 */
__ASM_EMIT("addsubps %%xmm4, %%xmm6") /* xmm6 = ar2*br2 - ai2*bi2 ar2*bi2 + ai2*br2 ar3*br3 - ai3*bi3 ar3*bi3 + ai3*br3 */
/* Store */
__ASM_EMIT("movdqu %%xmm2, 0x00(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm6, 0x10(%[dst], %[off])")
/* Repeat loop */
__ASM_EMIT("add $0x20, %[off]")
__ASM_EMIT("sub $4, %[count]")
/* Check count again */
__ASM_EMIT("4:")
__ASM_EMIT("add $4, %[count]")
__ASM_EMIT("jle 6f")
/* Process scalar data */
__ASM_EMIT("5:")
/* Load */
__ASM_EMIT("movss 0x00(%[dst], %[off]), %%xmm0") /* xmm0 = ar */
__ASM_EMIT("movss 0x04(%[dst], %[off]), %%xmm2") /* xmm2 = ai */
__ASM_EMIT("movss 0x00(%[src], %[off]), %%xmm4") /* xmm4 = br */
__ASM_EMIT("movss 0x04(%[src], %[off]), %%xmm6") /* xmm6 = bi */
/* Calculate multiplication */
__ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = ar */
__ASM_EMIT("mulss %%xmm4, %%xmm0") /* xmm0 = ar*br */
__ASM_EMIT("mulss %%xmm6, %%xmm1") /* xmm1 = ar*bi */
__ASM_EMIT("mulss %%xmm2, %%xmm6") /* xmm6 = ai*bi */
__ASM_EMIT("mulss %%xmm2, %%xmm4") /* xmm4 = ai*br */
__ASM_EMIT("addss %%xmm4, %%xmm1") /* xmm1 = ar*bi + ai*br = i */
__ASM_EMIT("subss %%xmm6, %%xmm0") /* xmm0 = ar*br - ai*bi = r */
/* Store */
__ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
__ASM_EMIT("movss %%xmm1, 0x04(%[dst], %[off])")
/* Repeat loop */
__ASM_EMIT("add $0x08, %[off]")
__ASM_EMIT("dec %[count]")
__ASM_EMIT("jnz 5b")
/* Exit */
__ASM_EMIT("6:")
: [dst] "+r" (dst), [src] "+r" (src),
[off] "=&r" (off),
[count] "+r" (count)
:
: "cc", "memory",
"%xmm0", "%xmm1", "%xmm2",
"%xmm4", "%xmm5", "%xmm6",
"%xmm8", "%xmm9", "%xmm10",
"%xmm12", "%xmm13", "%xmm14"
);
}
void x64_pcomplex_mod(float *dst, const float *src, size_t count)
{
IF_ARCH_X86_64(size_t off);
ARCH_X86_64_ASM
(
__ASM_EMIT("xor %[off], %[off]")
__ASM_EMIT("sub $32, %[count]")
__ASM_EMIT("jb 2f")
// 32x blocks
__ASM_EMIT("1:")
__ASM_EMIT("lddqu 0x00(%[src], %[off], 2), %%xmm0")
__ASM_EMIT("lddqu 0x10(%[src], %[off], 2), %%xmm1")
__ASM_EMIT("lddqu 0x20(%[src], %[off], 2), %%xmm2")
__ASM_EMIT("lddqu 0x30(%[src], %[off], 2), %%xmm3")
__ASM_EMIT("lddqu 0x40(%[src], %[off], 2), %%xmm4")
__ASM_EMIT("lddqu 0x50(%[src], %[off], 2), %%xmm5")
__ASM_EMIT("lddqu 0x60(%[src], %[off], 2), %%xmm6")
__ASM_EMIT("lddqu 0x70(%[src], %[off], 2), %%xmm7")
__ASM_EMIT("lddqu 0x80(%[src], %[off], 2), %%xmm8")
__ASM_EMIT("lddqu 0x90(%[src], %[off], 2), %%xmm9")
__ASM_EMIT("lddqu 0xa0(%[src], %[off], 2), %%xmm10")
__ASM_EMIT("lddqu 0xb0(%[src], %[off], 2), %%xmm11")
__ASM_EMIT("lddqu 0xc0(%[src], %[off], 2), %%xmm12")
__ASM_EMIT("lddqu 0xd0(%[src], %[off], 2), %%xmm13")
__ASM_EMIT("lddqu 0xe0(%[src], %[off], 2), %%xmm14")
__ASM_EMIT("lddqu 0xf0(%[src], %[off], 2), %%xmm15")
__ASM_EMIT("mulps %%xmm0, %%xmm0")
__ASM_EMIT("mulps %%xmm1, %%xmm1")
__ASM_EMIT("mulps %%xmm2, %%xmm2")
__ASM_EMIT("mulps %%xmm3, %%xmm3")
__ASM_EMIT("mulps %%xmm4, %%xmm4")
__ASM_EMIT("mulps %%xmm5, %%xmm5")
__ASM_EMIT("mulps %%xmm6, %%xmm6")
__ASM_EMIT("mulps %%xmm7, %%xmm7")
__ASM_EMIT("mulps %%xmm8, %%xmm8")
__ASM_EMIT("mulps %%xmm9, %%xmm9")
__ASM_EMIT("mulps %%xmm10, %%xmm10")
__ASM_EMIT("mulps %%xmm11, %%xmm11")
__ASM_EMIT("mulps %%xmm12, %%xmm12")
__ASM_EMIT("mulps %%xmm13, %%xmm13")
__ASM_EMIT("mulps %%xmm14, %%xmm14")
__ASM_EMIT("mulps %%xmm15, %%xmm15")
__ASM_EMIT("haddps %%xmm1, %%xmm0")
__ASM_EMIT("haddps %%xmm3, %%xmm2")
__ASM_EMIT("haddps %%xmm5, %%xmm4")
__ASM_EMIT("haddps %%xmm7, %%xmm6")
__ASM_EMIT("haddps %%xmm9, %%xmm8")
__ASM_EMIT("haddps %%xmm11, %%xmm10")
__ASM_EMIT("haddps %%xmm13, %%xmm12")
__ASM_EMIT("haddps %%xmm15, %%xmm14")
__ASM_EMIT("sqrtps %%xmm0, %%xmm0")
__ASM_EMIT("sqrtps %%xmm2, %%xmm2")
__ASM_EMIT("sqrtps %%xmm4, %%xmm4")
__ASM_EMIT("sqrtps %%xmm6, %%xmm6")
__ASM_EMIT("sqrtps %%xmm8, %%xmm8")
__ASM_EMIT("sqrtps %%xmm10, %%xmm10")
__ASM_EMIT("sqrtps %%xmm12, %%xmm12")
__ASM_EMIT("sqrtps %%xmm14, %%xmm14")
__ASM_EMIT("movdqu %%xmm0, 0x00(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm2, 0x10(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm4, 0x20(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm6, 0x30(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm8, 0x40(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm10, 0x50(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm12, 0x60(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm14, 0x70(%[dst], %[off])")
__ASM_EMIT("add $0x80, %[off]")
__ASM_EMIT("sub $32, %[count]")
__ASM_EMIT("jae 1b")
// 16x blocks
__ASM_EMIT("2:")
__ASM_EMIT("add $16, %[count]")
__ASM_EMIT("jl 4f")
__ASM_EMIT("3:")
__ASM_EMIT("lddqu 0x00(%[src], %[off], 2), %%xmm0")
__ASM_EMIT("lddqu 0x10(%[src], %[off], 2), %%xmm1")
__ASM_EMIT("lddqu 0x20(%[src], %[off], 2), %%xmm2")
__ASM_EMIT("lddqu 0x30(%[src], %[off], 2), %%xmm3")
__ASM_EMIT("lddqu 0x40(%[src], %[off], 2), %%xmm4")
__ASM_EMIT("lddqu 0x50(%[src], %[off], 2), %%xmm5")
__ASM_EMIT("lddqu 0x60(%[src], %[off], 2), %%xmm6")
__ASM_EMIT("lddqu 0x70(%[src], %[off], 2), %%xmm7")
__ASM_EMIT("mulps %%xmm0, %%xmm0")
__ASM_EMIT("mulps %%xmm1, %%xmm1")
__ASM_EMIT("mulps %%xmm2, %%xmm2")
__ASM_EMIT("mulps %%xmm3, %%xmm3")
__ASM_EMIT("mulps %%xmm4, %%xmm4")
__ASM_EMIT("mulps %%xmm5, %%xmm5")
__ASM_EMIT("mulps %%xmm6, %%xmm6")
__ASM_EMIT("mulps %%xmm7, %%xmm7")
__ASM_EMIT("haddps %%xmm1, %%xmm0")
__ASM_EMIT("haddps %%xmm3, %%xmm2")
__ASM_EMIT("haddps %%xmm5, %%xmm4")
__ASM_EMIT("haddps %%xmm7, %%xmm6")
__ASM_EMIT("sqrtps %%xmm0, %%xmm0")
__ASM_EMIT("sqrtps %%xmm2, %%xmm2")
__ASM_EMIT("sqrtps %%xmm4, %%xmm4")
__ASM_EMIT("sqrtps %%xmm6, %%xmm6")
__ASM_EMIT("movdqu %%xmm0, 0x00(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm2, 0x10(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm4, 0x20(%[dst], %[off])")
__ASM_EMIT("movdqu %%xmm6, 0x30(%[dst], %[off])")
__ASM_EMIT("add $0x40, %[off]")
__ASM_EMIT("sub $16, %[count]")
__ASM_EMIT("jae 3b")
// 4x blocks
__ASM_EMIT("4:")
__ASM_EMIT("add $12, %[count]")
__ASM_EMIT("jl 6f")
__ASM_EMIT("5:")
__ASM_EMIT("lddqu 0x00(%[src], %[off], 2), %%xmm0")
__ASM_EMIT("lddqu 0x10(%[src], %[off], 2), %%xmm1")
__ASM_EMIT("mulps %%xmm0, %%xmm0")
__ASM_EMIT("mulps %%xmm1, %%xmm1")
__ASM_EMIT("haddps %%xmm1, %%xmm0")
__ASM_EMIT("sqrtps %%xmm0, %%xmm0")
__ASM_EMIT("movdqu %%xmm0, 0x00(%[dst], %[off])")
__ASM_EMIT("add $0x10, %[off]")
__ASM_EMIT("sub $4, %[count]")
__ASM_EMIT("jge 5b")
// 1x blocks
__ASM_EMIT("6:")
__ASM_EMIT("add $3, %[count]")
__ASM_EMIT("jl 8f")
__ASM_EMIT("7:")
__ASM_EMIT("movlps 0x00(%[src], %[off], 2), %%xmm0")
__ASM_EMIT("mulps %%xmm0, %%xmm0")
__ASM_EMIT("haddps %%xmm0, %%xmm0")
__ASM_EMIT("sqrtss %%xmm0, %%xmm0")
__ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])")
__ASM_EMIT("add $0x4, %[off]")
__ASM_EMIT("dec %[count]")
__ASM_EMIT("jge 7b")
// End
__ASM_EMIT("8:")
: [dst] "+r" (dst), [src] "+r" (src),
[count] "+r" (count), [off] "=&r" (off)
:
: "cc", "memory",
"%xmm0", "%xmm1", "%xmm2", "%xmm3",
"%xmm4", "%xmm5", "%xmm6", "%xmm7",
"%xmm8", "%xmm9", "%xmm10",
"%xmm12", "%xmm13", "%xmm14"
);
}
IF_ARCH_X86_64(
static const float pcomplex_corr_const[] __lsp_aligned16 =
{
LSP_DSP_VEC4(1e-36f),
};
);
void x64_pcomplex_corr(float *dst_corr, const float *src1, const float *src2, size_t count)
{
IF_ARCH_X86_64(size_t off);
/*
* src1[i] = a + j*b, src2[i] = c + j*d
* den = (a*a + b*b)*(c*c + d*d)
* nom = a*c + b*d
* corr[i] = (den > threshold) ? nom / sqrt(den) : 0.0
*/
ARCH_X86_64_ASM (
__ASM_EMIT("xor %[off], %[off]")
/* x8 blocks */
__ASM_EMIT("sub $8, %[count]") /* count -= 8 */
__ASM_EMIT("movaps %[CC], %%xmm7") /* xmm7 = threshold */
__ASM_EMIT("jb 2f")
__ASM_EMIT("1:")
__ASM_EMIT("movups 0x00(%[src1], %[off], 2), %%xmm0") /* xmm0 = a0 b0 a1 b1 */
__ASM_EMIT("movups 0x10(%[src1], %[off], 2), %%xmm4") /* xmm4 = a2 b2 a3 b3 */
__ASM_EMIT("movups 0x20(%[src1], %[off], 2), %%xmm8") /* xmm8 = a4 b4 a5 b5 */
__ASM_EMIT("movups 0x30(%[src1], %[off], 2), %%xmm12") /* xmm12 = a6 b6 a7 b7 */
__ASM_EMIT("movups 0x00(%[src2], %[off], 2), %%xmm2") /* xmm2 = c0 d0 c1 d1 */
__ASM_EMIT("movups 0x10(%[src2], %[off], 2), %%xmm6") /* xmm6 = c2 d2 c3 d3 */
__ASM_EMIT("movups 0x20(%[src2], %[off], 2), %%xmm10") /* xmm10 = c4 d4 c5 d5 */
__ASM_EMIT("movups 0x30(%[src2], %[off], 2), %%xmm14") /* xmm14 = c6 d6 c7 d7 */
/* Do shuffle */
__ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = a0 b0 a1 b1 */
__ASM_EMIT("movaps %%xmm2, %%xmm3") /* xmm3 = c0 d0 c1 d1 */
__ASM_EMIT("movaps %%xmm8, %%xmm9") /* xmm9 = a4 b4 a5 b5 */
__ASM_EMIT("movaps %%xmm10, %%xmm11") /* xmm11 = c4 d4 c5 d5 */
__ASM_EMIT("shufps $0x88, %%xmm4, %%xmm0") /* xmm0 = A0 = a0 a1 a2 a3 */
__ASM_EMIT("shufps $0x88, %%xmm6, %%xmm2") /* xmm2 = C0 = c0 c1 c2 c3 */
__ASM_EMIT("shufps $0xdd, %%xmm4, %%xmm1") /* xmm1 = B0 = b0 b1 b2 b3 */
__ASM_EMIT("shufps $0xdd, %%xmm6, %%xmm3") /* xmm3 = D0 = d0 d1 d2 d3 */
__ASM_EMIT("shufps $0x88, %%xmm12, %%xmm8") /* xmm8 = A1 = a0 a1 a2 a3 */
__ASM_EMIT("shufps $0x88, %%xmm14, %%xmm10") /* xmm10 = C1 = c0 c1 c2 c3 */
__ASM_EMIT("shufps $0xdd, %%xmm12, %%xmm9") /* xmm9 = B1 = b0 b1 b2 b3 */
__ASM_EMIT("shufps $0xdd, %%xmm14, %%xmm11") /* xmm11 = D1 = d0 d1 d2 d3 */
/* xmm0 = A0, xmm1 = B0, xmm2 = C0, xmm3 = D0 */
/* xmm8 = A1, xmm9 = B1, xmm10 = C1, xmm11 = D1 */
__ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = A0 */
__ASM_EMIT("movaps %%xmm1, %%xmm5") /* xmm5 = B0 */
__ASM_EMIT("movaps %%xmm8, %%xmm12") /* xmm12 = A1 */
__ASM_EMIT("movaps %%xmm9, %%xmm13") /* xmm13 = B1 */
__ASM_EMIT("mulps %%xmm2, %%xmm4") /* xmm4 = A0*C0 */
__ASM_EMIT("mulps %%xmm3, %%xmm5") /* xmm5 = B0*D0 */
__ASM_EMIT("mulps %%xmm10, %%xmm12") /* xmm10 = A1*C1 */
__ASM_EMIT("mulps %%xmm11, %%xmm13") /* xmm13 = B1*D1 */
__ASM_EMIT("mulps %%xmm0, %%xmm0") /* xmm0 = A0*A0 */
__ASM_EMIT("mulps %%xmm1, %%xmm1") /* xmm1 = B0*B0 */
__ASM_EMIT("mulps %%xmm2, %%xmm2") /* xmm2 = C0*C0 */
__ASM_EMIT("mulps %%xmm3, %%xmm3") /* xmm3 = D0*D0 */
__ASM_EMIT("mulps %%xmm8, %%xmm8") /* xmm8 = A1*A1 */
__ASM_EMIT("mulps %%xmm9, %%xmm9") /* xmm9 = B1*B1 */
__ASM_EMIT("mulps %%xmm10, %%xmm10") /* xmm10 = C1*C1 */
__ASM_EMIT("mulps %%xmm11, %%xmm11") /* xmm11 = D1*D1 */
__ASM_EMIT("addps %%xmm1, %%xmm0") /* xmm0 = A0*A0 + B0*B0 */
__ASM_EMIT("addps %%xmm3, %%xmm2") /* xmm2 = C0*C0 + D0*D0 */
__ASM_EMIT("addps %%xmm9, %%xmm8") /* xmm8 = A1*A1 + B1*B1 */
__ASM_EMIT("addps %%xmm11, %%xmm10") /* xmm10 = C1*C1 + D1*D1 */
__ASM_EMIT("mulps %%xmm2, %%xmm0") /* xmm0 = den0 = (A0*A0 + B0*B0)*(C0*C0 + D0*D0) */
__ASM_EMIT("mulps %%xmm10, %%xmm8") /* xmm8 = den1 = (A1*A1 + B1*B1)*(C1*C1 + D1*D1) */
__ASM_EMIT("addps %%xmm5, %%xmm4") /* xmm4 = nom0 = A0*C0 + B0*D0 */
__ASM_EMIT("addps %%xmm13, %%xmm12") /* xmm12 = nom1 = A1*C1 + B1*D1 */
__ASM_EMIT("sqrtps %%xmm0, %%xmm1") /* xmm1 = sqrt(den0) */
__ASM_EMIT("sqrtps %%xmm8, %%xmm9") /* xmm9 = sqrt(den1) */
__ASM_EMIT("divps %%xmm1, %%xmm4") /* xmm4 = nom0 / sqrt(den0) */
__ASM_EMIT("divps %%xmm9, %%xmm12") /* xmm12 = nom1 / sqrt(den1) */
__ASM_EMIT("cmpps $5, %%xmm7, %%xmm0") /* xmm0 = [den0 >= threshold] */
__ASM_EMIT("cmpps $5, %%xmm7, %%xmm8") /* xmm8 = [den1 >= threshold] */
__ASM_EMIT("andps %%xmm4, %%xmm0") /* xmm0 = (den0 >= threshold) ? nom0 / sqrt(den0) : 0.0f */
__ASM_EMIT("andps %%xmm12, %%xmm8") /* xmm8 = (den0 >= threshold) ? nom0 / sqrt(den0) : 0.0f */
__ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])") /* dst[0] = v0 v1 v2 v3 */
__ASM_EMIT("movups %%xmm8, 0x10(%[dst], %[off])") /* dst[1] = v4 v5 v6 v7 */
__ASM_EMIT("add $0x20, %[off]")
__ASM_EMIT("sub $8, %[count]") /* count -= 8 */
__ASM_EMIT("jae 1b")
/* x4 block */
__ASM_EMIT("2:")
__ASM_EMIT("add $4, %[count]") /* count += 4 */
__ASM_EMIT("jl 4f")
__ASM_EMIT("movups 0x00(%[src1], %[off], 2), %%xmm0") /* xmm0 = a0 b0 a1 b1 */
__ASM_EMIT("movups 0x10(%[src1], %[off], 2), %%xmm4") /* xmm4 = a2 b2 a3 b3 */
__ASM_EMIT("movups 0x00(%[src2], %[off], 2), %%xmm2") /* xmm2 = c0 d0 c1 d1 */
__ASM_EMIT("movups 0x10(%[src2], %[off], 2), %%xmm6") /* xmm6 = c2 d2 c3 d3 */
/* Do shuffle */
__ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = a0 b0 a1 b1 */
__ASM_EMIT("movaps %%xmm2, %%xmm3") /* xmm3 = c0 d0 c1 d1 */
__ASM_EMIT("shufps $0x88, %%xmm4, %%xmm0") /* xmm0 = A0 = a0 a1 a2 a3 */
__ASM_EMIT("shufps $0x88, %%xmm6, %%xmm2") /* xmm2 = C0 = c0 c1 c2 c3 */
__ASM_EMIT("shufps $0xdd, %%xmm4, %%xmm1") /* xmm1 = B0 = b0 b1 b2 b3 */
__ASM_EMIT("shufps $0xdd, %%xmm6, %%xmm3") /* xmm3 = D0 = d0 d1 d2 d3 */
/* xmm0 = A0, xmm1 = B0, xmm2 = C0, xmm3 = D0 */
/* xmm8 = A1, xmm9 = B1, xmm10 = C1, xmm11 = D1 */
__ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = A0 */
__ASM_EMIT("movaps %%xmm1, %%xmm5") /* xmm5 = B0 */
__ASM_EMIT("mulps %%xmm2, %%xmm4") /* xmm4 = A0*C0 */
__ASM_EMIT("mulps %%xmm3, %%xmm5") /* xmm5 = B0*D0 */
__ASM_EMIT("mulps %%xmm0, %%xmm0") /* xmm0 = A0*A0 */
__ASM_EMIT("mulps %%xmm1, %%xmm1") /* xmm1 = B0*B0 */
__ASM_EMIT("mulps %%xmm2, %%xmm2") /* xmm2 = C0*C0 */
__ASM_EMIT("mulps %%xmm3, %%xmm3") /* xmm3 = D0*D0 */
__ASM_EMIT("addps %%xmm1, %%xmm0") /* xmm0 = A0*A0 + B0*B0 */
__ASM_EMIT("addps %%xmm3, %%xmm2") /* xmm2 = C0*C0 + D0*D0 */
__ASM_EMIT("mulps %%xmm2, %%xmm0") /* xmm0 = den0 = (A0*A0 + B0*B0)*(C0*C0 + D0*D0) */
__ASM_EMIT("addps %%xmm5, %%xmm4") /* xmm4 = nom0 = A0*C0 + B0*D0 */
__ASM_EMIT("sqrtps %%xmm0, %%xmm1") /* xmm1 = sqrt(den0) */
__ASM_EMIT("divps %%xmm1, %%xmm4") /* xmm4 = nom0 / sqrt(den0) */
__ASM_EMIT("cmpps $5, %%xmm7, %%xmm0") /* xmm0 = [den0 >= threshold] */
__ASM_EMIT("andps %%xmm4, %%xmm0") /* xmm0 = (den0 >= threshold) ? nom0 / sqrt(den0) : 0.0f */
__ASM_EMIT("movups %%xmm0, 0x00(%[dst], %[off])") /* dst[0] = v0 v1 v2 v3 */
__ASM_EMIT("add $0x10, %[off]")
__ASM_EMIT("sub $4, %[count]") /* count -= 4 */
/* x1 blocks */
__ASM_EMIT("4:")
__ASM_EMIT("add $3, %[count]") /* count += 3 */
__ASM_EMIT("jl 6f")
__ASM_EMIT("5:")
__ASM_EMIT("movss 0x00(%[src1], %[off], 2), %%xmm0") /* xmm0 = a */
__ASM_EMIT("movss 0x04(%[src1], %[off], 2), %%xmm1") /* xmm1 = b */
__ASM_EMIT("movss 0x00(%[src2], %[off], 2), %%xmm2") /* xmm2 = c */
__ASM_EMIT("movss 0x04(%[src2], %[off], 2), %%xmm3") /* xmm3 = d */
__ASM_EMIT("movaps %%xmm0, %%xmm4") /* xmm4 = a */
__ASM_EMIT("movaps %%xmm1, %%xmm5") /* xmm5 = b */
__ASM_EMIT("mulss %%xmm2, %%xmm4") /* xmm4 = a*c */
__ASM_EMIT("mulss %%xmm3, %%xmm5") /* xmm5 = b*d */
__ASM_EMIT("mulss %%xmm0, %%xmm0") /* xmm0 = a*a */
__ASM_EMIT("mulss %%xmm1, %%xmm1") /* xmm1 = b*b */
__ASM_EMIT("mulss %%xmm2, %%xmm2") /* xmm2 = c*c */
__ASM_EMIT("mulss %%xmm3, %%xmm3") /* xmm3 = d*d */
__ASM_EMIT("addss %%xmm1, %%xmm0") /* xmm0 = a*a + b*b */
__ASM_EMIT("addss %%xmm3, %%xmm2") /* xmm2 = c*c + d*d */
__ASM_EMIT("mulss %%xmm2, %%xmm0") /* xmm0 = den = (a*a + b*b)*(c*c + d*d) */
__ASM_EMIT("addss %%xmm5, %%xmm4") /* xmm4 = nom = a*c + b*d */
__ASM_EMIT("sqrtss %%xmm0, %%xmm1") /* xmm1 = sqrt(den) */
__ASM_EMIT("divss %%xmm1, %%xmm4") /* xmm4 = nom / sqrt(den) */
__ASM_EMIT("cmpps $5, %%xmm7, %%xmm0") /* xmm0 = [den >= threshold] */
__ASM_EMIT("andps %%xmm4, %%xmm0") /* xmm0 = (den >= threshold) ? nom / sqrt(den) : 0.0f */
__ASM_EMIT("movss %%xmm0, 0x00(%[dst], %[off])") /* dst[0] = v0 */
__ASM_EMIT("add $0x04, %[off]")
__ASM_EMIT("dec %[count]")
__ASM_EMIT("jge 5b")
/* End */
__ASM_EMIT("6:")
: [count] "+r" (count), [off] "=&r" (off)
: [dst] "r" (dst_corr), [src1] "r" (src1), [src2] "r" (src2),
[CC] "m" (pcomplex_corr_const)
: "cc", "memory",
"%xmm0", "%xmm1", "%xmm2", "%xmm3",
"%xmm4", "%xmm5", "%xmm6", "%xmm7",
"%xmm8", "%xmm9", "%xmm10", "%xmm11",
"%xmm12", "%xmm13", "%xmm14", "%xmm15"
);
}
} /* namespace sse3 */
} /* namespace lsp */
#endif /* PRIVATE_DSP_ARCH_X86_SSE3_PCOMPLEX_H_ */