/* * Copyright (C) 2024 Linux Studio Plugins Project * (C) 2024 Vladimir Sadovnikov * * This file is part of lsp-dsp-lib * Created on: 31 мар. 2020 г. * * lsp-dsp-lib is free software: you can redistribute it and/or modify * it under the terms of the GNU Lesser General Public License as published by * the Free Software Foundation, either version 3 of the License, or * any later version. * * lsp-dsp-lib is distributed in the hope that it will be useful, * but WITHOUT ANY WARRANTY; without even the implied warranty of * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the * GNU Lesser General Public License for more details. * * You should have received a copy of the GNU Lesser General Public License * along with lsp-dsp-lib. If not, see . */ #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_PCOMPLEX_H_ #define PRIVATE_DSP_ARCH_ARM_NEON_D32_PCOMPLEX_H_ #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL #error "This header should not be included directly" #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */ namespace lsp { namespace neon_d32 { void pcomplex_mul2(float *dst, const float *src, size_t count) { IF_ARCH_ARM(float *src2); ARCH_ARM_ASM ( __ASM_EMIT("subs %[count], #8") __ASM_EMIT("blo 2f") __ASM_EMIT("mov %[src2], %[dst]") // x8 blocks __ASM_EMIT("1:") __ASM_EMIT("vld2.32 {q0-q1}, [%[src1]]!") // q0 = sr, q1 = si __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = dr, q3 = di __ASM_EMIT("vld2.32 {q4-q5}, [%[src1]]!") __ASM_EMIT("vld2.32 {q6-q7}, [%[src2]]!") __ASM_EMIT("vmul.f32 q8, q0, q2") // q8 = sr*dr __ASM_EMIT("vmul.f32 q9, q1, q2") // q9 = si*dr __ASM_EMIT("vmul.f32 q10, q4, q6") __ASM_EMIT("vmls.f32 q8, q1, q3") // q8 = sr*dr - si*di __ASM_EMIT("vmul.f32 q11, q5, q6") __ASM_EMIT("vmla.f32 q9, q0, q3") // q9 = si*dr + sr*di __ASM_EMIT("vmls.f32 q10, q5, q7") __ASM_EMIT("vmla.f32 q11, q4, q7") __ASM_EMIT("vst2.32 {q8-q9}, [%[dst]]!") __ASM_EMIT("subs %[count], #8") __ASM_EMIT("vst2.32 {q10-q11}, [%[dst]]!") __ASM_EMIT("bhs 1b") // x4 blocks __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 4f") __ASM_EMIT("vld2.32 {q0-q1}, [%[src1]]!") // q0 = sr, q1 = si __ASM_EMIT("vld2.32 {q2-q3}, [%[dst]]") // q2 = dr, q3 = di __ASM_EMIT("vmul.f32 q8, q0, q2") // q8 = sr*dr __ASM_EMIT("vmul.f32 q9" ", q1, q2") // q9 = si*dr __ASM_EMIT("vmls.f32 q8, q1, q3") // q8 = sr*dr - si*di __ASM_EMIT("vmla.f32 q9, q0, q3") // q9 = si*dr + sr*di __ASM_EMIT("vst2.32 {q8-q9}, [%[dst]]!") __ASM_EMIT("sub %[count], #4") // x1 blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 6f") __ASM_EMIT("5:") __ASM_EMIT("vldm.32 %[src1]!, {s0-s1}") // s0 = sr, q1 = si __ASM_EMIT("vldm.32 %[dst], {s2-s3}") // s2 = dr, q3 = di __ASM_EMIT("vmul.f32 s8, s0, s2") // s8 = sr*dr __ASM_EMIT("vmul.f32 s9, s1, s2") // s9 = si*dr __ASM_EMIT("vmls.f32 s8, s1, s3") // s8 = sr*dr - si*di __ASM_EMIT("vmla.f32 s9, s0, s3") // s9 = si*dr + sr*di __ASM_EMIT("vstm.32 %[dst]!, {s8-s9}") __ASM_EMIT("subs %[count], #1") __ASM_EMIT("bge 5b") __ASM_EMIT("6:") : [dst] "+r" (dst), [src1] "+r" (src), [src2] "=&r" (src2), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11" ); } void pcomplex_mul3(float *dst, const float *src1, const float *src2, size_t count) { ARCH_ARM_ASM ( __ASM_EMIT("subs %[count], #8") __ASM_EMIT("blo 2f") // x8 blocks __ASM_EMIT("1:") __ASM_EMIT("vld2.32 {q0-q1}, [%[src1]]!") // q0 = sr, q1 = si __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = dr, q3 = di __ASM_EMIT("vld2.32 {q4-q5}, [%[src1]]!") __ASM_EMIT("vld2.32 {q6-q7}, [%[src2]]!") __ASM_EMIT("vmul.f32 q8, q0, q2") // q8 = sr*dr __ASM_EMIT("vmul.f32 q9, q1, q2") // q9 = si*dr __ASM_EMIT("vmul.f32 q10, q4, q6") __ASM_EMIT("vmls.f32 q8, q1, q3") // q8 = sr*dr - si*di __ASM_EMIT("vmul.f32 q11, q5, q6") __ASM_EMIT("vmla.f32 q9, q0, q3") // q9 = si*dr + sr*di __ASM_EMIT("vmls.f32 q10, q5, q7") __ASM_EMIT("vmla.f32 q11, q4, q7") __ASM_EMIT("vst2.32 {q8-q9}, [%[dst]]!") __ASM_EMIT("subs %[count], #8") __ASM_EMIT("vst2.32 {q10-q11}, [%[dst]]!") __ASM_EMIT("bhs 1b") // x4 blocks __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 4f") __ASM_EMIT("vld2.32 {q0-q1}, [%[src1]]!") // q0 = sr, q1 = si __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = dr, q3 = di __ASM_EMIT("vmul.f32 q8, q0, q2") // q8 = sr*dr __ASM_EMIT("vmul.f32 q9, q1, q2") // q9 = si*dr __ASM_EMIT("vmls.f32 q8, q1, q3") // q8 = sr*dr - si*di __ASM_EMIT("vmla.f32 q9, q0, q3") // q9 = si*dr + sr*di __ASM_EMIT("vst2.32 {q8-q9}, [%[dst]]!") __ASM_EMIT("sub %[count], #4") // x1 blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 6f") __ASM_EMIT("5:") __ASM_EMIT("vldm.32 %[src1]!, {s0-s1}") // s0 = sr, q1 = si __ASM_EMIT("vldm.32 %[src2]!, {s2-s3}") // s2 = dr, q3 = di __ASM_EMIT("vmul.f32 s8, s0, s2") // s8 = sr*dr __ASM_EMIT("vmul.f32 s9, s1, s2") // s9 = si*dr __ASM_EMIT("vmls.f32 s8, s1, s3") // s8 = sr*dr - si*di __ASM_EMIT("vmla.f32 s9, s0, s3") // s9 = si*dr + sr*di __ASM_EMIT("vstm.32 %[dst]!, {s8-s9}") __ASM_EMIT("subs %[count], #1") __ASM_EMIT("bge 5b") __ASM_EMIT("6:") : [dst] "+r" (dst), [src1] "+r" (src1), [src2] "+r" (src2), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11" ); } void pcomplex_div2(float *dst, const float *src, size_t count) { IF_ARCH_ARM(float *src2); ARCH_ARM_ASM ( __ASM_EMIT("subs %[count], #8") __ASM_EMIT("blo 2f") __ASM_EMIT("mov %[src2], %[dst]") // x8 blocks __ASM_EMIT("1:") __ASM_EMIT("vld2.32 {q4-q5}, [%[src]]!") // q4 = sr, q5 = si __ASM_EMIT("vld2.32 {q8-q9}, [%[src2]]!") // q8 = dr, q9 = di __ASM_EMIT("vld2.32 {q6-q7}, [%[src]]!") __ASM_EMIT("vld2.32 {q10-q11}, [%[src2]]!") __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr __ASM_EMIT("vmul.f32 q2, q6, q10") __ASM_EMIT("vmul.f32 q1, q4, q9") // q1 = sr*di __ASM_EMIT("vmul.f32 q3, q6, q11") __ASM_EMIT("vmla.f32 q0, q5, q9") // q0 = sr*dr + si*di __ASM_EMIT("vmla.f32 q2, q7, q11") __ASM_EMIT("vmls.f32 q1, q5, q8") // q1 = sr*di - si*dr __ASM_EMIT("vmls.f32 q3, q7, q10") __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr __ASM_EMIT("vmul.f32 q6, q6, q6") __ASM_EMIT("vmla.f32 q4, q5, q5") // q4 = sr*sr + si*si __ASM_EMIT("vmla.f32 q6, q7, q7") // q4 = 1 / (sr*sr + si*si) __ASM_EMIT("vrecpe.f32 q5, q4") // q5 = x0 __ASM_EMIT("vrecpe.f32 q7, q6") __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x0) __ASM_EMIT("vrecps.f32 q10, q7, q6") __ASM_EMIT("vmul.f32 q5, q8, q5") // q5 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vmul.f32 q7, q10, q7") __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x1) __ASM_EMIT("vrecps.f32 q10, q7, q6") __ASM_EMIT("vmul.f32 q4, q8, q5") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q6, q10, q7") __ASM_EMIT("vmul.f32 q0, q0, q4") __ASM_EMIT("vmul.f32 q2, q2, q6") __ASM_EMIT("vmul.f32 q1, q1, q4") __ASM_EMIT("vmul.f32 q3, q3, q6") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("subs %[count], #8") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") __ASM_EMIT("bhs 1b") // x4 blocks __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 4f") __ASM_EMIT("vld2.32 {q4-q5}, [%[src]]!") // q4 = sr, q5 = si __ASM_EMIT("vld2.32 {q8-q9}, [%[dst]]") // q8 = dr, q9 = di __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr __ASM_EMIT("vmul.f32 q1, q4, q9") // q1 = sr*di __ASM_EMIT("vmla.f32 q0, q5, q9") // q0 = sr*dr + si*di __ASM_EMIT("vmls.f32 q1, q5, q8") // q1 = sr*di - si*dr __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr __ASM_EMIT("vmla.f32 q4, q5, q5") // q4 = sr*sr + si*si // q4 = 1 / (sr*sr + si*si) __ASM_EMIT("vrecpe.f32 q5, q4") // q5 = x0 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x0) __ASM_EMIT("vmul.f32 q5, q8, q5") // q5 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x1) __ASM_EMIT("vmul.f32 q4, q8, q5") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q0, q0, q4") __ASM_EMIT("vmul.f32 q1, q1, q4") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("sub %[count], #4") // x1 blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 6f") __ASM_EMIT("5:") __ASM_EMIT("vld2.32 {d8[], d10[]}, [%[src]]!") // q4 = sr, q5 = si __ASM_EMIT("vld2.32 {d16[], d18[]}, [%[dst]]") // q8 = dr, q9 = di __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr __ASM_EMIT("vmul.f32 q1, q4, q9") // q1 = sr*di __ASM_EMIT("vmla.f32 q0, q5, q9") // q0 = sr*dr + si*di __ASM_EMIT("vmls.f32 q1, q5, q8") // q1 = sr*di - si*dr __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr __ASM_EMIT("vmla.f32 q4, q5, q5") // q4 = sr*sr + si*si // q4 = 1 / (sr*sr + si*si) __ASM_EMIT("vrecpe.f32 q5, q4") // q5 = x0 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x0) __ASM_EMIT("vmul.f32 q5, q8, q5") // q5 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x1) __ASM_EMIT("vmul.f32 q4, q8, q5") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q0, q0, q4") __ASM_EMIT("vmul.f32 q1, q1, q4") __ASM_EMIT("vst2.32 {d0[0], d2[0]}, [%[dst]]!") __ASM_EMIT("subs %[count], #1") __ASM_EMIT("bge 5b") __ASM_EMIT("6:") : [dst] "+r" (dst), [src] "+r" (src), [src2] "=&r" (src2), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11" ); } void pcomplex_rdiv2(float *dst, const float *src, size_t count) { IF_ARCH_ARM(float *src2); ARCH_ARM_ASM ( __ASM_EMIT("subs %[count], #8") __ASM_EMIT("blo 2f") __ASM_EMIT("mov %[src2], %[dst]") // x8 blocks __ASM_EMIT("1:") __ASM_EMIT("vld2.32 {q4-q5}, [%[src2]]!") // q4 = sr, q5 = si __ASM_EMIT("vld2.32 {q8-q9}, [%[src]]!") // q8 = dr, q9 = di __ASM_EMIT("vld2.32 {q6-q7}, [%[src2]]!") __ASM_EMIT("vld2.32 {q10-q11}, [%[src]]!") __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr __ASM_EMIT("vmul.f32 q2, q6, q10") __ASM_EMIT("vmul.f32 q1, q4, q9") // q1 = sr*di __ASM_EMIT("vmul.f32 q3, q6, q11") __ASM_EMIT("vmla.f32 q0, q5, q9") // q0 = sr*dr + si*di __ASM_EMIT("vmla.f32 q2, q7, q11") __ASM_EMIT("vmls.f32 q1, q5, q8") // q1 = sr*di - si*dr __ASM_EMIT("vmls.f32 q3, q7, q10") __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr __ASM_EMIT("vmul.f32 q6, q6, q6") __ASM_EMIT("vmla.f32 q4, q5, q5") // q4 = sr*sr + si*si __ASM_EMIT("vmla.f32 q6, q7, q7") // q4 = 1 / (sr*sr + si*si) __ASM_EMIT("vrecpe.f32 q5, q4") // q5 = x0 __ASM_EMIT("vrecpe.f32 q7, q6") __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x0) __ASM_EMIT("vrecps.f32 q10, q7, q6") __ASM_EMIT("vmul.f32 q5, q8, q5") // q5 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vmul.f32 q7, q10, q7") __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x1) __ASM_EMIT("vrecps.f32 q10, q7, q6") __ASM_EMIT("vmul.f32 q4, q8, q5") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q6, q10, q7") __ASM_EMIT("vmul.f32 q0, q0, q4") __ASM_EMIT("vmul.f32 q2, q2, q6") __ASM_EMIT("vmul.f32 q1, q1, q4") __ASM_EMIT("vmul.f32 q3, q3, q6") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("subs %[count], #8") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") __ASM_EMIT("bhs 1b") // x4 blocks __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 4f") __ASM_EMIT("vld2.32 {q4-q5}, [%[dst]]") // q4 = sr, q5 = si __ASM_EMIT("vld2.32 {q8-q9}, [%[src]]!") // q8 = dr, q9 = di __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr __ASM_EMIT("vmul.f32 q1, q4, q9") // q1 = sr*di __ASM_EMIT("vmla.f32 q0, q5, q9") // q0 = sr*dr + si*di __ASM_EMIT("vmls.f32 q1, q5, q8") // q1 = sr*di - si*dr __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr __ASM_EMIT("vmla.f32 q4, q5, q5") // q4 = sr*sr + si*si // q4 = 1 / (sr*sr + si*si) __ASM_EMIT("vrecpe.f32 q5, q4") // q5 = x0 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x0) __ASM_EMIT("vmul.f32 q5, q8, q5") // q5 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x1) __ASM_EMIT("vmul.f32 q4, q8, q5") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q0, q0, q4") __ASM_EMIT("vmul.f32 q1, q1, q4") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("sub %[count], #4") // x1 blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 6f") __ASM_EMIT("5:") __ASM_EMIT("vld2.32 {d8[], d10[]}, [%[dst]]") // q4 = sr, q5 = si __ASM_EMIT("vld2.32 {d16[], d18[]}, [%[src]]!") // q8 = dr, q9 = di __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr __ASM_EMIT("vmul.f32 q1, q4, q9") // q1 = sr*di __ASM_EMIT("vmla.f32 q0, q5, q9") // q0 = sr*dr + si*di __ASM_EMIT("vmls.f32 q1, q5, q8") // q1 = sr*di - si*dr __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr __ASM_EMIT("vmla.f32 q4, q5, q5") // q4 = sr*sr + si*si // q4 = 1 / (sr*sr + si*si) __ASM_EMIT("vrecpe.f32 q5, q4") // q5 = x0 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x0) __ASM_EMIT("vmul.f32 q5, q8, q5") // q5 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x1) __ASM_EMIT("vmul.f32 q4, q8, q5") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q0, q0, q4") __ASM_EMIT("vmul.f32 q1, q1, q4") __ASM_EMIT("vst2.32 {d0[0], d2[0]}, [%[dst]]!") __ASM_EMIT("subs %[count], #1") __ASM_EMIT("bge 5b") __ASM_EMIT("6:") : [dst] "+r" (dst), [src] "+r" (src), [src2] "=&r" (src2), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11" ); } void pcomplex_div3(float *dst, const float *t, const float *b, size_t count) { ARCH_ARM_ASM ( __ASM_EMIT("subs %[count], #8") __ASM_EMIT("blo 2f") // x8 blocks __ASM_EMIT("1:") __ASM_EMIT("vld2.32 {q4-q5}, [%[b]]!") // q4 = sr, q5 = si __ASM_EMIT("vld2.32 {q8-q9}, [%[t]]!") // q8 = dr, q9 = di __ASM_EMIT("vld2.32 {q6-q7}, [%[b]]!") __ASM_EMIT("vld2.32 {q10-q11}, [%[t]]!") __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr __ASM_EMIT("vmul.f32 q2, q6, q10") __ASM_EMIT("vmul.f32 q1, q4, q9") // q1 = sr*di __ASM_EMIT("vmul.f32 q3, q6, q11") __ASM_EMIT("vmla.f32 q0, q5, q9") // q0 = sr*dr + si*di __ASM_EMIT("vmla.f32 q2, q7, q11") __ASM_EMIT("vmls.f32 q1, q5, q8") // q1 = sr*di - si*dr __ASM_EMIT("vmls.f32 q3, q7, q10") __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr __ASM_EMIT("vmul.f32 q6, q6, q6") __ASM_EMIT("vmla.f32 q4, q5, q5") // q4 = sr*sr + si*si __ASM_EMIT("vmla.f32 q6, q7, q7") // q4 = 1 / (sr*sr + si*si) __ASM_EMIT("vrecpe.f32 q5, q4") // q5 = x0 __ASM_EMIT("vrecpe.f32 q7, q6") __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x0) __ASM_EMIT("vrecps.f32 q10, q7, q6") __ASM_EMIT("vmul.f32 q5, q8, q5") // q5 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vmul.f32 q7, q10, q7") __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x1) __ASM_EMIT("vrecps.f32 q10, q7, q6") __ASM_EMIT("vmul.f32 q4, q8, q5") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q6, q10, q7") __ASM_EMIT("vmul.f32 q0, q0, q4") __ASM_EMIT("vmul.f32 q2, q2, q6") __ASM_EMIT("vmul.f32 q1, q1, q4") __ASM_EMIT("vmul.f32 q3, q3, q6") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("subs %[count], #8") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") __ASM_EMIT("bhs 1b") // x4 blocks __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 4f") __ASM_EMIT("vld2.32 {q4-q5}, [%[b]]!") // q4 = sr, q5 = si __ASM_EMIT("vld2.32 {q8-q9}, [%[t]]!") // q8 = dr, q9 = di __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr __ASM_EMIT("vmul.f32 q1, q4, q9") // q1 = sr*di __ASM_EMIT("vmla.f32 q0, q5, q9") // q0 = sr*dr + si*di __ASM_EMIT("vmls.f32 q1, q5, q8") // q1 = sr*di - si*dr __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr __ASM_EMIT("vmla.f32 q4, q5, q5") // q4 = sr*sr + si*si // q4 = 1 / (sr*sr + si*si) __ASM_EMIT("vrecpe.f32 q5, q4") // q5 = x0 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x0) __ASM_EMIT("vmul.f32 q5, q8, q5") // q5 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x1) __ASM_EMIT("vmul.f32 q4, q8, q5") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q0, q0, q4") __ASM_EMIT("vmul.f32 q1, q1, q4") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("sub %[count], #4") // x1 blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 6f") __ASM_EMIT("5:") __ASM_EMIT("vld2.32 {d8[], d10[]}, [%[b]]!") // q4 = sr, q5 = si __ASM_EMIT("vld2.32 {d16[], d18[]}, [%[t]]!") // q8 = dr, q9 = di __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr __ASM_EMIT("vmul.f32 q1, q4, q9") // q1 = sr*di __ASM_EMIT("vmla.f32 q0, q5, q9") // q0 = sr*dr + si*di __ASM_EMIT("vmls.f32 q1, q5, q8") // q1 = sr*di - si*dr __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr __ASM_EMIT("vmla.f32 q4, q5, q5") // q4 = sr*sr + si*si // q4 = 1 / (sr*sr + si*si) __ASM_EMIT("vrecpe.f32 q5, q4") // q5 = x0 __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x0) __ASM_EMIT("vmul.f32 q5, q8, q5") // q5 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vrecps.f32 q8, q5, q4") // q8 = (2 - R*x1) __ASM_EMIT("vmul.f32 q4, q8, q5") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q0, q0, q4") __ASM_EMIT("vmul.f32 q1, q1, q4") __ASM_EMIT("vst2.32 {d0[0], d2[0]}, [%[dst]]!") __ASM_EMIT("subs %[count], #1") __ASM_EMIT("bge 5b") __ASM_EMIT("6:") : [dst] "+r" (dst), [b] "+r" (b), [t] "=&r" (t), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11" ); } void pcomplex_mod(float *dst, const float *src, size_t count) { ARCH_ARM_ASM ( __ASM_EMIT("subs %[count], #16") __ASM_EMIT("blo 2f") //----------------------------------------------------------------- // x16 blocks __ASM_EMIT("1:") __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i __ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!") __ASM_EMIT("vmul.f32 q0, q0, q0") // q0 = r*r __ASM_EMIT("vld2.32 {q4-q5}, [%[src]]!") __ASM_EMIT("vmul.f32 q2, q2, q2") __ASM_EMIT("vld2.32 {q6-q7}, [%[src]]!") __ASM_EMIT("vmul.f32 q4, q4, q4") __ASM_EMIT("vmul.f32 q6, q6, q6") __ASM_EMIT("vmla.f32 q0, q1, q1") // q0 = R = r*r + i*i __ASM_EMIT("vmla.f32 q2, q3, q3") __ASM_EMIT("vmla.f32 q4, q5, q5") __ASM_EMIT("vmla.f32 q6, q7, q7") // 1/sqrt(R) calculation __ASM_EMIT("vrsqrte.f32 q1, q0") // q1 = x0 __ASM_EMIT("vrsqrte.f32 q3, q2") __ASM_EMIT("vrsqrte.f32 q5, q4") __ASM_EMIT("vrsqrte.f32 q7, q6") __ASM_EMIT("vmul.f32 q8, q1, q0") // q8 = R * x0 __ASM_EMIT("vmul.f32 q10, q3, q2") __ASM_EMIT("vmul.f32 q12, q5, q4") __ASM_EMIT("vmul.f32 q14, q7, q6") __ASM_EMIT("vrsqrts.f32 q9, q8, q1") // q9 = (3 - R * x0 * x0) / 2 __ASM_EMIT("vrsqrts.f32 q11, q10, q3") __ASM_EMIT("vrsqrts.f32 q13, q12, q5") __ASM_EMIT("vrsqrts.f32 q15, q14, q7") __ASM_EMIT("vmul.f32 q1, q1, q9") // q1 = x1 = x0 * (3 - R * x0 * x0) / 2 __ASM_EMIT("vmul.f32 q3, q3, q11") __ASM_EMIT("vmul.f32 q5, q5, q13") __ASM_EMIT("vmul.f32 q7, q7, q15") __ASM_EMIT("vmul.f32 q8, q1, q0") // q8 = R * x1 __ASM_EMIT("vmul.f32 q10, q3, q2") __ASM_EMIT("vmul.f32 q12, q5, q4") __ASM_EMIT("vmul.f32 q14, q7, q6") __ASM_EMIT("vrsqrts.f32 q9, q8, q1") // q9 = (3 - R * x1 * x1) / 2 __ASM_EMIT("vrsqrts.f32 q11, q10, q3") __ASM_EMIT("vrsqrts.f32 q13, q12, q5") __ASM_EMIT("vrsqrts.f32 q15, q14, q7") __ASM_EMIT("vmul.f32 q1, q1, q9") // q1 = 1 / sqrt(R) x2 = x1 * (3 - R * x1 * x1) / 2 __ASM_EMIT("vmul.f32 q3, q3, q11") __ASM_EMIT("vmul.f32 q5, q5, q13") __ASM_EMIT("vmul.f32 q7, q7, q15") __ASM_EMIT("vmul.f32 q0, q0, q1") // q0 = R / sqrt(R) = sqrt(R) __ASM_EMIT("vmul.f32 q1, q2, q3") __ASM_EMIT("vmul.f32 q2, q4, q5") __ASM_EMIT("vmul.f32 q3, q6, q7") __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("subs %[count], #16") __ASM_EMIT("vst1.32 {q2-q3}, [%[dst]]!") __ASM_EMIT("bhs 1b") //----------------------------------------------------------------- // x8 blocks __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #8") __ASM_EMIT("blt 4f") __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i __ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!") __ASM_EMIT("vmul.f32 q0, q0, q0") // q0 = r*r __ASM_EMIT("vmul.f32 q2, q2, q2") __ASM_EMIT("vmla.f32 q0, q1, q1") // q0 = R = r*r + i*i __ASM_EMIT("vmla.f32 q2, q3, q3") // 1/sqrt(R) calculation __ASM_EMIT("vrsqrte.f32 q1, q0") // q1 = x0 __ASM_EMIT("vrsqrte.f32 q3, q2") __ASM_EMIT("vmul.f32 q8, q1, q0") // q8 = R * x0 __ASM_EMIT("vmul.f32 q10, q3, q2") __ASM_EMIT("vrsqrts.f32 q9, q8, q1") // q9 = (3 - R * x0 * x0) / 2 __ASM_EMIT("vrsqrts.f32 q11, q10, q3") __ASM_EMIT("vmul.f32 q1, q1, q9") // q1 = x1 = x0 * (3 - R * x0 * x0) / 2 __ASM_EMIT("vmul.f32 q3, q3, q11") __ASM_EMIT("vmul.f32 q8, q1, q0") // q8 = R * x1 __ASM_EMIT("vmul.f32 q10, q3, q2") __ASM_EMIT("vrsqrts.f32 q9, q8, q1") // q9 = (3 - R * x1 * x1) / 2 __ASM_EMIT("vrsqrts.f32 q11, q10, q3") __ASM_EMIT("vmul.f32 q1, q1, q9") // q1 = 1 / sqrt(R) x2 = x1 * (3 - R * x1 * x1) / 2 __ASM_EMIT("vmul.f32 q3, q3, q11") // 1 / (1/sqrt(R)) = sqrt(R) calculation __ASM_EMIT("vmul.f32 q0, q0, q1") // q0 = R / sqrt(R) = sqrt(R) __ASM_EMIT("vmul.f32 q1, q2, q3") __ASM_EMIT("sub %[count], #8") __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!") //----------------------------------------------------------------- // x4 blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 6f") __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i __ASM_EMIT("vmul.f32 q0, q0, q0") // q0 = r*r __ASM_EMIT("vmla.f32 q0, q1, q1") // q0 = R = r*r + i*i // 1/sqrt(R) calculation __ASM_EMIT("vrsqrte.f32 q1, q0") // q1 = x0 __ASM_EMIT("vmul.f32 q2, q1, q0") // q2 = R * x0 __ASM_EMIT("vrsqrts.f32 q3, q2, q1") // q3 = (3 - R * x0 * x0) / 2 __ASM_EMIT("vmul.f32 q1, q1, q3") // q1 = x1 = x0 * (3 - R * x0 * x0) / 2 __ASM_EMIT("vmul.f32 q2, q1, q0") // q2 = R * x1 __ASM_EMIT("vrsqrts.f32 q3, q2, q1") // q3 = (3 - R * x1 * x1) / 2 __ASM_EMIT("vmul.f32 q1, q1, q3") // q0 = x2 = x1 * (3 - R * x1 * x1) / 2 // 1 / (1/sqrt(R)) = sqrt(R) calculation __ASM_EMIT("vmul.f32 q0, q1") // q0 = R / sqrt(R) = sqrt(R) __ASM_EMIT("sub %[count], #4") __ASM_EMIT("vst1.32 {q0}, [%[dst]]!") // x1 blocks __ASM_EMIT("6:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 8f") __ASM_EMIT("7:") __ASM_EMIT("vldm.32 %[src]!, {s0-s1}") __ASM_EMIT("vmul.f32 s0, s0, s0") // s0 = r*r __ASM_EMIT("vmla.f32 s0, s1, s1") // s0 = r*r + i*i __ASM_EMIT("vsqrt.f32 s0, s0") // s0 = sqrt(r*r + i*i) __ASM_EMIT("subs %[count], #1") __ASM_EMIT("vstm.32 %[dst]!, {s0}") __ASM_EMIT("bge 7b") __ASM_EMIT("8:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15" ); } void pcomplex_rcp1(float *dst, size_t count) { IF_ARCH_ARM(float *src); ARCH_ARM_ASM ( __ASM_EMIT("subs %[count], #8") __ASM_EMIT("blo 2f") //----------------------------------------------------------------- // x8 blocks __ASM_EMIT("mov %[src], %[dst]") __ASM_EMIT("1:") __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i __ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!") __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r __ASM_EMIT("vmul.f32 q5, q2, q2") __ASM_EMIT("vmla.f32 q4, q1, q1") // q4 = R = r*r + i*i __ASM_EMIT("vmla.f32 q5, q3, q3") // 1 / R calculation __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecpe.f32 q8, q5") __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0) __ASM_EMIT("vrecps.f32 q9, q8, q5") __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vmul.f32 q8, q9, q8") __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1) __ASM_EMIT("vrecps.f32 q9, q8, q5") __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q5, q9, q8") // r/R, -i/R __ASM_EMIT("vneg.f32 q1, q1") // q1 = -i __ASM_EMIT("vneg.f32 q3, q3") __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R __ASM_EMIT("vmul.f32 q2, q2, q5") __ASM_EMIT("vmul.f32 q1, q1, q4") // q1 = -i / R __ASM_EMIT("vmul.f32 q3, q3, q5") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("subs %[count], #8") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") __ASM_EMIT("bhs 1b") //----------------------------------------------------------------- // x4 blocks __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 4f") __ASM_EMIT("vld2.32 {q0-q1}, [%[dst]]") // q0 = r, q1 = i __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r __ASM_EMIT("vmla.f32 q4, q1, q1") // q4 = R = r*r + i*i // 1 / R calculation __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0) __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1) __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0) // r/R, -i/R __ASM_EMIT("vneg.f32 q1, q1") // q1 = -i __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R __ASM_EMIT("vmul.f32 q1, q1, q4") // q1 = -i / R __ASM_EMIT("sub %[count], #4") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") // x1 blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 6f") __ASM_EMIT("5:") __ASM_EMIT("vldm.32 %[dst], {s0-s1}") // s0 = r, s1 = i __ASM_EMIT("vmul.f32 s4, s0, s0") // s4 = r*r __ASM_EMIT("vmla.f32 s4, s1, s1") // s4 = R = r*r + i*i __ASM_EMIT("vneg.f32 s1, s1") // s1 = -i __ASM_EMIT("vdiv.f32 s0, s0, s4") // s0 = r / R __ASM_EMIT("vdiv.f32 s1, s1, s4") // s1 = -i / R __ASM_EMIT("subs %[count], #1") __ASM_EMIT("vstm.32 %[dst]!, {s0-s1}") __ASM_EMIT("bge 5b") __ASM_EMIT("6:") : [src] "=&r" (src), [dst] "+r" (dst), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11" ); } void pcomplex_rcp2(float *dst, const float *src, size_t count) { ARCH_ARM_ASM ( __ASM_EMIT("subs %[count], #8") __ASM_EMIT("blo 2f") //----------------------------------------------------------------- // x8 blocks __ASM_EMIT("1:") __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i __ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!") __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r __ASM_EMIT("vmul.f32 q5, q2, q2") __ASM_EMIT("vmla.f32 q4, q1, q1") // q4 = R = r*r + i*i __ASM_EMIT("vmla.f32 q5, q3, q3") // 1 / R calculation __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecpe.f32 q8, q5") __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0) __ASM_EMIT("vrecps.f32 q9, q8, q5") __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vmul.f32 q8, q9, q8") __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1) __ASM_EMIT("vrecps.f32 q9, q8, q5") __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q5, q9, q8") // r/R, -i/R __ASM_EMIT("vneg.f32 q1, q1") // q1 = -i __ASM_EMIT("vneg.f32 q3, q3") __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R __ASM_EMIT("vmul.f32 q2, q2, q5") __ASM_EMIT("vmul.f32 q1, q1, q4") // q1 = -i / R __ASM_EMIT("vmul.f32 q3, q3, q5") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("subs %[count], #8") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") __ASM_EMIT("bhs 1b") //----------------------------------------------------------------- // x4 blocks __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 4f") __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r __ASM_EMIT("vmla.f32 q4, q1, q1") // q4 = R = r*r + i*i // 1 / R calculation __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0) __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1) __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0) // r/R, -i/R __ASM_EMIT("vneg.f32 q1, q1") // q1 = -i __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R __ASM_EMIT("vmul.f32 q1, q1, q4") // q1 = -i / R __ASM_EMIT("sub %[count], #4") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") // x1 blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 6f") __ASM_EMIT("5:") __ASM_EMIT("vldm.32 %[src]!, {s0-s1}") // s0 = r, s1 = i __ASM_EMIT("vmul.f32 s4, s0, s0") // s4 = r*r __ASM_EMIT("vmla.f32 s4, s1, s1") // s4 = R = r*r + i*i __ASM_EMIT("vneg.f32 s1, s1") // s1 = -i __ASM_EMIT("vdiv.f32 s0, s0, s4") // s0 = r / R __ASM_EMIT("vdiv.f32 s1, s1, s4") // s1 = -i / R __ASM_EMIT("subs %[count], #1") __ASM_EMIT("vstm.32 %[dst]!, {s0-s1}") __ASM_EMIT("bge 5b") __ASM_EMIT("6:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11" ); } void pcomplex_c2r(float *dst, const float *src, size_t count) { ARCH_ARM_ASM ( __ASM_EMIT("subs %[count], #32") __ASM_EMIT("blo 2f") // x32 blocks __ASM_EMIT("1:") __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i __ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!") __ASM_EMIT("vld2.32 {q4-q5}, [%[src]]!") __ASM_EMIT("vmov q1, q2") __ASM_EMIT("vld2.32 {q6-q7}, [%[src]]!") __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("vmov q2, q4") __ASM_EMIT("vld2.32 {q8-q9}, [%[src]]!") __ASM_EMIT("vmov q3, q6") __ASM_EMIT("vld2.32 {q10-q11}, [%[src]]!") __ASM_EMIT("vst1.32 {q2-q3}, [%[dst]]!") __ASM_EMIT("vmov q4, q8") __ASM_EMIT("vld2.32 {q12-q13}, [%[src]]!") __ASM_EMIT("vmov q5, q10") __ASM_EMIT("vld2.32 {q14-q15}, [%[src]]!") __ASM_EMIT("vst1.32 {q4-q5}, [%[dst]]!") __ASM_EMIT("vmov q6, q12") __ASM_EMIT("vmov q7, q14") __ASM_EMIT("subs %[count], #32") __ASM_EMIT("vst1.32 {q6-q7}, [%[dst]]!") __ASM_EMIT("bhs 1b") // x16 block __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #16") __ASM_EMIT("blt 4f") __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i __ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!") __ASM_EMIT("vld2.32 {q4-q5}, [%[src]]!") __ASM_EMIT("vmov q1, q2") __ASM_EMIT("vld2.32 {q6-q7}, [%[src]]!") __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("vmov q2, q4") __ASM_EMIT("vmov q3, q6") __ASM_EMIT("sub %[count], #16") __ASM_EMIT("vst1.32 {q2-q3}, [%[dst]]!") // x8 block __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #8") __ASM_EMIT("blt 6f") __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i __ASM_EMIT("vld2.32 {q2-q3}, [%[src]]!") __ASM_EMIT("vmov q1, q2") __ASM_EMIT("sub %[count], #8") __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!") // x4 block __ASM_EMIT("6:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 8f") __ASM_EMIT("vld2.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = i __ASM_EMIT("sub %[count], #4") __ASM_EMIT("vst1.32 {q0}, [%[dst]]!") // x1 blocks __ASM_EMIT("8:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 10f") __ASM_EMIT("9:") __ASM_EMIT("vldm.32 %[src]!, {s0, s1}") // s0 = r, s1 = i __ASM_EMIT("subs %[count], #1") __ASM_EMIT("vstm.32 %[dst]!, {s0}") __ASM_EMIT("bge 9b") __ASM_EMIT("10:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15" ); } void pcomplex_r2c(float *dst, const float *src, size_t count) { ARCH_ARM_ASM ( __ASM_EMIT("subs %[count], #32") __ASM_EMIT("blo 2f") // x32 blocks __ASM_EMIT("1:") __ASM_EMIT("vld1.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = r __ASM_EMIT("vld1.32 {q2-q3}, [%[src]]!") __ASM_EMIT("vld1.32 {q4-q5}, [%[src]]!") __ASM_EMIT("vld1.32 {q6-q7}, [%[src]]!") __ASM_EMIT("veor q15, q15") __ASM_EMIT("veor q13, q13") __ASM_EMIT("veor q11, q11") __ASM_EMIT("veor q9, q9") __ASM_EMIT("vmov q14, q7") __ASM_EMIT("vmov q12, q6") __ASM_EMIT("veor q7, q7") __ASM_EMIT("vmov q10, q5") __ASM_EMIT("vmov q8, q4") __ASM_EMIT("veor q5, q5") __ASM_EMIT("vmov q6, q3") __ASM_EMIT("vmov q4, q2") __ASM_EMIT("veor q3, q3") __ASM_EMIT("vmov q2, q1") __ASM_EMIT("veor q1, q1") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") __ASM_EMIT("vst2.32 {q4-q5}, [%[dst]]!") __ASM_EMIT("vst2.32 {q6-q7}, [%[dst]]!") __ASM_EMIT("vst2.32 {q8-q9}, [%[dst]]!") __ASM_EMIT("vst2.32 {q10-q11}, [%[dst]]!") __ASM_EMIT("vst2.32 {q12-q13}, [%[dst]]!") __ASM_EMIT("vst2.32 {q14-q15}, [%[dst]]!") __ASM_EMIT("subs %[count], #32") __ASM_EMIT("bhs 1b") // x16 block __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #16") __ASM_EMIT("blt 4f") __ASM_EMIT("1:") __ASM_EMIT("vld1.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = r __ASM_EMIT("veor q7, q7") __ASM_EMIT("vld1.32 {q2-q3}, [%[src]]!") __ASM_EMIT("vmov q6, q3") __ASM_EMIT("veor q5, q5") __ASM_EMIT("vmov q4, q2") __ASM_EMIT("veor q3, q3") __ASM_EMIT("vmov q2, q1") __ASM_EMIT("veor q1, q1") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") __ASM_EMIT("vst2.32 {q4-q5}, [%[dst]]!") __ASM_EMIT("vst2.32 {q6-q7}, [%[dst]]!") __ASM_EMIT("sub %[count], #16") // x8 block __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #8") __ASM_EMIT("blt 6f") __ASM_EMIT("vld1.32 {q0-q1}, [%[src]]!") // q0 = r, q1 = r __ASM_EMIT("veor q3, q3") __ASM_EMIT("vmov q2, q1") __ASM_EMIT("vmov q1, q2") __ASM_EMIT("veor q1, q1") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("sub %[count], #8") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") // x4 block __ASM_EMIT("6:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 8f") __ASM_EMIT("vld1.32 {q0}, [%[src]]!") // q0 = r __ASM_EMIT("vmov q2, q1") __ASM_EMIT("veor q1, q1") __ASM_EMIT("sub %[count], #4") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") // x1 blocks __ASM_EMIT("8:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 10f") __ASM_EMIT("veor q0, q0") __ASM_EMIT("9:") __ASM_EMIT("vldm.32 %[src]!, {s0}") // s0 = r, s1 = i __ASM_EMIT("subs %[count], #1") __ASM_EMIT("vstm.32 %[dst]!, {s0, s1}") __ASM_EMIT("bge 9b") __ASM_EMIT("10:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15" ); } void pcomplex_r2c_add2(float *dst, const float *src, size_t count) { IF_ARCH_ARM(float *src2); ARCH_ARM_ASM ( // x16 blocks __ASM_EMIT("subs %[count], #16") __ASM_EMIT("mov %[src2], %[dst]") __ASM_EMIT("blo 2f") __ASM_EMIT("1:") __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1 __ASM_EMIT("vld2.32 {q4-q5}, [%[src2]]!") // q4 = r2, q5 = i2 __ASM_EMIT("vld2.32 {q6-q7}, [%[src2]]!") // q6 = r3, q7 = i3 __ASM_EMIT("vldm %[src]!, {d16-d23}") // q8-q11 = s __ASM_EMIT("vadd.f32 q0, q0, q8") __ASM_EMIT("vadd.f32 q2, q2, q9") __ASM_EMIT("vadd.f32 q4, q4, q10") __ASM_EMIT("vadd.f32 q6, q6, q11") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") __ASM_EMIT("vst2.32 {q4-q5}, [%[dst]]!") __ASM_EMIT("vst2.32 {q6-q7}, [%[dst]]!") __ASM_EMIT("subs %[count], #16") __ASM_EMIT("bhs 1b") // x8 block __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #8") __ASM_EMIT("blt 4f") __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1 __ASM_EMIT("vldm %[src]!, {d16-d19}") // q8-q9 = s __ASM_EMIT("vadd.f32 q0, q0, q8") __ASM_EMIT("vadd.f32 q2, q2, q9") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("sub %[count], #8") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") // x4 block __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 6f") __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0 __ASM_EMIT("vldm %[src]!, {d16-d17}") // q8 = s __ASM_EMIT("vadd.f32 q0, q0, q8") __ASM_EMIT("sub %[count], #4") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") // x1 blocks __ASM_EMIT("6:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 8f") __ASM_EMIT("7:") __ASM_EMIT("vld2.32 {d0[], d1[]}, [%[src2]]!") // d0 = r0, d1 = i0 __ASM_EMIT("vld1.32 {d2[]}, [%[src]]!") // d2 = s __ASM_EMIT("vadd.f32 d0, d0, d2") __ASM_EMIT("vst2.32 {d0[0], d1[0]}, [%[dst]]!") __ASM_EMIT("subs %[count], #1") __ASM_EMIT("bge 7b") __ASM_EMIT("8:") : [dst] "+r" (dst), [src] "+r" (src), [src2] "=&r" (src2), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11" ); } void pcomplex_r2c_sub2(float *dst, const float *src, size_t count) { IF_ARCH_ARM(float *src2); ARCH_ARM_ASM ( // x16 blocks __ASM_EMIT("subs %[count], #16") __ASM_EMIT("mov %[src2], %[dst]") __ASM_EMIT("blo 2f") __ASM_EMIT("1:") __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1 __ASM_EMIT("vld2.32 {q4-q5}, [%[src2]]!") // q4 = r2, q5 = i2 __ASM_EMIT("vld2.32 {q6-q7}, [%[src2]]!") // q6 = r3, q7 = i3 __ASM_EMIT("vldm %[src]!, {d16-d23}") // q8-q11 = s __ASM_EMIT("vsub.f32 q0, q0, q8") __ASM_EMIT("vsub.f32 q2, q2, q9") __ASM_EMIT("vsub.f32 q4, q4, q10") __ASM_EMIT("vsub.f32 q6, q6, q11") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") __ASM_EMIT("vst2.32 {q4-q5}, [%[dst]]!") __ASM_EMIT("vst2.32 {q6-q7}, [%[dst]]!") __ASM_EMIT("subs %[count], #16") __ASM_EMIT("bhs 1b") // x8 block __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #8") __ASM_EMIT("blt 4f") __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1 __ASM_EMIT("vldm %[src]!, {d16-d19}") // q8-q9 = s __ASM_EMIT("vsub.f32 q0, q0, q8") __ASM_EMIT("vsub.f32 q2, q2, q9") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("sub %[count], #8") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") // x4 block __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 6f") __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0 __ASM_EMIT("vldm %[src]!, {d16-d17}") // q8 = s __ASM_EMIT("vsub.f32 q0, q0, q8") __ASM_EMIT("sub %[count], #4") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") // x1 blocks __ASM_EMIT("6:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 8f") __ASM_EMIT("7:") __ASM_EMIT("vld2.32 {d0[], d1[]}, [%[src2]]!") // d0 = r0, d1 = i0 __ASM_EMIT("vld1.32 {d2[]}, [%[src]]!") // d2 = s __ASM_EMIT("vsub.f32 d0, d0, d2") __ASM_EMIT("vst2.32 {d0[0], d1[0]}, [%[dst]]!") __ASM_EMIT("subs %[count], #1") __ASM_EMIT("bge 7b") __ASM_EMIT("8:") : [dst] "+r" (dst), [src] "+r" (src), [src2] "=&r" (src2), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11" ); } void pcomplex_r2c_rsub2(float *dst, const float *src, size_t count) { IF_ARCH_ARM(float *src2); ARCH_ARM_ASM ( // x16 blocks __ASM_EMIT("subs %[count], #16") __ASM_EMIT("mov %[src2], %[dst]") __ASM_EMIT("blo 2f") __ASM_EMIT("1:") __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1 __ASM_EMIT("vld2.32 {q4-q5}, [%[src2]]!") // q4 = r2, q5 = i2 __ASM_EMIT("vld2.32 {q6-q7}, [%[src2]]!") // q6 = r3, q7 = i3 __ASM_EMIT("vldm %[src]!, {d16-d23}") // q8-q11 = s __ASM_EMIT("vsub.f32 q0, q8, q0") __ASM_EMIT("vneg.f32 q1, q1") __ASM_EMIT("vsub.f32 q2, q9, q2") __ASM_EMIT("vneg.f32 q3, q3") __ASM_EMIT("vsub.f32 q4, q10, q4") __ASM_EMIT("vneg.f32 q5, q5") __ASM_EMIT("vsub.f32 q6, q11, q6") __ASM_EMIT("vneg.f32 q7, q7") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") __ASM_EMIT("vst2.32 {q4-q5}, [%[dst]]!") __ASM_EMIT("vst2.32 {q6-q7}, [%[dst]]!") __ASM_EMIT("subs %[count], #16") __ASM_EMIT("bhs 1b") // x8 block __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #8") __ASM_EMIT("blt 4f") __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1 __ASM_EMIT("vldm %[src]!, {d16-d19}") // q8-q9 = s __ASM_EMIT("vsub.f32 q0, q8, q0") __ASM_EMIT("vneg.f32 q1, q1") __ASM_EMIT("vsub.f32 q2, q9, q2") __ASM_EMIT("vneg.f32 q3, q3") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("sub %[count], #8") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") // x4 block __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 6f") __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0 __ASM_EMIT("vldm %[src]!, {d16-d17}") // q8 = s __ASM_EMIT("vsub.f32 q0, q8, q0") __ASM_EMIT("vneg.f32 q1, q1") __ASM_EMIT("sub %[count], #4") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") // x1 blocks __ASM_EMIT("6:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 8f") __ASM_EMIT("7:") __ASM_EMIT("vld2.32 {d0[], d1[]}, [%[src2]]!") // d0 = r0, d1 = i0 __ASM_EMIT("vld1.32 {d2[]}, [%[src]]!") // d2 = s __ASM_EMIT("vsub.f32 d0, d2, d0") __ASM_EMIT("vneg.f32 d1, d1") __ASM_EMIT("vst2.32 {d0[0], d1[0]}, [%[dst]]!") __ASM_EMIT("subs %[count], #1") __ASM_EMIT("bge 7b") __ASM_EMIT("8:") : [dst] "+r" (dst), [src] "+r" (src), [src2] "=&r" (src2), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11" ); } void pcomplex_r2c_mul2(float *dst, const float *src, size_t count) { IF_ARCH_ARM(float *src2); ARCH_ARM_ASM ( // x16 blocks __ASM_EMIT("subs %[count], #16") __ASM_EMIT("mov %[src2], %[dst]") __ASM_EMIT("blo 2f") __ASM_EMIT("1:") __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1 __ASM_EMIT("vld2.32 {q4-q5}, [%[src2]]!") // q4 = r2, q5 = i2 __ASM_EMIT("vld2.32 {q6-q7}, [%[src2]]!") // q6 = r3, q7 = i3 __ASM_EMIT("vldm %[src]!, {d16-d23}") // q8-q11 = s __ASM_EMIT("vmul.f32 q0, q0, q8") __ASM_EMIT("vmul.f32 q2, q2, q9") __ASM_EMIT("vmul.f32 q4, q4, q10") __ASM_EMIT("vmul.f32 q6, q6, q11") __ASM_EMIT("vmul.f32 q1, q1, q8") __ASM_EMIT("vmul.f32 q3, q3, q9") __ASM_EMIT("vmul.f32 q5, q5, q10") __ASM_EMIT("vmul.f32 q7, q7, q11") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") __ASM_EMIT("vst2.32 {q4-q5}, [%[dst]]!") __ASM_EMIT("vst2.32 {q6-q7}, [%[dst]]!") __ASM_EMIT("subs %[count], #16") __ASM_EMIT("bhs 1b") // x8 block __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #8") __ASM_EMIT("blt 4f") __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1 __ASM_EMIT("vldm %[src]!, {d16-d19}") // q8-q9 = s __ASM_EMIT("vmul.f32 q0, q0, q8") __ASM_EMIT("vmul.f32 q2, q2, q9") __ASM_EMIT("vmul.f32 q1, q1, q8") __ASM_EMIT("vmul.f32 q3, q3, q9") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("sub %[count], #8") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") // x4 block __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 6f") __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0 __ASM_EMIT("vldm %[src]!, {d16-d17}") // q8 = s __ASM_EMIT("vmul.f32 q0, q0, q8") __ASM_EMIT("vmul.f32 q1, q1, q8") __ASM_EMIT("sub %[count], #4") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") // x1 blocks __ASM_EMIT("6:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 8f") __ASM_EMIT("7:") __ASM_EMIT("vld2.32 {d0[], d1[]}, [%[src2]]!") // d0 = r0, d1 = i0 __ASM_EMIT("vld1.32 {d2[]}, [%[src]]!") // d2 = s __ASM_EMIT("vmul.f32 d0, d0, d2") __ASM_EMIT("vmul.f32 d1, d1, d2") __ASM_EMIT("vst2.32 {d0[0], d1[0]}, [%[dst]]!") __ASM_EMIT("subs %[count], #1") __ASM_EMIT("bge 7b") __ASM_EMIT("8:") : [dst] "+r" (dst), [src] "+r" (src), [src2] "=&r" (src2), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11" ); } void pcomplex_r2c_div2(float *dst, const float *src, size_t count) { IF_ARCH_ARM(float *src2); ARCH_ARM_ASM ( // x16 blocks __ASM_EMIT("subs %[count], #16") __ASM_EMIT("mov %[src2], %[dst]") __ASM_EMIT("blo 2f") __ASM_EMIT("1:") __ASM_EMIT("vldm %[src]!, {d16-d23}") // q8-q11 = s __ASM_EMIT("vrecpe.f32 q0, q8") // q0 = s2 __ASM_EMIT("vrecpe.f32 q1, q9") __ASM_EMIT("vrecpe.f32 q2, q10") __ASM_EMIT("vrecpe.f32 q3, q11") __ASM_EMIT("vrecps.f32 q4, q0, q8") // q4 = (2 - R*s2) __ASM_EMIT("vrecps.f32 q5, q1, q9") __ASM_EMIT("vrecps.f32 q6, q2, q10") __ASM_EMIT("vrecps.f32 q7, q3, q11") __ASM_EMIT("vmul.f32 q0, q4, q0") // q0 = s2' = s2 * (2 - R*s2) __ASM_EMIT("vmul.f32 q1, q5, q1") __ASM_EMIT("vmul.f32 q2, q6, q2") __ASM_EMIT("vmul.f32 q3, q7, q3") __ASM_EMIT("vrecps.f32 q4, q0, q8") // q4 = (2 - R*s2') __ASM_EMIT("vrecps.f32 q5, q1, q9") __ASM_EMIT("vrecps.f32 q6, q2, q10") __ASM_EMIT("vrecps.f32 q7, q3, q11") __ASM_EMIT("vmul.f32 q8, q4, q0") // q8 = s2" = s2' * (2 - R*s2) = 1/s2 __ASM_EMIT("vmul.f32 q9, q5, q1") __ASM_EMIT("vmul.f32 q10, q6, q2") __ASM_EMIT("vmul.f32 q11, q7, q3") __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1 __ASM_EMIT("vld2.32 {q4-q5}, [%[src2]]!") // q4 = r2, q5 = i2 __ASM_EMIT("vld2.32 {q6-q7}, [%[src2]]!") // q6 = r3, q7 = i3 __ASM_EMIT("vmul.f32 q0, q0, q8") __ASM_EMIT("vmul.f32 q2, q2, q9") __ASM_EMIT("vmul.f32 q4, q4, q10") __ASM_EMIT("vmul.f32 q6, q6, q11") __ASM_EMIT("vmul.f32 q1, q1, q8") __ASM_EMIT("vmul.f32 q3, q3, q9") __ASM_EMIT("vmul.f32 q5, q5, q10") __ASM_EMIT("vmul.f32 q7, q7, q11") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") __ASM_EMIT("vst2.32 {q4-q5}, [%[dst]]!") __ASM_EMIT("vst2.32 {q6-q7}, [%[dst]]!") __ASM_EMIT("subs %[count], #16") __ASM_EMIT("bhs 1b") // x8 block __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #8") __ASM_EMIT("blt 4f") __ASM_EMIT("vldm %[src]!, {d16-d19}") // q8-q9 = s __ASM_EMIT("vrecpe.f32 q0, q8") // q0 = s2 __ASM_EMIT("vrecpe.f32 q1, q9") __ASM_EMIT("vrecps.f32 q4, q0, q8") // q4 = (2 - R*s2) __ASM_EMIT("vrecps.f32 q5, q1, q9") __ASM_EMIT("vmul.f32 q0, q4, q0") // q0 = s2' = s2 * (2 - R*s2) __ASM_EMIT("vmul.f32 q1, q5, q1") __ASM_EMIT("vrecps.f32 q4, q0, q8") // q4 = (2 - R*s2') __ASM_EMIT("vrecps.f32 q5, q1, q9") __ASM_EMIT("vmul.f32 q8, q4, q0") // q8 = s2" = s2' * (2 - R*s2) = 1/s2 __ASM_EMIT("vmul.f32 q9, q5, q1") __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0 __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") // q2 = r1, q3 = i1 __ASM_EMIT("vmul.f32 q0, q0, q8") __ASM_EMIT("vmul.f32 q2, q2, q9") __ASM_EMIT("vmul.f32 q1, q1, q8") __ASM_EMIT("vmul.f32 q3, q3, q9") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("sub %[count], #8") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") // x4 block __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 6f") __ASM_EMIT("vldm %[src]!, {d16-d17}") // q8 = s __ASM_EMIT("vrecpe.f32 q0, q8") // q0 = s2 __ASM_EMIT("vrecps.f32 q4, q0, q8") // q4 = (2 - R*s2) __ASM_EMIT("vmul.f32 q0, q4, q0") // q0 = s2' = s2 * (2 - R*s2) __ASM_EMIT("vrecps.f32 q4, q0, q8") // q4 = (2 - R*s2') __ASM_EMIT("vmul.f32 q8, q4, q0") // q8 = s2" = s2' * (2 - R*s2) = 1/s2 __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r0, q1 = i0 __ASM_EMIT("vmul.f32 q0, q0, q8") __ASM_EMIT("vmul.f32 q1, q1, q8") __ASM_EMIT("sub %[count], #4") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") // x1 blocks __ASM_EMIT("6:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 8f") __ASM_EMIT("7:") __ASM_EMIT("vld1.32 {d8[]}, [%[src]]!") // d2 = s __ASM_EMIT("vrecpe.f32 d0, d8") // d0 = s2 __ASM_EMIT("vrecps.f32 d4, d0, d8") // d4 = (2 - R*s2) __ASM_EMIT("vmul.f32 d0, d4, d0") // d0 = s2' = s2 * (2 - R*s2) __ASM_EMIT("vrecps.f32 d4, d0, d8") // d4 = (2 - R*s2') __ASM_EMIT("vmul.f32 d8, d4, d0") // d8 = s2" = s2' * (2 - R*s2) = 1/s2 __ASM_EMIT("vld2.32 {d0[], d1[]}, [%[src2]]!") // d0 = r0, d1 = i0 __ASM_EMIT("vmul.f32 d0, d0, d8") __ASM_EMIT("vmul.f32 d1, d1, d8") __ASM_EMIT("vst2.32 {d0[0], d1[0]}, [%[dst]]!") __ASM_EMIT("subs %[count], #1") __ASM_EMIT("bge 7b") __ASM_EMIT("8:") : [dst] "+r" (dst), [src] "+r" (src), [src2] "=&r" (src2), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11" ); } void pcomplex_r2c_rdiv2(float *dst, const float *src, size_t count) { IF_ARCH_ARM(float *src2); ARCH_ARM_ASM ( // x8 blocks __ASM_EMIT("mov %[src2], %[dst]") __ASM_EMIT("subs %[count], #8") __ASM_EMIT("blo 2f") __ASM_EMIT("1:") __ASM_EMIT("vld2.32 {q0-q1}, [%[src2]]!") // q0 = r, q1 = i __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r __ASM_EMIT("vmul.f32 q5, q2, q2") __ASM_EMIT("vmla.f32 q4, q1, q1") // q4 = R = r*r + i*i __ASM_EMIT("vmla.f32 q5, q3, q3") // 1 / R calculation __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecpe.f32 q8, q5") __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0) __ASM_EMIT("vrecps.f32 q9, q8, q5") __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vmul.f32 q8, q9, q8") __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1) __ASM_EMIT("vrecps.f32 q9, q8, q5") __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q5, q9, q8") // r/R, -i/R __ASM_EMIT("vldm %[src]!, {d16-d19}") // q8-q9 = s __ASM_EMIT("vneg.f32 q1, q1") // q1 = -i __ASM_EMIT("vneg.f32 q3, q3") __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R __ASM_EMIT("vmul.f32 q2, q2, q5") __ASM_EMIT("vmul.f32 q1, q1, q4") // q1 = -i / R __ASM_EMIT("vmul.f32 q3, q3, q5") __ASM_EMIT("vmul.f32 q0, q0, q8") // q0 = (r*s) / R __ASM_EMIT("vmul.f32 q2, q2, q9") __ASM_EMIT("vmul.f32 q1, q1, q8") // q1 = -(i*s) / R __ASM_EMIT("vmul.f32 q3, q3, q9") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("subs %[count], #8") __ASM_EMIT("vst2.32 {q2-q3}, [%[dst]]!") __ASM_EMIT("bhs 1b") //----------------------------------------------------------------- // x4 blocks __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 4f") __ASM_EMIT("vld2.32 {q0-q1}, [%[dst]]") // q0 = r, q1 = i __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r __ASM_EMIT("vmla.f32 q4, q1, q1") // q4 = R = r*r + i*i // 1 / R calculation __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0) __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1) __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0) // r/R, -i/R __ASM_EMIT("vldm %[src]!, {d16-d17}") // q8 = s __ASM_EMIT("vneg.f32 q1, q1") // q1 = -i __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R __ASM_EMIT("vmul.f32 q1, q1, q4") // q1 = -i / R __ASM_EMIT("vmul.f32 q0, q0, q8") // q0 = (r*s) / R __ASM_EMIT("vmul.f32 q1, q1, q8") // q1 = -(i*s) / R __ASM_EMIT("sub %[count], #4") __ASM_EMIT("vst2.32 {q0-q1}, [%[dst]]!") // x1 blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 6f") __ASM_EMIT("5:") __ASM_EMIT("vld2.32 {d0[], d1[]}, [%[dst]]") // d0 = r, d1 = i __ASM_EMIT("vmul.f32 d4, d0, d0") // d4 = r*r __ASM_EMIT("vmla.f32 d4, d1, d1") // d4 = R = r*r + i*i // 1 / R calculation __ASM_EMIT("vrecpe.f32 d6, d4") // d6 = x0 __ASM_EMIT("vrecps.f32 d7, d6, d4") // d7 = (2 - R*x0) __ASM_EMIT("vmul.f32 d6, d7, d6") // d6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vrecps.f32 d7, d6, d4") // d7 = (2 - R*x1) __ASM_EMIT("vmul.f32 d4, d7, d6") // d4 = x2 = x1 * (2 - R*x0) // r/R, -i/R __ASM_EMIT("vld1.32 {d8[]}, [%[src]]!") // d8 = s __ASM_EMIT("vneg.f32 d1, d1") // q1 = -i __ASM_EMIT("vmul.f32 d0, d0, d4") // q0 = r / R __ASM_EMIT("vmul.f32 d1, d1, d4") // q1 = -i / R __ASM_EMIT("vmul.f32 d0, d0, d8") // q0 = (r*s) / R __ASM_EMIT("vmul.f32 d1, d1, d8") // q1 = -(i*s) / R __ASM_EMIT("subs %[count], #1") __ASM_EMIT("vst2.32 {d0[0], d1[0]}, [%[dst]]!") __ASM_EMIT("bge 5b") __ASM_EMIT("6:") : [dst] "+r" (dst), [src] "+r" (src), [src2] "=&r" (src2), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11" ); } IF_ARCH_ARM( static float pcomplex_corr_const[] __lsp_aligned16 = { LSP_DSP_VEC4(1e-36f), LSP_DSP_VEC4(1e-36f) }; ); void pcomplex_corr(float *dst_corr, const float *src1, const float *src2, size_t count) { /* * src1[i] = a + j*b, src2[i] = c + j*d * den = (a*a + b*b)*(c*c + d*d) * nom = a*c + b*d * corr[i] = (den > threshold) ? nom / sqrt(den) : 0.0 */ ARCH_ARM_ASM ( // x8 blocks __ASM_EMIT("vldm %[CC], {d24-d31}") // q14-q15 = threshold __ASM_EMIT("subs %[count], #8") __ASM_EMIT("blo 2f") __ASM_EMIT("1:") __ASM_EMIT("vld2.32 {q0-q1}, [%[src1]]!") /* q0 = A0, q1 = B0 */ __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") /* q2 = C0, q3 = D0 */ __ASM_EMIT("vld2.32 {q4-q5}, [%[src1]]!") /* q4 = A1, q5 = B1 */ __ASM_EMIT("vld2.32 {q6-q7}, [%[src2]]!") /* q6 = C1, q7 = D1 */ __ASM_EMIT("vmul.f32 q8, q0, q2") /* q8 = A0*C0 */ __ASM_EMIT("vmul.f32 q9, q4, q6") /* q9 = A1*C1 */ __ASM_EMIT("vmul.f32 q10, q0, q0") /* q10 = A0*A0 */ __ASM_EMIT("vmul.f32 q11, q4, q4") /* q11 = A1*A1 */ __ASM_EMIT("vmul.f32 q12, q2, q2") /* q12 = C0*C0 */ __ASM_EMIT("vmul.f32 q13, q6, q6") /* q13 = C1*C1 */ __ASM_EMIT("vmla.f32 q8, q1, q3") /* q8 = nom0 = A0*C0 + B0*D0 */ __ASM_EMIT("vmla.f32 q9, q5, q7") /* q9 = nom1 = A1*C1 + B1*D1 */ __ASM_EMIT("vmla.f32 q10, q1, q1") /* q10 = A0*A0 + B0*B0 */ __ASM_EMIT("vmla.f32 q11, q5, q5") /* q11 = A1*A1 + B1*B1 */ __ASM_EMIT("vmla.f32 q12, q3, q3") /* q12 = C0*C0 + D0*D0 */ __ASM_EMIT("vmla.f32 q13, q7, q7") /* q13 = C1*C1 + D1*D1 */ __ASM_EMIT("vmul.f32 q0, q10, q12") /* q0 = den0 = (A0*A0 + B0*B0)*(C0*C0 + D0*D0) */ __ASM_EMIT("vmul.f32 q1, q11, q13") /* q1 = den1 = (A1*A1 + B1*B1)*(C1*C1 + D1*D1) */ __ASM_EMIT("vrsqrte.f32 q2, q0") /* q2 = x0 */ __ASM_EMIT("vrsqrte.f32 q3, q1") __ASM_EMIT("vmul.f32 q4, q2, q0") /* q4 = R * x0 */ __ASM_EMIT("vmul.f32 q5, q3, q1") __ASM_EMIT("vrsqrts.f32 q6, q4, q2") /* q6 = (3 - R * x0 * x0) / 2 */ __ASM_EMIT("vrsqrts.f32 q7, q5, q3") __ASM_EMIT("vmul.f32 q2, q2, q6") /* q2 = x1 = x0 * (3 - R * x0 * x0) / 2 */ __ASM_EMIT("vmul.f32 q3, q3, q7") __ASM_EMIT("vmul.f32 q4, q2, q0") /* q4 = R * x1 */ __ASM_EMIT("vmul.f32 q5, q3, q1") __ASM_EMIT("vrsqrts.f32 q6, q4, q2") /* q6 = (3 - R * x1 * x1) / 2 */ __ASM_EMIT("vrsqrts.f32 q7, q5, q3") __ASM_EMIT("vmul.f32 q2, q2, q6") /* q2 = 1/den0 = x1 * (3 - R * x1 * x1) / 2 */ __ASM_EMIT("vmul.f32 q3, q3, q7") /* q3 = 1/den1 */ __ASM_EMIT("vcge.f32 q0, q0, q14") /* q0 = (den0 >= threshold) */ __ASM_EMIT("vcge.f32 q1, q1, q15") /* q1 = (den1 >= threshold) */ __ASM_EMIT("vmul.f32 q2, q2, q8") /* q2 = nom0/den0 */ __ASM_EMIT("vmul.f32 q3, q3, q9") /* q3 = nom1/den1 */ __ASM_EMIT("vand q0, q0, q2") /* q0 = (den0 >= threshold) ? nom0/den0 : 0.0f */ __ASM_EMIT("vand q1, q1, q3") /* q1 = (den1 >= threshold) ? nom1/den1 : 0.0f */ __ASM_EMIT("vstm %[dst]!, {q0-q1}") __ASM_EMIT("subs %[count], #8") __ASM_EMIT("bhs 1b") // x4 block __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 4f") __ASM_EMIT("vld2.32 {q0-q1}, [%[src1]]!") /* q0 = A0, q1 = B0 */ __ASM_EMIT("vld2.32 {q2-q3}, [%[src2]]!") /* q2 = C0, q3 = D0 */ __ASM_EMIT("vmul.f32 q8, q0, q2") /* q8 = A0*C0 */ __ASM_EMIT("vmul.f32 q10, q0, q0") /* q10 = A0*A0 */ __ASM_EMIT("vmul.f32 q12, q2, q2") /* q12 = C0*C0 */ __ASM_EMIT("vmla.f32 q8, q1, q3") /* q8 = nom0 = A0*C0 + B0*D0 */ __ASM_EMIT("vmla.f32 q10, q1, q1") /* q10 = A0*A0 + B0*B0 */ __ASM_EMIT("vmla.f32 q12, q3, q3") /* q12 = C0*C0 + D0*D0 */ __ASM_EMIT("vmul.f32 q0, q10, q12") /* q0 = den0 = (A0*A0 + B0*B0)*(C0*C0 + D0*D0) */ __ASM_EMIT("vrsqrte.f32 q2, q0") /* q2 = x0 */ __ASM_EMIT("vmul.f32 q4, q2, q0") /* q4 = R * x0 */ __ASM_EMIT("vrsqrts.f32 q6, q4, q2") /* q6 = (3 - R * x0 * x0) / 2 */ __ASM_EMIT("vmul.f32 q2, q2, q6") /* q2 = x1 = x0 * (3 - R * x0 * x0) / 2 */ __ASM_EMIT("vmul.f32 q4, q2, q0") /* q4 = R * x1 */ __ASM_EMIT("vrsqrts.f32 q6, q4, q2") /* q6 = (3 - R * x1 * x1) / 2 */ __ASM_EMIT("vmul.f32 q2, q2, q6") /* q2 = 1/den0 = x1 * (3 - R * x1 * x1) / 2 */ __ASM_EMIT("vcge.f32 q0, q0, q14") /* q0 = (den0 >= threshold) */ __ASM_EMIT("vmul.f32 q2, q2, q8") /* q2 = nom0/den0 */ __ASM_EMIT("vand q0, q0, q2") /* q0 = (den0 >= threshold) ? nom0/den0 : 0.0f */ __ASM_EMIT("vstm %[dst]!, {q0}") __ASM_EMIT("sub %[count], #4") // x1 blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 6f") __ASM_EMIT("5:") __ASM_EMIT("vld2.32 {d0[], d1[]}, [%[src1]]!") /* d0 = A0, d1 = B0 */ __ASM_EMIT("vld2.32 {d2[], d3[]}, [%[src2]]!") /* d2 = C0, d3 = D0 */ __ASM_EMIT("vmul.f32 d8, d0, d2") /* d8 = A0*C0 */ __ASM_EMIT("vmul.f32 d10, d0, d0") /* d10 = A0*A0 */ __ASM_EMIT("vmul.f32 d12, d2, d2") /* d12 = C0*C0 */ __ASM_EMIT("vmla.f32 d8, d1, d3") /* d8 = nom0 = A0*C0 + B0*D0 */ __ASM_EMIT("vmla.f32 d10, d1, d1") /* d10 = A0*A0 + B0*B0 */ __ASM_EMIT("vmla.f32 d12, d3, d3") /* d12 = C0*C0 + D0*D0 */ __ASM_EMIT("vmul.f32 d0, d10, d12") /* d0 = den0 = (A0*A0 + B0*B0)*(C0*C0 + D0*D0) */ __ASM_EMIT("vrsqrte.f32 d2, d0") /* d2 = x0 */ __ASM_EMIT("vmul.f32 d4, d2, d0") /* d4 = R * x0 */ __ASM_EMIT("vrsqrts.f32 d6, d4, d2") /* d6 = (3 - R * x0 * x0) / 2 */ __ASM_EMIT("vmul.f32 d2, d2, d6") /* d2 = x1 = x0 * (3 - R * x0 * x0) / 2 */ __ASM_EMIT("vmul.f32 d4, d2, d0") /* d4 = R * x1 */ __ASM_EMIT("vrsqrts.f32 d6, d4, d2") /* d6 = (3 - R * x1 * x1) / 2 */ __ASM_EMIT("vmul.f32 d2, d2, d6") /* d2 = 1/den0 = x1 * (3 - R * x1 * x1) / 2 */ __ASM_EMIT("vcge.f32 d0, d0, d28") /* d0 = (den0 >= threshold) */ __ASM_EMIT("vmul.f32 d2, d2, d8") /* d2 = nom0/den0 */ __ASM_EMIT("vand d0, d0, d2") /* d0 = (den0 >= threshold) ? nom0/den0 : 0.0f */ __ASM_EMIT("subs %[count], #1") __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!") __ASM_EMIT("bge 5b") __ASM_EMIT("6:") : [dst] "+r" (dst_corr), [src1] "+r" (src1), [src2] "+r" (src2), [count] "+r" (count) : [CC] "r" (&pcomplex_corr_const[0]) : "cc", "memory", "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15" ); } } /* namespace neon_d32 */ } /* namespace lsp */ #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_PCOMPLEX_H_ */