/* * Copyright (C) 2020 Linux Studio Plugins Project * (C) 2020 Vladimir Sadovnikov * * This file is part of lsp-dsp-lib * Created on: 31 мар. 2020 г. * * lsp-dsp-lib is free software: you can redistribute it and/or modify * it under the terms of the GNU Lesser General Public License as published by * the Free Software Foundation, either version 3 of the License, or * any later version. * * lsp-dsp-lib is distributed in the hope that it will be useful, * but WITHOUT ANY WARRANTY; without even the implied warranty of * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the * GNU Lesser General Public License for more details. * * You should have received a copy of the GNU Lesser General Public License * along with lsp-dsp-lib. If not, see . */ #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_COMPLEX_H_ #define PRIVATE_DSP_ARCH_AARCH64_ASIMD_COMPLEX_H_ #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL #error "This header should not be included directly" #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL */ namespace lsp { namespace asimd { /* * v0, v1 = dr * v2, v3 = di * v16, v17 = ar * v18, v19 = ai * v20, v21 = br * v22, v23 = bi */ void complex_mul2(float *dst_re, float *dst_im, const float *src_re, const float *src_im, size_t count) { ARCH_AARCH64_ASM ( // x8 blocks __ASM_EMIT("subs %[count], %[count], #8") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ldp q16, q17, [%[src_re]]") // v16-v19 = ar __ASM_EMIT("ldp q18, q19, [%[src_im]]") // v18-v19 = ai __ASM_EMIT("ldp q20, q21, [%[dst_re]]") // v20-v21 = br __ASM_EMIT("ldp q22, q23, [%[dst_im]]") // v22-v23 = bi __ASM_EMIT("fmul v0.4s, v16.4s, v20.4s") // v0 = ar*br __ASM_EMIT("fmul v1.4s, v17.4s, v21.4s") __ASM_EMIT("add %[src_re], %[src_re], #0x20") __ASM_EMIT("fmul v2.4s, v18.4s, v20.4s") // v2 = ai*br __ASM_EMIT("fmul v3.4s, v19.4s, v21.4s") __ASM_EMIT("add %[src_im], %[src_im], #0x20") __ASM_EMIT("fmls v0.4s, v18.4s, v22.4s") // v0 = ar*br - ai*bi __ASM_EMIT("fmls v1.4s, v19.4s, v23.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v22.4s") // v2 = ai*br + ar*bi __ASM_EMIT("fmla v3.4s, v17.4s, v23.4s") __ASM_EMIT("stp q0, q1, [%[dst_re]]") __ASM_EMIT("stp q2, q3, [%[dst_im]]") __ASM_EMIT("subs %[count], %[count], #8") __ASM_EMIT("add %[dst_re], %[dst_re], #0x20") __ASM_EMIT("add %[dst_im], %[dst_im], #0x20") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // x4 blocks __ASM_EMIT("adds %[count], %[count], #4") __ASM_EMIT("b.lo 4f") __ASM_EMIT("ldr q16, [%[src_re]]") // v16 = ar __ASM_EMIT("ldr q18, [%[src_im]]") // v18 = ai __ASM_EMIT("ldr q20, [%[dst_re]]") // v20 = br __ASM_EMIT("ldr q22, [%[dst_im]]") // v22 = bi __ASM_EMIT("fmul v0.4s, v16.4s, v20.4s") // v0 = ar*br __ASM_EMIT("add %[src_re], %[src_re], #0x10") __ASM_EMIT("fmul v2.4s, v18.4s, v20.4s") // v2 = ai*br __ASM_EMIT("add %[src_im], %[src_im], #0x10") __ASM_EMIT("fmls v0.4s, v18.4s, v22.4s") // v0 = ar*br - ai*bi __ASM_EMIT("fmla v2.4s, v16.4s, v22.4s") // v2 = ai*br + ar*bi __ASM_EMIT("str q0, [%[dst_re]]") __ASM_EMIT("str q2, [%[dst_im]]") __ASM_EMIT("sub %[count], %[count], #4") __ASM_EMIT("add %[dst_re], %[dst_re], #0x10") __ASM_EMIT("add %[dst_im], %[dst_im], #0x10") __ASM_EMIT("4:") // x1 blocks __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 6f") __ASM_EMIT("5:") __ASM_EMIT("ld1r {v16.4s}, [%[src_re]]") // v16 = ar __ASM_EMIT("ld1r {v18.4s}, [%[src_im]]") // v18 = ai __ASM_EMIT("ld1r {v20.4s}, [%[dst_re]]") // v20 = br __ASM_EMIT("ld1r {v22.4s}, [%[dst_im]]") // v22 = bi __ASM_EMIT("fmul v0.4s, v16.4s, v20.4s") // v0 = ar*br __ASM_EMIT("add %[src_re], %[src_re], #0x04") __ASM_EMIT("fmul v2.4s, v18.4s, v20.4s") // v2 = ai*br __ASM_EMIT("add %[src_im], %[src_im], #0x04") __ASM_EMIT("fmls v0.4s, v18.4s, v22.4s") // v0 = ar*br - ai*bi __ASM_EMIT("fmla v2.4s, v16.4s, v22.4s") // v2 = ai*br + ar*bi __ASM_EMIT("st1 {v0.s}[0], [%[dst_re]]") __ASM_EMIT("st1 {v2.s}[0], [%[dst_im]]") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("add %[dst_re], %[dst_re], #0x04") __ASM_EMIT("add %[dst_im], %[dst_im], #0x04") __ASM_EMIT("b.ge 5b") __ASM_EMIT("6:") /* end */ : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im), [src_re] "+r" (src_re), [src_im] "+r" (src_im), [count] "+r" (count) : : "cc", "memory", "v0", "v1", "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23" ); } void complex_mul3(float *dst_re, float *dst_im, const float *src1_re, const float *src1_im, const float *src2_re, const float *src2_im, size_t count) { ARCH_AARCH64_ASM ( // x16 blocks __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[src1_re]]") // v16-v19 = sr __ASM_EMIT("ld1 {v20.4s-v23.4s}, [%[src1_im]]") // v20-v23 = si __ASM_EMIT("ld1 {v24.4s-v27.4s}, [%[src2_re]]") // v24-v27 = dr __ASM_EMIT("ld1 {v28.4s-v31.4s}, [%[src2_im]]") // v28-v31 = di __ASM_EMIT("add %[src1_re], %[src1_re], #0x40") __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr __ASM_EMIT("fmul v1.4s, v17.4s, v25.4s") __ASM_EMIT("fmul v2.4s, v18.4s, v26.4s") __ASM_EMIT("fmul v3.4s, v19.4s, v27.4s") __ASM_EMIT("add %[src1_im], %[src1_im], #0x40") __ASM_EMIT("fmul v24.4s, v24.4s, v20.4s") // v24 = si*dr __ASM_EMIT("fmul v25.4s, v25.4s, v21.4s") __ASM_EMIT("fmul v26.4s, v26.4s, v22.4s") __ASM_EMIT("fmul v27.4s, v27.4s, v23.4s") __ASM_EMIT("add %[src2_re], %[src2_re], #0x40") __ASM_EMIT("fmls v0.4s, v20.4s, v28.4s") // v0 = sr*dr - si*di __ASM_EMIT("fmls v1.4s, v21.4s, v29.4s") __ASM_EMIT("fmls v2.4s, v22.4s, v30.4s") __ASM_EMIT("fmls v3.4s, v23.4s, v31.4s") __ASM_EMIT("add %[src2_im], %[src2_im], #0x40") __ASM_EMIT("fmla v24.4s, v16.4s, v28.4s") // v24 = si*dr + sr*di __ASM_EMIT("fmla v25.4s, v17.4s, v29.4s") __ASM_EMIT("fmla v26.4s, v18.4s, v30.4s") __ASM_EMIT("fmla v27.4s, v19.4s, v31.4s") __ASM_EMIT("st1 {v0.4s-v3.4s}, [%[dst_re]]") __ASM_EMIT("st1 {v24.4s-v27.4s}, [%[dst_im]]") __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("add %[dst_re], %[dst_re], #0x40") __ASM_EMIT("add %[dst_im], %[dst_im], #0x40") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // x8 blocks __ASM_EMIT("adds %[count], %[count], #8") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ld1 {v16.4s, v17.4s}, [%[src1_re]]") // v16-v17 = sr __ASM_EMIT("ld1 {v20.4s, v21.4s}, [%[src1_im]]") // v20-v21 = si __ASM_EMIT("ld1 {v24.4s, v25.4s}, [%[src2_re]]") // v24-v25 = dr __ASM_EMIT("ld1 {v28.4s, v29.4s}, [%[src2_im]]") // v28-v29 = di __ASM_EMIT("add %[src1_re], %[src1_re], #0x20") __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr __ASM_EMIT("fmul v1.4s, v17.4s, v25.4s") __ASM_EMIT("add %[src1_im], %[src1_im], #0x20") __ASM_EMIT("fmul v24.4s, v24.4s, v20.4s") // v24 = si*dr __ASM_EMIT("fmul v25.4s, v25.4s, v21.4s") __ASM_EMIT("add %[src2_re], %[src2_re], #0x20") __ASM_EMIT("fmls v0.4s, v20.4s, v28.4s") // v0 = sr*dr - si*di __ASM_EMIT("fmls v1.4s, v21.4s, v29.4s") __ASM_EMIT("add %[src2_im], %[src2_im], #0x20") __ASM_EMIT("fmla v24.4s, v16.4s, v28.4s") // v24 = si*dr + sr*di __ASM_EMIT("fmla v25.4s, v17.4s, v29.4s") __ASM_EMIT("sub %[count], %[count], #8") __ASM_EMIT("st1 {v0.4s, v1.4s}, [%[dst_re]]") __ASM_EMIT("st1 {v24.4s, v25.4s}, [%[dst_im]]") __ASM_EMIT("add %[dst_re], %[dst_re], #0x20") __ASM_EMIT("add %[dst_im], %[dst_im], #0x20") __ASM_EMIT("4:") // x4 blocks __ASM_EMIT("adds %[count], %[count], #4") __ASM_EMIT("b.lt 6f") __ASM_EMIT("ld1 {v16.4s}, [%[src1_re]]") // v16-v17 = sr __ASM_EMIT("ld1 {v20.4s}, [%[src1_im]]") // v20-v21 = si __ASM_EMIT("ld1 {v24.4s}, [%[src2_re]]") // v24-v25 = dr __ASM_EMIT("ld1 {v28.4s}, [%[src2_im]]") // v28-v29 = di __ASM_EMIT("add %[src1_re], %[src1_re], #0x10") __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr __ASM_EMIT("add %[src1_im], %[src1_im], #0x10") __ASM_EMIT("fmul v24.4s, v24.4s, v20.4s") // v24 = si*dr __ASM_EMIT("add %[src2_re], %[src2_re], #0x10") __ASM_EMIT("fmls v0.4s, v20.4s, v28.4s") // v0 = sr*dr - si*di __ASM_EMIT("add %[src2_im], %[src2_im], #0x10") __ASM_EMIT("fmla v24.4s, v16.4s, v28.4s") // v24 = si*dr + sr*di __ASM_EMIT("sub %[count], %[count], #4") __ASM_EMIT("st1 {v0.4s}, [%[dst_re]]") __ASM_EMIT("st1 {v24.4s}, [%[dst_im]]") __ASM_EMIT("add %[dst_re], %[dst_re], #0x10") __ASM_EMIT("add %[dst_im], %[dst_im], #0x10") __ASM_EMIT("6:") // x1 blocks __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 8f") __ASM_EMIT("7:") __ASM_EMIT("ld1r {v16.4s}, [%[src1_re]]") // v16 = sr __ASM_EMIT("ld1r {v20.4s}, [%[src1_im]]") // v20 = si __ASM_EMIT("ld1r {v24.4s}, [%[src2_re]]") // v24 = dr __ASM_EMIT("ld1r {v28.4s}, [%[src2_im]]") // v28 = di __ASM_EMIT("add %[src1_re], %[src1_re], #0x04") __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr __ASM_EMIT("add %[src1_im], %[src1_im], #0x04") __ASM_EMIT("fmul v24.4s, v24.4s, v20.4s") // v24 = si*dr __ASM_EMIT("add %[src2_re], %[src2_re], #0x04") __ASM_EMIT("fmls v0.4s, v20.4s, v28.4s") // v0 = sr*dr - si*di __ASM_EMIT("add %[src2_im], %[src2_im], #0x04") __ASM_EMIT("fmla v24.4s, v16.4s, v28.4s") // v24 = si*dr + sr*di __ASM_EMIT("st1 {v0.s}[0], [%[dst_re]]") __ASM_EMIT("st1 {v24.s}[0], [%[dst_im]]") __ASM_EMIT("add %[dst_re], %[dst_re], #0x04") __ASM_EMIT("add %[dst_im], %[dst_im], #0x04") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("b.ge 7b") __ASM_EMIT("8:") : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im), [src1_re] "+r" (src1_re), [src1_im] "+r" (src1_im), [src2_re] "+r" (src2_re), [src2_im] "+r" (src2_im), [count] "+r" (count) : : "cc", "memory", "v0", "v1", "v2", "v3", // "v8", "v9", "v10", "v11", "v12", "v13", "v14", "v15", // Avoid usage if possible "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23", "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31" ); } static const float complex_div_const[] __lsp_aligned16 = { LSP_DSP_VEC4(1.0f) }; void complex_div2(float *dst_re, float *dst_im, const float *src_re, const float *src_im, size_t count) { ARCH_AARCH64_ASM ( // x16 blocks __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("ldr q8, [%[kdiv]]") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[src_re]], #0x40") // v16-v19 = sr __ASM_EMIT("ld1 {v20.4s-v23.4s}, [%[src_im]], #0x40") // v20-v23 = si __ASM_EMIT("ld1 {v24.4s-v27.4s}, [%[dst_re]]") // v24-v27 = dr __ASM_EMIT("ld1 {v28.4s-v31.4s}, [%[dst_im]]") // v28-v31 = di __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr __ASM_EMIT("fmul v1.4s, v17.4s, v25.4s") __ASM_EMIT("fmul v2.4s, v18.4s, v26.4s") __ASM_EMIT("fmul v3.4s, v19.4s, v27.4s") __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di __ASM_EMIT("fmul v5.4s, v17.4s, v29.4s") __ASM_EMIT("fmul v6.4s, v18.4s, v30.4s") __ASM_EMIT("fmul v7.4s, v19.4s, v31.4s") __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr __ASM_EMIT("fmul v17.4s, v17.4s, v17.4s") __ASM_EMIT("fmul v18.4s, v18.4s, v18.4s") __ASM_EMIT("fmul v19.4s, v19.4s, v19.4s") __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di __ASM_EMIT("fmla v1.4s, v21.4s, v29.4s") __ASM_EMIT("fmla v2.4s, v22.4s, v30.4s") __ASM_EMIT("fmla v3.4s, v23.4s, v31.4s") __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si __ASM_EMIT("fmla v17.4s, v21.4s, v21.4s") __ASM_EMIT("fmla v18.4s, v22.4s, v22.4s") __ASM_EMIT("fmla v19.4s, v23.4s, v23.4s") __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si) __ASM_EMIT("fdiv v13.4s, v8.4s, v17.4s") __ASM_EMIT("fdiv v14.4s, v8.4s, v18.4s") __ASM_EMIT("fdiv v15.4s, v8.4s, v19.4s") __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr __ASM_EMIT("fmls v5.4s, v21.4s, v25.4s") __ASM_EMIT("fmls v6.4s, v22.4s, v26.4s") __ASM_EMIT("fmls v7.4s, v23.4s, v27.4s") __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R __ASM_EMIT("fmul v1.4s, v1.4s, v13.4s") __ASM_EMIT("fmul v2.4s, v2.4s, v14.4s") __ASM_EMIT("fmul v3.4s, v3.4s, v15.4s") __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R __ASM_EMIT("fmul v5.4s, v5.4s, v13.4s") __ASM_EMIT("fmul v6.4s, v6.4s, v14.4s") __ASM_EMIT("fmul v7.4s, v7.4s, v15.4s") __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("st1 {v0.4s-v3.4s}, [%[dst_re]], #0x40") __ASM_EMIT("st1 {v4.4s-v7.4s}, [%[dst_im]], #0x40") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // x8 blocks __ASM_EMIT("adds %[count], %[count], #8") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ld1 {v16.4s, v17.4s}, [%[src_re]], #0x20") // v16-v17 = sr __ASM_EMIT("ld1 {v20.4s, v21.4s}, [%[src_im]], #0x20") // v20-v21 = si __ASM_EMIT("ld1 {v24.4s, v25.4s}, [%[dst_re]]") // v24-v25 = dr __ASM_EMIT("ld1 {v28.4s, v29.4s}, [%[dst_im]]") // v28-v29 = di __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr __ASM_EMIT("fmul v1.4s, v17.4s, v25.4s") __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di __ASM_EMIT("fmul v5.4s, v17.4s, v29.4s") __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr __ASM_EMIT("fmul v17.4s, v17.4s, v17.4s") __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di __ASM_EMIT("fmla v1.4s, v21.4s, v29.4s") __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si __ASM_EMIT("fmla v17.4s, v21.4s, v21.4s") __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si) __ASM_EMIT("fdiv v13.4s, v8.4s, v17.4s") __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr __ASM_EMIT("fmls v5.4s, v21.4s, v25.4s") __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R __ASM_EMIT("fmul v1.4s, v1.4s, v13.4s") __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R __ASM_EMIT("fmul v5.4s, v5.4s, v13.4s") __ASM_EMIT("sub %[count], %[count], #8") __ASM_EMIT("st1 {v0.4s, v1.4s}, [%[dst_re]], #0x20") __ASM_EMIT("st1 {v4.4s, v5.4s}, [%[dst_im]], #0x20") __ASM_EMIT("4:") // x4 blocks __ASM_EMIT("adds %[count], %[count], #4") __ASM_EMIT("b.lt 6f") __ASM_EMIT("ld1 {v16.4s}, [%[src_re]], #0x10") // v16-v17 = sr __ASM_EMIT("ld1 {v20.4s}, [%[src_im]], #0x10") // v20-v21 = si __ASM_EMIT("ld1 {v24.4s}, [%[dst_re]]") // v24-v25 = dr __ASM_EMIT("ld1 {v28.4s}, [%[dst_im]]") // v28-v29 = di __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si) __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R __ASM_EMIT("sub %[count], %[count], #4") __ASM_EMIT("st1 {v0.4s}, [%[dst_re]], #0x10") __ASM_EMIT("st1 {v4.4s}, [%[dst_im]], #0x10") __ASM_EMIT("6:") // x1 blocks __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 8f") __ASM_EMIT("7:") __ASM_EMIT("ld1r {v16.4s}, [%[src_re]], #0x04") // v16 = sr __ASM_EMIT("ld1r {v20.4s}, [%[src_im]], #0x04") // v20 = si __ASM_EMIT("ld1r {v24.4s}, [%[dst_re]]") // v24 = dr __ASM_EMIT("ld1r {v28.4s}, [%[dst_im]]") // v28 = di __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si) __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R __ASM_EMIT("st1 {v0.s}[0], [%[dst_re]], #0x04") __ASM_EMIT("st1 {v4.s}[0], [%[dst_im]], #0x04") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("b.ge 7b") __ASM_EMIT("8:") : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im), [src_re] "+r" (src_re), [src_im] "+r" (src_im), [count] "+r" (count) : [kdiv] "r" (&complex_div_const[0]) : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7", "v8", /* "v9", "v10", "v11", */ "v12", "v13", "v14", "v15", // Avoid usage if possible "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23", "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31" ); } void complex_rdiv2(float *dst_re, float *dst_im, const float *src_re, const float *src_im, size_t count) { ARCH_AARCH64_ASM ( // x16 blocks __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("ldr q8, [%[kdiv]]") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ld1 {v24.4s-v27.4s}, [%[src_re]], #0x40") // v24-v27 = sr __ASM_EMIT("ld1 {v28.4s-v31.4s}, [%[src_im]], #0x40") // v28-v31 = si __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[dst_re]]") // v16-v19 = dr __ASM_EMIT("ld1 {v20.4s-v23.4s}, [%[dst_im]]") // v20-v23 = di __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr __ASM_EMIT("fmul v1.4s, v17.4s, v25.4s") __ASM_EMIT("fmul v2.4s, v18.4s, v26.4s") __ASM_EMIT("fmul v3.4s, v19.4s, v27.4s") __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di __ASM_EMIT("fmul v5.4s, v17.4s, v29.4s") __ASM_EMIT("fmul v6.4s, v18.4s, v30.4s") __ASM_EMIT("fmul v7.4s, v19.4s, v31.4s") __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr __ASM_EMIT("fmul v17.4s, v17.4s, v17.4s") __ASM_EMIT("fmul v18.4s, v18.4s, v18.4s") __ASM_EMIT("fmul v19.4s, v19.4s, v19.4s") __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di __ASM_EMIT("fmla v1.4s, v21.4s, v29.4s") __ASM_EMIT("fmla v2.4s, v22.4s, v30.4s") __ASM_EMIT("fmla v3.4s, v23.4s, v31.4s") __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si __ASM_EMIT("fmla v17.4s, v21.4s, v21.4s") __ASM_EMIT("fmla v18.4s, v22.4s, v22.4s") __ASM_EMIT("fmla v19.4s, v23.4s, v23.4s") __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si) __ASM_EMIT("fdiv v13.4s, v8.4s, v17.4s") __ASM_EMIT("fdiv v14.4s, v8.4s, v18.4s") __ASM_EMIT("fdiv v15.4s, v8.4s, v19.4s") __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr __ASM_EMIT("fmls v5.4s, v21.4s, v25.4s") __ASM_EMIT("fmls v6.4s, v22.4s, v26.4s") __ASM_EMIT("fmls v7.4s, v23.4s, v27.4s") __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R __ASM_EMIT("fmul v1.4s, v1.4s, v13.4s") __ASM_EMIT("fmul v2.4s, v2.4s, v14.4s") __ASM_EMIT("fmul v3.4s, v3.4s, v15.4s") __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R __ASM_EMIT("fmul v5.4s, v5.4s, v13.4s") __ASM_EMIT("fmul v6.4s, v6.4s, v14.4s") __ASM_EMIT("fmul v7.4s, v7.4s, v15.4s") __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("st1 {v0.4s-v3.4s}, [%[dst_re]], #0x40") __ASM_EMIT("st1 {v4.4s-v7.4s}, [%[dst_im]], #0x40") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // x8 blocks __ASM_EMIT("adds %[count], %[count], #8") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ld1 {v24.4s, v25.4s}, [%[src_re]], #0x20") // v24-v25 = sr __ASM_EMIT("ld1 {v28.4s, v29.4s}, [%[src_im]], #0x20") // v28-v29 = si __ASM_EMIT("ld1 {v16.4s, v17.4s}, [%[dst_re]]") // v16-v17 = dr __ASM_EMIT("ld1 {v20.4s, v21.4s}, [%[dst_im]]") // v20-v21 = di __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr __ASM_EMIT("fmul v1.4s, v17.4s, v25.4s") __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di __ASM_EMIT("fmul v5.4s, v17.4s, v29.4s") __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr __ASM_EMIT("fmul v17.4s, v17.4s, v17.4s") __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di __ASM_EMIT("fmla v1.4s, v21.4s, v29.4s") __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si __ASM_EMIT("fmla v17.4s, v21.4s, v21.4s") __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si) __ASM_EMIT("fdiv v13.4s, v8.4s, v17.4s") __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr __ASM_EMIT("fmls v5.4s, v21.4s, v25.4s") __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R __ASM_EMIT("fmul v1.4s, v1.4s, v13.4s") __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R __ASM_EMIT("fmul v5.4s, v5.4s, v13.4s") __ASM_EMIT("sub %[count], %[count], #8") __ASM_EMIT("st1 {v0.4s, v1.4s}, [%[dst_re]], #0x20") __ASM_EMIT("st1 {v4.4s, v5.4s}, [%[dst_im]], #0x20") __ASM_EMIT("4:") // x4 blocks __ASM_EMIT("adds %[count], %[count], #4") __ASM_EMIT("b.lt 6f") __ASM_EMIT("ld1 {v24.4s}, [%[src_re]], #0x10") // v24-v25 = sr __ASM_EMIT("ld1 {v28.4s}, [%[src_im]], #0x10") // v28-v29 = si __ASM_EMIT("ld1 {v16.4s}, [%[dst_re]]") // v16-v17 = dr __ASM_EMIT("ld1 {v20.4s}, [%[dst_im]]") // v20-v21 = di __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si) __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R __ASM_EMIT("sub %[count], %[count], #4") __ASM_EMIT("st1 {v0.4s}, [%[dst_re]], #0x10") __ASM_EMIT("st1 {v4.4s}, [%[dst_im]], #0x10") __ASM_EMIT("6:") // x1 blocks __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 8f") __ASM_EMIT("7:") __ASM_EMIT("ld1r {v24.4s}, [%[src_re]], #0x04") // v24 = sr __ASM_EMIT("ld1r {v28.4s}, [%[src_im]], #0x04") // v28 = si __ASM_EMIT("ld1r {v16.4s}, [%[dst_re]]") // v16 = dr __ASM_EMIT("ld1r {v20.4s}, [%[dst_im]]") // v20 = di __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si) __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R __ASM_EMIT("st1 {v0.s}[0], [%[dst_re]], #0x04") __ASM_EMIT("st1 {v4.s}[0], [%[dst_im]], #0x04") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("b.ge 7b") __ASM_EMIT("8:") : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im), [src_re] "+r" (src_re), [src_im] "+r" (src_im), [count] "+r" (count) : [kdiv] "r" (&complex_div_const[0]) : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7", "v8", /* "v9", "v10", "v11", */ "v12", "v13", "v14", "v15", // Avoid usage if possible "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23", "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31" ); } void complex_div3(float *dst_re, float *dst_im, const float *t_re, const float *t_im, const float *b_re, const float *b_im, size_t count) { ARCH_AARCH64_ASM ( // x16 blocks __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("ldr q8, [%[kdiv]]") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[b_re]], #0x40") // v16-v19 = sr __ASM_EMIT("ld1 {v20.4s-v23.4s}, [%[b_im]], #0x40") // v20-v23 = si __ASM_EMIT("ld1 {v24.4s-v27.4s}, [%[t_re]], #0x40") // v24-v27 = dr __ASM_EMIT("ld1 {v28.4s-v31.4s}, [%[t_im]], #0x40") // v28-v31 = di __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr __ASM_EMIT("fmul v1.4s, v17.4s, v25.4s") __ASM_EMIT("fmul v2.4s, v18.4s, v26.4s") __ASM_EMIT("fmul v3.4s, v19.4s, v27.4s") __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di __ASM_EMIT("fmul v5.4s, v17.4s, v29.4s") __ASM_EMIT("fmul v6.4s, v18.4s, v30.4s") __ASM_EMIT("fmul v7.4s, v19.4s, v31.4s") __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr __ASM_EMIT("fmul v17.4s, v17.4s, v17.4s") __ASM_EMIT("fmul v18.4s, v18.4s, v18.4s") __ASM_EMIT("fmul v19.4s, v19.4s, v19.4s") __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di __ASM_EMIT("fmla v1.4s, v21.4s, v29.4s") __ASM_EMIT("fmla v2.4s, v22.4s, v30.4s") __ASM_EMIT("fmla v3.4s, v23.4s, v31.4s") __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si __ASM_EMIT("fmla v17.4s, v21.4s, v21.4s") __ASM_EMIT("fmla v18.4s, v22.4s, v22.4s") __ASM_EMIT("fmla v19.4s, v23.4s, v23.4s") __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si) __ASM_EMIT("fdiv v13.4s, v8.4s, v17.4s") __ASM_EMIT("fdiv v14.4s, v8.4s, v18.4s") __ASM_EMIT("fdiv v15.4s, v8.4s, v19.4s") __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr __ASM_EMIT("fmls v5.4s, v21.4s, v25.4s") __ASM_EMIT("fmls v6.4s, v22.4s, v26.4s") __ASM_EMIT("fmls v7.4s, v23.4s, v27.4s") __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R __ASM_EMIT("fmul v1.4s, v1.4s, v13.4s") __ASM_EMIT("fmul v2.4s, v2.4s, v14.4s") __ASM_EMIT("fmul v3.4s, v3.4s, v15.4s") __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R __ASM_EMIT("fmul v5.4s, v5.4s, v13.4s") __ASM_EMIT("fmul v6.4s, v6.4s, v14.4s") __ASM_EMIT("fmul v7.4s, v7.4s, v15.4s") __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("st1 {v0.4s-v3.4s}, [%[dst_re]], #0x40") __ASM_EMIT("st1 {v4.4s-v7.4s}, [%[dst_im]], #0x40") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // x8 blocks __ASM_EMIT("adds %[count], %[count], #8") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ld1 {v16.4s, v17.4s}, [%[b_re]], #0x20") // v16-v17 = sr __ASM_EMIT("ld1 {v20.4s, v21.4s}, [%[b_im]], #0x20") // v20-v21 = si __ASM_EMIT("ld1 {v24.4s, v25.4s}, [%[t_re]], #0x20") // v24-v25 = dr __ASM_EMIT("ld1 {v28.4s, v29.4s}, [%[t_im]], #0x20") // v28-v29 = di __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr __ASM_EMIT("fmul v1.4s, v17.4s, v25.4s") __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di __ASM_EMIT("fmul v5.4s, v17.4s, v29.4s") __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr __ASM_EMIT("fmul v17.4s, v17.4s, v17.4s") __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di __ASM_EMIT("fmla v1.4s, v21.4s, v29.4s") __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si __ASM_EMIT("fmla v17.4s, v21.4s, v21.4s") __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si) __ASM_EMIT("fdiv v13.4s, v8.4s, v17.4s") __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr __ASM_EMIT("fmls v5.4s, v21.4s, v25.4s") __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R __ASM_EMIT("fmul v1.4s, v1.4s, v13.4s") __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R __ASM_EMIT("fmul v5.4s, v5.4s, v13.4s") __ASM_EMIT("sub %[count], %[count], #8") __ASM_EMIT("st1 {v0.4s, v1.4s}, [%[dst_re]], #0x20") __ASM_EMIT("st1 {v4.4s, v5.4s}, [%[dst_im]], #0x20") __ASM_EMIT("4:") // x4 blocks __ASM_EMIT("adds %[count], %[count], #4") __ASM_EMIT("b.lt 6f") __ASM_EMIT("ld1 {v16.4s}, [%[b_re]], #0x10") // v16-v17 = sr __ASM_EMIT("ld1 {v20.4s}, [%[b_im]], #0x10") // v20-v21 = si __ASM_EMIT("ld1 {v24.4s}, [%[t_re]], #0x10") // v24-v25 = dr __ASM_EMIT("ld1 {v28.4s}, [%[t_im]], #0x10") // v28-v29 = di __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si) __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R __ASM_EMIT("sub %[count], %[count], #4") __ASM_EMIT("st1 {v0.4s}, [%[dst_re]], #0x10") __ASM_EMIT("st1 {v4.4s}, [%[dst_im]], #0x10") __ASM_EMIT("6:") // x1 blocks __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 8f") __ASM_EMIT("7:") __ASM_EMIT("ld1r {v16.4s}, [%[b_re]], #0x04") // v16 = sr __ASM_EMIT("ld1r {v20.4s}, [%[b_im]], #0x04") // v20 = si __ASM_EMIT("ld1r {v24.4s}, [%[t_re]], #0x04") // v24 = dr __ASM_EMIT("ld1r {v28.4s}, [%[t_im]], #0x04") // v28 = di __ASM_EMIT("fmul v0.4s, v16.4s, v24.4s") // v0 = sr*dr __ASM_EMIT("fmul v4.4s, v16.4s, v28.4s") // v4 = sr*di __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = sr*sr __ASM_EMIT("fmla v0.4s, v20.4s, v28.4s") // v0 = sr*dr + si*di __ASM_EMIT("fmla v16.4s, v20.4s, v20.4s") // v16 = r = sr*sr + si*si __ASM_EMIT("fdiv v12.4s, v8.4s, v16.4s") // v12 = R = 1/(sr*sr + si*si) __ASM_EMIT("fmls v4.4s, v20.4s, v24.4s") // v4 = i = sr*di - si*dr __ASM_EMIT("fmul v0.4s, v0.4s, v12.4s") // v0 = r/R __ASM_EMIT("fmul v4.4s, v4.4s, v12.4s") // v4 = i/R __ASM_EMIT("st1 {v0.s}[0], [%[dst_re]], #0x04") __ASM_EMIT("st1 {v4.s}[0], [%[dst_im]], #0x04") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("b.ge 7b") __ASM_EMIT("8:") : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im), [t_re] "+r" (t_re), [t_im] "+r" (t_im), [b_re] "+r" (b_re), [b_im] "+r" (b_im), [count] "+r" (count) : [kdiv] "r" (&complex_div_const[0]) : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7", "v8", /* "v9", "v10", "v11", */ "v12", "v13", "v14", "v15", // Avoid usage if possible "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23", "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31" ); } void complex_mod(float *dst, const float *src_re, const float *src_im, size_t count) { ARCH_AARCH64_ASM ( __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("b.lo 2f") // x16 blocks __ASM_EMIT("1:") __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[src_re]], #0x40") // v16-v19 = r __ASM_EMIT("ld1 {v24.4s-v27.4s}, [%[src_im]], #0x40") // v24-v27 = i __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = r*r __ASM_EMIT("fmul v17.4s, v17.4s, v17.4s") __ASM_EMIT("fmul v18.4s, v18.4s, v18.4s") __ASM_EMIT("fmul v19.4s, v19.4s, v19.4s") __ASM_EMIT("fmla v16.4s, v24.4s, v24.4s") // v16 = R = r*r + i*i __ASM_EMIT("fmla v17.4s, v25.4s, v25.4s") __ASM_EMIT("fmla v18.4s, v26.4s, v26.4s") __ASM_EMIT("fmla v19.4s, v27.4s, v27.4s") __ASM_EMIT("fsqrt v16.4s, v16.4s") // v16 = sqrt(R) __ASM_EMIT("fsqrt v17.4s, v17.4s") __ASM_EMIT("fsqrt v18.4s, v18.4s") __ASM_EMIT("fsqrt v19.4s, v19.4s") __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("st1 {v16.4s-v19.4s}, [%[dst]], #0x40") __ASM_EMIT("b.hs 1b") // x8 blocks __ASM_EMIT("2:") __ASM_EMIT("adds %[count], %[count], #8") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ld1 {v16.4s, v17.4s}, [%[src_re]], #0x20") // v16-v17 = r __ASM_EMIT("ld1 {v24.4s, v25.4s}, [%[src_im]], #0x20") // v24-v25 = i __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = r*r __ASM_EMIT("fmul v17.4s, v17.4s, v17.4s") __ASM_EMIT("fmla v16.4s, v24.4s, v24.4s") // v16 = R = r*r + i*i __ASM_EMIT("fmla v17.4s, v25.4s, v25.4s") __ASM_EMIT("fsqrt v16.4s, v16.4s") // v16 = sqrt(R) __ASM_EMIT("fsqrt v17.4s, v17.4s") __ASM_EMIT("sub %[count], %[count], #8") __ASM_EMIT("st1 {v16.4s, v17.4s}, [%[dst]], #0x20") // x4 blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], %[count], #4") __ASM_EMIT("b.lt 6f") __ASM_EMIT("ld1 {v16.4s}, [%[src_re]], #0x10") // v16 = r __ASM_EMIT("ld1 {v24.4s}, [%[src_im]], #0x10") // v24 = i __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = r*r __ASM_EMIT("fmla v16.4s, v24.4s, v24.4s") // v16 = R = r*r + i*i __ASM_EMIT("fsqrt v16.4s, v16.4s") // v16 = sqrt(R) __ASM_EMIT("sub %[count], %[count], #4") __ASM_EMIT("st1 {v16.4s}, [%[dst]], #0x10") // x1 blocks __ASM_EMIT("6:") __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 8f") __ASM_EMIT("7:") __ASM_EMIT("ld1r {v16.4s}, [%[src_re]], #0x04") // v16 = r __ASM_EMIT("ld1r {v24.4s}, [%[src_im]], #0x04") // v24 = i __ASM_EMIT("fmul v16.4s, v16.4s, v16.4s") // v16 = r*r __ASM_EMIT("fmla v16.4s, v24.4s, v24.4s") // v16 = R = r*r + i*i __ASM_EMIT("fsqrt v16.4s, v16.4s") // v16 = sqrt(R) __ASM_EMIT("str s16, [%[dst]], #0x04") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("b.ge 7b") __ASM_EMIT("8:") : [dst] "+r" (dst), [src_re] "+r" (src_re), [src_im] "+r" (src_im), [count] "+r" (count) : : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7", // "v8", "v9", "v10", "v11", "v12", "v13", "v14", "v15", // Avoid usage if possible "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23", "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31" ); } void complex_rcp1(float *dst_re, float *dst_im, size_t count) { ARCH_AARCH64_ASM ( __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("b.lo 2f") // x16 blocks __ASM_EMIT("1:") __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[dst_re]]") // v16-v19 = dr __ASM_EMIT("ld1 {v20.4s-v23.4s}, [%[dst_im]]") // v20-v23 = di __ASM_EMIT("fmul v0.4s, v16.4s, v16.4s") // v0 = dr*dr __ASM_EMIT("fmul v1.4s, v17.4s, v17.4s") __ASM_EMIT("fmul v2.4s, v18.4s, v18.4s") __ASM_EMIT("fmul v3.4s, v19.4s, v19.4s") __ASM_EMIT("fmla v0.4s, v20.4s, v20.4s") // v0 = dr*dr + di*di __ASM_EMIT("fmla v1.4s, v21.4s, v21.4s") __ASM_EMIT("fmla v2.4s, v22.4s, v22.4s") __ASM_EMIT("fmla v3.4s, v23.4s, v23.4s") __ASM_EMIT("fneg v20.4s, v20.4s") // v20 = -di __ASM_EMIT("fneg v21.4s, v21.4s") __ASM_EMIT("fneg v22.4s, v22.4s") __ASM_EMIT("fneg v23.4s, v23.4s") __ASM_EMIT("fdiv v16.4s, v16.4s, v0.4s") // v16 = dr/(dr*dr + di*di) __ASM_EMIT("fdiv v17.4s, v17.4s, v1.4s") __ASM_EMIT("fdiv v18.4s, v18.4s, v2.4s") __ASM_EMIT("fdiv v19.4s, v19.4s, v3.4s") __ASM_EMIT("fdiv v20.4s, v20.4s, v0.4s") // v20 = -di/(dr*dr + di*di) __ASM_EMIT("fdiv v21.4s, v21.4s, v1.4s") __ASM_EMIT("fdiv v22.4s, v22.4s, v2.4s") __ASM_EMIT("fdiv v23.4s, v23.4s, v3.4s") __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("st1 {v16.4s-v19.4s}, [%[dst_re]], #0x40") __ASM_EMIT("st1 {v20.4s-v23.4s}, [%[dst_im]], #0x40") __ASM_EMIT("b.hs 1b") // x8 blocks __ASM_EMIT("2:") __ASM_EMIT("adds %[count], %[count], #8") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ld1 {v16.4s, v17.4s}, [%[dst_re]]") // v16-v17 = dr __ASM_EMIT("ld1 {v20.4s, v21.4s}, [%[dst_im]]") // v20-v21 = di __ASM_EMIT("fmul v0.4s, v16.4s, v16.4s") // v0 = dr*dr __ASM_EMIT("fmul v1.4s, v17.4s, v17.4s") __ASM_EMIT("fmla v0.4s, v20.4s, v20.4s") // v0 = dr*dr + di*di __ASM_EMIT("fmla v1.4s, v21.4s, v21.4s") __ASM_EMIT("fneg v20.4s, v20.4s") // v20 = -di __ASM_EMIT("fneg v21.4s, v21.4s") __ASM_EMIT("fdiv v16.4s, v16.4s, v0.4s") // v16 = dr/(dr*dr + di*di) __ASM_EMIT("fdiv v17.4s, v17.4s, v1.4s") __ASM_EMIT("fdiv v20.4s, v20.4s, v0.4s") // v20 = -di/(dr*dr + di*di) __ASM_EMIT("fdiv v21.4s, v21.4s, v1.4s") __ASM_EMIT("sub %[count], %[count], #8") __ASM_EMIT("st1 {v16.4s, v17.4s}, [%[dst_re]], #0x20") __ASM_EMIT("st1 {v20.4s, v21.4s}, [%[dst_im]], #0x20") // x4 blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], %[count], #4") __ASM_EMIT("b.lt 6f") __ASM_EMIT("ld1 {v16.4s}, [%[dst_re]]") // v16-v17 = dr __ASM_EMIT("ld1 {v20.4s}, [%[dst_im]]") // v20-v21 = di __ASM_EMIT("fmul v0.4s, v16.4s, v16.4s") // v0 = dr*dr __ASM_EMIT("fmla v0.4s, v20.4s, v20.4s") // v0 = dr*dr + di*di __ASM_EMIT("fneg v20.4s, v20.4s") // v20 = -di __ASM_EMIT("fdiv v16.4s, v16.4s, v0.4s") // v16 = dr/(dr*dr + di*di) __ASM_EMIT("fdiv v20.4s, v20.4s, v0.4s") // v20 = -di/(dr*dr + di*di) __ASM_EMIT("sub %[count], %[count], #4") __ASM_EMIT("st1 {v16.4s}, [%[dst_re]], #0x10") __ASM_EMIT("st1 {v20.4s}, [%[dst_im]], #0x10") // x1 blocks __ASM_EMIT("6:") __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 8f") __ASM_EMIT("7:") __ASM_EMIT("ld1r {v16.4s}, [%[dst_re]]") // v16 = dr __ASM_EMIT("ld1r {v20.4s}, [%[dst_im]]") // v20 = di __ASM_EMIT("fmul v0.4s, v16.4s, v16.4s") // v0 = dr*dr __ASM_EMIT("fmla v0.4s, v20.4s, v20.4s") // v0 = dr*dr + di*di __ASM_EMIT("fneg v20.4s, v20.4s") // v20 = -di __ASM_EMIT("fdiv v16.4s, v16.4s, v0.4s") // v16 = dr/(dr*dr + di*di) __ASM_EMIT("fdiv v20.4s, v20.4s, v0.4s") // v20 = -di/(dr*dr + di*di) __ASM_EMIT("str s16, [%[dst_re]], #0x04") __ASM_EMIT("str s20, [%[dst_im]], #0x04") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("b.ge 7b") __ASM_EMIT("8:") : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im), [count] "+r" (count) : : "cc", "memory", "v0", "v1", "v2", "v3", // "v8", "v9", "v10", "v11", "v12", "v13", "v14", "v15", // Avoid usage if possible "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23" ); } void complex_rcp2(float *dst_re, float *dst_im, const float *src_re, const float *src_im, size_t count) { ARCH_AARCH64_ASM ( __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("b.lo 2f") // x16 blocks __ASM_EMIT("1:") __ASM_EMIT("ld1 {v16.4s-v19.4s}, [%[src_re]], #0x40") // v16-v19 = dr __ASM_EMIT("ld1 {v20.4s-v23.4s}, [%[src_im]], #0x40") // v20-v23 = di __ASM_EMIT("fmul v0.4s, v16.4s, v16.4s") // v0 = dr*dr __ASM_EMIT("fmul v1.4s, v17.4s, v17.4s") __ASM_EMIT("fmul v2.4s, v18.4s, v18.4s") __ASM_EMIT("fmul v3.4s, v19.4s, v19.4s") __ASM_EMIT("fmla v0.4s, v20.4s, v20.4s") // v0 = dr*dr + di*di __ASM_EMIT("fmla v1.4s, v21.4s, v21.4s") __ASM_EMIT("fmla v2.4s, v22.4s, v22.4s") __ASM_EMIT("fmla v3.4s, v23.4s, v23.4s") __ASM_EMIT("fneg v20.4s, v20.4s") // v20 = -di __ASM_EMIT("fneg v21.4s, v21.4s") __ASM_EMIT("fneg v22.4s, v22.4s") __ASM_EMIT("fneg v23.4s, v23.4s") __ASM_EMIT("fdiv v16.4s, v16.4s, v0.4s") // v16 = dr/(dr*dr + di*di) __ASM_EMIT("fdiv v17.4s, v17.4s, v1.4s") __ASM_EMIT("fdiv v18.4s, v18.4s, v2.4s") __ASM_EMIT("fdiv v19.4s, v19.4s, v3.4s") __ASM_EMIT("fdiv v20.4s, v20.4s, v0.4s") // v20 = -di/(dr*dr + di*di) __ASM_EMIT("fdiv v21.4s, v21.4s, v1.4s") __ASM_EMIT("fdiv v22.4s, v22.4s, v2.4s") __ASM_EMIT("fdiv v23.4s, v23.4s, v3.4s") __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("st1 {v16.4s-v19.4s}, [%[dst_re]], #0x40") __ASM_EMIT("st1 {v20.4s-v23.4s}, [%[dst_im]], #0x40") __ASM_EMIT("b.hs 1b") // x8 blocks __ASM_EMIT("2:") __ASM_EMIT("adds %[count], %[count], #8") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ld1 {v16.4s, v17.4s}, [%[src_re]], #0x20") // v16-v17 = dr __ASM_EMIT("ld1 {v20.4s, v21.4s}, [%[src_im]], #0x20") // v20-v21 = di __ASM_EMIT("fmul v0.4s, v16.4s, v16.4s") // v0 = dr*dr __ASM_EMIT("fmul v1.4s, v17.4s, v17.4s") __ASM_EMIT("fmla v0.4s, v20.4s, v20.4s") // v0 = dr*dr + di*di __ASM_EMIT("fmla v1.4s, v21.4s, v21.4s") __ASM_EMIT("fneg v20.4s, v20.4s") // v20 = -di __ASM_EMIT("fneg v21.4s, v21.4s") __ASM_EMIT("fdiv v16.4s, v16.4s, v0.4s") // v16 = dr/(dr*dr + di*di) __ASM_EMIT("fdiv v17.4s, v17.4s, v1.4s") __ASM_EMIT("fdiv v20.4s, v20.4s, v0.4s") // v20 = -di/(dr*dr + di*di) __ASM_EMIT("fdiv v21.4s, v21.4s, v1.4s") __ASM_EMIT("sub %[count], %[count], #8") __ASM_EMIT("st1 {v16.4s, v17.4s}, [%[dst_re]], #0x20") __ASM_EMIT("st1 {v20.4s, v21.4s}, [%[dst_im]], #0x20") // x4 blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], %[count], #4") __ASM_EMIT("b.lt 6f") __ASM_EMIT("ld1 {v16.4s}, [%[src_re]], #0x10") // v16-v17 = dr __ASM_EMIT("ld1 {v20.4s}, [%[src_im]], #0x10") // v20-v21 = di __ASM_EMIT("fmul v0.4s, v16.4s, v16.4s") // v0 = dr*dr __ASM_EMIT("fmla v0.4s, v20.4s, v20.4s") // v0 = dr*dr + di*di __ASM_EMIT("fneg v20.4s, v20.4s") // v20 = -di __ASM_EMIT("fdiv v16.4s, v16.4s, v0.4s") // v16 = dr/(dr*dr + di*di) __ASM_EMIT("fdiv v20.4s, v20.4s, v0.4s") // v20 = -di/(dr*dr + di*di) __ASM_EMIT("sub %[count], %[count], #4") __ASM_EMIT("st1 {v16.4s}, [%[dst_re]], #0x10") __ASM_EMIT("st1 {v20.4s}, [%[dst_im]], #0x10") // x1 blocks __ASM_EMIT("6:") __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 8f") __ASM_EMIT("7:") __ASM_EMIT("ld1r {v16.4s}, [%[src_re]], #0x04") // v16 = dr __ASM_EMIT("ld1r {v20.4s}, [%[src_im]], #0x04") // v20 = di __ASM_EMIT("fmul v0.4s, v16.4s, v16.4s") // v0 = dr*dr __ASM_EMIT("fmla v0.4s, v20.4s, v20.4s") // v0 = dr*dr + di*di __ASM_EMIT("fneg v20.4s, v20.4s") // v20 = -di __ASM_EMIT("fdiv v16.4s, v16.4s, v0.4s") // v16 = dr/(dr*dr + di*di) __ASM_EMIT("fdiv v20.4s, v20.4s, v0.4s") // v20 = -di/(dr*dr + di*di) __ASM_EMIT("str s16, [%[dst_re]], #0x04") __ASM_EMIT("str s20, [%[dst_im]], #0x04") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("b.ge 7b") __ASM_EMIT("8:") : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im), [src_re] "+r" (src_re), [src_im] "+r" (src_im), [count] "+r" (count) : : "cc", "memory", "v0", "v1", "v2", "v3", // "v8", "v9", "v10", "v11", "v12", "v13", "v14", "v15", // Avoid usage if possible "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23" ); } } } #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_COMPLEX_H_ */