/* * Copyright (C) 2020 Linux Studio Plugins Project * (C) 2020 Vladimir Sadovnikov * * This file is part of lsp-dsp-lib * Created on: 31 мар. 2020 г. * * lsp-dsp-lib is free software: you can redistribute it and/or modify * it under the terms of the GNU Lesser General Public License as published by * the Free Software Foundation, either version 3 of the License, or * any later version. * * lsp-dsp-lib is distributed in the hope that it will be useful, * but WITHOUT ANY WARRANTY; without even the implied warranty of * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the * GNU Lesser General Public License for more details. * * You should have received a copy of the GNU Lesser General Public License * along with lsp-dsp-lib. If not, see . */ #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_COMPLEX_H_ #define PRIVATE_DSP_ARCH_ARM_NEON_D32_COMPLEX_H_ #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL #error "This header should not be included directly" #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */ namespace lsp { namespace neon_d32 { void complex_mul2(float *dst_re, float *dst_im, const float *src_re, const float *src_im, size_t count) { ARCH_ARM_ASM ( // x8 blocks __ASM_EMIT("subs %[count], #8") __ASM_EMIT("blo 2f") __ASM_EMIT("1:") __ASM_EMIT("vldm %[src_re], {q0-q1}") // q0, q1 = sr __ASM_EMIT("vldm %[src_im], {q2-q3}") // q2, q3 = si __ASM_EMIT("vldm %[dst_re], {q4-q5}") // q4, q5 = dr __ASM_EMIT("vldm %[dst_im], {q6-q7}") // q6, q7 = di __ASM_EMIT("vmul.f32 q8, q0, q4") // q8 = sr*dr __ASM_EMIT("vmul.f32 q9, q1, q5") __ASM_EMIT("add %[src_re], #0x20") __ASM_EMIT("vmul.f32 q4, q2, q4") // q4 = si*dr __ASM_EMIT("vmul.f32 q5, q3, q5") __ASM_EMIT("add %[src_im], #0x20") __ASM_EMIT("vmls.f32 q8, q2, q6") // q8 = sr*dr - si*di __ASM_EMIT("vmls.f32 q9, q3, q7") __ASM_EMIT("vmla.f32 q4, q0, q6") // q5 = si*dr + sr*di __ASM_EMIT("vmla.f32 q5, q1, q7") __ASM_EMIT("vstm %[dst_re], {q8-q9}") __ASM_EMIT("vstm %[dst_im], {q4-q5}") __ASM_EMIT("subs %[count], #8") __ASM_EMIT("add %[dst_re], #0x20") __ASM_EMIT("add %[dst_im], #0x20") __ASM_EMIT("bhs 1b") __ASM_EMIT("2:") // x4 blocks __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 4f") __ASM_EMIT("vldm %[src_re], {q0}") // q0 = sr __ASM_EMIT("vldm %[src_im], {q2}") // q2 = si __ASM_EMIT("vldm %[dst_re], {q4}") // q4 = dr __ASM_EMIT("vldm %[dst_im], {q6}") // q6 = di __ASM_EMIT("vmul.f32 q8, q0, q4") // q8 = sr*dr __ASM_EMIT("vmul.f32 q4, q2, q4") // q4 = si*dr __ASM_EMIT("add %[src_re], #0x10") __ASM_EMIT("vmls.f32 q8, q2, q6") // q8 = sr*dr - si*di __ASM_EMIT("vmla.f32 q4, q0, q6") // q4 = si*dr + sr*di __ASM_EMIT("add %[src_im], #0x10") __ASM_EMIT("vstm %[dst_re], {q8}") __ASM_EMIT("vstm %[dst_im], {q4}") __ASM_EMIT("sub %[count], #4") __ASM_EMIT("add %[dst_re], #0x10") __ASM_EMIT("add %[dst_im], #0x10") __ASM_EMIT("4:") // x1 blocks __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 6f") __ASM_EMIT("5:") __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src_re]]") // q0 = sr __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[src_im]]") // q2 = si __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[dst_re]]") // q4 = dr __ASM_EMIT("vld1.32 {d12[], d13[]}, [%[dst_im]]") // q6 = di __ASM_EMIT("vmul.f32 q8, q0, q4") // q8 = sr*dr __ASM_EMIT("vmul.f32 q4, q2, q4") // q4 = si*dr __ASM_EMIT("add %[src_re], #0x04") __ASM_EMIT("vmls.f32 q8, q2, q6") // q8 = sr*dr - si*di __ASM_EMIT("vmla.f32 q4, q0, q6") // q4 = si*dr + sr*di __ASM_EMIT("add %[src_im], #0x04") __ASM_EMIT("vst1.32 {d16[0]}, [%[dst_re]]") __ASM_EMIT("vst1.32 {d8[0]}, [%[dst_im]]") __ASM_EMIT("subs %[count], #1") __ASM_EMIT("add %[dst_re], #0x04") __ASM_EMIT("add %[dst_im], #0x04") __ASM_EMIT("bge 5b") __ASM_EMIT("6:") : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im), [src_re] "+r" (src_re), [src_im] "+r" (src_im), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9" ); } void complex_mul3(float *dst_re, float *dst_im, const float *src1_re, const float *src1_im, const float *src2_re, const float *src2_im, size_t count) { ARCH_ARM_ASM ( // x8 blocks __ASM_EMIT("subs %[count], #8") __ASM_EMIT("blo 2f") __ASM_EMIT("1:") __ASM_EMIT("vldm %[src1_re], {q0-q1}") // q0, q1 = sr __ASM_EMIT("vldm %[src1_im], {q2-q3}") // q2, q3 = si __ASM_EMIT("vldm %[src2_re], {q4-q5}") // q4, q5 = dr __ASM_EMIT("vldm %[src2_im], {q6-q7}") // q6, q7 = di __ASM_EMIT("vmul.f32 q8, q0, q4") // q8 = sr*dr __ASM_EMIT("add %[src1_re], #0x20") __ASM_EMIT("vmul.f32 q9, q1, q5") __ASM_EMIT("add %[src1_im], #0x20") __ASM_EMIT("vmul.f32 q4, q2, q4") // q4 = si*dr __ASM_EMIT("vmul.f32 q5, q3, q5") __ASM_EMIT("vmls.f32 q8, q2, q6") // q8 = sr*dr - si*di __ASM_EMIT("add %[src2_re], #0x20") __ASM_EMIT("vmls.f32 q9, q3, q7") __ASM_EMIT("vmla.f32 q4, q0, q6") // q5 = si*dr + sr*di __ASM_EMIT("add %[src2_im], #0x20") __ASM_EMIT("vmla.f32 q5, q1, q7") __ASM_EMIT("vstm %[dst_re], {q8-q9}") __ASM_EMIT("vstm %[dst_im], {q4-q5}") __ASM_EMIT("subs %[count], #8") __ASM_EMIT("add %[dst_re], #0x20") __ASM_EMIT("add %[dst_im], #0x20") __ASM_EMIT("bhs 1b") __ASM_EMIT("2:") // x4 blocks __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 4f") __ASM_EMIT("vldm %[src1_re], {q0}") // q0 = sr __ASM_EMIT("vldm %[src1_im], {q2}") // q2 = si __ASM_EMIT("vldm %[src2_re], {q4}") // q4 = dr __ASM_EMIT("vldm %[src2_im], {q6}") // q6 = di __ASM_EMIT("vmul.f32 q8, q0, q4") // q8 = sr*dr __ASM_EMIT("add %[src1_re], #0x10") __ASM_EMIT("vmul.f32 q4, q2, q4") // q4 = si*dr __ASM_EMIT("add %[src1_im], #0x10") __ASM_EMIT("vmls.f32 q8, q2, q6") // q8 = sr*dr - si*di __ASM_EMIT("add %[src2_re], #0x10") __ASM_EMIT("vmla.f32 q4, q0, q6") // q4 = si*dr + sr*di __ASM_EMIT("add %[src2_im], #0x10") __ASM_EMIT("vstm %[dst_re], {q8}") __ASM_EMIT("vstm %[dst_im], {q4}") __ASM_EMIT("sub %[count], #4") __ASM_EMIT("add %[dst_re], #0x10") __ASM_EMIT("add %[dst_im], #0x10") __ASM_EMIT("4:") // x1 blocks __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 6f") __ASM_EMIT("5:") __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src1_re]]") // q0 = sr __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[src1_im]]") // q2 = si __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[src2_re]]") // q4 = dr __ASM_EMIT("vld1.32 {d12[], d13[]}, [%[src2_im]]") // q6 = di __ASM_EMIT("vmul.f32 q8, q0, q4") // q8 = sr*dr __ASM_EMIT("add %[src1_re], #0x04") __ASM_EMIT("vmul.f32 q4, q2, q4") // q4 = si*dr __ASM_EMIT("add %[src1_im], #0x04") __ASM_EMIT("vmls.f32 q8, q2, q6") // q8 = sr*dr - si*di __ASM_EMIT("add %[src2_re], #0x04") __ASM_EMIT("vmla.f32 q4, q0, q6") // q4 = si*dr + sr*di __ASM_EMIT("add %[src2_im], #0x04") __ASM_EMIT("vst1.32 {d16[0]}, [%[dst_re]]") __ASM_EMIT("vst1.32 {d8[0]}, [%[dst_im]]") __ASM_EMIT("subs %[count], #1") __ASM_EMIT("add %[dst_re], #0x04") __ASM_EMIT("add %[dst_im], #0x04") __ASM_EMIT("bge 5b") __ASM_EMIT("6:") : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im), [src1_re] "+r" (src1_re), [src1_im] "+r" (src1_im), [src2_re] "+r" (src2_re), [src2_im] "+r" (src2_im), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9" ); } void complex_div2(float *dst_re, float *dst_im, const float *src_re, const float *src_im, size_t count) { ARCH_ARM_ASM ( // x8 blocks __ASM_EMIT("subs %[count], #8") __ASM_EMIT("blo 2f") __ASM_EMIT("1:") __ASM_EMIT("vld1.32 {q4-q5}, [%[src_re]]!") // q4 = sr __ASM_EMIT("vld1.32 {q6-q7}, [%[src_im]]!") // q6 = si __ASM_EMIT("vld1.32 {q8-q9}, [%[dst_re]]") // q8 = dr __ASM_EMIT("vld1.32 {q10-q11}, [%[dst_im]]") // q10 = di // q0 = sr*dr + si*di, q2 = sr*di - si*dr, q4 = sr*sr + si*si __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr __ASM_EMIT("vmul.f32 q1, q5, q9") __ASM_EMIT("vmul.f32 q2, q4, q10") // q2 = sr*di __ASM_EMIT("vmul.f32 q3, q5, q11") __ASM_EMIT("vmla.f32 q0, q6, q10") // q0 = sr*dr + si*di __ASM_EMIT("vmla.f32 q1, q7, q11") __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr __ASM_EMIT("vmul.f32 q5, q5, q5") __ASM_EMIT("vmls.f32 q2, q6, q8") // q2 = sr*di - si*dr __ASM_EMIT("vmls.f32 q3, q7, q9") __ASM_EMIT("vmla.f32 q4, q6, q6") // q4 = sr*sr + si*si __ASM_EMIT("vmla.f32 q5, q7, q7") // q4 = 1 / (sr*sr + si*si) __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecpe.f32 q7, q5") __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x0) __ASM_EMIT("vrecps.f32 q9, q7, q5") __ASM_EMIT("vmul.f32 q6, q8, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vmul.f32 q7, q9, q7") __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x1) __ASM_EMIT("vrecps.f32 q9, q7, q5") __ASM_EMIT("vmul.f32 q4, q8, q6") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q5, q9, q7") __ASM_EMIT("vmul.f32 q0, q0, q4") __ASM_EMIT("vmul.f32 q1, q1, q5") __ASM_EMIT("vmul.f32 q2, q2, q4") __ASM_EMIT("vmul.f32 q3, q3, q5") __ASM_EMIT("vst1.32 {q0-q1}, [%[dst_re]]!") __ASM_EMIT("vst1.32 {q2-q3}, [%[dst_im]]!") __ASM_EMIT("subs %[count], #8") __ASM_EMIT("bhs 1b") __ASM_EMIT("2:") // x4 blocks __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 4f") __ASM_EMIT("vld1.32 {q4}, [%[src_re]]!") // q4 = sr __ASM_EMIT("vld1.32 {q6}, [%[src_im]]!") // q6 = si __ASM_EMIT("vld1.32 {q8}, [%[dst_re]]") // q8 = dr __ASM_EMIT("vld1.32 {q10}, [%[dst_im]]") // q10 = di // q0 = sr*dr + si*di, q2 = sr*di - si*dr, q4 = sr*sr + si*si __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr __ASM_EMIT("vmul.f32 q2, q4, q10") // q2 = sr*di __ASM_EMIT("vmla.f32 q0, q6, q10") // q0 = sr*dr + si*di __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr __ASM_EMIT("vmls.f32 q2, q6, q8") // q2 = sr*di - si*dr __ASM_EMIT("vmla.f32 q4, q6, q6") // q4 = sr*sr + si*si // q4 = 1 / (sr*sr + si*si) __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x0) __ASM_EMIT("vmul.f32 q6, q8, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x1) __ASM_EMIT("vmul.f32 q4, q8, q6") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q0, q0, q4") __ASM_EMIT("vmul.f32 q2, q2, q4") __ASM_EMIT("vst1.32 {q0}, [%[dst_re]]!") __ASM_EMIT("vst1.32 {q2}, [%[dst_im]]!") __ASM_EMIT("sub %[count], #4") __ASM_EMIT("4:") // x1 blocks __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 6f") __ASM_EMIT("5:") __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[src_re]]!") // q4 = sr __ASM_EMIT("vld1.32 {d12[], d13[]}, [%[src_im]]!") // q6 = si __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[dst_re]]") // q8 = dr __ASM_EMIT("vld1.32 {d20[], d21[]}, [%[dst_im]]") // q10 = di __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr __ASM_EMIT("vmul.f32 q2, q4, q10") // q2 = sr*di __ASM_EMIT("vmla.f32 q0, q6, q10") // q0 = sr*dr + si*di __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr __ASM_EMIT("vmls.f32 q2, q6, q8") // q2 = sr*di - si*dr __ASM_EMIT("vmla.f32 q4, q6, q6") // q4 = sr*sr + si*si // q4 = 1 / (sr*sr + si*si) __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x0) __ASM_EMIT("vmul.f32 q6, q8, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x1) __ASM_EMIT("vmul.f32 q4, q8, q6") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q0, q0, q4") __ASM_EMIT("vmul.f32 q2, q2, q4") __ASM_EMIT("vst1.32 {d0[0]}, [%[dst_re]]!") __ASM_EMIT("vst1.32 {d4[0]}, [%[dst_im]]!") __ASM_EMIT("subs %[count], #1") __ASM_EMIT("bge 5b") __ASM_EMIT("6:") : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im), [src_re] "+r" (src_re), [src_im] "+r" (src_im), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11" ); } void complex_rdiv2(float *dst_re, float *dst_im, const float *src_re, const float *src_im, size_t count) { ARCH_ARM_ASM ( // x8 blocks __ASM_EMIT("subs %[count], #8") __ASM_EMIT("blo 2f") __ASM_EMIT("1:") __ASM_EMIT("vld1.32 {q4-q5}, [%[dst_re]]") // q4 = sr __ASM_EMIT("vld1.32 {q6-q7}, [%[dst_im]]") // q6 = si __ASM_EMIT("vld1.32 {q8-q9}, [%[src_re]]!") // q8 = dr __ASM_EMIT("vld1.32 {q10-q11}, [%[src_im]]!") // q10 = di // q0 = sr*dr + si*di, q2 = sr*di - si*dr, q4 = sr*sr + si*si __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr __ASM_EMIT("vmul.f32 q1, q5, q9") __ASM_EMIT("vmul.f32 q2, q4, q10") // q2 = sr*di __ASM_EMIT("vmul.f32 q3, q5, q11") __ASM_EMIT("vmla.f32 q0, q6, q10") // q0 = sr*dr + si*di __ASM_EMIT("vmla.f32 q1, q7, q11") __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr __ASM_EMIT("vmul.f32 q5, q5, q5") __ASM_EMIT("vmls.f32 q2, q6, q8") // q2 = sr*di - si*dr __ASM_EMIT("vmls.f32 q3, q7, q9") __ASM_EMIT("vmla.f32 q4, q6, q6") // q4 = sr*sr + si*si __ASM_EMIT("vmla.f32 q5, q7, q7") // q4 = 1 / (sr*sr + si*si) __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecpe.f32 q7, q5") __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x0) __ASM_EMIT("vrecps.f32 q9, q7, q5") __ASM_EMIT("vmul.f32 q6, q8, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vmul.f32 q7, q9, q7") __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x1) __ASM_EMIT("vrecps.f32 q9, q7, q5") __ASM_EMIT("vmul.f32 q4, q8, q6") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q5, q9, q7") __ASM_EMIT("vmul.f32 q0, q0, q4") __ASM_EMIT("vmul.f32 q1, q1, q5") __ASM_EMIT("vmul.f32 q2, q2, q4") __ASM_EMIT("vmul.f32 q3, q3, q5") __ASM_EMIT("vst1.32 {q0-q1}, [%[dst_re]]!") __ASM_EMIT("vst1.32 {q2-q3}, [%[dst_im]]!") __ASM_EMIT("subs %[count], #8") __ASM_EMIT("bhs 1b") __ASM_EMIT("2:") // x4 blocks __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 4f") __ASM_EMIT("vld1.32 {q4}, [%[dst_re]]") // q4 = sr __ASM_EMIT("vld1.32 {q6}, [%[dst_im]]") // q6 = si __ASM_EMIT("vld1.32 {q8}, [%[src_re]]!") // q8 = dr __ASM_EMIT("vld1.32 {q10}, [%[src_im]]!") // q10 = di // q0 = sr*dr + si*di, q2 = sr*di - si*dr, q4 = sr*sr + si*si __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr __ASM_EMIT("vmul.f32 q2, q4, q10") // q2 = sr*di __ASM_EMIT("vmla.f32 q0, q6, q10") // q0 = sr*dr + si*di __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr __ASM_EMIT("vmls.f32 q2, q6, q8") // q2 = sr*di - si*dr __ASM_EMIT("vmla.f32 q4, q6, q6") // q4 = sr*sr + si*si // q4 = 1 / (sr*sr + si*si) __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x0) __ASM_EMIT("vmul.f32 q6, q8, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x1) __ASM_EMIT("vmul.f32 q4, q8, q6") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q0, q0, q4") __ASM_EMIT("vmul.f32 q2, q2, q4") __ASM_EMIT("vst1.32 {q0}, [%[dst_re]]!") __ASM_EMIT("vst1.32 {q2}, [%[dst_im]]!") __ASM_EMIT("sub %[count], #4") __ASM_EMIT("4:") // x1 blocks __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 6f") __ASM_EMIT("5:") __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[dst_re]]") // q4 = sr __ASM_EMIT("vld1.32 {d12[], d13[]}, [%[dst_im]]") // q6 = si __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[src_re]]!") // q8 = dr __ASM_EMIT("vld1.32 {d20[], d21[]}, [%[src_im]]!") // q10 = di __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr __ASM_EMIT("vmul.f32 q2, q4, q10") // q2 = sr*di __ASM_EMIT("vmla.f32 q0, q6, q10") // q0 = sr*dr + si*di __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr __ASM_EMIT("vmls.f32 q2, q6, q8") // q2 = sr*di - si*dr __ASM_EMIT("vmla.f32 q4, q6, q6") // q4 = sr*sr + si*si // q4 = 1 / (sr*sr + si*si) __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x0) __ASM_EMIT("vmul.f32 q6, q8, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x1) __ASM_EMIT("vmul.f32 q4, q8, q6") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q0, q0, q4") __ASM_EMIT("vmul.f32 q2, q2, q4") __ASM_EMIT("vst1.32 {d0[0]}, [%[dst_re]]!") __ASM_EMIT("vst1.32 {d4[0]}, [%[dst_im]]!") __ASM_EMIT("subs %[count], #1") __ASM_EMIT("bge 5b") __ASM_EMIT("6:") : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im), [src_re] "+r" (src_re), [src_im] "+r" (src_im), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11" ); } void complex_div3(float *dst_re, float *dst_im, const float *t_re, const float *t_im, const float *b_re, const float *b_im, size_t count) { ARCH_ARM_ASM ( // x8 blocks __ASM_EMIT("subs %[count], #8") __ASM_EMIT("blo 2f") __ASM_EMIT("1:") __ASM_EMIT("vld1.32 {q4-q5}, [%[b_re]]!") // q4 = sr __ASM_EMIT("vld1.32 {q6-q7}, [%[b_im]]!") // q6 = si __ASM_EMIT("vld1.32 {q8-q9}, [%[t_re]]!") // q8 = dr __ASM_EMIT("vld1.32 {q10-q11}, [%[t_im]]!") // q10 = di // q0 = sr*dr + si*di, q2 = -(sr*di + si*dr), q4 = sr*sr + si*si __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr __ASM_EMIT("vmul.f32 q1, q5, q9") __ASM_EMIT("vmul.f32 q2, q4, q10") // q2 = sr*di __ASM_EMIT("vmul.f32 q3, q5, q11") __ASM_EMIT("vmla.f32 q0, q6, q10") // q0 = sr*dr + si*di __ASM_EMIT("vmla.f32 q1, q7, q11") __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr __ASM_EMIT("vmul.f32 q5, q5, q5") __ASM_EMIT("vmls.f32 q2, q6, q8") // q2 = sr*di - si*dr __ASM_EMIT("vmls.f32 q3, q7, q9") __ASM_EMIT("vmla.f32 q4, q6, q6") // q4 = sr*sr + si*si __ASM_EMIT("vmla.f32 q5, q7, q7") // q4 = 1 / (sr*sr + si*si) __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecpe.f32 q7, q5") __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x0) __ASM_EMIT("vrecps.f32 q9, q7, q5") __ASM_EMIT("vmul.f32 q6, q8, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vmul.f32 q7, q9, q7") __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x1) __ASM_EMIT("vrecps.f32 q9, q7, q5") __ASM_EMIT("vmul.f32 q4, q8, q6") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q5, q9, q7") __ASM_EMIT("vmul.f32 q0, q0, q4") __ASM_EMIT("vmul.f32 q1, q1, q5") __ASM_EMIT("vmul.f32 q2, q2, q4") __ASM_EMIT("vmul.f32 q3, q3, q5") __ASM_EMIT("vst1.32 {q0-q1}, [%[dst_re]]!") __ASM_EMIT("vst1.32 {q2-q3}, [%[dst_im]]!") __ASM_EMIT("subs %[count], #8") __ASM_EMIT("bhs 1b") __ASM_EMIT("2:") // x4 blocks __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 4f") __ASM_EMIT("vld1.32 {q4}, [%[b_re]]!") // q4 = sr __ASM_EMIT("vld1.32 {q6}, [%[b_im]]!") // q6 = si __ASM_EMIT("vld1.32 {q8}, [%[t_re]]!") // q8 = dr __ASM_EMIT("vld1.32 {q10}, [%[t_im]]!") // q10 = di // q0 = sr*dr + si*di, q2 = -(sr*di + si*dr), q4 = sr*sr + si*si __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr __ASM_EMIT("vmul.f32 q2, q4, q10") // q2 = sr*di __ASM_EMIT("vmla.f32 q0, q6, q10") // q0 = sr*dr + si*di __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr __ASM_EMIT("vmls.f32 q2, q6, q8") // q2 = sr*di - si*dr __ASM_EMIT("vmla.f32 q4, q6, q6") // q4 = sr*sr + si*si // q4 = 1 / (sr*sr + si*si) __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x0) __ASM_EMIT("vmul.f32 q6, q8, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x1) __ASM_EMIT("vmul.f32 q4, q8, q6") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q0, q0, q4") __ASM_EMIT("vmul.f32 q2, q2, q4") __ASM_EMIT("vst1.32 {q0}, [%[dst_re]]!") __ASM_EMIT("vst1.32 {q2}, [%[dst_im]]!") __ASM_EMIT("sub %[count], #4") __ASM_EMIT("4:") // x1 blocks __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 6f") __ASM_EMIT("5:") __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[b_re]]!") // q4 = sr __ASM_EMIT("vld1.32 {d12[], d13[]}, [%[b_im]]!") // q6 = si __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[t_re]]!") // q8 = dr __ASM_EMIT("vld1.32 {d20[], d21[]}, [%[t_im]]!") // q10 = di __ASM_EMIT("vmul.f32 q0, q4, q8") // q0 = sr*dr __ASM_EMIT("vmul.f32 q2, q4, q10") // q2 = sr*di __ASM_EMIT("vmla.f32 q0, q6, q10") // q0 = sr*dr + si*di __ASM_EMIT("vmul.f32 q4, q4, q4") // q4 = sr*sr __ASM_EMIT("vmls.f32 q2, q6, q8") // q2 = sr*di - si*dr __ASM_EMIT("vmla.f32 q4, q6, q6") // q4 = sr*sr + si*si // q4 = 1 / (sr*sr + si*si) __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x0) __ASM_EMIT("vmul.f32 q6, q8, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vrecps.f32 q8, q6, q4") // q8 = (2 - R*x1) __ASM_EMIT("vmul.f32 q4, q8, q6") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q0, q0, q4") __ASM_EMIT("vmul.f32 q2, q2, q4") __ASM_EMIT("vst1.32 {d0[0]}, [%[dst_re]]!") __ASM_EMIT("vst1.32 {d4[0]}, [%[dst_im]]!") __ASM_EMIT("subs %[count], #1") __ASM_EMIT("bge 5b") __ASM_EMIT("6:") : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im), [t_re] "+r" (t_re), [t_im] "+r" (t_im), [b_re] "+r" (b_re), [b_im] "+r" (b_im), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11" ); } void complex_mod(float *dst, const float *src_re, const float *src_im, size_t count) { ARCH_ARM_ASM ( __ASM_EMIT("subs %[count], #16") __ASM_EMIT("blo 2f") //----------------------------------------------------------------- // x16 blocks __ASM_EMIT("1:") __ASM_EMIT("vld1.32 {q0-q1}, [%[src_re]]!") // q0 = r1, q1 = r2 __ASM_EMIT("vld1.32 {q4-q5}, [%[src_im]]!") // q4 = i1, q5 = i2 __ASM_EMIT("vmul.f32 q0, q0, q0") // q0 = r*r __ASM_EMIT("vld1.32 {q2-q3}, [%[src_re]]!") // q2 = r3, q3 = r4 __ASM_EMIT("vmul.f32 q1, q1, q1") __ASM_EMIT("vld1.32 {q6-q7}, [%[src_im]]!") // q6 = i3, q7 = i4 __ASM_EMIT("vmul.f32 q2, q2, q2") __ASM_EMIT("vmul.f32 q3, q3, q3") __ASM_EMIT("vmla.f32 q0, q4, q4") // q0 = R = r*r + i*i __ASM_EMIT("vmla.f32 q1, q5, q5") __ASM_EMIT("vmla.f32 q2, q6, q6") __ASM_EMIT("vmla.f32 q3, q7, q7") // 1/sqrt(R) calculation __ASM_EMIT("vrsqrte.f32 q4, q0") // q4 = x0 __ASM_EMIT("vrsqrte.f32 q7, q1") __ASM_EMIT("vrsqrte.f32 q10, q2") __ASM_EMIT("vrsqrte.f32 q13, q3") __ASM_EMIT("vmul.f32 q5, q4, q0") // q5 = R * x0 __ASM_EMIT("vmul.f32 q8, q7, q1") __ASM_EMIT("vmul.f32 q11, q10, q2") __ASM_EMIT("vmul.f32 q14, q13, q3") __ASM_EMIT("vrsqrts.f32 q6, q5, q4") // q6 = (3 - R * x0 * x0) / 2 __ASM_EMIT("vrsqrts.f32 q9, q8, q7") __ASM_EMIT("vrsqrts.f32 q12, q11, q10") __ASM_EMIT("vrsqrts.f32 q15, q14, q13") __ASM_EMIT("vmul.f32 q4, q4, q6") // q4 = x1 = x0 * (3 - R * x0 * x0) / 2 __ASM_EMIT("vmul.f32 q7, q7, q9") __ASM_EMIT("vmul.f32 q10, q10, q12") __ASM_EMIT("vmul.f32 q13, q13, q15") __ASM_EMIT("vmul.f32 q5, q4, q0") // q5 = R * x1 __ASM_EMIT("vmul.f32 q8, q7, q1") __ASM_EMIT("vmul.f32 q11, q10, q2") __ASM_EMIT("vmul.f32 q14, q13, q3") __ASM_EMIT("vrsqrts.f32 q6, q5, q4") // q6 = (3 - R * x1 * x1) / 2 __ASM_EMIT("vrsqrts.f32 q9, q8, q7") __ASM_EMIT("vrsqrts.f32 q12, q11, q10") __ASM_EMIT("vrsqrts.f32 q15, q14, q13") __ASM_EMIT("vmul.f32 q4, q4, q6") // q4 = 1/sqrt(R) = x2 = x1 * (3 - R * x1 * x1) / 2 __ASM_EMIT("vmul.f32 q7, q7, q9") __ASM_EMIT("vmul.f32 q10, q10, q12") __ASM_EMIT("vmul.f32 q13, q13, q15") // Complete comuting __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = R / sqrt(R) = sqrt(R) __ASM_EMIT("vmul.f32 q1, q1, q7") __ASM_EMIT("vmul.f32 q2, q2, q10") __ASM_EMIT("vmul.f32 q3, q3, q13") __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!") __ASM_EMIT("subs %[count], #16") __ASM_EMIT("vst1.32 {q2-q3}, [%[dst]]!") __ASM_EMIT("bhs 1b") //----------------------------------------------------------------- // x8 blocks __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #8") __ASM_EMIT("blt 4f") __ASM_EMIT("vld1.32 {q0-q1}, [%[src_re]]!") // q0 = r1, q1 = r2 __ASM_EMIT("vld1.32 {q4-q5}, [%[src_im]]!") // q4 = i1, q5 = i2 __ASM_EMIT("vmul.f32 q0, q0, q0") // q0 = r*r __ASM_EMIT("vmul.f32 q1, q1, q1") __ASM_EMIT("vmla.f32 q0, q4, q4") // q0 = R = r*r + i*i __ASM_EMIT("vmla.f32 q1, q5, q5") // 1/sqrt(R) calculation __ASM_EMIT("vrsqrte.f32 q4, q0") // q4 = x0 __ASM_EMIT("vrsqrte.f32 q7, q1") __ASM_EMIT("vmul.f32 q5, q4, q0") // q5 = R * x0 __ASM_EMIT("vmul.f32 q8, q7, q1") __ASM_EMIT("vrsqrts.f32 q6, q5, q4") // q6 = (3 - R * x0 * x0) / 2 __ASM_EMIT("vrsqrts.f32 q9, q8, q7") __ASM_EMIT("vmul.f32 q4, q4, q6") // q4 = x1 = x0 * (3 - R * x0 * x0) / 2 __ASM_EMIT("vmul.f32 q7, q7, q9") __ASM_EMIT("vmul.f32 q5, q4, q0") // q5 = R * x1 __ASM_EMIT("vmul.f32 q8, q7, q1") __ASM_EMIT("vrsqrts.f32 q6, q5, q4") // q6 = (3 - R * x1 * x1) / 2 __ASM_EMIT("vrsqrts.f32 q9, q8, q7") __ASM_EMIT("vmul.f32 q4, q4, q6") // q4 = 1/sqrt(R) = x2 = x1 * (3 - R * x1 * x1) / 2 __ASM_EMIT("vmul.f32 q7, q7, q9") // Complete comuting __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = R / sqrt(R) = sqrt(R) __ASM_EMIT("vmul.f32 q1, q1, q7") __ASM_EMIT("sub %[count], #8") __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!") //----------------------------------------------------------------- // x4 blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 6f") __ASM_EMIT("vld1.32 {q0}, [%[src_re]]!") // q0 = r __ASM_EMIT("vld1.32 {q2}, [%[src_im]]!") // q2 = i __ASM_EMIT("vmul.f32 q0, q0, q0") // q0 = r*r __ASM_EMIT("vmla.f32 q0, q2, q2") // q0 = R = r*r + i*i // 1/sqrt(R) calculation __ASM_EMIT("vrsqrte.f32 q1, q0") // q1 = x0 __ASM_EMIT("vmul.f32 q2, q1, q0") // q2 = R * x0 __ASM_EMIT("vrsqrts.f32 q3, q2, q1") // q3 = (3 - R * x0 * x0) / 2 __ASM_EMIT("vmul.f32 q1, q1, q3") // q1 = x1 = x0 * (3 - R * x0 * x0) / 2 __ASM_EMIT("vmul.f32 q2, q1, q0") // q2 = R * x1 __ASM_EMIT("vrsqrts.f32 q3, q2, q1") // q3 = (3 - R * x1 * x1) / 2 __ASM_EMIT("vmul.f32 q1, q1, q3") // q1 = 1/sqrt(R) = x2 = x1 * (3 - R * x1 * x1) / 2 // Complete comuting __ASM_EMIT("vmul.f32 q0, q0, q1") // q0 = R / sqrt(R) = sqrt(R) __ASM_EMIT("sub %[count], #4") __ASM_EMIT("vst1.32 {q0}, [%[dst]]!") // x1 blocks __ASM_EMIT("6:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 8f") __ASM_EMIT("7:") __ASM_EMIT("vldm.32 %[src_re]!, {s0}") // s0 = r __ASM_EMIT("vldm.32 %[src_im]!, {s1}") // s1 = i __ASM_EMIT("vmul.f32 s0, s0, s0") // s0 = r*r __ASM_EMIT("vmla.f32 s0, s1, s1") // s0 = r*r + i*i __ASM_EMIT("vsqrt.f32 s0, s0") // s0 = sqrt(r*r + i*i) __ASM_EMIT("subs %[count], #1") __ASM_EMIT("vstm.32 %[dst]!, {s0}") __ASM_EMIT("bge 7b") __ASM_EMIT("8:") : [dst] "+r" (dst), [src_re] "+r" (src_re), [src_im] "+r" (src_im), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15" ); } void complex_rcp1(float *dst_re, float *dst_im, size_t count) { ARCH_ARM_ASM ( __ASM_EMIT("subs %[count], #8") __ASM_EMIT("blo 2f") //----------------------------------------------------------------- // x8 blocks __ASM_EMIT("1:") __ASM_EMIT("vld1.32 {q0-q1}, [%[dst_re]]") // q0 = r1, q1 = r2 __ASM_EMIT("vld1.32 {q2-q3}, [%[dst_im]]") // q2 = i1, q3 = i2 __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r __ASM_EMIT("vmul.f32 q5, q1, q1") __ASM_EMIT("vmla.f32 q4, q2, q2") // q4 = R = r*r + i*i __ASM_EMIT("vmla.f32 q5, q3, q3") // 1 / R calculation __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecpe.f32 q8, q5") __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0) __ASM_EMIT("vrecps.f32 q9, q8, q5") __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vmul.f32 q8, q9, q8") __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1) __ASM_EMIT("vrecps.f32 q9, q8, q5") __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q5, q9, q8") // r/R, -i/R __ASM_EMIT("vneg.f32 q2, q2") // q2 = -i __ASM_EMIT("vneg.f32 q3, q3") __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R __ASM_EMIT("vmul.f32 q1, q1, q5") __ASM_EMIT("vmul.f32 q2, q2, q4") // q2 = -i / R __ASM_EMIT("vmul.f32 q3, q3, q5") __ASM_EMIT("subs %[count], #8") __ASM_EMIT("vst1.32 {q0-q1}, [%[dst_re]]!") __ASM_EMIT("vst1.32 {q2-q3}, [%[dst_im]]!") __ASM_EMIT("bhs 1b") //----------------------------------------------------------------- // x4 blocks __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 4f") __ASM_EMIT("vld1.32 {q0}, [%[dst_re]]") // q0 = r __ASM_EMIT("vld1.32 {q2}, [%[dst_im]]") // q2 = i __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r __ASM_EMIT("vmla.f32 q4, q2, q2") // q4 = R = r*r + i*i // 1 / R calculation __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0) __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1) __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0) // r/R, -i/R __ASM_EMIT("vneg.f32 q2, q2") // q2 = -i __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R __ASM_EMIT("vmul.f32 q2, q2, q4") // q2 = -i / R __ASM_EMIT("sub %[count], #4") __ASM_EMIT("vst1.32 {q0}, [%[dst_re]]!") __ASM_EMIT("vst1.32 {q2}, [%[dst_im]]!") // x1 blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 6f") __ASM_EMIT("5:") __ASM_EMIT("vldm.32 %[dst_re], {s0}") // s0 = r __ASM_EMIT("vldm.32 %[dst_im], {s2}") // s1 = i __ASM_EMIT("vmul.f32 s4, s0, s0") // s4 = r*r __ASM_EMIT("vmla.f32 s4, s2, s2") // s4 = R = r*r + i*i __ASM_EMIT("vneg.f32 s2, s2") // s2 = -i __ASM_EMIT("vdiv.f32 s0, s0, s4") // s0 = r / R __ASM_EMIT("vdiv.f32 s2, s2, s4") // s2 = -i / R __ASM_EMIT("subs %[count], #1") __ASM_EMIT("vstm.32 %[dst_re]!, {s0}") __ASM_EMIT("vstm.32 %[dst_im]!, {s2}") __ASM_EMIT("bge 5b") __ASM_EMIT("6:") : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11" ); } void complex_rcp2(float *dst_re, float *dst_im, const float *src_re, const float *src_im, size_t count) { ARCH_ARM_ASM ( __ASM_EMIT("subs %[count], #8") __ASM_EMIT("blo 2f") //----------------------------------------------------------------- // x8 blocks __ASM_EMIT("1:") __ASM_EMIT("vld1.32 {q0-q1}, [%[src_re]]!") // q0 = r1, q1 = r2 __ASM_EMIT("vld1.32 {q2-q3}, [%[src_im]]!") // q2 = i1, q3 = i2 __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r __ASM_EMIT("vmul.f32 q5, q1, q1") __ASM_EMIT("vmla.f32 q4, q2, q2") // q4 = R = r*r + i*i __ASM_EMIT("vmla.f32 q5, q3, q3") // 1 / R calculation __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecpe.f32 q8, q5") __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0) __ASM_EMIT("vrecps.f32 q9, q8, q5") __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vmul.f32 q8, q9, q8") __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1) __ASM_EMIT("vrecps.f32 q9, q8, q5") __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0) __ASM_EMIT("vmul.f32 q5, q9, q8") // r/R, -i/R __ASM_EMIT("vneg.f32 q2, q2") // q2 = -i __ASM_EMIT("vneg.f32 q3, q3") __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R __ASM_EMIT("vmul.f32 q1, q1, q5") __ASM_EMIT("vmul.f32 q2, q2, q4") // q2 = -i / R __ASM_EMIT("vmul.f32 q3, q3, q5") __ASM_EMIT("subs %[count], #8") __ASM_EMIT("vst1.32 {q0-q1}, [%[dst_re]]!") __ASM_EMIT("vst1.32 {q2-q3}, [%[dst_im]]!") __ASM_EMIT("bhs 1b") //----------------------------------------------------------------- // x4 blocks __ASM_EMIT("2:") __ASM_EMIT("adds %[count], #4") __ASM_EMIT("blt 4f") __ASM_EMIT("vld1.32 {q0}, [%[src_re]]!") // q0 = r __ASM_EMIT("vld1.32 {q2}, [%[src_im]]!") // q2 = i __ASM_EMIT("vmul.f32 q4, q0, q0") // q4 = r*r __ASM_EMIT("vmla.f32 q4, q2, q2") // q4 = R = r*r + i*i // 1 / R calculation __ASM_EMIT("vrecpe.f32 q6, q4") // q6 = x0 __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x0) __ASM_EMIT("vmul.f32 q6, q7, q6") // q6 = x1 = x0 * (2 - R*x0) __ASM_EMIT("vrecps.f32 q7, q6, q4") // q7 = (2 - R*x1) __ASM_EMIT("vmul.f32 q4, q7, q6") // q4 = x2 = x1 * (2 - R*x0) // r/R, -i/R __ASM_EMIT("vneg.f32 q2, q2") // q2 = -i __ASM_EMIT("vmul.f32 q0, q0, q4") // q0 = r / R __ASM_EMIT("vmul.f32 q2, q2, q4") // q2 = -i / R __ASM_EMIT("sub %[count], #4") __ASM_EMIT("vst1.32 {q0}, [%[dst_re]]!") __ASM_EMIT("vst1.32 {q2}, [%[dst_im]]!") // x1 blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], #3") __ASM_EMIT("blt 6f") __ASM_EMIT("5:") __ASM_EMIT("vldm.32 %[src_re]!, {s0}") // s0 = r __ASM_EMIT("vldm.32 %[src_im]!, {s2}") // s1 = i __ASM_EMIT("vmul.f32 s4, s0, s0") // s4 = r*r __ASM_EMIT("vmla.f32 s4, s2, s2") // s4 = R = r*r + i*i __ASM_EMIT("vneg.f32 s2, s2") // s2 = -i __ASM_EMIT("vdiv.f32 s0, s0, s4") // s0 = r / R __ASM_EMIT("vdiv.f32 s2, s2, s4") // s2 = -i / R __ASM_EMIT("subs %[count], #1") __ASM_EMIT("vstm.32 %[dst_re]!, {s0}") __ASM_EMIT("vstm.32 %[dst_im]!, {s2}") __ASM_EMIT("bge 5b") __ASM_EMIT("6:") : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im), [src_re] "+r" (src_re), [src_im] "+r" (src_im), [count] "+r" (count) : : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11" ); } } } #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_COMPLEX_H_ */