/* * Copyright (C) 2020 Linux Studio Plugins Project * (C) 2020 Vladimir Sadovnikov * * This file is part of lsp-dsp-lib * Created on: 31 мар. 2020 г. * * lsp-dsp-lib is free software: you can redistribute it and/or modify * it under the terms of the GNU Lesser General Public License as published by * the Free Software Foundation, either version 3 of the License, or * any later version. * * lsp-dsp-lib is distributed in the hope that it will be useful, * but WITHOUT ANY WARRANTY; without even the implied warranty of * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the * GNU Lesser General Public License for more details. * * You should have received a copy of the GNU Lesser General Public License * along with lsp-dsp-lib. If not, see . */ #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_RESAMPLING_H_ #define PRIVATE_DSP_ARCH_AARCH64_ASIMD_RESAMPLING_H_ #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL #error "This header should not be included directly" #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL */ namespace lsp { namespace asimd { IF_ARCH_AARCH64( static const float lanczos_2x2[] __lsp_aligned16 = { +0.0000000000000000f, -0.0636843520278618f, // k1 +0.0000000000000000f, +0.5731591682507563f, // k0 +1.0000000000000000f, +0.5731591682507563f, // k0 +0.0000000000000000f, -0.0636843520278618f // k1 }; ) void lanczos_resample_2x2(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( // Prepare __ASM_EMIT("ldp q22, q23, [%[kernel]]") // v22 = 0 k1 0 k0, v23 = 1 k0 0 k1 // 8x blocks __ASM_EMIT("subs %[count], %[count], #8") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ldp q16, q17, [%[src], #0x00]") // v16 = s0 s1 s2 s3, v17 = s4 s5 s6 s7 __ASM_EMIT("dup v18.4s, v16.s[0]") __ASM_EMIT("dup v20.4s, v17.s[0]") __ASM_EMIT("dup v19.4s, v16.s[2]") __ASM_EMIT("dup v21.4s, v17.s[2]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldr q4, [%[dst], #0x40]") __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v19.4s, v22.4s") __ASM_EMIT("fmla v2.4s, v20.4s, v22.4s") __ASM_EMIT("fmla v3.4s, v21.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s") __ASM_EMIT("fmla v2.4s, v19.4s, v23.4s") __ASM_EMIT("fmla v3.4s, v20.4s, v23.4s") __ASM_EMIT("fmla v4.4s, v21.4s, v23.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("str q4, [%[dst], #0x40]") __ASM_EMIT("dup v18.4s, v16.s[1]") __ASM_EMIT("dup v20.4s, v17.s[1]") __ASM_EMIT("add %[dst], %[dst], #0x08") __ASM_EMIT("dup v19.4s, v16.s[3]") __ASM_EMIT("dup v21.4s, v17.s[3]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldr q4, [%[dst], #0x40]") __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v19.4s, v22.4s") __ASM_EMIT("fmla v2.4s, v20.4s, v22.4s") __ASM_EMIT("fmla v3.4s, v21.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s") __ASM_EMIT("fmla v2.4s, v19.4s, v23.4s") __ASM_EMIT("fmla v3.4s, v20.4s, v23.4s") __ASM_EMIT("fmla v4.4s, v21.4s, v23.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("str q4, [%[dst], #0x40]") __ASM_EMIT("subs %[count], %[count], #8") __ASM_EMIT("add %[src], %[src], #0x20") __ASM_EMIT("add %[dst], %[dst], #0x38") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // 4x block __ASM_EMIT("adds %[count], %[count], #4") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ldr q16, [%[src]]") // v16 = s0 s1 s2 s3 __ASM_EMIT("dup v18.4s, v16.s[0]") __ASM_EMIT("dup v19.4s, v16.s[2]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldr q2, [%[dst], #0x20]") __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v19.4s, v22.4s") __ASM_EMIT("fmla v2.4s, v19.4s, v23.4s") __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("str q2, [%[dst], #0x20]") __ASM_EMIT("dup v18.4s, v16.s[1]") __ASM_EMIT("add %[dst], %[dst], #0x08") __ASM_EMIT("dup v19.4s, v16.s[3]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldr q2, [%[dst], #0x20]") __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v19.4s, v22.4s") __ASM_EMIT("fmla v2.4s, v19.4s, v23.4s") __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("str q2, [%[dst], #0x20]") __ASM_EMIT("sub %[count], %[count], #4") __ASM_EMIT("add %[src], %[src], #0x10") __ASM_EMIT("add %[dst], %[dst], #0x18") __ASM_EMIT("4:") // 1x blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 6f") __ASM_EMIT("7:") __ASM_EMIT("ld1r {v18.4s}, [%[src]]") __ASM_EMIT("ldp q0, q1, [%[dst]]") __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s") __ASM_EMIT("stp q0, q1, [%[dst]]") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("add %[src], %[src], #0x04") __ASM_EMIT("add %[dst], %[dst], #0x08") __ASM_EMIT("b.ge 7b") __ASM_EMIT("6:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : [kernel] "r" (&lanczos_2x2[0]) : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23" ); } IF_ARCH_AARCH64( static const float lanczos_2x3[] __lsp_aligned16 = { +0.0000000000000000f, +0.0243170840741611f, // k2 +0.0000000000000000f, -0.1350949115231170f, // k1 +0.0000000000000000f, +0.6079271018540265f, // k0 +1.0000000000000000f, +0.6079271018540265f, // k0 +0.0000000000000000f, -0.1350949115231170f, // k1 +0.0000000000000000f, +0.0243170840741611f // k2 }; ) void lanczos_resample_2x3(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( // Prepare __ASM_EMIT("ldp q22, q23, [%[kernel]]") __ASM_EMIT("ldr q24, [%[kernel], #0x20]") // 8x blocks __ASM_EMIT("subs %[count], %[count], #8") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ldp q16, q17, [%[src], #0x00]") // v16 = s0 s1 s2 s3, v17 = s4 s5 s6 s7 __ASM_EMIT("dup v18.4s, v16.s[0]") __ASM_EMIT("dup v20.4s, v17.s[0]") __ASM_EMIT("dup v19.4s, v16.s[2]") __ASM_EMIT("dup v21.4s, v17.s[2]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v19.4s, v22.4s") __ASM_EMIT("fmla v2.4s, v20.4s, v22.4s") __ASM_EMIT("fmla v3.4s, v21.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s") __ASM_EMIT("fmla v2.4s, v19.4s, v23.4s") __ASM_EMIT("fmla v3.4s, v20.4s, v23.4s") __ASM_EMIT("fmla v4.4s, v21.4s, v23.4s") __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s") __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s") __ASM_EMIT("fmla v4.4s, v20.4s, v24.4s") __ASM_EMIT("fmla v5.4s, v21.4s, v24.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("dup v18.4s, v16.s[1]") __ASM_EMIT("dup v20.4s, v17.s[1]") __ASM_EMIT("add %[dst], %[dst], #0x08") __ASM_EMIT("dup v19.4s, v16.s[3]") __ASM_EMIT("dup v21.4s, v17.s[3]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v19.4s, v22.4s") __ASM_EMIT("fmla v2.4s, v20.4s, v22.4s") __ASM_EMIT("fmla v3.4s, v21.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s") __ASM_EMIT("fmla v2.4s, v19.4s, v23.4s") __ASM_EMIT("fmla v3.4s, v20.4s, v23.4s") __ASM_EMIT("fmla v4.4s, v21.4s, v23.4s") __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s") __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s") __ASM_EMIT("fmla v4.4s, v20.4s, v24.4s") __ASM_EMIT("fmla v5.4s, v21.4s, v24.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("subs %[count], %[count], #8") __ASM_EMIT("add %[src], %[src], #0x20") __ASM_EMIT("add %[dst], %[dst], #0x38") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // 4x block __ASM_EMIT("adds %[count], %[count], #4") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ldr q16, [%[src]]") // v16 = s0 s1 s2 s3 __ASM_EMIT("dup v18.4s, v16.s[0]") __ASM_EMIT("dup v19.4s, v16.s[2]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s") __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s") __ASM_EMIT("fmla v1.4s, v19.4s, v22.4s") __ASM_EMIT("fmla v2.4s, v19.4s, v23.4s") __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("dup v18.4s, v16.s[1]") __ASM_EMIT("add %[dst], %[dst], #0x08") __ASM_EMIT("dup v19.4s, v16.s[3]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s") __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s") __ASM_EMIT("fmla v1.4s, v19.4s, v22.4s") __ASM_EMIT("fmla v2.4s, v19.4s, v23.4s") __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("sub %[count], %[count], #4") __ASM_EMIT("add %[src], %[src], #0x10") __ASM_EMIT("add %[dst], %[dst], #0x18") __ASM_EMIT("4:") // 1x blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 6f") __ASM_EMIT("7:") __ASM_EMIT("ld1r {v18.4s}, [%[src]]") __ASM_EMIT("ldp q0, q1, [%[dst]]") __ASM_EMIT("ldr q2, [%[dst], #0x20]") __ASM_EMIT("fmla v0.4s, v18.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v18.4s, v23.4s") __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s") __ASM_EMIT("stp q0, q1, [%[dst]]") __ASM_EMIT("str q2, [%[dst], #0x20]") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("add %[src], %[src], #0x04") __ASM_EMIT("add %[dst], %[dst], #0x08") __ASM_EMIT("b.ge 7b") __ASM_EMIT("6:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : [kernel] "r" (&lanczos_2x3[0]) : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23", "v24" ); } IF_ARCH_AARCH64 ( static const float lanczos_2x4[] __lsp_aligned16 = { +0.0000000000000000f, -0.0126608778212387f, +0.0000000000000000f, +0.0599094833772629f, +0.0000000000000000f, -0.1664152316035080f, +0.0000000000000000f, +0.6203830132406946f, +1.0000000000000000f, +0.6203830132406946f, +0.0000000000000000f, -0.1664152316035080f, +0.0000000000000000f, +0.0599094833772629f, +0.0000000000000000f, -0.0126608778212387f }; ) void lanczos_resample_2x4(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM ( // Prepare __ASM_EMIT("ldp q0, q1, [%[kernel], #0x00]") __ASM_EMIT("ldp q2, q3, [%[kernel], #0x20]") __ASM_EMIT("subs %[count], %[count], #8") __ASM_EMIT("b.lo 2f") // 8x blocks __ASM_EMIT("1:") __ASM_EMIT("ldp q4, q5, [%[src], #0x00]") // q4 = s0 s1 s2 s3, q5 = s4 s5 s6 s7 // Even cycle: prepare __ASM_EMIT("ldp q20, q21, [%[dst], #0x00]") __ASM_EMIT("ldp q22, q23, [%[dst], #0x20]") __ASM_EMIT("dup v16.4s, v4.s[0]") // v16 = s0 __ASM_EMIT("ldp q24, q25, [%[dst], #0x40]") __ASM_EMIT("dup v17.4s, v4.s[2]") // v17 = s2 __ASM_EMIT("dup v18.4s, v5.s[0]") // v18 = s4 __ASM_EMIT("ldr q26, [%[dst], #0x60]") __ASM_EMIT("dup v19.4s, v5.s[2]") // v19 = s6 // Even cycle: convolve __ASM_EMIT("fmla v20.4s, v16.4s, v0.4s") __ASM_EMIT("fmla v21.4s, v16.4s, v1.4s") __ASM_EMIT("fmla v22.4s, v16.4s, v2.4s") __ASM_EMIT("fmla v23.4s, v16.4s, v3.4s") __ASM_EMIT("fmla v21.4s, v17.4s, v0.4s") __ASM_EMIT("fmla v22.4s, v17.4s, v1.4s") __ASM_EMIT("fmla v23.4s, v17.4s, v2.4s") __ASM_EMIT("fmla v24.4s, v17.4s, v3.4s") __ASM_EMIT("fmla v22.4s, v18.4s, v0.4s") __ASM_EMIT("fmla v23.4s, v18.4s, v1.4s") __ASM_EMIT("fmla v24.4s, v18.4s, v2.4s") __ASM_EMIT("fmla v25.4s, v18.4s, v3.4s") __ASM_EMIT("fmla v23.4s, v19.4s, v0.4s") __ASM_EMIT("fmla v24.4s, v19.4s, v1.4s") __ASM_EMIT("fmla v25.4s, v19.4s, v2.4s") __ASM_EMIT("fmla v26.4s, v19.4s, v3.4s") __ASM_EMIT("stp q20, q21, [%[dst], #0x00]") __ASM_EMIT("stp q22, q23, [%[dst], #0x20]") __ASM_EMIT("stp q24, q25, [%[dst], #0x40]") __ASM_EMIT("str q26, [%[dst], #0x60]") __ASM_EMIT("add %[dst], %[dst], #0x08") // Odd cycle: prepare __ASM_EMIT("ldp q20, q21, [%[dst], #0x00]") __ASM_EMIT("ldp q22, q23, [%[dst], #0x20]") __ASM_EMIT("dup v16.4s, v4.s[1]") // v16 = s1 __ASM_EMIT("ldp q24, q25, [%[dst], #0x40]") __ASM_EMIT("dup v17.4s, v4.s[3]") // v17 = s3 __ASM_EMIT("dup v18.4s, v5.s[1]") // v18 = s5 __ASM_EMIT("ldr q26, [%[dst], #0x60]") __ASM_EMIT("dup v19.4s, v5.s[3]") // v19 = s7 // Odd cycle: convolve __ASM_EMIT("fmla v20.4s, v16.4s, v0.4s") __ASM_EMIT("fmla v21.4s, v16.4s, v1.4s") __ASM_EMIT("fmla v22.4s, v16.4s, v2.4s") __ASM_EMIT("fmla v23.4s, v16.4s, v3.4s") __ASM_EMIT("fmla v21.4s, v17.4s, v0.4s") __ASM_EMIT("fmla v22.4s, v17.4s, v1.4s") __ASM_EMIT("fmla v23.4s, v17.4s, v2.4s") __ASM_EMIT("fmla v24.4s, v17.4s, v3.4s") __ASM_EMIT("fmla v22.4s, v18.4s, v0.4s") __ASM_EMIT("fmla v23.4s, v18.4s, v1.4s") __ASM_EMIT("fmla v24.4s, v18.4s, v2.4s") __ASM_EMIT("fmla v25.4s, v18.4s, v3.4s") __ASM_EMIT("fmla v23.4s, v19.4s, v0.4s") __ASM_EMIT("fmla v24.4s, v19.4s, v1.4s") __ASM_EMIT("fmla v25.4s, v19.4s, v2.4s") __ASM_EMIT("fmla v26.4s, v19.4s, v3.4s") __ASM_EMIT("stp q20, q21, [%[dst], #0x00]") __ASM_EMIT("stp q22, q23, [%[dst], #0x20]") __ASM_EMIT("stp q24, q25, [%[dst], #0x40]") __ASM_EMIT("str q26, [%[dst], #0x60]") __ASM_EMIT("subs %[count], %[count], #8") __ASM_EMIT("add %[dst], %[dst], #0x38") __ASM_EMIT("add %[src], %[src], #0x20") __ASM_EMIT("b.hs 1b") // 4x block __ASM_EMIT("2:") __ASM_EMIT("adds %[count], %[count], #4") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ldr q4, [%[src]]") // Even cycle: prepare __ASM_EMIT("ldp q20, q21, [%[dst], #0x00]") __ASM_EMIT("dup v16.4s, v4.s[0]") // v16 = s0 __ASM_EMIT("ldp q22, q23, [%[dst], #0x20]") __ASM_EMIT("dup v17.4s, v4.s[2]") // v17 = s2 __ASM_EMIT("ldr q24, [%[dst], #0x40]") // Even cycle: convolve __ASM_EMIT("fmla v20.4s, v16.4s, v0.4s") __ASM_EMIT("fmla v21.4s, v16.4s, v1.4s") __ASM_EMIT("fmla v22.4s, v16.4s, v2.4s") __ASM_EMIT("fmla v23.4s, v16.4s, v3.4s") __ASM_EMIT("fmla v21.4s, v17.4s, v0.4s") __ASM_EMIT("fmla v22.4s, v17.4s, v1.4s") __ASM_EMIT("fmla v23.4s, v17.4s, v2.4s") __ASM_EMIT("fmla v24.4s, v17.4s, v3.4s") __ASM_EMIT("stp q20, q21, [%[dst], #0x00]") __ASM_EMIT("stp q22, q23, [%[dst], #0x20]") __ASM_EMIT("str q24, [%[dst], #0x40]") __ASM_EMIT("add %[dst], %[dst], #0x08") // Odd cycle: prepare __ASM_EMIT("ldp q20, q21, [%[dst], #0x00]") __ASM_EMIT("dup v16.4s, v4.s[1]") // v16 = s1 __ASM_EMIT("ldp q22, q23, [%[dst], #0x20]") __ASM_EMIT("dup v17.4s, v4.s[3]") // v17 = s3 __ASM_EMIT("ldr q24, [%[dst], #0x40]") // Even cycle: convolve __ASM_EMIT("fmla v20.4s, v16.4s, v0.4s") __ASM_EMIT("fmla v21.4s, v16.4s, v1.4s") __ASM_EMIT("fmla v22.4s, v16.4s, v2.4s") __ASM_EMIT("fmla v23.4s, v16.4s, v3.4s") __ASM_EMIT("fmla v21.4s, v17.4s, v0.4s") __ASM_EMIT("fmla v22.4s, v17.4s, v1.4s") __ASM_EMIT("fmla v23.4s, v17.4s, v2.4s") __ASM_EMIT("fmla v24.4s, v17.4s, v3.4s") __ASM_EMIT("stp q20, q21, [%[dst], #0x00]") __ASM_EMIT("stp q22, q23, [%[dst], #0x20]") __ASM_EMIT("str q24, [%[dst], #0x40]") __ASM_EMIT("sub %[count], %[count], #4") __ASM_EMIT("add %[src], %[src], #0x10") __ASM_EMIT("add %[dst], %[dst], #0x18") // 1x blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 6f") __ASM_EMIT("7:") __ASM_EMIT("ldp q20, q21, [%[dst], #0x00]") __ASM_EMIT("ld1r {v16.4s}, [%[src]]") __ASM_EMIT("ldp q22, q23, [%[dst], #0x20]") __ASM_EMIT("fmla v20.4s, v16.4s, v0.4s") __ASM_EMIT("fmla v21.4s, v16.4s, v1.4s") __ASM_EMIT("fmla v22.4s, v16.4s, v2.4s") __ASM_EMIT("fmla v23.4s, v16.4s, v3.4s") __ASM_EMIT("stp q20, q21, [%[dst], #0x00]") __ASM_EMIT("stp q22, q23, [%[dst], #0x20]") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("add %[dst], %[dst], #0x08") __ASM_EMIT("add %[src], %[src], #0x04") __ASM_EMIT("b.ge 7b") __ASM_EMIT("6:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : [kernel] "r" (&lanczos_2x4[0]) : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23", "v24", "v25", "v26" ); } IF_ARCH_AARCH64( static const float lanczos_3x2[] __lsp_aligned16 = { +0.0000000000000000f, -0.0315888188312782f, -0.0854897486982225f, +0.0000000000000000f, +0.3419589947928900f, +0.7897204707819555f, +1.0000000000000000f, +0.7897204707819555f, +0.3419589947928900f, +0.0000000000000000f, -0.0854897486982225f, -0.0315888188312782f, // Shifted by 1 left -0.0315888188312782f, -0.0854897486982225f, +0.0000000000000000f, +0.3419589947928900f, +0.7897204707819555f, +1.0000000000000000f, +0.7897204707819555f, +0.3419589947928900f, +0.0000000000000000f, -0.0854897486982225f, -0.0315888188312782f, +0.0000000000000000f }; ) void lanczos_resample_3x2(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( // Prepare __ASM_EMIT("ldp q24, q25, [%[kernel], #0x00]") __ASM_EMIT("ldp q26, q27, [%[kernel], #0x20]") __ASM_EMIT("ldp q28, q29, [%[kernel], #0x40]") // 2x blocks __ASM_EMIT("subs %[count], %[count], #2") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ld2r {v4.4s, v5.4s}, [%[src]]") // v4 = s0, v5 = s1 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("fmla v0.4s, v4.4s, v24.4s") __ASM_EMIT("fmla v1.4s, v4.4s, v25.4s") __ASM_EMIT("fmla v2.4s, v4.4s, v26.4s") __ASM_EMIT("fmla v1.4s, v5.4s, v27.4s") __ASM_EMIT("fmla v2.4s, v5.4s, v28.4s") __ASM_EMIT("fmla v3.4s, v5.4s, v29.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("subs %[count], %[count], #2") __ASM_EMIT("add %[src], %[src], #0x08") __ASM_EMIT("add %[dst], %[dst], #0x18") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // 1x block __ASM_EMIT("adds %[count], %[count], #1") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ld1r {v4.4s}, [%[src]]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldr q2, [%[dst], #0x20]") __ASM_EMIT("fmla v0.4s, v4.4s, v24.4s") __ASM_EMIT("fmla v1.4s, v4.4s, v25.4s") __ASM_EMIT("fmla v2.4s, v4.4s, v26.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("str q2, [%[dst], #0x20]") __ASM_EMIT("4:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : [kernel] "r" (&lanczos_3x2[0]) : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v24", "v25", "v26", "v27", "v28", "v29" ); } IF_ARCH_AARCH64( static const float lanczos_3x3[] __lsp_aligned16 = { // Part 1 +0.0000000000000000f, +0.0126609519658153f, +0.0310789306368038f, +0.0000000000000000f, -0.0933267410806225f, -0.1458230329384726f, +0.0000000000000000f, +0.3807169003008463f, +0.8103009258121772f, +1.0000000000000000f, +0.8103009258121772f, +0.3807169003008463f, +0.0000000000000000f, -0.1458230329384726f, -0.0933267410806225f, +0.0000000000000000f, +0.0310789306368038f, +0.0126609519658153f, +0.0000000000000000f, +0.0000000000000000f, // Part 2 +0.0126609519658153f, +0.0310789306368038f, +0.0000000000000000f, -0.0933267410806225f, -0.1458230329384726f, +0.0000000000000000f, +0.3807169003008463f, +0.8103009258121772f, +1.0000000000000000f, +0.8103009258121772f, +0.3807169003008463f, +0.0000000000000000f, -0.1458230329384726f, -0.0933267410806225f, -0.0000000000000000f, +0.0310789306368038f, +0.0126609519658153f, +0.0000000000000000f, +0.0000000000000000f, +0.0000000000000000f }; ) void lanczos_resample_3x3(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( // Prepare __ASM_EMIT("ldp q22, q23, [%[kernel], #0x00]") __ASM_EMIT("ldp q24, q25, [%[kernel], #0x20]") __ASM_EMIT("ldp q26, q27, [%[kernel], #0x40]") __ASM_EMIT("ldp q28, q29, [%[kernel], #0x60]") __ASM_EMIT("ldp q30, q31, [%[kernel], #0x80]") // 2x blocks __ASM_EMIT("subs %[count], %[count], #2") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ld2r {v6.4s, v7.4s}, [%[src]]") // v4 = s0, v5 = s1 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("fmla v0.4s, v6.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v6.4s, v23.4s") __ASM_EMIT("fmla v2.4s, v6.4s, v24.4s") __ASM_EMIT("fmla v3.4s, v6.4s, v25.4s") __ASM_EMIT("fmla v4.4s, v6.4s, v26.4s") __ASM_EMIT("fmla v1.4s, v7.4s, v27.4s") __ASM_EMIT("fmla v2.4s, v7.4s, v28.4s") __ASM_EMIT("fmla v3.4s, v7.4s, v29.4s") __ASM_EMIT("fmla v4.4s, v7.4s, v30.4s") __ASM_EMIT("fmla v5.4s, v7.4s, v31.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("subs %[count], %[count], #2") __ASM_EMIT("add %[src], %[src], #0x08") __ASM_EMIT("add %[dst], %[dst], #0x18") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // 1x block __ASM_EMIT("adds %[count], %[count], #1") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ld1r {v6.4s}, [%[src]]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldr q4, [%[dst], #0x40]") __ASM_EMIT("fmla v0.4s, v6.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v6.4s, v23.4s") __ASM_EMIT("fmla v2.4s, v6.4s, v24.4s") __ASM_EMIT("fmla v3.4s, v6.4s, v25.4s") __ASM_EMIT("fmla v4.4s, v6.4s, v26.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("str q4, [%[dst], #0x40]") __ASM_EMIT("4:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : [kernel] "r" (&lanczos_3x3[0]) : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v22", "v23", "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31" ); } IF_ARCH_AARCH64( static const float lanczos_3x4[] __lsp_aligned16 = { // Part 1 (unshifted) +0.0000000000000000f, -0.0067568495254777f, -0.0157944094156391f, +0.0000000000000000f, +0.0427448743491113f, +0.0622703182267308f, +0.0000000000000000f, -0.1220498237243924f, -0.1709794973964449f, +0.0000000000000000f, +0.3948602353909778f, +0.8175787925827955f, +1.0000000000000000f, +0.8175787925827955f, +0.3948602353909778f, +0.0000000000000000f, -0.1709794973964449f, -0.1220498237243924f, +0.0000000000000000f, +0.0622703182267308f, +0.0427448743491113f, +0.0000000000000000f, -0.0157944094156391f, -0.0067568495254777f, // Part 2 (shifted) -0.0067568495254777f, -0.0157944094156391f, +0.0000000000000000f, +0.0427448743491113f, +0.0622703182267308f, +0.0000000000000000f, -0.1220498237243924f, -0.1709794973964449f, +0.0000000000000000f, +0.3948602353909778f, +0.8175787925827955f, +1.0000000000000000f, +0.8175787925827955f, +0.3948602353909778f, +0.0000000000000000f, -0.1709794973964449f, -0.1220498237243924f, +0.0000000000000000f, +0.0622703182267308f, +0.0427448743491113f, +0.0000000000000000f, -0.0157944094156391f, -0.0067568495254777f, +0.0000000000000000f }; ) void lanczos_resample_3x4(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( // Prepare __ASM_EMIT("ldp q20, q21, [%[kernel], #0x00]") __ASM_EMIT("ldp q22, q23, [%[kernel], #0x20]") __ASM_EMIT("ldp q24, q25, [%[kernel], #0x40]") __ASM_EMIT("ldp q26, q27, [%[kernel], #0x60]") __ASM_EMIT("ldp q28, q29, [%[kernel], #0x80]") __ASM_EMIT("ldp q30, q31, [%[kernel], #0xa0]") // 2x blocks __ASM_EMIT("subs %[count], %[count], #2") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ld2r {v18.4s, v19.4s}, [%[src]]") // v18 = s0, v19 = s1 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldr q6, [%[dst], #0x60]") __ASM_EMIT("fmla v0.4s, v18.4s, v20.4s") __ASM_EMIT("fmla v1.4s, v18.4s, v21.4s") __ASM_EMIT("fmla v2.4s, v18.4s, v22.4s") __ASM_EMIT("fmla v3.4s, v18.4s, v23.4s") __ASM_EMIT("fmla v4.4s, v18.4s, v24.4s") __ASM_EMIT("fmla v5.4s, v18.4s, v25.4s") __ASM_EMIT("fmla v1.4s, v19.4s, v26.4s") __ASM_EMIT("fmla v2.4s, v19.4s, v27.4s") __ASM_EMIT("fmla v3.4s, v19.4s, v28.4s") __ASM_EMIT("fmla v4.4s, v19.4s, v29.4s") __ASM_EMIT("fmla v5.4s, v19.4s, v30.4s") __ASM_EMIT("fmla v6.4s, v19.4s, v31.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("str q6, [%[dst], #0x60]") __ASM_EMIT("subs %[count], %[count], #2") __ASM_EMIT("add %[src], %[src], #0x08") __ASM_EMIT("add %[dst], %[dst], #0x18") __ASM_EMIT("b.hs 1b") // 1x block __ASM_EMIT("2:") __ASM_EMIT("adds %[count], %[count], #1") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ld1r {v18.4s}, [%[src]]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("fmla v0.4s, v18.4s, v20.4s") __ASM_EMIT("fmla v1.4s, v18.4s, v21.4s") __ASM_EMIT("fmla v2.4s, v18.4s, v22.4s") __ASM_EMIT("fmla v3.4s, v18.4s, v23.4s") __ASM_EMIT("fmla v4.4s, v18.4s, v24.4s") __ASM_EMIT("fmla v5.4s, v18.4s, v25.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("4:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : [kernel] "r" (&lanczos_3x4[0]) : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v18", "v19", "v20", "v21", "v22", "v23", "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31" ); } IF_ARCH_AARCH64( static const float lanczos_4x2[] __lsp_aligned16 = { +0.0000000000000000f, -0.0179051851263444f, -0.0636843520278618f, -0.0847248039068907f, +0.0000000000000000f, +0.2353466775191407f, +0.5731591682507563f, +0.8773540711908775f, +1.0000000000000000f, +0.8773540711908775f, +0.5731591682507563f, +0.2353466775191407f, +0.0000000000000000f, -0.0847248039068907f, -0.0636843520278618f, -0.0179051851263444f }; ) void lanczos_resample_4x2(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( // Prepare __ASM_EMIT("ldp q24, q25, [%[kernel], #0x00]") __ASM_EMIT("ldp q26, q27, [%[kernel], #0x20]") // 4x blocks __ASM_EMIT("subs %[count], %[count], #4") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ld4r {v16.4s, v17.4s, v18.4s, v19.4s}, [%[src]]") // v16 = s0, v17 = s1, v18 = s2, v19 = s3 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldr q6, [%[dst], #0x60]") __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v3.4s, v18.4s, v25.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v4.4s, v18.4s, v26.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v5.4s, v18.4s, v27.4s") __ASM_EMIT("fmla v1.4s, v17.4s, v24.4s") __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s") __ASM_EMIT("fmla v2.4s, v17.4s, v25.4s") __ASM_EMIT("fmla v4.4s, v19.4s, v25.4s") __ASM_EMIT("fmla v3.4s, v17.4s, v26.4s") __ASM_EMIT("fmla v5.4s, v19.4s, v26.4s") __ASM_EMIT("fmla v4.4s, v17.4s, v27.4s") __ASM_EMIT("fmla v6.4s, v19.4s, v27.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("str q6, [%[dst], #0x60]") __ASM_EMIT("subs %[count], %[count], #4") __ASM_EMIT("add %[src], %[src], #0x10") __ASM_EMIT("add %[dst], %[dst], #0x40") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // 2x block __ASM_EMIT("adds %[count], %[count], #2") __ASM_EMIT("b.lt 4f") __ASM_EMIT("1:") __ASM_EMIT("ld2r {v16.4s, v17.4s}, [%[src]]") // v16 = s0, v17 = s1 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldr q4, [%[dst], #0x40]") __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v2.4s, v17.4s, v25.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v3.4s, v17.4s, v26.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v4.4s, v17.4s, v27.4s") __ASM_EMIT("fmla v1.4s, v17.4s, v24.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("str q4, [%[dst], #0x40]") __ASM_EMIT("sub %[count], %[count], #2") __ASM_EMIT("add %[src], %[src], #0x08") __ASM_EMIT("add %[dst], %[dst], #0x20") // 1x block __ASM_EMIT("4:") __ASM_EMIT("adds %[count], %[count], #1") __ASM_EMIT("b.lt 6f") __ASM_EMIT("ld1r {v16.4s}, [%[src]]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("6:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : [kernel] "r" (&lanczos_4x2[0]) : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v16", "v17", "v18", "v19", "v24", "v25", "v26", "v27" ); } IF_ARCH_AARCH64( static const float lanczos_4x3[] __lsp_aligned16 = { +0.0000000000000000f, +0.0073559260471942f, +0.0243170840741611f, +0.0300210914495816f, +0.0000000000000000f, -0.0677913359005429f, -0.1350949115231170f, -0.1328710183650640f, +0.0000000000000000f, +0.2701898230462341f, +0.6079271018540265f, +0.8900670517104946f, +1.0000000000000000f, +0.8900670517104946f, +0.6079271018540265f, +0.2701898230462341f, +0.0000000000000000f, -0.1328710183650640f, -0.1350949115231170f, -0.0677913359005429f, +0.0000000000000000f, +0.0300210914495816f, +0.0243170840741611f, +0.0073559260471942f }; ) void lanczos_resample_4x3(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( // Prepare __ASM_EMIT("ldp q24, q25, [%[kernel], #0x00]") __ASM_EMIT("ldp q26, q27, [%[kernel], #0x20]") __ASM_EMIT("ldp q28, q29, [%[kernel], #0x40]") // 4x blocks __ASM_EMIT("subs %[count], %[count], #4") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ld4r {v16.4s, v17.4s, v18.4s, v19.4s}, [%[src]]") // v16 = s0, v17 = s1, v18 = s2, v19 = s3 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]") __ASM_EMIT("ldr q8, [%[dst], #0x80]") __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v3.4s, v18.4s, v25.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v4.4s, v18.4s, v26.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v5.4s, v18.4s, v27.4s") __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s") __ASM_EMIT("fmla v6.4s, v18.4s, v28.4s") __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s") __ASM_EMIT("fmla v7.4s, v18.4s, v29.4s") __ASM_EMIT("fmla v1.4s, v17.4s, v24.4s") __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s") __ASM_EMIT("fmla v2.4s, v17.4s, v25.4s") __ASM_EMIT("fmla v4.4s, v19.4s, v25.4s") __ASM_EMIT("fmla v3.4s, v17.4s, v26.4s") __ASM_EMIT("fmla v5.4s, v19.4s, v26.4s") __ASM_EMIT("fmla v4.4s, v17.4s, v27.4s") __ASM_EMIT("fmla v6.4s, v19.4s, v27.4s") __ASM_EMIT("fmla v5.4s, v17.4s, v28.4s") __ASM_EMIT("fmla v7.4s, v19.4s, v28.4s") __ASM_EMIT("fmla v6.4s, v17.4s, v29.4s") __ASM_EMIT("fmla v8.4s, v19.4s, v29.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("stp q6, q7, [%[dst], #0x60]") __ASM_EMIT("str q8, [%[dst], #0x80]") __ASM_EMIT("subs %[count], %[count], #4") __ASM_EMIT("add %[src], %[src], #0x10") __ASM_EMIT("add %[dst], %[dst], #0x40") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // 2x block __ASM_EMIT("adds %[count], %[count], #2") __ASM_EMIT("b.lt 4f") __ASM_EMIT("1:") __ASM_EMIT("ld2r {v16.4s, v17.4s}, [%[src]]") // v16 = s0, v17 = s1 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldr q6, [%[dst], #0x60]") __ASM_EMIT("fmla v1.4s, v17.4s, v24.4s") __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v2.4s, v17.4s, v25.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v3.4s, v17.4s, v26.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v4.4s, v17.4s, v27.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v5.4s, v17.4s, v28.4s") __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s") __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s") __ASM_EMIT("fmla v6.4s, v17.4s, v29.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("str q6, [%[dst], #0x60]") __ASM_EMIT("sub %[count], %[count], #2") __ASM_EMIT("add %[src], %[src], #0x08") __ASM_EMIT("add %[dst], %[dst], #0x20") // 1x block __ASM_EMIT("4:") __ASM_EMIT("adds %[count], %[count], #1") __ASM_EMIT("b.lt 6f") __ASM_EMIT("ld1r {v16.4s}, [%[src]]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s") __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("6:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : [kernel] "r" (&lanczos_4x3[0]) : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7", "v8", "v16", "v17", "v18", "v19", "v24", "v25", "v26", "v27", "v28", "v29" ); } IF_ARCH_AARCH64( static const float lanczos_4x4[] __lsp_aligned16 = { +0.0000000000000000f, -0.0039757442382413f, -0.0126608778212387f, -0.0150736176408234f, +0.0000000000000000f, +0.0315083921595442f, +0.0599094833772629f, +0.0555206000541729f, +0.0000000000000000f, -0.0917789511099593f, -0.1664152316035080f, -0.1525006180521938f, +0.0000000000000000f, +0.2830490423665725f, +0.6203830132406946f, +0.8945424536042901f, +1.0000000000000000f, +0.8945424536042901f, +0.6203830132406946f, +0.2830490423665725f, +0.0000000000000000f, -0.1525006180521938f, -0.1664152316035080f, -0.0917789511099593f, +0.0000000000000000f, +0.0555206000541729f, +0.0599094833772629f, +0.0315083921595442f, +0.0000000000000000f, -0.0150736176408234f, -0.0126608778212387f, -0.0039757442382413f }; ) void lanczos_resample_4x4(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( // Prepare __ASM_EMIT("ldp q24, q25, [%[kernel], #0x00]") __ASM_EMIT("ldp q26, q27, [%[kernel], #0x20]") __ASM_EMIT("ldp q28, q29, [%[kernel], #0x40]") __ASM_EMIT("ldp q30, q31, [%[kernel], #0x60]") // 4x blocks __ASM_EMIT("subs %[count], %[count], #4") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ld4r {v16.4s, v17.4s, v18.4s, v19.4s}, [%[src]]") // v16 = s0, v17 = s1, v18 = s2, v19 = s3 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]") __ASM_EMIT("ldp q8, q9, [%[dst], #0x80]") __ASM_EMIT("ldr q10, [%[dst], #0xa0]") __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s") __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s") __ASM_EMIT("fmla v6.4s, v16.4s, v30.4s") __ASM_EMIT("fmla v7.4s, v16.4s, v31.4s") __ASM_EMIT("fmla v1.4s, v17.4s, v24.4s") __ASM_EMIT("fmla v2.4s, v17.4s, v25.4s") __ASM_EMIT("fmla v3.4s, v17.4s, v26.4s") __ASM_EMIT("fmla v4.4s, v17.4s, v27.4s") __ASM_EMIT("fmla v5.4s, v17.4s, v28.4s") __ASM_EMIT("fmla v6.4s, v17.4s, v29.4s") __ASM_EMIT("fmla v7.4s, v17.4s, v30.4s") __ASM_EMIT("fmla v8.4s, v17.4s, v31.4s") __ASM_EMIT("fmla v2.4s, v18.4s, v24.4s") __ASM_EMIT("fmla v3.4s, v18.4s, v25.4s") __ASM_EMIT("fmla v4.4s, v18.4s, v26.4s") __ASM_EMIT("fmla v5.4s, v18.4s, v27.4s") __ASM_EMIT("fmla v6.4s, v18.4s, v28.4s") __ASM_EMIT("fmla v7.4s, v18.4s, v29.4s") __ASM_EMIT("fmla v8.4s, v18.4s, v30.4s") __ASM_EMIT("fmla v9.4s, v18.4s, v31.4s") __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s") __ASM_EMIT("fmla v4.4s, v19.4s, v25.4s") __ASM_EMIT("fmla v5.4s, v19.4s, v26.4s") __ASM_EMIT("fmla v6.4s, v19.4s, v27.4s") __ASM_EMIT("fmla v7.4s, v19.4s, v28.4s") __ASM_EMIT("fmla v8.4s, v19.4s, v29.4s") __ASM_EMIT("fmla v9.4s, v19.4s, v30.4s") __ASM_EMIT("fmla v10.4s, v19.4s, v31.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("stp q6, q7, [%[dst], #0x60]") __ASM_EMIT("stp q8, q9, [%[dst], #0x80]") __ASM_EMIT("str q10, [%[dst], #0xa0]") __ASM_EMIT("subs %[count], %[count], #4") __ASM_EMIT("add %[src], %[src], #0x10") __ASM_EMIT("add %[dst], %[dst], #0x40") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // 2x block __ASM_EMIT("adds %[count], %[count], #2") __ASM_EMIT("b.lt 4f") __ASM_EMIT("1:") __ASM_EMIT("ld2r {v16.4s, v17.4s}, [%[src]]") // v16 = s0, v17 = s1 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]") __ASM_EMIT("ldr q8, [%[dst], #0x80]") __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s") __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s") __ASM_EMIT("fmla v6.4s, v16.4s, v30.4s") __ASM_EMIT("fmla v7.4s, v16.4s, v31.4s") __ASM_EMIT("fmla v1.4s, v17.4s, v24.4s") __ASM_EMIT("fmla v2.4s, v17.4s, v25.4s") __ASM_EMIT("fmla v3.4s, v17.4s, v26.4s") __ASM_EMIT("fmla v4.4s, v17.4s, v27.4s") __ASM_EMIT("fmla v5.4s, v17.4s, v28.4s") __ASM_EMIT("fmla v6.4s, v17.4s, v29.4s") __ASM_EMIT("fmla v7.4s, v17.4s, v30.4s") __ASM_EMIT("fmla v8.4s, v17.4s, v31.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("stp q6, q7, [%[dst], #0x60]") __ASM_EMIT("str q8, [%[dst], #0x80]") __ASM_EMIT("sub %[count], %[count], #2") __ASM_EMIT("add %[src], %[src], #0x08") __ASM_EMIT("add %[dst], %[dst], #0x20") // 1x block __ASM_EMIT("4:") __ASM_EMIT("adds %[count], %[count], #1") __ASM_EMIT("b.lt 6f") __ASM_EMIT("ld1r {v16.4s}, [%[src]]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]") __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s") __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s") __ASM_EMIT("fmla v6.4s, v16.4s, v30.4s") __ASM_EMIT("fmla v7.4s, v16.4s, v31.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("stp q6, q7, [%[dst], #0x60]") __ASM_EMIT("6:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : [kernel] "r" (&lanczos_4x4[0]) : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7", "v8", "v9", "v10", "v16", "v17", "v18", "v19", "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31" ); } IF_ARCH_AARCH64( static const float lanczos_6x2[] __lsp_aligned16 = { +0.0000000000000000f, -0.0078021377848166f, -0.0315888188312782f, -0.0636843520278618f, -0.0854897486982225f, -0.0719035699814534f, +0.0000000000000000f, +0.1409309971636486f, +0.3419589947928900f, +0.5731591682507563f, +0.7897204707819555f, +0.9440586719628122f, +1.0000000000000000f, +0.9440586719628122f, +0.7897204707819555f, +0.5731591682507563f, +0.3419589947928900f, +0.1409309971636486f, +0.0000000000000000f, -0.0719035699814534f, -0.0854897486982225f, -0.0636843520278618f, -0.0315888188312782f, -0.0078021377848166f }; ) void lanczos_resample_6x2(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( // Prepare __ASM_EMIT("ldp q24, q25, [%[kernel], #0x00]") __ASM_EMIT("ldp q26, q27, [%[kernel], #0x20]") __ASM_EMIT("ldp q28, q29, [%[kernel], #0x40]") // 4x blocks __ASM_EMIT("subs %[count], %[count], #4") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ld4r {v16.4s, v17.4s, v18.4s, v19.4s}, [%[src]]") // v16 = s0, v17 = s1, v18 = s2, v19 = s3 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]") __ASM_EMIT("ldr q8, [%[dst], #0x80]") __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v3.4s, v18.4s, v24.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v4.4s, v18.4s, v25.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v5.4s, v18.4s, v26.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v6.4s, v18.4s, v27.4s") __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s") __ASM_EMIT("fmla v7.4s, v18.4s, v28.4s") __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s") __ASM_EMIT("fmla v8.4s, v18.4s, v29.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("stp q6, q7, [%[dst], #0x60]") __ASM_EMIT("str q8, [%[dst], #0x80]") __ASM_EMIT("add %[dst], %[dst], #0x18") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]") __ASM_EMIT("ldr q8, [%[dst], #0x80]") __ASM_EMIT("fmla v0.4s, v17.4s, v24.4s") __ASM_EMIT("fmla v3.4s, v19.4s, v24.4s") __ASM_EMIT("fmla v1.4s, v17.4s, v25.4s") __ASM_EMIT("fmla v4.4s, v19.4s, v25.4s") __ASM_EMIT("fmla v2.4s, v17.4s, v26.4s") __ASM_EMIT("fmla v5.4s, v19.4s, v26.4s") __ASM_EMIT("fmla v3.4s, v17.4s, v27.4s") __ASM_EMIT("fmla v6.4s, v19.4s, v27.4s") __ASM_EMIT("fmla v4.4s, v17.4s, v28.4s") __ASM_EMIT("fmla v7.4s, v19.4s, v28.4s") __ASM_EMIT("fmla v5.4s, v17.4s, v29.4s") __ASM_EMIT("fmla v8.4s, v19.4s, v29.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("stp q6, q7, [%[dst], #0x60]") __ASM_EMIT("str q8, [%[dst], #0x80]") __ASM_EMIT("subs %[count], %[count], #4") __ASM_EMIT("add %[src], %[src], #0x10") __ASM_EMIT("add %[dst], %[dst], #0x48") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // 1x blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 4f") __ASM_EMIT("3:") __ASM_EMIT("ld1r {v16.4s}, [%[src]]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s") __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("add %[src], %[src], #0x04") __ASM_EMIT("add %[dst], %[dst], #0x18") __ASM_EMIT("b.ge 3b") __ASM_EMIT("4:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : [kernel] "r" (&lanczos_6x2[0]) : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7", "v8", "v16", "v17", "v18", "v19", "v24", "v25", "v26", "v27", "v28", "v29" ); } IF_ARCH_AARCH64( static const float lanczos_6x3[] __lsp_aligned16 = { +0.0000000000000000f, +0.0032875048460955f, +0.0126609519658153f, +0.0243170840741611f, +0.0310789306368038f, +0.0248005479513036f, -0.0000000000000000f, -0.0424907562338176f, -0.0933267410806225f, -0.1350949115231170f, -0.1458230329384726f, -0.1049261531488149f, +0.0000000000000000f, +0.1676517041508127f, +0.3807169003008463f, +0.6079271018540265f, +0.8103009258121772f, +0.9500889005216107f, +1.0000000000000000f, +0.9500889005216107f, +0.8103009258121772f, +0.6079271018540265f, +0.3807169003008463f, +0.1676517041508127f, +0.0000000000000000f, -0.1049261531488149f, -0.1458230329384726f, -0.1350949115231170f, -0.0933267410806225f, -0.0424907562338176f, -0.0000000000000000f, +0.0248005479513036f, +0.0310789306368038f, +0.0243170840741611f, +0.0126609519658153f, +0.0032875048460955f }; ) void lanczos_resample_6x3(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( // Prepare __ASM_EMIT("ldp q22, q23, [%[kernel], #0x00]") __ASM_EMIT("ldp q24, q25, [%[kernel], #0x20]") __ASM_EMIT("ldp q26, q27, [%[kernel], #0x40]") __ASM_EMIT("ldp q28, q29, [%[kernel], #0x60]") __ASM_EMIT("ldr q30, [%[kernel], #0x80]") // 4x blocks __ASM_EMIT("subs %[count], %[count], #4") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ld4r {v16.4s, v17.4s, v18.4s, v19.4s}, [%[src]]") // v16 = s0, v17 = s1, v18 = s2, v19 = s3 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]") __ASM_EMIT("ldp q8, q9, [%[dst], #0x80]") __ASM_EMIT("ldp q10, q11, [%[dst], #0xa0]") __ASM_EMIT("fmla v0.4s, v16.4s, v22.4s") __ASM_EMIT("fmla v3.4s, v18.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v23.4s") __ASM_EMIT("fmla v4.4s, v18.4s, v23.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v5.4s, v18.4s, v24.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v6.4s, v18.4s, v25.4s") __ASM_EMIT("fmla v4.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v7.4s, v18.4s, v26.4s") __ASM_EMIT("fmla v5.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v8.4s, v18.4s, v27.4s") __ASM_EMIT("fmla v6.4s, v16.4s, v28.4s") __ASM_EMIT("fmla v9.4s, v18.4s, v28.4s") __ASM_EMIT("fmla v7.4s, v16.4s, v29.4s") __ASM_EMIT("fmla v10.4s, v18.4s, v29.4s") __ASM_EMIT("fmla v8.4s, v16.4s, v30.4s") __ASM_EMIT("fmla v11.4s, v18.4s, v30.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("stp q6, q7, [%[dst], #0x60]") __ASM_EMIT("stp q8, q9, [%[dst], #0x80]") __ASM_EMIT("stp q10, q11, [%[dst], #0xa0]") __ASM_EMIT("add %[dst], %[dst], #0x18") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]") __ASM_EMIT("ldp q8, q9, [%[dst], #0x80]") __ASM_EMIT("ldp q10, q11, [%[dst], #0xa0]") __ASM_EMIT("fmla v0.4s, v17.4s, v22.4s") __ASM_EMIT("fmla v3.4s, v19.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v17.4s, v23.4s") __ASM_EMIT("fmla v4.4s, v19.4s, v23.4s") __ASM_EMIT("fmla v2.4s, v17.4s, v24.4s") __ASM_EMIT("fmla v5.4s, v19.4s, v24.4s") __ASM_EMIT("fmla v3.4s, v17.4s, v25.4s") __ASM_EMIT("fmla v6.4s, v19.4s, v25.4s") __ASM_EMIT("fmla v4.4s, v17.4s, v26.4s") __ASM_EMIT("fmla v7.4s, v19.4s, v26.4s") __ASM_EMIT("fmla v5.4s, v17.4s, v27.4s") __ASM_EMIT("fmla v8.4s, v19.4s, v27.4s") __ASM_EMIT("fmla v6.4s, v17.4s, v28.4s") __ASM_EMIT("fmla v9.4s, v19.4s, v28.4s") __ASM_EMIT("fmla v7.4s, v17.4s, v29.4s") __ASM_EMIT("fmla v10.4s, v19.4s, v29.4s") __ASM_EMIT("fmla v8.4s, v17.4s, v30.4s") __ASM_EMIT("fmla v11.4s, v19.4s, v30.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("stp q6, q7, [%[dst], #0x60]") __ASM_EMIT("stp q8, q9, [%[dst], #0x80]") __ASM_EMIT("stp q10, q11, [%[dst], #0xa0]") __ASM_EMIT("subs %[count], %[count], #4") __ASM_EMIT("add %[src], %[src], #0x10") __ASM_EMIT("add %[dst], %[dst], #0x48") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // 1x blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 4f") __ASM_EMIT("3:") __ASM_EMIT("ld1r {v16.4s}, [%[src]]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]") __ASM_EMIT("ldr q8, [%[dst], #0x80]") __ASM_EMIT("fmla v0.4s, v16.4s, v22.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v23.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v4.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v5.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v6.4s, v16.4s, v28.4s") __ASM_EMIT("fmla v7.4s, v16.4s, v29.4s") __ASM_EMIT("fmla v8.4s, v16.4s, v30.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("stp q6, q7, [%[dst], #0x60]") __ASM_EMIT("str q8, [%[dst], #0x80]") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("add %[src], %[src], #0x04") __ASM_EMIT("add %[dst], %[dst], #0x18") __ASM_EMIT("b.ge 3b") __ASM_EMIT("4:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : [kernel] "r" (&lanczos_6x3[0]) : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7", "v8", "v9", "v10", "v11", "v16", "v17", "v18", "v19", "v22", "v23", "v24", "v25", "v26", "v27", "v28", "v29", "v30" ); } IF_ARCH_AARCH64( static const float lanczos_6x4[] __lsp_aligned16 = { +0.0000000000000000f, -0.0018000092949500f, -0.0067568495254777f, -0.0126608778212387f, -0.0157944094156391f, -0.0123019137260206f, +0.0000000000000000f, +0.0200263389720192f, +0.0427448743491113f, +0.0599094833772629f, +0.0622703182267308f, +0.0427971267140625f, +0.0000000000000000f, -0.0597744992948478f, -0.1220498237243924f, -0.1664152316035080f, -0.1709794973964449f, -0.1181145298553785f, +0.0000000000000000f, +0.1776396342037379f, +0.3948602353909778f, +0.6203830132406946f, +0.8175787925827955f, +0.9522049170285306f, +1.0000000000000000f, +0.9522049170285306f, +0.8175787925827955f, +0.6203830132406946f, +0.3948602353909778f, +0.1776396342037379f, +0.0000000000000000f, -0.1181145298553785f, -0.1709794973964449f, -0.1664152316035080f, -0.1220498237243924f, -0.0597744992948478f, +0.0000000000000000f, +0.0427971267140625f, +0.0622703182267308f, +0.0599094833772629f, +0.0427448743491113f, +0.0200263389720192f, +0.0000000000000000f, -0.0123019137260206f, -0.0157944094156391f, -0.0126608778212387f, -0.0067568495254777f, -0.0018000092949500f }; ) void lanczos_resample_6x4(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( // Prepare __ASM_EMIT("ldp q20, q21, [%[kernel], #0x00]") __ASM_EMIT("ldp q22, q23, [%[kernel], #0x20]") __ASM_EMIT("ldp q24, q25, [%[kernel], #0x40]") __ASM_EMIT("ldp q26, q27, [%[kernel], #0x60]") __ASM_EMIT("ldp q28, q29, [%[kernel], #0x80]") __ASM_EMIT("ldp q30, q31, [%[kernel], #0xa0]") // 4x blocks __ASM_EMIT("subs %[count], %[count], #4") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ld4r {v16.4s, v17.4s, v18.4s, v19.4s}, [%[src]]") // v16 = s0, v17 = s1, v18 = s2, v19 = s3 // Even part __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]") __ASM_EMIT("fmla v0.4s, v16.4s, v20.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v21.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v22.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v23.4s") __ASM_EMIT("fmla v4.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v5.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v6.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v7.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v3.4s, v18.4s, v20.4s") __ASM_EMIT("fmla v4.4s, v18.4s, v21.4s") __ASM_EMIT("fmla v5.4s, v18.4s, v22.4s") __ASM_EMIT("fmla v6.4s, v18.4s, v23.4s") __ASM_EMIT("fmla v7.4s, v18.4s, v24.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("stp q6, q7, [%[dst], #0x60]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x80]") __ASM_EMIT("ldp q2, q3, [%[dst], #0xa0]") __ASM_EMIT("ldp q4, q5, [%[dst], #0xc0]") __ASM_EMIT("ldr q6, [%[dst], #0xe0]") __ASM_EMIT("fmla v0.4s, v16.4s, v28.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v29.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v30.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v31.4s") __ASM_EMIT("fmla v0.4s, v18.4s, v25.4s") __ASM_EMIT("fmla v1.4s, v18.4s, v26.4s") __ASM_EMIT("fmla v2.4s, v18.4s, v27.4s") __ASM_EMIT("fmla v3.4s, v18.4s, v28.4s") __ASM_EMIT("fmla v4.4s, v18.4s, v29.4s") __ASM_EMIT("fmla v5.4s, v18.4s, v30.4s") __ASM_EMIT("fmla v6.4s, v18.4s, v31.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x80]") __ASM_EMIT("stp q2, q3, [%[dst], #0xa0]") __ASM_EMIT("stp q4, q5, [%[dst], #0xc0]") __ASM_EMIT("str q6, [%[dst], #0xe0]") __ASM_EMIT("add %[dst], %[dst], #0x18") // Odd part __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]") __ASM_EMIT("fmla v0.4s, v17.4s, v20.4s") __ASM_EMIT("fmla v1.4s, v17.4s, v21.4s") __ASM_EMIT("fmla v2.4s, v17.4s, v22.4s") __ASM_EMIT("fmla v3.4s, v17.4s, v23.4s") __ASM_EMIT("fmla v4.4s, v17.4s, v24.4s") __ASM_EMIT("fmla v5.4s, v17.4s, v25.4s") __ASM_EMIT("fmla v6.4s, v17.4s, v26.4s") __ASM_EMIT("fmla v7.4s, v17.4s, v27.4s") __ASM_EMIT("fmla v3.4s, v19.4s, v20.4s") __ASM_EMIT("fmla v4.4s, v19.4s, v21.4s") __ASM_EMIT("fmla v5.4s, v19.4s, v22.4s") __ASM_EMIT("fmla v6.4s, v19.4s, v23.4s") __ASM_EMIT("fmla v7.4s, v19.4s, v24.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("stp q6, q7, [%[dst], #0x60]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x80]") __ASM_EMIT("ldp q2, q3, [%[dst], #0xa0]") __ASM_EMIT("ldp q4, q5, [%[dst], #0xc0]") __ASM_EMIT("ldr q6, [%[dst], #0xe0]") __ASM_EMIT("fmla v0.4s, v17.4s, v28.4s") __ASM_EMIT("fmla v1.4s, v17.4s, v29.4s") __ASM_EMIT("fmla v2.4s, v17.4s, v30.4s") __ASM_EMIT("fmla v3.4s, v17.4s, v31.4s") __ASM_EMIT("fmla v0.4s, v19.4s, v25.4s") __ASM_EMIT("fmla v1.4s, v19.4s, v26.4s") __ASM_EMIT("fmla v2.4s, v19.4s, v27.4s") __ASM_EMIT("fmla v3.4s, v19.4s, v28.4s") __ASM_EMIT("fmla v4.4s, v19.4s, v29.4s") __ASM_EMIT("fmla v5.4s, v19.4s, v30.4s") __ASM_EMIT("fmla v6.4s, v19.4s, v31.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x80]") __ASM_EMIT("stp q2, q3, [%[dst], #0xa0]") __ASM_EMIT("stp q4, q5, [%[dst], #0xc0]") __ASM_EMIT("str q6, [%[dst], #0xe0]") __ASM_EMIT("subs %[count], %[count], #4") __ASM_EMIT("add %[src], %[src], #0x10") __ASM_EMIT("add %[dst], %[dst], #0x48") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // 1x blocks __ASM_EMIT("4:") __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 4f") __ASM_EMIT("3:") __ASM_EMIT("ld1r {v16.4s}, [%[src]]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("fmla v0.4s, v16.4s, v20.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v21.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v22.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v23.4s") __ASM_EMIT("fmla v4.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v5.4s, v16.4s, v25.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x60]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x80]") __ASM_EMIT("ldp q4, q5, [%[dst], #0xa0]") __ASM_EMIT("fmla v0.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v28.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v29.4s") __ASM_EMIT("fmla v4.4s, v16.4s, v30.4s") __ASM_EMIT("fmla v5.4s, v16.4s, v31.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x60]") __ASM_EMIT("stp q2, q3, [%[dst], #0x80]") __ASM_EMIT("stp q4, q5, [%[dst], #0xa0]") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("add %[src], %[src], #0x04") __ASM_EMIT("add %[dst], %[dst], #0x18") __ASM_EMIT("b.ge 3b") __ASM_EMIT("4:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : [kernel] "r" (&lanczos_6x4[0]) : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7", "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23", "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31" ); } IF_ARCH_AARCH64( static const float lanczos_8x2[] __lsp_aligned16 = { +0.0000000000000000f, -0.0043033145538298f, -0.0179051851263444f, -0.0393892611124141f, -0.0636843520278618f, -0.0823353965569232f, -0.0847248039068907f, -0.0600950644541902f, +0.0000000000000000f, +0.0993408208324369f, +0.2353466775191407f, +0.3985033193355084f, +0.5731591682507563f, +0.7396427919997760f, +0.8773540711908775f, +0.9682457746117045f, +1.0000000000000000f, +0.9682457746117045f, +0.8773540711908775f, +0.7396427919997760f, +0.5731591682507563f, +0.3985033193355084f, +0.2353466775191407f, +0.0993408208324369f, +0.0000000000000000f, -0.0600950644541902f, -0.0847248039068907f, -0.0823353965569232f, -0.0636843520278618f, -0.0393892611124141f, -0.0179051851263444f, -0.0043033145538298f }; ) void lanczos_resample_8x2(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( // Prepare __ASM_EMIT("ldp q24, q25, [%[kernel], #0x00]") __ASM_EMIT("ldp q26, q27, [%[kernel], #0x20]") __ASM_EMIT("ldp q28, q29, [%[kernel], #0x40]") __ASM_EMIT("ldp q30, q31, [%[kernel], #0x60]") // 4x blocks __ASM_EMIT("subs %[count], %[count], #4") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ld4r {v16.4s, v17.4s, v18.4s, v19.4s}, [%[src]]") // v16 = s0, v17 = s1, v18 = s2, v19 = s3 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]") __ASM_EMIT("ldp q8, q9, [%[dst], #0x80]") __ASM_EMIT("ldp q10, q11, [%[dst], #0xa0]") __ASM_EMIT("ldp q12, q13, [%[dst], #0xc0]") __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v4.4s, v18.4s, v24.4s") __ASM_EMIT("fmla v5.4s, v18.4s, v25.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v6.4s, v18.4s, v26.4s") __ASM_EMIT("fmla v7.4s, v18.4s, v27.4s") __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s") __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s") __ASM_EMIT("fmla v8.4s, v18.4s, v28.4s") __ASM_EMIT("fmla v9.4s, v18.4s, v29.4s") __ASM_EMIT("fmla v6.4s, v16.4s, v30.4s") __ASM_EMIT("fmla v7.4s, v16.4s, v31.4s") __ASM_EMIT("fmla v10.4s, v18.4s, v30.4s") __ASM_EMIT("fmla v11.4s, v18.4s, v31.4s") __ASM_EMIT("fmla v2.4s, v17.4s, v24.4s") __ASM_EMIT("fmla v3.4s, v17.4s, v25.4s") __ASM_EMIT("fmla v6.4s, v19.4s, v24.4s") __ASM_EMIT("fmla v7.4s, v19.4s, v25.4s") __ASM_EMIT("fmla v4.4s, v17.4s, v26.4s") __ASM_EMIT("fmla v5.4s, v17.4s, v27.4s") __ASM_EMIT("fmla v8.4s, v19.4s, v26.4s") __ASM_EMIT("fmla v9.4s, v19.4s, v27.4s") __ASM_EMIT("fmla v6.4s, v17.4s, v28.4s") __ASM_EMIT("fmla v7.4s, v17.4s, v29.4s") __ASM_EMIT("fmla v10.4s, v19.4s, v28.4s") __ASM_EMIT("fmla v11.4s, v19.4s, v29.4s") __ASM_EMIT("fmla v8.4s, v17.4s, v30.4s") __ASM_EMIT("fmla v9.4s, v17.4s, v31.4s") __ASM_EMIT("fmla v12.4s, v19.4s, v30.4s") __ASM_EMIT("fmla v13.4s, v19.4s, v31.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("stp q6, q7, [%[dst], #0x60]") __ASM_EMIT("stp q8, q9, [%[dst], #0x80]") __ASM_EMIT("stp q10, q11, [%[dst], #0xa0]") __ASM_EMIT("stp q12, q13, [%[dst], #0xc0]") __ASM_EMIT("subs %[count], %[count], #4") __ASM_EMIT("add %[src], %[src], #0x10") __ASM_EMIT("add %[dst], %[dst], #0x80") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // 2x block __ASM_EMIT("adds %[count], %[count], #2") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ld2r {v16.4s, v17.4s}, [%[src]]") // v16 = s0, v17 = s1 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]") __ASM_EMIT("ldp q8, q9, [%[dst], #0x80]") __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v2.4s, v17.4s, v24.4s") __ASM_EMIT("fmla v3.4s, v17.4s, v25.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v4.4s, v17.4s, v26.4s") __ASM_EMIT("fmla v5.4s, v17.4s, v27.4s") __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s") __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s") __ASM_EMIT("fmla v6.4s, v17.4s, v28.4s") __ASM_EMIT("fmla v7.4s, v17.4s, v29.4s") __ASM_EMIT("fmla v6.4s, v16.4s, v30.4s") __ASM_EMIT("fmla v7.4s, v16.4s, v31.4s") __ASM_EMIT("fmla v8.4s, v17.4s, v30.4s") __ASM_EMIT("fmla v9.4s, v17.4s, v31.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("stp q6, q7, [%[dst], #0x60]") __ASM_EMIT("stp q8, q9, [%[dst], #0x80]") __ASM_EMIT("sub %[count], %[count], #2") __ASM_EMIT("add %[src], %[src], #0x08") __ASM_EMIT("add %[dst], %[dst], #0x40") __ASM_EMIT("4:") // 1x block __ASM_EMIT("adds %[count], %[count], #1") __ASM_EMIT("b.lt 6f") __ASM_EMIT("ld1r {v16.4s}, [%[src]]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]") __ASM_EMIT("fmla v0.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v4.4s, v16.4s, v28.4s") __ASM_EMIT("fmla v5.4s, v16.4s, v29.4s") __ASM_EMIT("fmla v6.4s, v16.4s, v30.4s") __ASM_EMIT("fmla v7.4s, v16.4s, v31.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("stp q6, q7, [%[dst], #0x60]") __ASM_EMIT("6:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : [kernel] "r" (&lanczos_8x2[0]) : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7", "v8", "v9", "v10", "v11", "v12", "v13", "v16", "v17", "v18", "v19", "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31" ); } IF_ARCH_AARCH64( static const float lanczos_8x3[] __lsp_aligned16 = { +0.0000000000000000f, +0.0018368899607481f, +0.0073559260471942f, +0.0155961678435580f, +0.0243170840741611f, +0.0303079634725070f, +0.0300210914495816f, +0.0204366616947175f, +0.0000000000000000f, -0.0305684889733737f, -0.0677913359005429f, -0.1054383717904384f, -0.1350949115231170f, -0.1472651639056537f, -0.1328710183650640f, -0.0849124693704824f, +0.0000000000000000f, +0.1205345965259870f, +0.2701898230462341f, +0.4376469925430009f, +0.6079271018540265f, +0.7642122243343417f, +0.8900670517104946f, +0.9717147892357163f, +1.0000000000000000f, +0.9717147892357163f, +0.8900670517104946f, +0.7642122243343417f, +0.6079271018540265f, +0.4376469925430009f, +0.2701898230462341f, +0.1205345965259870f, +0.0000000000000000f, -0.0849124693704824f, -0.1328710183650640f, -0.1472651639056537f, -0.1350949115231170f, -0.1054383717904384f, -0.0677913359005429f, -0.0305684889733737f, +0.0000000000000000f, +0.0204366616947175f, +0.0300210914495816f, +0.0303079634725070f, +0.0243170840741611f, +0.0155961678435580f, +0.0073559260471942f, +0.0018368899607481f }; ) void lanczos_resample_8x3(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( // Prepare __ASM_EMIT("ldp q20, q21, [%[kernel], #0x00]") __ASM_EMIT("ldp q22, q23, [%[kernel], #0x20]") __ASM_EMIT("ldp q24, q25, [%[kernel], #0x40]") __ASM_EMIT("ldp q26, q27, [%[kernel], #0x60]") __ASM_EMIT("ldp q28, q29, [%[kernel], #0x80]") __ASM_EMIT("ldp q30, q31, [%[kernel], #0xa0]") // 2x blocks __ASM_EMIT("subs %[count], %[count], #2") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ld2r {v16.4s, v17.4s}, [%[src]]") // v16 = s0, v17 = s1 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]") __ASM_EMIT("ldp q8, q9, [%[dst], #0x80]") __ASM_EMIT("ldp q10, q11, [%[dst], #0xa0]") __ASM_EMIT("ldp q12, q13, [%[dst], #0xc0]") __ASM_EMIT("fmla v0.4s, v16.4s, v20.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v21.4s") __ASM_EMIT("fmla v2.4s, v17.4s, v20.4s") __ASM_EMIT("fmla v3.4s, v17.4s, v21.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v22.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v23.4s") __ASM_EMIT("fmla v4.4s, v17.4s, v22.4s") __ASM_EMIT("fmla v5.4s, v17.4s, v23.4s") __ASM_EMIT("fmla v4.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v5.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v6.4s, v17.4s, v24.4s") __ASM_EMIT("fmla v7.4s, v17.4s, v25.4s") __ASM_EMIT("fmla v6.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v7.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v8.4s, v17.4s, v26.4s") __ASM_EMIT("fmla v9.4s, v17.4s, v27.4s") __ASM_EMIT("fmla v8.4s, v16.4s, v28.4s") __ASM_EMIT("fmla v9.4s, v16.4s, v29.4s") __ASM_EMIT("fmla v10.4s, v17.4s, v28.4s") __ASM_EMIT("fmla v11.4s, v17.4s, v29.4s") __ASM_EMIT("fmla v10.4s, v16.4s, v30.4s") __ASM_EMIT("fmla v11.4s, v16.4s, v31.4s") __ASM_EMIT("fmla v12.4s, v17.4s, v30.4s") __ASM_EMIT("fmla v13.4s, v17.4s, v31.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("stp q6, q7, [%[dst], #0x60]") __ASM_EMIT("stp q8, q9, [%[dst], #0x80]") __ASM_EMIT("stp q10, q11, [%[dst], #0xa0]") __ASM_EMIT("stp q12, q13, [%[dst], #0xc0]") __ASM_EMIT("subs %[count], %[count], #2") __ASM_EMIT("add %[src], %[src], #0x08") __ASM_EMIT("add %[dst], %[dst], #0x40") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // 1x block __ASM_EMIT("adds %[count], %[count], #1") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ld1r {v16.4s}, [%[src]]") __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x40]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x60]") __ASM_EMIT("ldp q8, q9, [%[dst], #0x80]") __ASM_EMIT("ldp q10, q11, [%[dst], #0xa0]") __ASM_EMIT("fmla v0.4s, v16.4s, v20.4s") __ASM_EMIT("fmla v1.4s, v16.4s, v21.4s") __ASM_EMIT("fmla v2.4s, v16.4s, v22.4s") __ASM_EMIT("fmla v3.4s, v16.4s, v23.4s") __ASM_EMIT("fmla v4.4s, v16.4s, v24.4s") __ASM_EMIT("fmla v5.4s, v16.4s, v25.4s") __ASM_EMIT("fmla v6.4s, v16.4s, v26.4s") __ASM_EMIT("fmla v7.4s, v16.4s, v27.4s") __ASM_EMIT("fmla v8.4s, v16.4s, v28.4s") __ASM_EMIT("fmla v9.4s, v16.4s, v29.4s") __ASM_EMIT("fmla v10.4s, v16.4s, v30.4s") __ASM_EMIT("fmla v11.4s, v16.4s, v31.4s") __ASM_EMIT("stp q0, q1, [%[dst], #0x00]") __ASM_EMIT("stp q2, q3, [%[dst], #0x20]") __ASM_EMIT("stp q4, q5, [%[dst], #0x40]") __ASM_EMIT("stp q6, q7, [%[dst], #0x60]") __ASM_EMIT("stp q8, q9, [%[dst], #0x80]") __ASM_EMIT("stp q10, q11, [%[dst], #0xa0]") __ASM_EMIT("4:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : [kernel] "r" (&lanczos_8x3[0]) : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7", "v8", "v9", "v10", "v11", "v12", "v13", "v16", "v17", "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31" ); } IF_ARCH_AARCH64( static const float lanczos_8x4[] __lsp_aligned16 = { +0.0000000000000000f, -0.0010124148822791f, -0.0039757442382413f, -0.0082714887261119f, -0.0126608778212387f, -0.0154958216565010f, -0.0150736176408234f, -0.0100753105205530f, +0.0000000000000000f, +0.0145047275409824f, +0.0315083921595442f, +0.0479233082326825f, +0.0599094833772629f, +0.0635233253590927f, +0.0555206000541729f, +0.0341810767869351f, +0.0000000000000000f, -0.0439036941841078f, -0.0917789511099593f, -0.1356918370096595f, -0.1664152316035080f, -0.1746626357901899f, -0.1525006180521938f, -0.0947284057923417f, +0.0000000000000000f, +0.1285116137825641f, +0.2830490423665725f, +0.4518581595035692f, +0.6203830132406946f, +0.7729246687400148f, +0.8945424536042901f, +0.9729307018702211f, +1.0000000000000000f, +0.9729307018702211f, +0.8945424536042901f, +0.7729246687400148f, +0.6203830132406946f, +0.4518581595035692f, +0.2830490423665725f, +0.1285116137825641f, +0.0000000000000000f, -0.0947284057923417f, -0.1525006180521938f, -0.1746626357901899f, -0.1664152316035080f, -0.1356918370096595f, -0.0917789511099593f, -0.0439036941841078f, +0.0000000000000000f, +0.0341810767869351f, +0.0555206000541729f, +0.0635233253590927f, +0.0599094833772629f, +0.0479233082326825f, +0.0315083921595442f, +0.0145047275409824f, +0.0000000000000000f, -0.0100753105205530f, -0.0150736176408234f, -0.0154958216565010f, -0.0126608778212387f, -0.0082714887261119f, -0.0039757442382413f, -0.0010124148822791f }; ) void lanczos_resample_8x4(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( // Prepare __ASM_EMIT("ldp q16, q17, [%[kernel], #0x00]") __ASM_EMIT("ldp q18, q19, [%[kernel], #0x20]") __ASM_EMIT("ldp q20, q21, [%[kernel], #0x40]") __ASM_EMIT("ldp q22, q23, [%[kernel], #0x60]") __ASM_EMIT("ldp q24, q25, [%[kernel], #0x80]") __ASM_EMIT("ldp q26, q27, [%[kernel], #0xa0]") __ASM_EMIT("ldp q28, q29, [%[kernel], #0xc0]") __ASM_EMIT("ldp q30, q31, [%[kernel], #0xe0]") // 2x blocks __ASM_EMIT("subs %[count], %[count], #2") __ASM_EMIT("b.lo 2f") __ASM_EMIT("1:") __ASM_EMIT("ld2r {v0.4s, v1.4s}, [%[src]]") // v0 = s0, v1 = s1 // Part 1 __ASM_EMIT("ldp q2, q3, [%[dst], #0x00]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x20]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x40]") __ASM_EMIT("fmla v2.4s, v0.4s, v16.4s") __ASM_EMIT("fmla v3.4s, v0.4s, v17.4s") __ASM_EMIT("fmla v4.4s, v0.4s, v18.4s") __ASM_EMIT("fmla v5.4s, v0.4s, v19.4s") __ASM_EMIT("fmla v6.4s, v0.4s, v20.4s") __ASM_EMIT("fmla v7.4s, v0.4s, v21.4s") __ASM_EMIT("fmla v4.4s, v1.4s, v16.4s") __ASM_EMIT("fmla v5.4s, v1.4s, v17.4s") __ASM_EMIT("fmla v6.4s, v1.4s, v18.4s") __ASM_EMIT("fmla v7.4s, v1.4s, v19.4s") __ASM_EMIT("stp q2, q3, [%[dst], #0x00]") __ASM_EMIT("stp q4, q5, [%[dst], #0x20]") __ASM_EMIT("stp q6, q7, [%[dst], #0x40]") // Part 2 __ASM_EMIT("ldp q2, q3, [%[dst], #0x60]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x80]") __ASM_EMIT("ldp q6, q7, [%[dst], #0xa0]") __ASM_EMIT("fmla v2.4s, v0.4s, v22.4s") __ASM_EMIT("fmla v3.4s, v0.4s, v23.4s") __ASM_EMIT("fmla v4.4s, v0.4s, v24.4s") __ASM_EMIT("fmla v5.4s, v0.4s, v25.4s") __ASM_EMIT("fmla v6.4s, v0.4s, v26.4s") __ASM_EMIT("fmla v7.4s, v0.4s, v27.4s") __ASM_EMIT("fmla v2.4s, v1.4s, v20.4s") __ASM_EMIT("fmla v3.4s, v1.4s, v21.4s") __ASM_EMIT("fmla v4.4s, v1.4s, v22.4s") __ASM_EMIT("fmla v5.4s, v1.4s, v23.4s") __ASM_EMIT("fmla v6.4s, v1.4s, v24.4s") __ASM_EMIT("fmla v7.4s, v1.4s, v25.4s") __ASM_EMIT("stp q2, q3, [%[dst], #0x60]") __ASM_EMIT("stp q4, q5, [%[dst], #0x80]") __ASM_EMIT("stp q6, q7, [%[dst], #0xa0]") // Part 3 __ASM_EMIT("ldp q2, q3, [%[dst], #0xc0]") __ASM_EMIT("ldp q4, q5, [%[dst], #0xe0]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x100]") __ASM_EMIT("fmla v2.4s, v0.4s, v28.4s") __ASM_EMIT("fmla v3.4s, v0.4s, v29.4s") __ASM_EMIT("fmla v4.4s, v0.4s, v30.4s") __ASM_EMIT("fmla v5.4s, v0.4s, v31.4s") __ASM_EMIT("fmla v2.4s, v1.4s, v26.4s") __ASM_EMIT("fmla v3.4s, v1.4s, v27.4s") __ASM_EMIT("fmla v4.4s, v1.4s, v28.4s") __ASM_EMIT("fmla v5.4s, v1.4s, v29.4s") __ASM_EMIT("fmla v6.4s, v1.4s, v30.4s") __ASM_EMIT("fmla v7.4s, v1.4s, v31.4s") __ASM_EMIT("stp q2, q3, [%[dst], #0xc0]") __ASM_EMIT("stp q4, q5, [%[dst], #0xe0]") __ASM_EMIT("stp q6, q7, [%[dst], #0x100]") __ASM_EMIT("subs %[count], %[count], #2") __ASM_EMIT("add %[src], %[src], #0x08") __ASM_EMIT("add %[dst], %[dst], #0x40") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // 1x block __ASM_EMIT("adds %[count], %[count], #1") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ld1r {v0.4s}, [%[src]]") // Part 1 __ASM_EMIT("ldp q2, q3, [%[dst], #0x00]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x20]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x40]") __ASM_EMIT("fmla v2.4s, v0.4s, v16.4s") __ASM_EMIT("fmla v3.4s, v0.4s, v17.4s") __ASM_EMIT("fmla v4.4s, v0.4s, v18.4s") __ASM_EMIT("fmla v5.4s, v0.4s, v19.4s") __ASM_EMIT("fmla v6.4s, v0.4s, v20.4s") __ASM_EMIT("fmla v7.4s, v0.4s, v21.4s") __ASM_EMIT("stp q2, q3, [%[dst], #0x00]") __ASM_EMIT("stp q4, q5, [%[dst], #0x20]") __ASM_EMIT("stp q6, q7, [%[dst], #0x40]") // Part 2 __ASM_EMIT("ldp q2, q3, [%[dst], #0x60]") __ASM_EMIT("ldp q4, q5, [%[dst], #0x80]") __ASM_EMIT("ldp q6, q7, [%[dst], #0xa0]") __ASM_EMIT("fmla v2.4s, v0.4s, v22.4s") __ASM_EMIT("fmla v3.4s, v0.4s, v23.4s") __ASM_EMIT("fmla v4.4s, v0.4s, v24.4s") __ASM_EMIT("fmla v5.4s, v0.4s, v25.4s") __ASM_EMIT("fmla v6.4s, v0.4s, v26.4s") __ASM_EMIT("fmla v7.4s, v0.4s, v27.4s") __ASM_EMIT("stp q2, q3, [%[dst], #0x60]") __ASM_EMIT("stp q4, q5, [%[dst], #0x80]") __ASM_EMIT("stp q6, q7, [%[dst], #0xa0]") // Part 3 __ASM_EMIT("ldp q2, q3, [%[dst], #0xc0]") __ASM_EMIT("ldp q4, q5, [%[dst], #0xe0]") __ASM_EMIT("ldp q6, q7, [%[dst], #0x100]") __ASM_EMIT("fmla v2.4s, v0.4s, v28.4s") __ASM_EMIT("fmla v3.4s, v0.4s, v29.4s") __ASM_EMIT("fmla v4.4s, v0.4s, v30.4s") __ASM_EMIT("fmla v5.4s, v0.4s, v31.4s") __ASM_EMIT("stp q2, q3, [%[dst], #0xc0]") __ASM_EMIT("stp q4, q5, [%[dst], #0xe0]") __ASM_EMIT("stp q6, q7, [%[dst], #0x100]") __ASM_EMIT("4:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : [kernel] "r" (&lanczos_8x4[0]) : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7", "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23", "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31" ); } void downsample_2x(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( __ASM_EMIT("subs %[count], %[count], #32") __ASM_EMIT("b.lo 2f") // x32 blocks __ASM_EMIT("1:") __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") __ASM_EMIT("ldp q2, q3, [%[src], #0x20]") __ASM_EMIT("ldp q4, q5, [%[src], #0x40]") __ASM_EMIT("ldp q6, q7, [%[src], #0x60]") __ASM_EMIT("ldp q16, q17, [%[src], #0x80]") __ASM_EMIT("ldp q18, q19, [%[src], #0xa0]") __ASM_EMIT("ldp q20, q21, [%[src], #0xc0]") __ASM_EMIT("ldp q22, q23, [%[src], #0xe0]") __ASM_EMIT("uzp1 v0.4s, v0.4s, v1.4s") __ASM_EMIT("uzp1 v2.4s, v2.4s, v3.4s") __ASM_EMIT("uzp1 v4.4s, v4.4s, v5.4s") __ASM_EMIT("uzp1 v6.4s, v6.4s, v7.4s") __ASM_EMIT("uzp1 v16.4s, v16.4s, v17.4s") __ASM_EMIT("uzp1 v18.4s, v18.4s, v19.4s") __ASM_EMIT("uzp1 v20.4s, v20.4s, v21.4s") __ASM_EMIT("uzp1 v22.4s, v22.4s, v23.4s") __ASM_EMIT("stp q0, q2, [%[dst], #0x00]") __ASM_EMIT("stp q4, q6, [%[dst], #0x20]") __ASM_EMIT("stp q16, q18, [%[dst], #0x40]") __ASM_EMIT("stp q20, q22, [%[dst], #0x60]") __ASM_EMIT("subs %[count], %[count], #32") __ASM_EMIT("add %[src], %[src], #0x100") __ASM_EMIT("add %[dst], %[dst], #0x80") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // x16 block __ASM_EMIT("adds %[count], %[count], #16") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") __ASM_EMIT("ldp q2, q3, [%[src], #0x20]") __ASM_EMIT("ldp q4, q5, [%[src], #0x40]") __ASM_EMIT("ldp q6, q7, [%[src], #0x60]") __ASM_EMIT("uzp1 v0.4s, v0.4s, v1.4s") __ASM_EMIT("uzp1 v2.4s, v2.4s, v3.4s") __ASM_EMIT("uzp1 v4.4s, v4.4s, v5.4s") __ASM_EMIT("uzp1 v6.4s, v6.4s, v7.4s") __ASM_EMIT("stp q0, q2, [%[dst], #0x00]") __ASM_EMIT("stp q4, q6, [%[dst], #0x20]") __ASM_EMIT("sub %[count], %[count], #16") __ASM_EMIT("add %[src], %[src], #0x80") __ASM_EMIT("add %[dst], %[dst], #0x40") __ASM_EMIT("4:") // x8 block __ASM_EMIT("adds %[count], %[count], #8") __ASM_EMIT("b.lt 6f") __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") __ASM_EMIT("ldp q2, q3, [%[src], #0x20]") __ASM_EMIT("uzp1 v0.4s, v0.4s, v1.4s") __ASM_EMIT("uzp1 v2.4s, v2.4s, v3.4s") __ASM_EMIT("stp q0, q2, [%[dst], #0x00]") __ASM_EMIT("sub %[count], %[count], #8") __ASM_EMIT("add %[src], %[src], #0x40") __ASM_EMIT("add %[dst], %[dst], #0x20") __ASM_EMIT("6:") // x4 block __ASM_EMIT("adds %[count], %[count], #4") __ASM_EMIT("b.lt 8f") __ASM_EMIT("ld2 {v0.4s, v1.4s}, [%[src]]") __ASM_EMIT("str q0, [%[dst]]") __ASM_EMIT("sub %[count], %[count], #4") __ASM_EMIT("add %[src], %[src], #0x20") __ASM_EMIT("add %[dst], %[dst], #0x10") __ASM_EMIT("8:") // x1 blocks __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 10f") __ASM_EMIT("9:") __ASM_EMIT("ld1 {v0.s}[0], [%[src]]") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("st1 {v0.s}[0], [%[dst]]") __ASM_EMIT("add %[src], %[src], #0x08") __ASM_EMIT("add %[dst], %[dst], #0x04") __ASM_EMIT("b.ge 9b") __ASM_EMIT("10:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7", "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23" ); } void downsample_3x(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("b.lo 2f") // x16 blocks __ASM_EMIT("1:") __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = s0 ? ? s1 , v1 = ? ? s2 ? __ASM_EMIT("ldp q2, q3, [%[src], #0x20]") // v2 = ? s3 ? ? , v3 = s4 ? ? s5 __ASM_EMIT("ldp q4, q5, [%[src], #0x40]") // v4 = ? ? s6 ? , v5 = ? s7 ? ? __ASM_EMIT("ldp q6, q7, [%[src], #0x60]") // v6 = s8 ? ? s9 , v7 = ? ? s10 ? __ASM_EMIT("ldp q8, q9, [%[src], #0x80]") // v8 = ? s11 ? ? , v9 = s12 ? ? s13 __ASM_EMIT("ldp q10, q11, [%[src], #0xa0]") // v10 = ? ? s14 ? , v11 = ? s15 ? ? __ASM_EMIT("mov v0.s[1], v0.s[3]") // v0 = s0 s1 ? s1 __ASM_EMIT("mov v1.s[3], v2.s[1]") // v1 = ? ? s2 s3 __ASM_EMIT("mov v3.s[1], v3.s[3]") __ASM_EMIT("mov v4.s[3], v5.s[1]") __ASM_EMIT("mov v6.s[1], v6.s[3]") __ASM_EMIT("mov v7.s[3], v8.s[1]") __ASM_EMIT("mov v9.s[1], v9.s[3]") __ASM_EMIT("mov v10.s[3], v11.s[1]") __ASM_EMIT("mov v0.d[1], v1.d[1]") // v0 = s0 s1 s2 s3 __ASM_EMIT("mov v3.d[1], v4.d[1]") __ASM_EMIT("mov v6.d[1], v7.d[1]") __ASM_EMIT("mov v9.d[1], v10.d[1]") __ASM_EMIT("stp q0, q3, [%[dst], #0x00]") __ASM_EMIT("stp q6, q9, [%[dst], #0x20]") __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("add %[src], %[src], #0xc0") __ASM_EMIT("add %[dst], %[dst], #0x40") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // x8 block __ASM_EMIT("adds %[count], %[count], #8") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = s0 ? ? s1 , v1 = ? ? s2 ? __ASM_EMIT("ldp q2, q3, [%[src], #0x20]") // v2 = ? s3 ? ? , v3 = s4 ? ? s5 __ASM_EMIT("ldp q4, q5, [%[src], #0x40]") // v4 = ? ? s6 ? , v5 = ? s7 ? ? __ASM_EMIT("mov v0.s[1], v0.s[3]") // v0 = s0 s1 ? s1 __ASM_EMIT("mov v1.s[3], v2.s[1]") // v1 = ? ? s2 s3 __ASM_EMIT("mov v3.s[1], v3.s[3]") __ASM_EMIT("mov v4.s[3], v5.s[1]") __ASM_EMIT("mov v0.d[1], v1.d[1]") // v0 = s0 s1 s2 s3 __ASM_EMIT("mov v3.d[1], v4.d[1]") __ASM_EMIT("stp q0, q3, [%[dst], #0x00]") __ASM_EMIT("sub %[count], %[count], #8") __ASM_EMIT("add %[src], %[src], #0x60") __ASM_EMIT("add %[dst], %[dst], #0x20") __ASM_EMIT("4:") // x4 block __ASM_EMIT("adds %[count], %[count], #4") __ASM_EMIT("b.lt 6f") __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = s0 ? ? s1 , v1 = ? ? s2 ? __ASM_EMIT("ldr q2, [%[src], #0x20]") // v2 = ? s3 ? ? __ASM_EMIT("mov v0.s[1], v0.s[3]") // v0 = s0 s1 ? s1 __ASM_EMIT("mov v1.s[3], v2.s[1]") // v1 = ? ? s2 s3 __ASM_EMIT("mov v0.d[1], v1.d[1]") // v0 = s0 s1 s2 s3 __ASM_EMIT("str q0, [%[dst]]") __ASM_EMIT("sub %[count], %[count], #4") __ASM_EMIT("add %[src], %[src], #0x30") __ASM_EMIT("add %[dst], %[dst], #0x10") __ASM_EMIT("6:") // x1 blocks __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 8f") __ASM_EMIT("7:") __ASM_EMIT("ld1 {v0.s}[0], [%[src]]") __ASM_EMIT("st1 {v0.s}[0], [%[dst]]") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("add %[src], %[src], #0x0c") __ASM_EMIT("add %[dst], %[dst], #0x04") __ASM_EMIT("b.hs 7b") __ASM_EMIT("8:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7", "v8", "v9", "v10", "v11" ); } void downsample_4x(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("b.lo 2f") // x16 blocks __ASM_EMIT("1:") __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") __ASM_EMIT("ldp q2, q3, [%[src], #0x20]") __ASM_EMIT("ldp q4, q5, [%[src], #0x40]") __ASM_EMIT("ldp q6, q7, [%[src], #0x60]") __ASM_EMIT("ldp q16, q17, [%[src], #0x80]") __ASM_EMIT("ldp q18, q19, [%[src], #0xa0]") __ASM_EMIT("ldp q20, q21, [%[src], #0xc0]") __ASM_EMIT("ldp q22, q23, [%[src], #0xe0]") __ASM_EMIT("mov v0.s[1], v1.s[0]") __ASM_EMIT("mov v2.s[1], v3.s[0]") __ASM_EMIT("mov v4.s[1], v5.s[0]") __ASM_EMIT("mov v6.s[1], v7.s[0]") __ASM_EMIT("mov v16.s[1], v17.s[0]") __ASM_EMIT("mov v18.s[1], v19.s[0]") __ASM_EMIT("mov v20.s[1], v21.s[0]") __ASM_EMIT("mov v22.s[1], v23.s[0]") __ASM_EMIT("mov v0.d[1], v2.d[0]") __ASM_EMIT("mov v4.d[1], v6.d[0]") __ASM_EMIT("mov v16.d[1], v18.d[0]") __ASM_EMIT("mov v20.d[1], v22.d[0]") __ASM_EMIT("stp q0, q4, [%[dst], #0x00]") __ASM_EMIT("stp q16, q20, [%[dst], #0x20]") __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("add %[src], %[src], #0x100") __ASM_EMIT("add %[dst], %[dst], #0x40") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // x8 block __ASM_EMIT("adds %[count], %[count], #8") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") __ASM_EMIT("ldp q2, q3, [%[src], #0x20]") __ASM_EMIT("ldp q4, q5, [%[src], #0x40]") __ASM_EMIT("ldp q6, q7, [%[src], #0x60]") __ASM_EMIT("mov v0.s[1], v1.s[0]") __ASM_EMIT("mov v2.s[1], v3.s[0]") __ASM_EMIT("mov v4.s[1], v5.s[0]") __ASM_EMIT("mov v6.s[1], v7.s[0]") __ASM_EMIT("mov v0.d[1], v2.d[0]") __ASM_EMIT("mov v4.d[1], v6.d[0]") __ASM_EMIT("stp q0, q4, [%[dst], #0x00]") __ASM_EMIT("sub %[count], %[count], #8") __ASM_EMIT("add %[src], %[src], #0x80") __ASM_EMIT("add %[dst], %[dst], #0x20") __ASM_EMIT("4:") // x4 block __ASM_EMIT("adds %[count], %[count], #4") __ASM_EMIT("b.lt 6f") __ASM_EMIT("ld4 {v0.4s, v1.4s, v2.4s, v3.4s}, [%[src]]") __ASM_EMIT("str q0, [%[dst]]") __ASM_EMIT("sub %[count], %[count], #4") __ASM_EMIT("add %[src], %[src], #0x40") __ASM_EMIT("add %[dst], %[dst], #0x10") __ASM_EMIT("6:") // x1 blocks __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 8f") __ASM_EMIT("7:") __ASM_EMIT("ld1 {v0.s}[0], [%[src]]") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("st1 {v0.s}[0], [%[dst]]") __ASM_EMIT("add %[src], %[src], #0x10") __ASM_EMIT("add %[dst], %[dst], #0x04") __ASM_EMIT("b.ge 7b") __ASM_EMIT("8:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7", "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23" ); } void downsample_6x(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("b.lo 2f") // x16 blocks __ASM_EMIT("1:") __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = s0 ? ? ? , v1 = ? ? s1 ? __ASM_EMIT("ldp q2, q3, [%[src], #0x30]") // v2 = s2 ? ? ? , v3 = ? ? s3 ? __ASM_EMIT("ldp q4, q5, [%[src], #0x60]") // v4 = s4 ? ? ? , v5 = ? ? s5 ? __ASM_EMIT("ldp q6, q7, [%[src], #0x90]") // v6 = s6 ? ? ? , v7 = ? ? s7 ? __ASM_EMIT("ldp q8, q9, [%[src], #0xc0]") // v0 = s8 ? ? ? , v1 = ? ? s9 ? __ASM_EMIT("ldp q10, q11, [%[src], #0xf0]") // v2 = s10 ? ? ? , v3 = ? ? s11 ? __ASM_EMIT("ldp q12, q13, [%[src], #0x120]") // v4 = s12 ? ? ? , v5 = ? ? s13 ? __ASM_EMIT("ldp q14, q15, [%[src], #0x150]") // v6 = s14 ? ? ? , v7 = ? ? s15 ? __ASM_EMIT("mov v0.s[1], v1.s[2]") __ASM_EMIT("mov v2.s[1], v3.s[2]") __ASM_EMIT("mov v4.s[1], v5.s[2]") __ASM_EMIT("mov v6.s[1], v7.s[2]") __ASM_EMIT("mov v8.s[1], v9.s[2]") __ASM_EMIT("mov v10.s[1], v11.s[2]") __ASM_EMIT("mov v12.s[1], v13.s[2]") __ASM_EMIT("mov v14.s[1], v15.s[2]") __ASM_EMIT("mov v0.d[1], v2.d[0]") // v0 = s0 s1 s2 s3 __ASM_EMIT("mov v4.d[1], v6.d[0]") __ASM_EMIT("mov v8.d[1], v10.d[0]") __ASM_EMIT("mov v12.d[1], v14.d[0]") __ASM_EMIT("stp q0, q4, [%[dst], #0x00]") __ASM_EMIT("stp q8, q12, [%[dst], #0x20]") __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("add %[src], %[src], #0x180") __ASM_EMIT("add %[dst], %[dst], #0x40") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // x8 block __ASM_EMIT("adds %[count], %[count], #8") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = s0 ? ? ? , v1 = ? ? s1 ? __ASM_EMIT("ldp q2, q3, [%[src], #0x30]") // v2 = s2 ? ? ? , v3 = ? ? s3 ? __ASM_EMIT("ldp q4, q5, [%[src], #0x60]") // v4 = s4 ? ? ? , v5 = ? ? s5 ? __ASM_EMIT("ldp q6, q7, [%[src], #0x90]") // v6 = s6 ? ? ? , v7 = ? ? s7 ? __ASM_EMIT("mov v0.s[1], v1.s[2]") __ASM_EMIT("mov v2.s[1], v3.s[2]") __ASM_EMIT("mov v4.s[1], v5.s[2]") __ASM_EMIT("mov v6.s[1], v7.s[2]") __ASM_EMIT("mov v0.d[1], v2.d[0]") // v0 = s0 s1 s2 s3 __ASM_EMIT("mov v4.d[1], v6.d[0]") __ASM_EMIT("stp q0, q4, [%[dst], #0x00]") __ASM_EMIT("sub %[count], %[count], #8") __ASM_EMIT("add %[src], %[src], #0xc0") __ASM_EMIT("add %[dst], %[dst], #0x20") __ASM_EMIT("4:") // x4 block __ASM_EMIT("adds %[count], %[count], #4") __ASM_EMIT("b.lt 6f") __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = s0 ? ? ? , v1 = ? ? s1 ? __ASM_EMIT("ldp q2, q3, [%[src], #0x30]") // v2 = s2 ? ? ? , v3 = ? ? s3 ? __ASM_EMIT("mov v0.s[1], v1.s[2]") __ASM_EMIT("mov v2.s[1], v3.s[2]") __ASM_EMIT("mov v0.d[1], v2.d[0]") // v0 = s0 s1 s2 s3 __ASM_EMIT("str q0, [%[dst]]") __ASM_EMIT("sub %[count], %[count], #4") __ASM_EMIT("add %[src], %[src], #0x60") __ASM_EMIT("add %[dst], %[dst], #0x10") __ASM_EMIT("6:") // x1 blocks __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 8f") __ASM_EMIT("7:") __ASM_EMIT("ld1 {v0.s}[0], [%[src]]") __ASM_EMIT("st1 {v0.s}[0], [%[dst]]") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("add %[src], %[src], #0x18") __ASM_EMIT("add %[dst], %[dst], #0x04") __ASM_EMIT("b.hs 7b") __ASM_EMIT("8:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7", "v8", "v9", "v10", "v11" ); } void downsample_8x(float *dst, const float *src, size_t count) { ARCH_AARCH64_ASM( __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("b.lo 2f") // x16 blocks __ASM_EMIT("1:") __ASM_EMIT("ldr q0, [%[src], #0x00]") __ASM_EMIT("ldr q1, [%[src], #0x20]") __ASM_EMIT("ldr q2, [%[src], #0x40]") __ASM_EMIT("ldr q3, [%[src], #0x60]") __ASM_EMIT("ldr q4, [%[src], #0x80]") __ASM_EMIT("ldr q5, [%[src], #0xa0]") __ASM_EMIT("ldr q6, [%[src], #0xc0]") __ASM_EMIT("ldr q7, [%[src], #0xe0]") __ASM_EMIT("ldr q16, [%[src], #0x100]") __ASM_EMIT("ldr q17, [%[src], #0x120]") __ASM_EMIT("ldr q18, [%[src], #0x140]") __ASM_EMIT("ldr q19, [%[src], #0x160]") __ASM_EMIT("ldr q20, [%[src], #0x180]") __ASM_EMIT("ldr q21, [%[src], #0x1a0]") __ASM_EMIT("ldr q22, [%[src], #0x1c0]") __ASM_EMIT("ldr q23, [%[src], #0x1e0]") __ASM_EMIT("mov v0.s[1], v1.s[0]") __ASM_EMIT("mov v2.s[1], v3.s[0]") __ASM_EMIT("mov v4.s[1], v5.s[0]") __ASM_EMIT("mov v6.s[1], v7.s[0]") __ASM_EMIT("mov v16.s[1], v17.s[0]") __ASM_EMIT("mov v18.s[1], v19.s[0]") __ASM_EMIT("mov v20.s[1], v21.s[0]") __ASM_EMIT("mov v22.s[1], v23.s[0]") __ASM_EMIT("mov v0.d[1], v2.d[0]") __ASM_EMIT("mov v4.d[1], v6.d[0]") __ASM_EMIT("mov v16.d[1], v18.d[0]") __ASM_EMIT("mov v20.d[1], v22.d[0]") __ASM_EMIT("stp q0, q4, [%[dst], #0x00]") __ASM_EMIT("stp q16, q20, [%[dst], #0x20]") __ASM_EMIT("subs %[count], %[count], #16") __ASM_EMIT("add %[src], %[src], #0x200") __ASM_EMIT("add %[dst], %[dst], #0x40") __ASM_EMIT("b.hs 1b") __ASM_EMIT("2:") // x8 block __ASM_EMIT("adds %[count], %[count], #8") __ASM_EMIT("b.lt 4f") __ASM_EMIT("ldr q0, [%[src], #0x00]") __ASM_EMIT("ldr q1, [%[src], #0x20]") __ASM_EMIT("ldr q2, [%[src], #0x40]") __ASM_EMIT("ldr q3, [%[src], #0x60]") __ASM_EMIT("ldr q4, [%[src], #0x80]") __ASM_EMIT("ldr q5, [%[src], #0xa0]") __ASM_EMIT("ldr q6, [%[src], #0xc0]") __ASM_EMIT("ldr q7, [%[src], #0xe0]") __ASM_EMIT("mov v0.s[1], v1.s[0]") __ASM_EMIT("mov v2.s[1], v3.s[0]") __ASM_EMIT("mov v4.s[1], v5.s[0]") __ASM_EMIT("mov v6.s[1], v7.s[0]") __ASM_EMIT("mov v0.d[1], v2.d[0]") __ASM_EMIT("mov v4.d[1], v6.d[0]") __ASM_EMIT("stp q0, q4, [%[dst], #0x00]") __ASM_EMIT("sub %[count], %[count], #8") __ASM_EMIT("add %[src], %[src], #0x100") __ASM_EMIT("add %[dst], %[dst], #0x20") __ASM_EMIT("4:") // x4 block __ASM_EMIT("adds %[count], %[count], #4") __ASM_EMIT("b.lt 6f") __ASM_EMIT("ldr q0, [%[src], #0x00]") __ASM_EMIT("ldr q1, [%[src], #0x20]") __ASM_EMIT("ldr q2, [%[src], #0x40]") __ASM_EMIT("ldr q3, [%[src], #0x60]") __ASM_EMIT("mov v0.s[1], v1.s[0]") __ASM_EMIT("mov v2.s[1], v3.s[0]") __ASM_EMIT("mov v0.d[1], v2.d[0]") __ASM_EMIT("str q0, [%[dst]]") __ASM_EMIT("sub %[count], %[count], #4") __ASM_EMIT("add %[src], %[src], #0x80") __ASM_EMIT("add %[dst], %[dst], #0x10") __ASM_EMIT("6:") // x1 blocks __ASM_EMIT("adds %[count], %[count], #3") __ASM_EMIT("b.lt 8f") __ASM_EMIT("7:") __ASM_EMIT("ld1 {v0.s}[0], [%[src]]") __ASM_EMIT("subs %[count], %[count], #1") __ASM_EMIT("st1 {v0.s}[0], [%[dst]]") __ASM_EMIT("add %[src], %[src], #0x20") __ASM_EMIT("add %[dst], %[dst], #0x04") __ASM_EMIT("b.ge 7b") __ASM_EMIT("8:") : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count) : : "cc", "memory", "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7", "v16", "v17", "v18", "v19", "v20", "v21", "v22", "v23" ); } } } #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_RESAMPLING_H_ */