/* * Copyright (C) 2020 Linux Studio Plugins Project * (C) 2020 Vladimir Sadovnikov * * This file is part of lsp-dsp-lib * Created on: 31 мар. 2020 г. * * lsp-dsp-lib is free software: you can redistribute it and/or modify * it under the terms of the GNU Lesser General Public License as published by * the Free Software Foundation, either version 3 of the License, or * any later version. * * lsp-dsp-lib is distributed in the hope that it will be useful, * but WITHOUT ANY WARRANTY; without even the implied warranty of * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the * GNU Lesser General Public License for more details. * * You should have received a copy of the GNU Lesser General Public License * along with lsp-dsp-lib. If not, see . */ #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_SEARCH_IMINMAX_H_ #define PRIVATE_DSP_ARCH_ARM_NEON_D32_SEARCH_IMINMAX_H_ #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL #error "This header should not be included directly" #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */ namespace lsp { namespace neon_d32 { IF_ARCH_ARM( static uint32_t indexes[] __lsp_aligned16 = { 0, 1, 2, 3, 4, 5, 6, 7, 8, 8, 8, 8, 8, 8, 8, 8, 4, 4, 4, 4, 1, 1, 1, 1 }; ); /* * Register allocation: * q0 imin0 * q1 imin1 * q2 vmin0 * q3 vmin1 * q8 cind0 * q9 cind1 * q10 cval0 * q11 cval1 * q12 xcmp0 * q13 xcmp1 * q14 step0 * q15 step1 */ #define IDX_COND_SEARCH(kmin) \ __ASM_EMIT("veor q0, q0") /* q0 = imin0 */ \ __ASM_EMIT("cmp %[count], #1") \ __ASM_EMIT("blo 6f") \ /* 8x blocks */ \ __ASM_EMIT("vldm %[IDXS]!, {q8-q9}") /* q8 = cind0, q9 = cind1 */ \ __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[src]]") /* q2 = vmin0 */ \ __ASM_EMIT("subs %[count], #8") \ __ASM_EMIT("vldm %[IDXS]!, {q14-q15}") /* q14 = step0, q15 = step1 */ \ __ASM_EMIT("blo 2f") \ __ASM_EMIT("vmov q1, q0") /* q1 = imin1 */ \ __ASM_EMIT("vmov q3, q2") /* q3 = vmin1 */ \ __ASM_EMIT("1:") \ __ASM_EMIT("vldm %[src]!, {q10-q11}") /* q10 = cval0, q11 = cval1 */ \ __ASM_EMIT(kmin " q12, q2, q10") /* q12 = (vmin0 <= samp0) */ \ __ASM_EMIT(kmin " q13, q3, q11") \ __ASM_EMIT("vbif q0, q8, q12") /* q0 = imin0 & (vmin0 <= samp0) | inew0 & (vmin0 > samp0) */ \ __ASM_EMIT("vbif q1, q9, q13") \ __ASM_EMIT("vbif q2, q10, q12") /* q6 = vmin0 & (vmin0 <= samp0) | samp0 & (vmin0 > samp0) */ \ __ASM_EMIT("vbif q3, q11, q13") \ __ASM_EMIT("vadd.u32 q8, q14") /* inew0 += 8 */ \ __ASM_EMIT("vadd.u32 q9, q15") /* inew1 += 8 */ \ __ASM_EMIT("subs %[count], #8") /* count -= 8 */ \ __ASM_EMIT("bhs 1b") \ /* 8 -> 4 reduce */ \ __ASM_EMIT(kmin " q12, q2, q3") \ __ASM_EMIT("vbif q0, q1, q12") \ __ASM_EMIT("vbif q2, q3, q12") \ /* 4x block */ \ __ASM_EMIT("2:") \ __ASM_EMIT("vldm %[IDXS]!, {q14-q15}") /* q14 = incr = 4, q15 = incr = 1 */ \ __ASM_EMIT("adds %[count], #4") \ __ASM_EMIT("blt 4f") \ __ASM_EMIT("vldm %[src]!, {q10}") /* q10 = samp0 */ \ __ASM_EMIT(kmin " q12, q2, q10") /* q12 = (vmin0 <= samp0) */ \ __ASM_EMIT("vbif q0, q8, q12") /* q0 = imin0 & (vmin0 <= samp0) | inew0 & (vmin0 > samp0) */ \ __ASM_EMIT("vbif q2, q10, q12") /* q6 = vmin0 & (vmin0 <= samp0) | samp0 & (vmin0 > samp0) */ \ __ASM_EMIT("vadd.u32 q8, q14") /* inew0 += 4 */ \ __ASM_EMIT("sub %[count], #4") /* count -= 4 */ \ __ASM_EMIT("4:") \ /* reduce 4->1, step 1 */ \ __ASM_EMIT("vext.32 q10, q2, q2, #3") \ __ASM_EMIT("vext.32 q11, q0, q0, #3") \ __ASM_EMIT(kmin " q12, q2, q10") \ __ASM_EMIT("vbif q2, q10, q12") \ __ASM_EMIT("vbif q0, q11, q12") \ /* 4x post-process, step 2 */ \ __ASM_EMIT("vext.32 q10, q2, q2, #2") \ __ASM_EMIT("vext.32 q11, q0, q0, #2") \ __ASM_EMIT(kmin " q12, q2, q10") \ __ASM_EMIT("vbif q2, q10, q12") \ __ASM_EMIT("vbif q0, q11, q12") \ /* 1x block */ \ __ASM_EMIT("adds %[count], #3") \ __ASM_EMIT("blt 6f") \ __ASM_EMIT("5:") \ __ASM_EMIT("vld1.32 {d20[], d21[]}, [%[src]]!") /* q10 = samp0 */ \ __ASM_EMIT(kmin " q12, q2, q10") /* q12 = (vmin0 <= samp0) */ \ __ASM_EMIT("vbif q0, q8, q12") /* q0 = imin0 & (vmin0 <= samp0) | inew0 & (vmin0 > samp0) */ \ __ASM_EMIT("vbif q2, q10, q12") /* q6 = vmin0 & (vmin0 <= samp0) | samp0 & (vmin0 > samp0) */ \ __ASM_EMIT("vadd.u32 q8, q15") /* inew1 += 1 */ \ __ASM_EMIT("subs %[count], #1") /* count-- */ \ __ASM_EMIT("bge 5b") \ __ASM_EMIT("6:") \ /* end */ \ __ASM_EMIT("vmov.32 %[res], d0[0]") size_t min_index(const float *src, size_t count) { uint32_t res = 0; IF_ARCH_ARM(uint32_t *pindexes = indexes); ARCH_ARM_ASM( IDX_COND_SEARCH("vcle.f32") : [src] "+r" (src), [count] "+r" (count), [IDXS] "+r" (pindexes), [res] "+r" (res) : : "cc", "memory", "q1", "q2", "q3", "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15" ); return res; } size_t max_index(const float *src, size_t count) { uint32_t res = 0; IF_ARCH_ARM(uint32_t *pindexes = indexes); ARCH_ARM_ASM( IDX_COND_SEARCH("vcge.f32") : [src] "+r" (src), [count] "+r" (count), [IDXS] "+r" (pindexes), [res] "+r" (res) : : "cc", "memory", "q1", "q2", "q3", "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15" ); return res; } size_t abs_min_index(const float *src, size_t count) { uint32_t res = 0; IF_ARCH_ARM(uint32_t *pindexes = indexes;); ARCH_ARM_ASM( IDX_COND_SEARCH("vacle.f32") : [src] "+r" (src), [count] "+r" (count), [IDXS] "+r" (pindexes), [res] "+r" (res) : : "cc", "memory", "q1", "q2", "q3", "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15" ); return res; } size_t abs_max_index(const float *src, size_t count) { uint32_t res = 0; IF_ARCH_ARM(uint32_t *pindexes = indexes;); ARCH_ARM_ASM( IDX_COND_SEARCH("vacge.f32") : [src] "+r" (src), [count] "+r" (count), [IDXS] "+r" (pindexes), [res] "+r" (res) : : "cc", "memory", "q1", "q2", "q3", "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15" ); return res; } #undef IDX_COND_SEARCH /* * Register allocation: * q0 imin0 * q1 imin1 * q2 vmin0 * q3 vmin1 * q4 imax0 * q5 imax1 * q6 vmax0 * q7 vmax1 * q8 cind0 * q9 cind1 * q10 cval0 * q11 cval1 * q12 xcmp0 * q13 xcmp1 * q14 step0 * q15 step1 */ #define MINMAX_COND_SEARCH(kmin, kmax) \ __ASM_EMIT("veor q0, q0") /* q0 = imin0 */ \ __ASM_EMIT("veor q4, q4") /* q4 = imax0 */ \ __ASM_EMIT("cmp %[count], #1") \ __ASM_EMIT("blo 6f") \ /* 8x blocks */ \ __ASM_EMIT("vldm %[IDXS]!, {q8-q9}") /* q8 = cind0, q9 = cind1 */ \ __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[src]]") /* q2 = vmin0 */ \ __ASM_EMIT("vmov q6, q2") /* q6 = vmax */ \ __ASM_EMIT("subs %[count], #8") \ __ASM_EMIT("vldm %[IDXS]!, {q14-q15}") /* q14 = step0, q15 = step1 */ \ __ASM_EMIT("blo 2f") \ __ASM_EMIT("vmov q1, q0") /* q1 = imin1 */ \ __ASM_EMIT("vmov q3, q2") /* q3 = vmin1 */ \ __ASM_EMIT("vmov q5, q4") /* q5 = imax1 */ \ __ASM_EMIT("vmov q7, q6") /* q7 = vmax1 */ \ __ASM_EMIT("1:") \ __ASM_EMIT("vldm %[src]!, {q10-q11}") /* q10 = cval0, q11 = cval1 */ \ __ASM_EMIT(kmin " q12, q2, q10") /* q12 = (vmin0 <= samp0) */ \ __ASM_EMIT(kmin " q13, q3, q11") \ __ASM_EMIT("vbif q0, q8, q12") /* q0 = imin0 & (vmin0 <= samp0) | inew0 & (vmin0 > samp0) */ \ __ASM_EMIT("vbif q1, q9, q13") \ __ASM_EMIT("vbif q2, q10, q12") /* q6 = vmin0 & (vmin0 <= samp0) | samp0 & (vmin0 > samp0) */ \ __ASM_EMIT("vbif q3, q11, q13") \ __ASM_EMIT(kmax " q12, q6, q10") /* q12 = vmax0 >= samp0 */ \ __ASM_EMIT(kmax " q13, q7, q11") \ __ASM_EMIT("vbif q4, q8, q12") /* q2 = imax0 & (vmax0 >= samp0) | q12 = inew0 & (vmax0 < samp0) */ \ __ASM_EMIT("vbif q5, q9, q13") \ __ASM_EMIT("vbif q6, q10, q12") /* q8 = vmax0 & (vmax0 >= samp0) | samp0 & (vmax0 < samp0) */ \ __ASM_EMIT("vbif q7, q11, q13") \ __ASM_EMIT("vadd.u32 q8, q14") /* inew0 += 8 */ \ __ASM_EMIT("vadd.u32 q9, q15") /* inew1 += 8 */ \ __ASM_EMIT("subs %[count], #8") /* count -= 8 */ \ __ASM_EMIT("bhs 1b") \ /* 8 -> 4 reduce */ \ __ASM_EMIT(kmin " q12, q2, q3") \ __ASM_EMIT(kmax " q13, q6, q7") \ __ASM_EMIT("vbif q0, q1, q12") \ __ASM_EMIT("vbif q4, q5, q13") \ __ASM_EMIT("vbif q2, q3, q12") \ __ASM_EMIT("vbif q6, q7, q13") \ /* 4x block */ \ __ASM_EMIT("2:") \ __ASM_EMIT("vldm %[IDXS]!, {q14-q15}") /* q14 = incr = 4, q15 = incr = 1 */ \ __ASM_EMIT("adds %[count], #4") \ __ASM_EMIT("blt 4f") \ __ASM_EMIT("vldm %[src]!, {q10}") /* q10 = samp0 */ \ __ASM_EMIT(kmin " q12, q2, q10") /* q12 = (vmin0 <= samp0) */ \ __ASM_EMIT(kmax " q13, q6, q10") /* q13 = vmax0 >= samp0 */ \ __ASM_EMIT("vbif q0, q8, q12") /* q0 = imin0 & (vmin0 <= samp0) | inew0 & (vmin0 > samp0) */ \ __ASM_EMIT("vbif q4, q8, q13") /* q2 = imax0 & (vmax0 >= samp0) | q12 = inew0 & (vmax0 < samp0) */ \ __ASM_EMIT("vbif q2, q10, q12") /* q6 = vmin0 & (vmin0 <= samp0) | samp0 & (vmin0 > samp0) */ \ __ASM_EMIT("vbif q6, q10, q13") /* q8 = vmax0 & (vmax0 >= samp0) | samp0 & (vmax0 < samp0) */ \ __ASM_EMIT("vadd.u32 q8, q14") /* inew0 += 4 */ \ __ASM_EMIT("sub %[count], #4") /* count -= 4 */ \ __ASM_EMIT("4:") \ /* reduce 4->1, step 1 */ \ __ASM_EMIT("vext.32 q10, q2, q2, #3") \ __ASM_EMIT("vext.32 q11, q0, q0, #3") \ __ASM_EMIT(kmin " q12, q2, q10") \ __ASM_EMIT("vbif q2, q10, q12") \ __ASM_EMIT("vbif q0, q11, q12") \ __ASM_EMIT("vext.32 q10, q6, q6, #3") \ __ASM_EMIT("vext.32 q11, q4, q4, #3") \ __ASM_EMIT(kmax " q12, q6, q10") \ __ASM_EMIT("vbif q6, q10, q12") \ __ASM_EMIT("vbif q4, q11, q12") \ /* 4x post-process, step 2 */ \ __ASM_EMIT("vext.32 q10, q2, q2, #2") \ __ASM_EMIT("vext.32 q11, q0, q0, #2") \ __ASM_EMIT(kmin " q12, q2, q10") \ __ASM_EMIT("vbif q2, q10, q12") \ __ASM_EMIT("vbif q0, q11, q12") \ __ASM_EMIT("vext.32 q10, q6, q6, #2") \ __ASM_EMIT("vext.32 q11, q4, q4, #2") \ __ASM_EMIT(kmax " q12, q6, q10") \ __ASM_EMIT("vbif q6, q10, q12") \ __ASM_EMIT("vbif q4, q11, q12") \ /* 1x block */ \ __ASM_EMIT("adds %[count], #3") \ __ASM_EMIT("blt 6f") \ __ASM_EMIT("5:") \ __ASM_EMIT("vld1.32 {d20[], d21[]}, [%[src]]!") /* q10 = samp0 */ \ __ASM_EMIT(kmin " q12, q2, q10") /* q12 = (vmin0 <= samp0) */ \ __ASM_EMIT(kmax " q13, q6, q10") /* q13 = vmax0 >= samp0 */ \ __ASM_EMIT("vbif q0, q8, q12") /* q0 = imin0 & (vmin0 <= samp0) | inew0 & (vmin0 > samp0) */ \ __ASM_EMIT("vbif q4, q8, q13") /* q2 = imax0 & (vmax0 >= samp0) | q12 = inew0 & (vmax0 < samp0) */ \ __ASM_EMIT("vbif q2, q10, q12") /* q6 = vmin0 & (vmin0 <= samp0) | samp0 & (vmin0 > samp0) */ \ __ASM_EMIT("vbif q6, q10, q13") /* q8 = vmax0 & (vmax0 >= samp0) | samp0 & (vmax0 < samp0) */ \ __ASM_EMIT("vadd.u32 q8, q15") /* inew1 += 1 */ \ __ASM_EMIT("subs %[count], #1") /* count-- */ \ __ASM_EMIT("bge 5b") \ __ASM_EMIT("6:") \ /* end */ \ __ASM_EMIT("vst1.32 {d0[0]}, [%[min]]") \ __ASM_EMIT("vst1.32 {d8[0]}, [%[max]]") void minmax_index(const float *src, size_t count, size_t *min, size_t *max) { IF_ARCH_ARM(uint32_t *pindexes = indexes); ARCH_ARM_ASM( MINMAX_COND_SEARCH("vcle.f32", "vcge.f32") : [src] "+r" (src), [count] "+r" (count), [IDXS] "+r" (pindexes) : [min] "r" (min), [max] "r" (max) : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15" ); } void abs_minmax_index(const float *src, size_t count, size_t *min, size_t *max) { IF_ARCH_ARM(uint32_t *pindexes = indexes); ARCH_ARM_ASM( MINMAX_COND_SEARCH("vacle.f32", "vacge.f32") : [src] "+r" (src), [count] "+r" (count), [IDXS] "+r" (pindexes) : [min] "r" (min), [max] "r" (max) : "cc", "memory", "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7", "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15" ); } #undef MINMAX_COND_SEARCH } } #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_SEARCH_IMINMAX_H_ */