Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/fft/butterfly.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_FFT_BUTTERFLY_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_FFT_BUTTERFLY_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 #define BUTTERFLY_RANK3(op1, op2) \
34 __ASM_EMIT("vldm %[XFFT_A], {q8-q11}") /* q8 = wr1, q9 = wr2, q10 = wi1, q11 = wi2 */ \
35 __ASM_EMIT("subs %[blocks], #2") \
36 __ASM_EMIT("blo 2f") \
37 \
38 /* 8x butterflies */ \
39 /* Calculate complex c = w * b */ \
40 __ASM_EMIT("1:") \
41 __ASM_EMIT("vldm %[dst_re], {q0-q3}") /* q0 = ar1, q1 = br1, q2 = ar2, q3 = br2 */ \
42 __ASM_EMIT("vldm %[dst_im], {q4-q7}") /* q4 = ai1, q5 = bi1, q6 = ai2, q7 = bi2 */ \
43 /* Calc cr and ci */ \
44 __ASM_EMIT("vmul.f32 q12, q8, q1") /* q12 = wr1 * br1 */ \
45 __ASM_EMIT("vmul.f32 q13, q9, q3") /* q13 = wr2 * br2 */ \
46 __ASM_EMIT("vmul.f32 q14, q8, q5") /* q14 = wr1 * bi1 */ \
47 __ASM_EMIT("vmul.f32 q15, q9, q7") /* q15 = wr2 * bi2 */ \
48 __ASM_EMIT(op1 " q12, q10, q5") /* q12 = wr1 * br1 +- wi1 * bi1 = cr1 */ \
49 __ASM_EMIT(op1 " q13, q11, q7") /* q13 = wr2 * br2 +- wi2 * bi2 = cr2 */ \
50 __ASM_EMIT(op2 " q14, q10, q1") /* q14 = wr1 * bi1 -+ wi1 * br1 = ci1 */ \
51 __ASM_EMIT(op2 " q15, q11, q3") /* q15 = wr1 * bi1 -+ wi2 * br2 = ci2 */ \
52 /* Apply butterfly */ \
53 __ASM_EMIT("vsub.f32 q1, q0, q12") /* q1 = ar1 - cr1 */ \
54 __ASM_EMIT("vsub.f32 q3, q2, q13") /* q3 = ar2 - cr2 */ \
55 __ASM_EMIT("vsub.f32 q5, q4, q14") /* q5 = ai1 - ci1 */ \
56 __ASM_EMIT("vsub.f32 q7, q6, q15") /* q7 = ai2 - ci2 */ \
57 __ASM_EMIT("vadd.f32 q0, q0, q12") /* q0 = ar1 + cr1 */ \
58 __ASM_EMIT("vadd.f32 q2, q2, q13") /* q2 = ar2 + cr2 */ \
59 __ASM_EMIT("vadd.f32 q4, q4, q14") /* q4 = ai1 + ci1 */ \
60 __ASM_EMIT("vadd.f32 q6, q6, q15") /* q6 = ai2 + ci2 */ \
61 __ASM_EMIT("vstm %[dst_re]!, {q0-q3}") \
62 __ASM_EMIT("vstm %[dst_im]!, {q4-q7}") \
63 __ASM_EMIT("subs %[blocks], #2") \
64 __ASM_EMIT("bge 1b") \
65 \
66 __ASM_EMIT("2:") \
67 __ASM_EMIT("adds %[blocks], #1") \
68 __ASM_EMIT("blo 4f") \
69 /* 4x butterflies */ \
70 __ASM_EMIT("vldm %[dst_re], {q0-q1}") /* q0 = ar1, q1 = br1 */ \
71 __ASM_EMIT("vldm %[dst_im], {q4-q5}") /* q4 = ai1, q5 = bi1 */ \
72 __ASM_EMIT("vmul.f32 q12, q8, q1") /* q12 = wr1 * br1 */ \
73 __ASM_EMIT("vmul.f32 q14, q8, q5") /* q14 = wr1 * bi1 */ \
74 __ASM_EMIT(op1 " q12, q10, q5") /* q12 = wr1 * br1 +- wi1 * bi1 = cr1 */ \
75 __ASM_EMIT(op2 " q14, q10, q1") /* q14 = wr1 * bi1 -+ wi1 * br1 = ci1 */ \
76 /* Apply butterfly */ \
77 __ASM_EMIT("vsub.f32 q1, q0, q12") /* q1 = ar1 - cr1 */ \
78 __ASM_EMIT("vsub.f32 q5, q4, q14") /* q5 = ai1 - ci1 */ \
79 __ASM_EMIT("vadd.f32 q0, q0, q12") /* q0 = ar1 + cr1 */ \
80 __ASM_EMIT("vadd.f32 q4, q4, q14") /* q4 = ai1 + ci1 */ \
81 __ASM_EMIT("vstm %[dst_re]!, {q0-q1}") \
82 __ASM_EMIT("vstm %[dst_im]!, {q4-q5}") \
83 __ASM_EMIT("4:")
84
85
86 void direct_butterfly_rank3(float *dst_re, float *dst_im, size_t blocks) {
87 ARCH_ARM_ASM(
88 BUTTERFLY_RANK3("vmla.f32", "vmls.f32")
89 : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im),
90 [blocks] "+r" (blocks)
91 : [XFFT_A] "r" (&XFFT_A[0])
92 : "cc", "memory",
93 "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7",
94 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
95 );
96 }
97
98 void reverse_butterfly_rank3(float *dst_re, float *dst_im, size_t blocks) {
99 ARCH_ARM_ASM(
100 BUTTERFLY_RANK3("vmls.f32", "vmla.f32")
101 : [dst_re] "+r" (dst_re), [dst_im] "+r" (dst_im),
102 [blocks] "+r" (blocks)
103 : [XFFT_A] "r" (&XFFT_A[0])
104 : "cc", "memory",
105 "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7",
106 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
107 );
108 }
109
110 #undef BUTTERFLY_RANK3
111
112 #define BUTTERFLY_RANK4(op1, op2) \
113 __ASM_EMIT("1:") \
114 /* Initialize sub-loop */ \
115 __ASM_EMIT("mov %[pairs], #1") /* pairs = 1 */ \
116 __ASM_EMIT("vldm %[XFFT_A], {q8-q11}") /* q8 = wr1, q9 = wr2, q10 = wi1, q11 = wi2 */ \
117 __ASM_EMIT("lsl %[pairs], %[pairs], %[rank]") /* pairs = 1 << rank */ \
118 __ASM_EMIT("add %[b_re], %[a_re], %[pairs], LSL #4") /* b_re = &a_re[pairs*8] */ \
119 __ASM_EMIT("add %[b_im], %[a_im], %[pairs], LSL #4") /* b_im = &a_im[pairs*8] */ \
120 /* 8x butterflies */ \
121 /* Calculate complex c = w * b */ \
122 __ASM_EMIT("3:") \
123 __ASM_EMIT("vld1.32 {q0-q1}, [%[a_re]]") /* q0 = ar1, q1 = ar2 */ \
124 __ASM_EMIT("vld1.32 {q2-q3}, [%[a_im]]") /* q2 = ai1, q3 = ai2 */ \
125 __ASM_EMIT("vld1.32 {q4-q5}, [%[b_re]]") /* q4 = br1, q5 = br2 */ \
126 __ASM_EMIT("vld1.32 {q6-q7}, [%[b_im]]") /* q6 = bi1, q7 = bi2 */ \
127 /* Calc cr and ci */ \
128 __ASM_EMIT("vmul.f32 q12, q8, q4") /* q12 = wr1 * br1 */ \
129 __ASM_EMIT("vmul.f32 q13, q9, q5") /* q13 = wr2 * br2 */ \
130 __ASM_EMIT("vmul.f32 q14, q8, q6") /* q14 = wr1 * bi1 */ \
131 __ASM_EMIT("vmul.f32 q15, q9, q7") /* q15 = wr2 * bi2 */ \
132 __ASM_EMIT(op1 " q12, q10, q6") /* q12 = wr1 * br1 +- wi1 * bi1 = cr1 */ \
133 __ASM_EMIT(op1 " q13, q11, q7") /* q13 = wr2 * br2 +- wi2 * bi2 = cr2 */ \
134 __ASM_EMIT(op2 " q14, q10, q4") /* q14 = wr1 * bi1 -+ wi1 * br1 = ci1 */ \
135 __ASM_EMIT(op2 " q15, q11, q5") /* q15 = wr1 * bi1 -+ wi2 * br2 = ci2 */ \
136 /* Apply butterfly */ \
137 __ASM_EMIT("vsub.f32 q4, q0, q12") /* q4 = ar1 - cr1 */ \
138 __ASM_EMIT("vsub.f32 q5, q1, q13") /* q5 = ar2 - cr2 */ \
139 __ASM_EMIT("vsub.f32 q6, q2, q14") /* q6 = ai1 - ci1 */ \
140 __ASM_EMIT("vst1.32 {q4-q5}, [%[b_re]]!") \
141 __ASM_EMIT("vsub.f32 q7, q3, q15") /* q7 = ai2 - ci2 */ \
142 __ASM_EMIT("vadd.f32 q0, q0, q12") /* q0 = ar1 + cr1 */ \
143 __ASM_EMIT("vst1.32 {q6-q7}, [%[b_im]]!") \
144 __ASM_EMIT("vadd.f32 q1, q1, q13") /* q1 = ar2 + cr2 */ \
145 __ASM_EMIT("vadd.f32 q2, q2, q14") /* q2 = ai1 + ci1 */ \
146 __ASM_EMIT("vst1.32 {q0-q1}, [%[a_re]]!") \
147 __ASM_EMIT("vadd.f32 q3, q3, q15") /* q3 = ai2 + ci2 */ \
148 __ASM_EMIT("subs %[pairs], #2") \
149 __ASM_EMIT("vst1.32 {q2-q3}, [%[a_im]]!") \
150 __ASM_EMIT("beq 4f") \
151 /* Prepare next loop: rotate angle */ \
152 __ASM_EMIT("vld1.32 {q0-q1}, [%[XFFT_W]]") /* q0 = dr, q1 = di */ \
153 __ASM_EMIT("vmul.f32 q12, q8, q1") /* q12 = wr1 * di */ \
154 __ASM_EMIT("vmul.f32 q13, q9, q1") /* q13 = wr2 * di */ \
155 __ASM_EMIT("vmul.f32 q14, q10, q1") /* q14 = wi1 * di */ \
156 __ASM_EMIT("vmul.f32 q15, q11, q1") /* q15 = wi2 * di */ \
157 __ASM_EMIT("vmul.f32 q8, q8, q0") /* q8 = wr1 * dr */ \
158 __ASM_EMIT("vmul.f32 q9, q9, q0") /* q9 = wr2 * dr */ \
159 __ASM_EMIT("vmul.f32 q10, q10, q0") /* q10 = wi1 * dr */ \
160 __ASM_EMIT("vmul.f32 q11, q11, q0") /* q11 = wi2 * dr */ \
161 __ASM_EMIT("vsub.f32 q8, q8, q14") /* q8 = wr1*dr - wi1*di */ \
162 __ASM_EMIT("vsub.f32 q9, q9, q15") /* q9 = wr2*dr - wi2*di */ \
163 __ASM_EMIT("vadd.f32 q10, q10, q12") /* q10 = wi1*dr + wr1*di */ \
164 __ASM_EMIT("vadd.f32 q11, q11, q13") /* q11 = wi2*dr + wr2*di */ \
165 __ASM_EMIT("b 3b") \
166 __ASM_EMIT("4:") \
167 __ASM_EMIT("mov %[a_re], %[b_re]") \
168 __ASM_EMIT("mov %[a_im], %[b_im]") \
169 __ASM_EMIT("subs %[blocks], #1") \
170 __ASM_EMIT("bne 1b")
171
172 void direct_butterfly_rank4p(float *dst_re, float *dst_im, size_t rank, size_t blocks) {
173 IF_ARCH_ARM(
174 rank -= 3;
175 const float *xfft_a = &XFFT_A[rank << 4];
176 const float *xfft_dw = &XFFT_DW[rank << 3];
177 float *b_re, *b_im;
178 size_t pairs;
179 )
180
181 ARCH_ARM_ASM(
182 BUTTERFLY_RANK4("vmla.f32", "vmls.f32")
183 : [a_re] "+r" (dst_re), [a_im] "+r" (dst_im),
184 [b_re] "=&r" (b_re), [b_im] "=&r" (b_im),
185 [blocks] "+r" (blocks), [pairs] "=&r" (pairs)
186 : [XFFT_A] "r" (xfft_a), [XFFT_W] "r" (xfft_dw),
187 [rank] "r" (rank)
188 : "cc", "memory",
189 "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7",
190 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
191 );
192 }
193
194 void reverse_butterfly_rank4p(float *dst_re, float *dst_im, size_t rank, size_t blocks) {
195 IF_ARCH_ARM(
196 rank -= 3;
197 const float *xfft_a = &XFFT_A[rank << 4];
198 const float *xfft_dw = &XFFT_DW[rank << 3];
199 float *b_re, *b_im;
200 size_t pairs;
201 )
202
203 ARCH_ARM_ASM(
204 BUTTERFLY_RANK4("vmls.f32", "vmla.f32")
205 : [a_re] "+r" (dst_re), [a_im] "+r" (dst_im),
206 [b_re] "=&r" (b_re), [b_im] "=&r" (b_im),
207 [blocks] "+r" (blocks), [pairs] "=&r" (pairs)
208 : [XFFT_A] "r" (xfft_a), [XFFT_W] "r" (xfft_dw),
209 [rank] "r" (rank)
210 : "cc", "memory",
211 "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7",
212 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
213 );
214 }
215
216 #undef BUTTERFLY_RANK4
217 }
218 }
219
220 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_FFT_BUTTERFLY_H_ */