Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/fft/pscramble.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_FFT_PSCRAMBLE_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_FFT_PSCRAMBLE_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 #include <lsp-plug.in/common/bits.h>
30
31 namespace lsp
32 {
33 namespace neon_d32
34 {
35 void packed_scramble_direct(float *dst, const float *src, size_t rank)
36 {
37 IF_ARCH_ARM6(uint32_t msk, tmp);
38
39 if (dst == src)
40 {
41 IF_ARCH_ARM(
42 size_t count = 1 << rank;
43 size_t i, j, rrank = rank;
44 float *dp;
45 );
46
47 // Self algorithm
48 ARCH_ARM_ASM(
49 // Do bit-reverse shuffle
50 __ASM_EMIT("rsb %[rrank], %[rrank], #32") // rrank = 32 - rank
51 __ASM_EMIT("mov %[i], #1") // i = 1
52
53 __ASM_EMIT("1:")
54 #if defined(ARCH_ARM6)
55 LSP_ARMV6_MV_RBIT32("%[j]", "%[i]", "%[msk]", "%[tmp]", "%[masks]") // j = reverse_bits(i)
56 #else
57 __ASM_EMIT("rbit %[j], %[i]") // j = reverse_bits(i)
58 #endif
59 __ASM_EMIT("add %[src], #8")
60 __ASM_EMIT("lsr %[j], %[rrank]") // j = reverse_bits(i) >> rank
61 __ASM_EMIT("cmp %[i], %[j]") // i <=> j
62 __ASM_EMIT("bhs 2f") // if (i >= j) continue
63 __ASM_EMIT("add %[dp], %[dst], %[j], LSL #3") // d_re = &dst[j]
64 __ASM_EMIT("vld1.32 {d0}, [%[src]]") // d0 = *src
65 __ASM_EMIT("vld1.32 {d1}, [%[dp]]") // d1 = *dp
66 __ASM_EMIT("vst1.32 {d1}, [%[src]]") // *src = d1
67 __ASM_EMIT("vst1.32 {d0}, [%[dp]]") // *dp = d0
68 __ASM_EMIT("2:")
69 __ASM_EMIT("add %[i], #1") // i++
70 __ASM_EMIT("cmp %[i], %[count]") // i <=> count
71 __ASM_EMIT("blo 1b")
72
73 // Perform x8 butterflies
74 __ASM_EMIT("mov %[src], %[dst]") // restore src == dst
75 __ASM_EMIT("3:")
76 __ASM_EMIT("vld4.32 {q0-q1}, [%[src]]!") // q0 = r0 r2 i0 i2, q1 = r1 r3 i1 i3
77 __ASM_EMIT("vld4.32 {q2-q3}, [%[src]]!") // q2 = r4 r6 i4 i6, q3 = r5 r7 i5 i7
78 __ASM_EMIT("vadd.f32 q4, q0, q1") // q4 = r0+r1 r2+r3 i0+i1 i2+i3 = r0' r2' i0' i2'
79 __ASM_EMIT("vadd.f32 q5, q2, q3") // q5 = r4+r5 r6+r7 i4+i5 i6+i7 = r4' r6' i4' i6'
80 __ASM_EMIT("vsub.f32 q0, q0, q1") // q0 = r0-r1 r2-r3 i0-i1 i2-i3 = r1' r3' i1' i3'
81 __ASM_EMIT("vsub.f32 q1, q2, q3") // q1 = r4-r5 r6-r7 i4-i5 i6-i7 = r5' r7' i5' i7'
82 // q4 = r0' r2' i0' i2'
83 // q5 = r4' r6' i4' i6'
84 // q0 = r1' r3' i1' i3'
85 // q1 = r5' r7' i5' i7'
86 __ASM_EMIT("vtrn.32 q4, q5") // q4 = r0' r4' i0' i4', q5 = r2' r6' i2' i6'
87 __ASM_EMIT("vtrn.32 q0, q1") // q0 = r1' r5' i1' i5', q1 = r3' r7' i3' i7'
88 __ASM_EMIT("vext.32 q6, q1, q1, #2") // q6 = i3' i7' r3' r7'
89
90 __ASM_EMIT("vadd.f32 q2, q4, q5") // q2 = r0'+r2' r4'+r6' i0'+i2' i4'+i6' = r0" r4" i0" i4"
91 __ASM_EMIT("vsub.f32 q1, q0, q6") // q1 = r1'-i3' r5'-i7' i1'-r3' i5'-r7' = r3" r7" i1" i5"
92 __ASM_EMIT("vsub.f32 q3, q4, q5") // q3 = r0'-r2' r4'-r6' i0'-i2' i4'-i6' = r2" r6" i2" i6"
93 __ASM_EMIT("vadd.f32 q0, q0, q6") // q0 = r1'+i3' r5'+i7' i1'+r3' i5'+r7' = r1" r5" i3" i7"
94
95 // q2 = r0" r4" i0" i4"
96 // q0 = r1" r5" i3" i7"
97 // q3 = r2" r6" i2" i6"
98 // q1 = r3" r7" i1" i5"
99
100 __ASM_EMIT("vtrn.32 q2, q0") // q2 = r0" r1" i0" i3", q0 = r4" r5" i4" i7"
101 __ASM_EMIT("vtrn.32 q3, q1") // q3 = r2" r3" i2" i1", q1 = r6" r7" i6" i5"
102 __ASM_EMIT("vswp d5, d6") // q2 = r0" r1" r2" r3", q3 = i0" i3" i2" i1"
103 __ASM_EMIT("vswp d1, d2") // q0 = r4" r5" r6" r7", q1 = i4" i7" i6" i5"
104
105 __ASM_EMIT("vrev64.32 q3, q3") // q3 = i3" i0" i1" i2"
106 __ASM_EMIT("vrev64.32 q1, q1") // q1 = i7" i4" i5" i6"
107 __ASM_EMIT("vext.32 q3, q3, q3, #1") // q3 = i0" i1" i2" i3"
108 __ASM_EMIT("vext.32 q1, q1, q1, #1") // q1 = i4" i5" i6" i7"
109
110 __ASM_EMIT("vst1.32 {q2-q3}, [%[dst]]!")
111 __ASM_EMIT("subs %[count], #8") // i <=> count
112 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
113 __ASM_EMIT("bne 3b")
114
115
116 : [src] "+r" (src), [dst] "+r" (dst), [dp] "=&r" (dp),
117 [rrank] "+r" (rrank), [i] "=&r" (i), [j] "=&r" (j),
118 [count] "+r" (count)
119 IF_ARCH_ARM6(, [tmp] "=&r" (tmp), [msk] "=&r" (msk))
120 : IF_ARCH_ARM6([masks] "r" (lsp_rb_masks))
121 : "cc", "memory",
122 "q0", "q1", "q2", "q3", "q4", "q5", "q6"
123 );
124 }
125 else
126 {
127 IF_ARCH_ARM(
128 size_t i, j, rrank = rank - 3;
129 size_t regs = 1 << rrank;
130 float *sr1, *sr2;
131 );
132
133 ARCH_ARM_ASM(
134 __ASM_EMIT("eor %[i], %[i]") // i = 0
135 __ASM_EMIT("rsb %[rrank], %[rrank], #32") // rrank = 32 - rank
136
137 __ASM_EMIT("1:")
138 #if defined(ARCH_ARM6)
139 LSP_ARMV6_MV_RBIT32("%[j]", "%[i]", "%[msk]", "%[tmp]", "%[masks]") // j = reverse_bits(i)
140 #else
141 __ASM_EMIT("rbit %[j], %[i]") // j = reverse_bits(i)
142 #endif
143 __ASM_EMIT("lsr %[j], %[rrank]") // j = reverse_bits(i) >> rank
144
145 __ASM_EMIT("add %[sr1], %[src], %[j], LSL #3") // sr1 = &src[j]
146 __ASM_EMIT("add %[sr2], %[sr1], %[regs], LSL #3") // sr2 = &src[j + regs]
147 __ASM_EMIT("vldm %[sr1], {d0}") // q0 = r0 i0 ? ?
148 __ASM_EMIT("vldm %[sr2], {d4}") // q2 = r4 i4 ? ?
149 __ASM_EMIT("add %[sr1], %[sr1], %[regs], LSL #4") // sr1 = &src[j + regs*2]
150 __ASM_EMIT("add %[sr2], %[sr2], %[regs], LSL #4") // sr2 = &src[j + regs*3]
151 __ASM_EMIT("vldm %[sr1], {d1}") // q0 = r0 i0 r2 i2
152 __ASM_EMIT("vldm %[sr2], {d5}") // q2 = r4 i4 r6 i6
153
154 __ASM_EMIT("add %[sr1], %[sr1], %[regs], LSL #4") // sr1 = &src[j + regs*4]
155 __ASM_EMIT("add %[sr2], %[sr2], %[regs], LSL #4") // sr2 = &src[j + regs*5]
156 __ASM_EMIT("vldm %[sr1], {d2}") // q1 = r1 i1 ? ?
157 __ASM_EMIT("vldm %[sr2], {d6}") // q3 = r5 i5 ? ?
158 __ASM_EMIT("add %[sr1], %[sr1], %[regs], LSL #4") // sr1 = &src[j + regs*6]
159 __ASM_EMIT("add %[sr2], %[sr2], %[regs], LSL #4") // sr2 = &src[j + regs*7]
160 __ASM_EMIT("vldm %[sr1], {d3}") // q1 = r1 i1 r3 i3
161 __ASM_EMIT("vldm %[sr2], {d7}") // q3 = r5 i5 r7 i7
162
163 __ASM_EMIT("vtrn.32 d0, d1") // q0 = r0 r2 i0 i2
164 __ASM_EMIT("vtrn.32 d2, d3") // q1 = r1 r3 i1 i3
165 __ASM_EMIT("vtrn.32 d4, d5") // q2 = r4 r6 i4 i6
166 __ASM_EMIT("vtrn.32 d6, d7") // q3 = r5 r7 i5 i7
167
168 // q0 = r0 r2 i0 i2
169 // q1 = r1 r3 i1 i3
170 // q2 = r4 r6 i4 i6
171 // q3 = r5 r7 i5 i7
172 __ASM_EMIT("add %[i], #1")
173
174 __ASM_EMIT("vadd.f32 q4, q0, q1") // q4 = r0+r1 r2+r3 i0+i1 i2+i3 = r0' r2' i0' i2'
175 __ASM_EMIT("vadd.f32 q5, q2, q3") // q5 = r4+r5 r6+r7 i4+i5 i6+i7 = r4' r6' i4' i6'
176 __ASM_EMIT("vsub.f32 q0, q0, q1") // q0 = r0-r1 r2-r3 i0-i1 i2-i3 = r1' r3' i1' i3'
177 __ASM_EMIT("vsub.f32 q1, q2, q3") // q1 = r4-r5 r6-r7 i4-i5 i6-i7 = r5' r7' i5' i7'
178
179 // q4 = r0' r2' i0' i2'
180 // q5 = r4' r6' i4' i6'
181 // q0 = r1' r3' i1' i3'
182 // q1 = r5' r7' i5' i7'
183 __ASM_EMIT("vtrn.32 q4, q5") // q4 = r0' r4' i0' i4', q5 = r2' r6' i2' i6'
184 __ASM_EMIT("vtrn.32 q0, q1") // q0 = r1' r5' i1' i5', q1 = r3' r7' i3' i7'
185 __ASM_EMIT("vext.32 q6, q1, q1, #2") // q6 = i3' i7' r3' r7'
186
187 __ASM_EMIT("vadd.f32 q2, q4, q5") // q2 = r0'+r2' r4'+r6' i0'+i2' i4'+i6' = r0" r4" i0" i4"
188 __ASM_EMIT("vsub.f32 q1, q0, q6") // q1 = r1'-i3' r5'-i7' i1'-r3' i5'-r7' = r3" r7" i1" i5"
189 __ASM_EMIT("vsub.f32 q3, q4, q5") // q3 = r0'-r2' r4'-r6' i0'-i2' i4'-i6' = r2" r6" i2" i6"
190 __ASM_EMIT("vadd.f32 q0, q0, q6") // q0 = r1'+i3' r5'+i7' i1'+r3' i5'+r7' = r1" r5" i3" i7"
191
192 // q2 = r0" r4" i0" i4"
193 // q0 = r1" r5" i3" i7"
194 // q3 = r2" r6" i2" i6"
195 // q1 = r3" r7" i1" i5"
196 __ASM_EMIT("vtrn.32 q2, q0") // q2 = r0" r1" i0" i3", q0 = r4" r5" i4" i7"
197 __ASM_EMIT("vtrn.32 q3, q1") // q3 = r2" r3" i2" i1", q1 = r6" r7" i6" i5"
198 __ASM_EMIT("vswp d5, d6") // q2 = r0" r1" r2" r3", q3 = i0" i3" i2" i1"
199 __ASM_EMIT("vswp d1, d2") // q0 = r4" r5" r6" r7", q1 = i4" i7" i6" i5"
200
201 __ASM_EMIT("vrev64.32 q3, q3") // q3 = i3" i0" i1" i2"
202 __ASM_EMIT("vrev64.32 q1, q1") // q1 = i7" i4" i5" i6"
203 __ASM_EMIT("vext.32 q3, q3, q3, #1") // q3 = i0" i1" i2" i3"
204 __ASM_EMIT("vext.32 q1, q1, q1, #1") // q1 = i4" i5" i6" i7"
205
206 __ASM_EMIT("vst1.32 {q2-q3}, [%[dst]]!")
207 __ASM_EMIT("cmp %[i], %[regs]")
208 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
209 __ASM_EMIT("blo 1b")
210
211 : [dst] "+r" (dst), [sr1] "=&r" (sr1), [sr2] "=&r" (sr2),
212 [rrank] "+r" (rrank), [i] "=&r" (i), [j] "=&r" (j)
213 IF_ARCH_ARM6(, [tmp] "=&r" (tmp), [msk] "=&r" (msk))
214 : [src] "r" (src), [regs] "r" (regs)
215 IF_ARCH_ARM6(, [masks] "r" (lsp_rb_masks))
216 : "cc", "memory",
217 "q0", "q1", "q2", "q3", "q4", "q5", "q6"
218 );
219 }
220 }
221
222
223 void packed_scramble_reverse(float *dst, const float *src, size_t rank)
224 {
225 IF_ARCH_ARM6(uint32_t msk, tmp);
226
227 if (dst == src)
228 {
229 IF_ARCH_ARM(
230 size_t count = 1 << rank;
231 size_t i, j, rrank = rank;
232 float *dp;
233 );
234
235 // Self algorithm
236 ARCH_ARM_ASM(
237 // Do bit-reverse shuffle
238 __ASM_EMIT("rsb %[rrank], %[rrank], #32") // rrank = 32 - rank
239 __ASM_EMIT("mov %[i], #1") // i = 1
240
241 __ASM_EMIT("1:")
242 #if defined(ARCH_ARM6)
243 LSP_ARMV6_MV_RBIT32("%[j]", "%[i]", "%[msk]", "%[tmp]", "%[masks]") // j = reverse_bits(i)
244 #else
245 __ASM_EMIT("rbit %[j], %[i]") // j = reverse_bits(i)
246 #endif
247 __ASM_EMIT("add %[src], #8")
248 __ASM_EMIT("lsr %[j], %[rrank]") // j = reverse_bits(i) >> rank
249 __ASM_EMIT("cmp %[i], %[j]") // i <=> j
250 __ASM_EMIT("bhs 2f") // if (i >= j) continue
251 __ASM_EMIT("add %[dp], %[dst], %[j], LSL #3") // d_re = &dst[j]
252 __ASM_EMIT("vld1.32 {d0}, [%[src]]") // d0 = *src
253 __ASM_EMIT("vld1.32 {d1}, [%[dp]]") // d1 = *dp
254 __ASM_EMIT("vst1.32 {d1}, [%[src]]") // *src = d1
255 __ASM_EMIT("vst1.32 {d0}, [%[dp]]") // *dp = d0
256 __ASM_EMIT("2:")
257 __ASM_EMIT("add %[i], #1") // i++
258 __ASM_EMIT("cmp %[i], %[count]") // i <=> count
259 __ASM_EMIT("blo 1b")
260
261 // Perform x8 butterflies
262 __ASM_EMIT("mov %[src], %[dst]") // restore src == dst
263 __ASM_EMIT("3:")
264 __ASM_EMIT("vld4.32 {q0-q1}, [%[src]]!") // q0 = r0 r2 i0 i2, q1 = r1 r3 i1 i3
265 __ASM_EMIT("vld4.32 {q2-q3}, [%[src]]!") // q2 = r4 r6 i4 i6, q3 = r5 r7 i5 i7
266 __ASM_EMIT("vadd.f32 q4, q0, q1") // q4 = r0+r1 r2+r3 i0+i1 i2+i3 = r0' r2' i0' i2'
267 __ASM_EMIT("vadd.f32 q5, q2, q3") // q5 = r4+r5 r6+r7 i4+i5 i6+i7 = r4' r6' i4' i6'
268 __ASM_EMIT("vsub.f32 q0, q0, q1") // q0 = r0-r1 r2-r3 i0-i1 i2-i3 = r1' r3' i1' i3'
269 __ASM_EMIT("vsub.f32 q1, q2, q3") // q1 = r4-r5 r6-r7 i4-i5 i6-i7 = r5' r7' i5' i7'
270 // q4 = r0' r2' i0' i2'
271 // q5 = r4' r6' i4' i6'
272 // q0 = r1' r3' i1' i3'
273 // q1 = r5' r7' i5' i7'
274 __ASM_EMIT("vtrn.32 q4, q5") // q4 = r0' r4' i0' i4', q5 = r2' r6' i2' i6'
275 __ASM_EMIT("vtrn.32 q0, q1") // q0 = r1' r5' i1' i5', q1 = r3' r7' i3' i7'
276 __ASM_EMIT("vext.32 q6, q1, q1, #2") // q6 = i3' i7' r3' r7'
277
278 __ASM_EMIT("vsub.f32 q2, q0, q6") // q2 = r1'-i3' r5'-i7' i1'-r3' i5'-r7' = r1" r5" i3" i7"
279 __ASM_EMIT("vsub.f32 q1, q4, q5") // q1 = r0'-r2' r4'-r6' i0'-i2' i4'-i6' = r2" r6" i2" i6"
280 __ASM_EMIT("vadd.f32 q3, q0, q6") // q3 = r1'+i3' r5'+i7' i1'+r3' i5'+r7' = r3" r7" i1" i5"
281 __ASM_EMIT("vadd.f32 q0, q4, q5") // q0 = r0'+r2' r4'+r6' i0'+i2' i4'+i6' = r0" r4" i0" i4"
282
283 // q0 = r0" r4" i0" i4"
284 // q1 = r2" r6" i2" i6"
285 // q2 = r1" r5" i3" i7"
286 // q3 = r3" r7" i1" i5"
287 __ASM_EMIT("vtrn.32 q0, q2") // q0 = r0" r1" i0" i3", q2 = r4" r5" i4" i7"
288 __ASM_EMIT("vtrn.32 q1, q3") // q1 = r2" r3" i2" i1", q3 = r6" r7" i6" i5"
289 __ASM_EMIT("vswp d1, d2") // q0 = r0" r1" r2" r3", q1 = i0" i3" i2" i1"
290 __ASM_EMIT("vswp d5, d6") // q2 = r4" r5" r6" r7", q3 = i4" i7" i6" i5"
291
292 __ASM_EMIT("vrev64.32 q1, q1") // q1 = i3" i0" i1" i2"
293 __ASM_EMIT("vrev64.32 q3, q3") // q3 = i7" i4" i5" i6"
294 __ASM_EMIT("vext.32 q1, q1, q1, #1") // q1 = i0" i1" i2" i3"
295 __ASM_EMIT("vext.32 q3, q3, q3, #1") // q3 = i4" i5" i6" i7"
296
297 __ASM_EMIT("subs %[count], #8") // i <=> count
298 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
299 __ASM_EMIT("bne 3b")
300
301
302 : [src] "+r" (src), [dst] "+r" (dst), [dp] "=&r" (dp),
303 [rrank] "+r" (rrank), [i] "=&r" (i), [j] "=&r" (j),
304 [count] "+r" (count)
305 IF_ARCH_ARM6(, [tmp] "=&r" (tmp), [msk] "=&r" (msk))
306 : IF_ARCH_ARM6([masks] "r" (lsp_rb_masks))
307 : "cc", "memory",
308 "q0", "q1", "q2", "q3", "q4", "q5", "q6"
309 );
310 }
311 else
312 {
313 IF_ARCH_ARM(
314 size_t i, j, rrank = rank - 3;
315 size_t regs = 1 << rrank;
316 float *sr1, *sr2;
317 );
318
319 ARCH_ARM_ASM(
320 __ASM_EMIT("eor %[i], %[i]") // i = 0
321 __ASM_EMIT("rsb %[rrank], %[rrank], #32") // rrank = 32 - rank
322
323 __ASM_EMIT("1:")
324 #if defined(ARCH_ARM6)
325 LSP_ARMV6_MV_RBIT32("%[j]", "%[i]", "%[msk]", "%[tmp]", "%[masks]") // j = reverse_bits(i)
326 #else
327 __ASM_EMIT("rbit %[j], %[i]") // j = reverse_bits(i)
328 #endif
329 __ASM_EMIT("lsr %[j], %[rrank]") // j = reverse_bits(i) >> rank
330
331 __ASM_EMIT("add %[sr1], %[src], %[j], LSL #3") // sr1 = &src[j]
332 __ASM_EMIT("add %[sr2], %[sr1], %[regs], LSL #3") // sr2 = &src[j + regs]
333 __ASM_EMIT("vldm %[sr1], {d0}") // q0 = r0 i0 ? ?
334 __ASM_EMIT("vldm %[sr2], {d4}") // q2 = r4 i4 ? ?
335 __ASM_EMIT("add %[sr1], %[sr1], %[regs], LSL #4") // sr1 = &src[j + regs*2]
336 __ASM_EMIT("add %[sr2], %[sr2], %[regs], LSL #4") // sr2 = &src[j + regs*3]
337 __ASM_EMIT("vldm %[sr1], {d1}") // q0 = r0 i0 r2 i2
338 __ASM_EMIT("vldm %[sr2], {d5}") // q2 = r4 i4 r6 i6
339
340 __ASM_EMIT("add %[sr1], %[sr1], %[regs], LSL #4") // sr1 = &src[j + regs*4]
341 __ASM_EMIT("add %[sr2], %[sr2], %[regs], LSL #4") // sr2 = &src[j + regs*5]
342 __ASM_EMIT("vldm %[sr1], {d2}") // q1 = r1 i1 ? ?
343 __ASM_EMIT("vldm %[sr2], {d6}") // q3 = r5 i5 ? ?
344 __ASM_EMIT("add %[sr1], %[sr1], %[regs], LSL #4") // sr1 = &src[j + regs*6]
345 __ASM_EMIT("add %[sr2], %[sr2], %[regs], LSL #4") // sr2 = &src[j + regs*7]
346 __ASM_EMIT("vldm %[sr1], {d3}") // q1 = r1 i1 r3 i3
347 __ASM_EMIT("vldm %[sr2], {d7}") // q3 = r5 i5 r7 i7
348
349 __ASM_EMIT("vtrn.32 d0, d1") // q0 = r0 r2 i0 i2
350 __ASM_EMIT("vtrn.32 d2, d3") // q1 = r1 r3 i1 i3
351 __ASM_EMIT("vtrn.32 d4, d5") // q2 = r4 r6 i4 i6
352 __ASM_EMIT("vtrn.32 d6, d7") // q3 = r5 r7 i5 i7
353
354 // q0 = r0 r2 i0 i2
355 // q1 = r1 r3 i1 i3
356 // q2 = r4 r6 i4 i6
357 // q3 = r5 r7 i5 i7
358 __ASM_EMIT("add %[i], #1")
359
360 __ASM_EMIT("vadd.f32 q4, q0, q1") // q4 = r0+r1 r2+r3 i0+i1 i2+i3 = r0' r2' i0' i2'
361 __ASM_EMIT("vadd.f32 q5, q2, q3") // q5 = r4+r5 r6+r7 i4+i5 i6+i7 = r4' r6' i4' i6'
362 __ASM_EMIT("vsub.f32 q0, q0, q1") // q0 = r0-r1 r2-r3 i0-i1 i2-i3 = r1' r3' i1' i3'
363 __ASM_EMIT("vsub.f32 q1, q2, q3") // q1 = r4-r5 r6-r7 i4-i5 i6-i7 = r5' r7' i5' i7'
364
365 // q4 = r0' r2' i0' i2'
366 // q5 = r4' r6' i4' i6'
367 // q0 = r1' r3' i1' i3'
368 // q1 = r5' r7' i5' i7'
369 __ASM_EMIT("vtrn.32 q4, q5") // q4 = r0' r4' i0' i4', q5 = r2' r6' i2' i6'
370 __ASM_EMIT("vtrn.32 q0, q1") // q0 = r1' r5' i1' i5', q1 = r3' r7' i3' i7'
371 __ASM_EMIT("vext.32 q6, q1, q1, #2") // q6 = i3' i7' r3' r7'
372
373 __ASM_EMIT("vsub.f32 q2, q0, q6") // q2 = r1'-i3' r5'-i7' i1'-r3' i5'-r7' = r1" r5" i3" i7"
374 __ASM_EMIT("vsub.f32 q1, q4, q5") // q1 = r0'-r2' r4'-r6' i0'-i2' i4'-i6' = r2" r6" i2" i6"
375 __ASM_EMIT("vadd.f32 q3, q0, q6") // q3 = r1'+i3' r5'+i7' i1'+r3' i5'+r7' = r3" r7" i1" i5"
376 __ASM_EMIT("vadd.f32 q0, q4, q5") // q0 = r0'+r2' r4'+r6' i0'+i2' i4'+i6' = r0" r4" i0" i4"
377
378 // q0 = r0" r4" i0" i4"
379 // q1 = r2" r6" i2" i6"
380 // q2 = r1" r5" i3" i7"
381 // q3 = r3" r7" i1" i5"
382 __ASM_EMIT("vtrn.32 q0, q2") // q0 = r0" r1" i0" i3", q2 = r4" r5" i4" i7"
383 __ASM_EMIT("vtrn.32 q1, q3") // q1 = r2" r3" i2" i1", q3 = r6" r7" i6" i5"
384 __ASM_EMIT("vswp d1, d2") // q0 = r0" r1" r2" r3", q1 = i0" i3" i2" i1"
385 __ASM_EMIT("vswp d5, d6") // q2 = r4" r5" r6" r7", q3 = i4" i7" i6" i5"
386
387 __ASM_EMIT("vrev64.32 q1, q1") // q1 = i3" i0" i1" i2"
388 __ASM_EMIT("vrev64.32 q3, q3") // q3 = i7" i4" i5" i6"
389 __ASM_EMIT("vext.32 q1, q1, q1, #1") // q1 = i0" i1" i2" i3"
390 __ASM_EMIT("vext.32 q3, q3, q3, #1") // q3 = i4" i5" i6" i7"
391
392 __ASM_EMIT("cmp %[i], %[regs]")
393 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
394 __ASM_EMIT("blo 1b")
395
396 : [dst] "+r" (dst), [sr1] "=&r" (sr1), [sr2] "=&r" (sr2),
397 [rrank] "+r" (rrank), [i] "=&r" (i), [j] "=&r" (j)
398 IF_ARCH_ARM6(, [tmp] "=&r" (tmp), [msk] "=&r" (msk))
399 : [src] "r" (src), [regs] "r" (regs)
400 IF_ARCH_ARM6(, [masks] "r" (lsp_rb_masks))
401 : "cc", "memory",
402 "q0", "q1", "q2", "q3", "q4", "q5", "q6"
403 );
404 }
405 }
406
407 void packed_unscramble_direct(float *dst, size_t rank)
408 {
409 IF_ARCH_ARM (
410 size_t count = 1 << rank;
411 float *src = dst;
412 );
413
414 ARCH_ARM_ASM(
415 __ASM_EMIT("subs %[count], #32")
416 __ASM_EMIT("blo 2f")
417
418 // 32x blocks
419 __ASM_EMIT("1:")
420 __ASM_EMIT("vldm %[src]!, {q0-q7}")
421 __ASM_EMIT("vzip.32 q0, q1")
422 __ASM_EMIT("vzip.32 q2, q3")
423 __ASM_EMIT("vldm %[src]!, {q8-q15}")
424 __ASM_EMIT("vzip.32 q4, q5")
425 __ASM_EMIT("vzip.32 q6, q7")
426 __ASM_EMIT("vzip.32 q8, q9")
427 __ASM_EMIT("vzip.32 q10, q11")
428 __ASM_EMIT("vstm %[dst]!, {q0-q7}")
429 __ASM_EMIT("vzip.32 q12, q13")
430 __ASM_EMIT("vzip.32 q14, q15")
431 __ASM_EMIT("subs %[count], #32")
432 __ASM_EMIT("vstm %[dst]!, {q8-q15}")
433 __ASM_EMIT("bhs 1b")
434
435 // 16x block
436 __ASM_EMIT("2:")
437 __ASM_EMIT("adds %[count], #16")
438 __ASM_EMIT("blt 4f")
439 __ASM_EMIT("vldm %[src]!, {q0-q7}")
440 __ASM_EMIT("vzip.32 q0, q1")
441 __ASM_EMIT("vzip.32 q2, q3")
442 __ASM_EMIT("vzip.32 q4, q5")
443 __ASM_EMIT("vzip.32 q6, q7")
444 __ASM_EMIT("sub %[count], #16")
445 __ASM_EMIT("vstm %[dst]!, {q0-q7}")
446
447 // 8x block
448 __ASM_EMIT("4:")
449 __ASM_EMIT("adds %[count], #8")
450 __ASM_EMIT("blt 6f")
451 __ASM_EMIT("vldm %[src]!, {q0-q4}")
452 __ASM_EMIT("vzip.32 q0, q1")
453 __ASM_EMIT("vzip.32 q2, q3")
454 __ASM_EMIT("vstm %[dst]!, {q0-q4}")
455
456 __ASM_EMIT("6:")
457 : [src] "+r" (src), [dst] "+r" (dst),
458 [count] "+r" (count)
459 :
460 : "cc", "memory",
461 "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7",
462 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
463 );
464 }
465
466 void packed_unscramble_reverse(float *dst, size_t rank)
467 {
468 IF_ARCH_ARM (
469 size_t count = 1 << rank;
470 float *src = dst;
471 float k = 1.0f / count;
472 );
473
474 ARCH_ARM_ASM(
475 __ASM_EMIT("vld1.32 {d16[], d17[]} , [%[k]]")
476 __ASM_EMIT("subs %[count], #16")
477 __ASM_EMIT("vmov q9, q8")
478 __ASM_EMIT("blo 2f")
479
480 // 16x blocks
481 __ASM_EMIT("1:")
482 __ASM_EMIT("vldm %[src]!, {q0-q7}")
483 __ASM_EMIT("vzip.32 q0, q1")
484 __ASM_EMIT("vzip.32 q2, q3")
485 __ASM_EMIT("vzip.32 q4, q5")
486 __ASM_EMIT("vzip.32 q6, q7")
487 __ASM_EMIT("vmul.f32 q0, q8")
488 __ASM_EMIT("vmul.f32 q1, q9")
489 __ASM_EMIT("vmul.f32 q2, q8")
490 __ASM_EMIT("vmul.f32 q3, q9")
491 __ASM_EMIT("vmul.f32 q4, q8")
492 __ASM_EMIT("vmul.f32 q5, q9")
493 __ASM_EMIT("vmul.f32 q6, q8")
494 __ASM_EMIT("vmul.f32 q7, q9")
495 __ASM_EMIT("subs %[count], #16")
496 __ASM_EMIT("vstm %[dst]!, {q0-q7}")
497 __ASM_EMIT("bge 1b")
498
499 // 8x block
500 __ASM_EMIT("2:")
501 __ASM_EMIT("adds %[count], #8")
502 __ASM_EMIT("blt 4f")
503 __ASM_EMIT("vldm %[src]!, {q0-q4}")
504 __ASM_EMIT("vzip.32 q0, q1")
505 __ASM_EMIT("vzip.32 q2, q3")
506 __ASM_EMIT("vmul.f32 q0, q8")
507 __ASM_EMIT("vmul.f32 q1, q9")
508 __ASM_EMIT("vmul.f32 q2, q8")
509 __ASM_EMIT("vmul.f32 q3, q9")
510 __ASM_EMIT("vstm %[dst]!, {q0-q4}")
511
512 __ASM_EMIT("4:")
513 : [src] "+r" (src), [dst] "+r" (dst),
514 [count] "+r" (count)
515 : [k] "r" (&k)
516 : "cc", "memory",
517 "q0", "q1", "q2", "q3", "q4", "q5", "q6", "q7",
518 "q8", "q9"
519 );
520 }
521 }
522 }
523
524 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_FFT_PSCRAMBLE_H_ */