Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/pmath/cos.h

raw
1 /*
2 * Copyright (C) 2025 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2025 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 14 апр. 2025 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_COS_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_COS_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 #include <private/dsp/arch/arm/neon-d32/pmath/sin.h>
30
31 namespace lsp
32 {
33 namespace neon_d32
34 {
35 void cosf1(float *dst, size_t count)
36 {
37 ARCH_ARM_ASM(
38 __ASM_EMIT("vldm %[S2C], {q8-q15}")
39 // x8 blocks
40 __ASM_EMIT("subs %[count], #8")
41 __ASM_EMIT("blo 2f")
42 __ASM_EMIT("1:")
43 __ASM_EMIT("vldm %[dst], {q0-q1}")
44 __ASM_EMIT("vsub.f32 q0, q9, q0") // q0 = PI/2 - x1 + PI/2
45 __ASM_EMIT("vsub.f32 q1, q9, q1") // q1 = PI/2 - x2 + PI/2
46 SINF_X_PLUS_PI_2_CORE_X8
47 __ASM_EMIT("subs %[count], #8")
48 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
49 __ASM_EMIT("bhs 1b")
50 __ASM_EMIT("2:")
51 // x4 block
52 __ASM_EMIT("adds %[count], #4")
53 __ASM_EMIT("blt 4f")
54 __ASM_EMIT("vld1.32 {q0}, [%[dst]]")
55 __ASM_EMIT("vsub.f32 q0, q9, q0") // q0 = PI/2 - x1 + PI/2
56 SINF_X_PLUS_PI_2_CORE_X4
57 __ASM_EMIT("sub %[count], #4")
58 __ASM_EMIT("vst1.32 {q0}, [%[dst]]!")
59 __ASM_EMIT("4:")
60 // Tail: 1x-3x block
61 __ASM_EMIT("adds %[count], #4")
62 __ASM_EMIT("bls 12f")
63 __ASM_EMIT("tst %[count], #1")
64 __ASM_EMIT("beq 6f")
65 __ASM_EMIT("vld1.32 {d0[0]}, [%[dst]]!")
66 __ASM_EMIT("6:")
67 __ASM_EMIT("tst %[count], #2")
68 __ASM_EMIT("beq 8f")
69 __ASM_EMIT("vld1.32 {d1}, [%[dst]]")
70 __ASM_EMIT("8:")
71 __ASM_EMIT("vsub.f32 q0, q9, q0") // q0 = PI/2 - x1 + PI/2
72 SINF_X_PLUS_PI_2_CORE_X4
73 __ASM_EMIT("tst %[count], #1")
74 __ASM_EMIT("beq 10f")
75 __ASM_EMIT("sub %[dst], #0x04")
76 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
77 __ASM_EMIT("10:")
78 __ASM_EMIT("tst %[count], #2")
79 __ASM_EMIT("beq 12f")
80 __ASM_EMIT("vst1.32 {d1}, [%[dst]]")
81 __ASM_EMIT("12:")
82
83 : [dst] "+r" (dst), [count] "+r" (count)
84 : [S2C] "r" (&sinf_const[0])
85 : "cc", "memory",
86 "q0", "q1", "q2", "q3",
87 "q4", "q5", "q6", "q7",
88 "q8", "q9", "q10", "q11",
89 "q12", "q13", "q14", "q15"
90 );
91 }
92
93 void cosf2(float *dst, const float *src, size_t count)
94 {
95 ARCH_ARM_ASM(
96 __ASM_EMIT("vldm %[S2C], {q8-q15}")
97 // x8 blocks
98 __ASM_EMIT("subs %[count], #8")
99 __ASM_EMIT("blo 2f")
100 __ASM_EMIT("1:")
101 __ASM_EMIT("vldm %[src]!, {q0-q1}")
102 __ASM_EMIT("vsub.f32 q0, q9, q0") // q0 = PI/2 - x1 + PI/2
103 __ASM_EMIT("vsub.f32 q1, q9, q1") // q1 = PI/2 - x2 + PI/2
104 SINF_X_PLUS_PI_2_CORE_X8
105 __ASM_EMIT("subs %[count], #8")
106 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
107 __ASM_EMIT("bhs 1b")
108 __ASM_EMIT("2:")
109 // x4 block
110 __ASM_EMIT("adds %[count], #4")
111 __ASM_EMIT("blt 4f")
112 __ASM_EMIT("vld1.32 {q0}, [%[src]]!")
113 __ASM_EMIT("vsub.f32 q0, q9, q0") // q0 = PI/2 - x1 + PI/2
114 SINF_X_PLUS_PI_2_CORE_X4
115 __ASM_EMIT("sub %[count], #4")
116 __ASM_EMIT("vst1.32 {q0}, [%[dst]]!")
117 __ASM_EMIT("4:")
118 // Tail: 1x-3x block
119 __ASM_EMIT("adds %[count], #4")
120 __ASM_EMIT("bls 12f")
121 __ASM_EMIT("tst %[count], #1")
122 __ASM_EMIT("beq 6f")
123 __ASM_EMIT("vld1.32 {d0[0]}, [%[src]]!")
124 __ASM_EMIT("6:")
125 __ASM_EMIT("tst %[count], #2")
126 __ASM_EMIT("beq 8f")
127 __ASM_EMIT("vld1.32 {d1}, [%[src]]")
128 __ASM_EMIT("8:")
129 __ASM_EMIT("vsub.f32 q0, q9, q0") // q0 = PI/2 - x1 + PI/2
130 SINF_X_PLUS_PI_2_CORE_X4
131 __ASM_EMIT("tst %[count], #1")
132 __ASM_EMIT("beq 10f")
133 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
134 __ASM_EMIT("10:")
135 __ASM_EMIT("tst %[count], #2")
136 __ASM_EMIT("beq 12f")
137 __ASM_EMIT("vst1.32 {d1}, [%[dst]]")
138 __ASM_EMIT("12:")
139
140 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
141 : [S2C] "r" (&sinf_const[0])
142 : "cc", "memory",
143 "q0", "q1", "q2", "q3",
144 "q4", "q5", "q6", "q7",
145 "q8", "q9", "q10", "q11",
146 "q12", "q13", "q14", "q15"
147 );
148 }
149
150 void cosf_kp1(float *dst, float k, float p, size_t count)
151 {
152 ARCH_ARM_ASM(
153 __ASM_EMIT("vld1.f32 {d8[], d9[]}, [%[k]]") // q4 = k
154 __ASM_EMIT("vld1.f32 {d10[], d11[]}, [%[p]]") // q5 = p
155 __ASM_EMIT("vldm %[S2C], {q8-q15}")
156 __ASM_EMIT("vldm %[S2KP], {q6-q7}") // q6 = i = 0 1 2 3, q7 = 4 ...
157 __ASM_EMIT("vsub.f32 q5, q9, q5") // q5 = PI/2 - p + PI/2
158 // x4 blocks
159 __ASM_EMIT("subs %[count], #4")
160 __ASM_EMIT("blo 2f")
161 __ASM_EMIT("1:")
162 __ASM_EMIT("vmul.f32 q0, q6, q4") // q0 = k * i
163 __ASM_EMIT("vadd.f32 q6, q6, q7") // q6 = i + 4
164 __ASM_EMIT("vsub.f32 q0, q5, q0") // q0 = PI/2 - (k*i + p) + PI/2
165 SINF_X_PLUS_PI_2_CORE_X4
166 __ASM_EMIT("subs %[count], #4")
167 __ASM_EMIT("vst1.32 {q0}, [%[dst]]!")
168 __ASM_EMIT("bhs 1b")
169 __ASM_EMIT("2:")
170 // Tail: 1x-3x block
171 __ASM_EMIT("adds %[count], #4")
172 __ASM_EMIT("bls 6f")
173 __ASM_EMIT("vmul.f32 q0, q6, q4") // q0 = k * i
174 __ASM_EMIT("vsub.f32 q0, q5, q0") // q0 = PI/2 - (k*i + p) + PI/2
175 SINF_X_PLUS_PI_2_CORE_X4
176 __ASM_EMIT("tst %[count], #1")
177 __ASM_EMIT("beq 4f")
178 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
179 __ASM_EMIT("vext.32 q0, q0, q0, #1")
180 __ASM_EMIT("4:")
181 __ASM_EMIT("tst %[count], #2")
182 __ASM_EMIT("beq 6f")
183 __ASM_EMIT("vst1.32 {d0}, [%[dst]]")
184 // End
185 __ASM_EMIT("6:")
186
187 : [dst] "+r" (dst), [count] "+r" (count)
188 : [k] "r" (&k),
189 [p] "r" (&p),
190 [S2C] "r" (&sinf_const[0]),
191 [S2KP] "r" (&kp_gen_const[0])
192 : "cc", "memory",
193 "q0", "q1", "q2", "q3",
194 "q4", "q5", "q6", "q7",
195 "q8", "q9", "q10", "q11",
196 "q12", "q13", "q14", "q15"
197 );
198 }
199
200 } /* namespace neon_d32 */
201 } /* namespace lsp */
202
203
204 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_PMATH_COS_H_ */