Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/aarch64/asimd/pmath/sin.h

raw
1 /*
2 * Copyright (C) 2025 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2025 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 13 апр. 2025 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_PMATH_SIN_H_
23 #define PRIVATE_DSP_ARCH_AARCH64_ASIMD_PMATH_SIN_H_
24
25 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL */
28
29 namespace lsp
30 {
31 namespace asimd
32 {
33 IF_ARCH_AARCH64(
34 static const float kp_gen_const[] __lsp_aligned16 =
35 {
36 0.0f, 1.0f, 2.0f, 3.0f, // +0x00: Initial values
37 4.0f, 5.0f, 6.0f, 7.0f,
38 LSP_DSP_VEC4(8.0), // +0x20: Step x8
39 LSP_DSP_VEC4(4.0), // +0x30: Step x4
40 };
41
42 static const uint32_t sinf_const[] __lsp_aligned16 =
43 {
44 LSP_DSP_VEC4(0x3fc90fdb), // +0x000: PI/2
45 LSP_DSP_VEC4(0x40490fdb), // +0x010: PI
46 LSP_DSP_VEC4(0x3e22f983), // +0x020: 1/(2*PI)
47 LSP_DSP_VEC4(0xb2d7322b), // +0x030: C0 = -1/11! = -2.50521083854e-08
48 LSP_DSP_VEC4(0x3638ef1d), // +0x040: C1 = 1/9! = 2.7557319224e-06
49 LSP_DSP_VEC4(0xb9500d01), // +0x050: C2 = -1/7! = -0.000198412698413
50 LSP_DSP_VEC4(0x3c088889), // +0x060: C3 = 1/5! = 0.00833333333333
51 LSP_DSP_VEC4(0xbe2aaaab), // +0x070: C4 = -1/3! = -0.166666666667
52 };
53 )
54
55 #define SINF_X_PLUS_PI_2_CORE_X16 \
56 /* v0 = X0 = x0 + PI/2 */ \
57 /* v1 = X1 = x1 + PI/2 */ \
58 /* v2 = X2 = x2 + PI/2 */ \
59 /* v3 = X3 = x3 + PI/2 */ \
60 /* v16 = PI/2 */ \
61 /* v17 = PI */ \
62 /* v18 = 1/(2*PI) */ \
63 /* v19 = C0 */ \
64 /* v20 = C1 */ \
65 /* v21 = C2 */ \
66 /* v22 = C3 */ \
67 /* v23 = C4 */ \
68 __ASM_EMIT("fmul v4.4s, v0.4s, v18.4s") /* v4 = x / (2*PI) */ \
69 __ASM_EMIT("fmul v5.4s, v1.4s, v18.4s") \
70 __ASM_EMIT("fmul v6.4s, v2.4s, v18.4s") \
71 __ASM_EMIT("fmul v7.4s, v3.4s, v18.4s") \
72 __ASM_EMIT("fcvtms v8.4s, v4.4s") /* v8 = int(X / (2*PI)) + [ X < 0.0 ] ? -1 : 0 */ \
73 __ASM_EMIT("fcvtms v9.4s, v5.4s") \
74 __ASM_EMIT("fcvtms v10.4s, v6.4s") \
75 __ASM_EMIT("fcvtms v11.4s, v7.4s") \
76 __ASM_EMIT("fadd v12.4s, v17.4s, v17.4s") /* v12 = 2*PI */ \
77 __ASM_EMIT("scvtf v8.4s, v8.4s") /* v8 = period = int(X / (2*PI)) [ X < 0.0 ] ? -1 : 0 */ \
78 __ASM_EMIT("scvtf v9.4s, v9.4s") \
79 __ASM_EMIT("scvtf v10.4s, v10.4s") \
80 __ASM_EMIT("scvtf v11.4s, v11.4s") \
81 __ASM_EMIT("fmls v0.4s, v8.4s, v12.4s") /* v0 = Y = X - period * 2 * PI */ \
82 __ASM_EMIT("fmls v1.4s, v9.4s, v12.4s") \
83 __ASM_EMIT("fmls v2.4s, v10.4s, v12.4s") \
84 __ASM_EMIT("fmls v3.4s, v11.4s, v12.4s") \
85 __ASM_EMIT("fadd v12.4s, v16.4s, v17.4s") /* v12 = 3*PI/2 */ \
86 __ASM_EMIT("fcmge v4.4s, v0.4s, v17.4s") /* v4 = [ Y >= PI ] */ \
87 __ASM_EMIT("fcmge v5.4s, v1.4s, v17.4s") \
88 __ASM_EMIT("fcmge v6.4s, v2.4s, v17.4s") \
89 __ASM_EMIT("fcmge v7.4s, v3.4s, v17.4s") \
90 __ASM_EMIT("fsub v8.4s, v12.4s, v0.4s") /* v8 = 3*PI/2 - Y */ \
91 __ASM_EMIT("fsub v9.4s, v12.4s, v1.4s") \
92 __ASM_EMIT("fsub v10.4s, v12.4s, v2.4s") \
93 __ASM_EMIT("fsub v11.4s, v12.4s, v3.4s") \
94 __ASM_EMIT("fsub v0.4s, v0.4s, v16.4s") /* v0 = Y - PI/2 */ \
95 __ASM_EMIT("fsub v1.4s, v1.4s, v16.4s") \
96 __ASM_EMIT("fsub v2.4s, v2.4s, v16.4s") \
97 __ASM_EMIT("fsub v3.4s, v3.4s, v16.4s") \
98 __ASM_EMIT("bit v0.16b, v8.16b, v4.16b") /* v0 = XX = [ Y < PI ] ? (Y - PI/2) : (3*PI/2 - Y) */ \
99 __ASM_EMIT("bit v1.16b, v9.16b, v5.16b") \
100 __ASM_EMIT("bit v2.16b, v10.16b, v6.16b") \
101 __ASM_EMIT("bit v3.16b, v11.16b, v7.16b") \
102 /* v0 = XX */ \
103 __ASM_EMIT("fmul v4.4s, v0.4s, v0.4s") /* v4 = X2 = XX*XX */ \
104 __ASM_EMIT("fmul v5.4s, v1.4s, v1.4s") \
105 __ASM_EMIT("fmul v6.4s, v2.4s, v2.4s") \
106 __ASM_EMIT("fmul v7.4s, v3.4s, v3.4s") \
107 __ASM_EMIT("fmul v8.4s, v4.4s, v19.4s") /* v8 = X2*C0 */ \
108 __ASM_EMIT("fmul v9.4s, v5.4s, v19.4s") \
109 __ASM_EMIT("fmul v10.4s, v6.4s, v19.4s") \
110 __ASM_EMIT("fmul v11.4s, v7.4s, v19.4s") \
111 __ASM_EMIT("fadd v8.4s, v8.4s, v20.4s") /* v8 = C1 + X2*C0 */ \
112 __ASM_EMIT("fadd v9.4s, v9.4s, v20.4s") \
113 __ASM_EMIT("fadd v10.4s, v10.4s, v20.4s") \
114 __ASM_EMIT("fadd v11.4s, v11.4s, v20.4s") \
115 __ASM_EMIT("fmul v8.4s, v4.4s, v8.4s") /* v8 = X2*(C1 + X2*C0) */ \
116 __ASM_EMIT("fmul v9.4s, v5.4s, v9.4s") \
117 __ASM_EMIT("fmul v10.4s, v6.4s, v10.4s") \
118 __ASM_EMIT("fmul v11.4s, v7.4s, v11.4s") \
119 __ASM_EMIT("fadd v8.4s, v8.4s, v21.4s") /* v8 = C2 + X2*(C1 + X2*C0) */ \
120 __ASM_EMIT("fadd v9.4s, v9.4s, v21.4s") \
121 __ASM_EMIT("fadd v10.4s, v10.4s, v21.4s") \
122 __ASM_EMIT("fadd v11.4s, v11.4s, v21.4s") \
123 __ASM_EMIT("fmul v8.4s, v4.4s, v8.4s") /* v8 = X2*(C2 + X2*(C1 + X2*C0)) */ \
124 __ASM_EMIT("fmul v9.4s, v5.4s, v9.4s") \
125 __ASM_EMIT("fmul v10.4s, v6.4s, v10.4s") \
126 __ASM_EMIT("fmul v11.4s, v7.4s, v11.4s") \
127 __ASM_EMIT("fadd v8.4s, v8.4s, v22.4s") /* v8 = C3 + X2*(C2 + X2*(C1 + X2*C0)) */ \
128 __ASM_EMIT("fadd v9.4s, v9.4s, v22.4s") \
129 __ASM_EMIT("fadd v10.4s, v10.4s, v22.4s") \
130 __ASM_EMIT("fadd v11.4s, v11.4s, v22.4s") \
131 __ASM_EMIT("fmul v8.4s, v4.4s, v8.4s") /* v8 = X2*(C3 + X2*(C2 + X2*(C1 + X2*C0))) */ \
132 __ASM_EMIT("fmul v9.4s, v5.4s, v9.4s") \
133 __ASM_EMIT("fmul v10.4s, v6.4s, v10.4s") \
134 __ASM_EMIT("fmul v11.4s, v7.4s, v11.4s") \
135 __ASM_EMIT("fadd v8.4s, v8.4s, v23.4s") /* v8 = C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0))) */ \
136 __ASM_EMIT("fadd v9.4s, v9.4s, v23.4s") \
137 __ASM_EMIT("fadd v10.4s, v10.4s, v23.4s") \
138 __ASM_EMIT("fadd v11.4s, v11.4s, v23.4s") \
139 __ASM_EMIT("fmul v8.4s, v4.4s, v8.4s") /* v8 = X2*(C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0)))) */ \
140 __ASM_EMIT("fmul v9.4s, v5.4s, v9.4s") \
141 __ASM_EMIT("fmul v10.4s, v6.4s, v10.4s") \
142 __ASM_EMIT("fmul v11.4s, v7.4s, v11.4s") \
143 __ASM_EMIT("fmla v0.4s, v0.4s, v8.4s") /* v0 = XX*(1.0 + X2*(C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0))))) */ \
144 __ASM_EMIT("fmla v1.4s, v1.4s, v9.4s") \
145 __ASM_EMIT("fmla v2.4s, v2.4s, v10.4s") \
146 __ASM_EMIT("fmla v3.4s, v3.4s, v11.4s")
147
148 #define SINF_X_PLUS_PI_2_CORE_X8 \
149 /* v0 = X0 = x0 + PI/2 */ \
150 /* v1 = X1 = x1 + PI/2 */ \
151 /* v16 = PI/2 */ \
152 /* v17 = PI */ \
153 /* v18 = 1/(2*PI) */ \
154 /* v19 = C0 */ \
155 /* v20 = C1 */ \
156 /* v21 = C2 */ \
157 /* v22 = C3 */ \
158 /* v23 = C4 */ \
159 __ASM_EMIT("fmul v4.4s, v0.4s, v18.4s") /* v4 = x / (2*PI) */ \
160 __ASM_EMIT("fmul v5.4s, v1.4s, v18.4s") \
161 __ASM_EMIT("fcvtms v8.4s, v4.4s") /* v8 = int(X / (2*PI)) + [ X < 0.0 ] ? -1 : 0 */ \
162 __ASM_EMIT("fcvtms v9.4s, v5.4s") \
163 __ASM_EMIT("fadd v12.4s, v17.4s, v17.4s") /* v12 = 2*PI */ \
164 __ASM_EMIT("scvtf v8.4s, v8.4s") /* v8 = period = int(X / (2*PI)) [ X < 0.0 ] ? -1 : 0 */ \
165 __ASM_EMIT("scvtf v9.4s, v9.4s") \
166 __ASM_EMIT("fmls v0.4s, v8.4s, v12.4s") /* v0 = Y = X - period * 2 * PI */ \
167 __ASM_EMIT("fmls v1.4s, v9.4s, v12.4s") \
168 __ASM_EMIT("fadd v12.4s, v16.4s, v17.4s") /* v12 = 3*PI/2 */ \
169 __ASM_EMIT("fcmge v4.4s, v0.4s, v17.4s") /* v4 = [ Y >= PI ] */ \
170 __ASM_EMIT("fcmge v5.4s, v1.4s, v17.4s") \
171 __ASM_EMIT("fsub v8.4s, v12.4s, v0.4s") /* v8 = 3*PI/2 - Y */ \
172 __ASM_EMIT("fsub v9.4s, v12.4s, v1.4s") \
173 __ASM_EMIT("fsub v0.4s, v0.4s, v16.4s") /* v0 = Y - PI/2 */ \
174 __ASM_EMIT("fsub v1.4s, v1.4s, v16.4s") \
175 __ASM_EMIT("bit v0.16b, v8.16b, v4.16b") /* v0 = XX = [ Y < PI ] ? (Y - PI/2) : (3*PI/2 - Y) */ \
176 __ASM_EMIT("bit v1.16b, v9.16b, v5.16b") \
177 /* v0 = XX */ \
178 __ASM_EMIT("fmul v4.4s, v0.4s, v0.4s") /* v4 = X2 = XX*XX */ \
179 __ASM_EMIT("fmul v5.4s, v1.4s, v1.4s") \
180 __ASM_EMIT("fmul v8.4s, v4.4s, v19.4s") /* v8 = X2*C0 */ \
181 __ASM_EMIT("fmul v9.4s, v5.4s, v19.4s") \
182 __ASM_EMIT("fadd v8.4s, v8.4s, v20.4s") /* v8 = C1 + X2*C0 */ \
183 __ASM_EMIT("fadd v9.4s, v9.4s, v20.4s") \
184 __ASM_EMIT("fmul v8.4s, v4.4s, v8.4s") /* v8 = X2*(C1 + X2*C0) */ \
185 __ASM_EMIT("fmul v9.4s, v5.4s, v9.4s") \
186 __ASM_EMIT("fadd v8.4s, v8.4s, v21.4s") /* v8 = C2 + X2*(C1 + X2*C0) */ \
187 __ASM_EMIT("fadd v9.4s, v9.4s, v21.4s") \
188 __ASM_EMIT("fmul v8.4s, v4.4s, v8.4s") /* v8 = X2*(C2 + X2*(C1 + X2*C0)) */ \
189 __ASM_EMIT("fmul v9.4s, v5.4s, v9.4s") \
190 __ASM_EMIT("fadd v8.4s, v8.4s, v22.4s") /* v8 = C3 + X2*(C2 + X2*(C1 + X2*C0)) */ \
191 __ASM_EMIT("fadd v9.4s, v9.4s, v22.4s") \
192 __ASM_EMIT("fmul v8.4s, v4.4s, v8.4s") /* v8 = X2*(C3 + X2*(C2 + X2*(C1 + X2*C0))) */ \
193 __ASM_EMIT("fmul v9.4s, v5.4s, v9.4s") \
194 __ASM_EMIT("fadd v8.4s, v8.4s, v23.4s") /* v8 = C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0))) */ \
195 __ASM_EMIT("fadd v9.4s, v9.4s, v23.4s") \
196 __ASM_EMIT("fmul v8.4s, v4.4s, v8.4s") /* v8 = X2*(C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0)))) */ \
197 __ASM_EMIT("fmul v9.4s, v5.4s, v9.4s") \
198 __ASM_EMIT("fmla v0.4s, v0.4s, v8.4s") /* v0 = XX*(1.0 + X2*(C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0))))) */ \
199 __ASM_EMIT("fmla v1.4s, v1.4s, v9.4s")
200
201 #define SINF_X_PLUS_PI_2_CORE_X4 \
202 /* v0 = X = x + PI/2 */ \
203 /* v16 = PI/2 */ \
204 /* v17 = PI */ \
205 /* v18 = 1/(2*PI) */ \
206 /* v19 = C0 */ \
207 /* v20 = C1 */ \
208 /* v21 = C2 */ \
209 /* v22 = C3 */ \
210 /* v23 = C4 */ \
211 __ASM_EMIT("fmul v4.4s, v0.4s, v18.4s") /* v4 = x / (2*PI) */ \
212 __ASM_EMIT("fcvtms v8.4s, v4.4s") /* v8 = int(X / (2*PI)) + [ X < 0.0 ] ? -1 : 0 */ \
213 __ASM_EMIT("fadd v12.4s, v17.4s, v17.4s") /* v12 = 2*PI */ \
214 __ASM_EMIT("scvtf v8.4s, v8.4s") /* v8 = period = int(X / (2*PI)) [ X < 0.0 ] ? -1 : 0 */ \
215 __ASM_EMIT("fmls v0.4s, v8.4s, v12.4s") /* v0 = Y = X - period * 2 * PI */ \
216 __ASM_EMIT("fadd v12.4s, v16.4s, v17.4s") /* v12 = 3*PI/2 */ \
217 __ASM_EMIT("fcmge v4.4s, v0.4s, v17.4s") /* v4 = [ Y >= PI ] */ \
218 __ASM_EMIT("fsub v8.4s, v12.4s, v0.4s") /* v8 = 3*PI/2 - Y */ \
219 __ASM_EMIT("fsub v0.4s, v0.4s, v16.4s") /* v0 = Y - PI/2 */ \
220 __ASM_EMIT("bit v0.16b, v8.16b, v4.16b") /* v0 = XX = [ Y < PI ] ? (Y - PI/2) : (3*PI/2 - Y) */ \
221 /* v0 = XX */ \
222 __ASM_EMIT("fmul v4.4s, v0.4s, v0.4s") /* v4 = X2 = XX*XX */ \
223 __ASM_EMIT("fmul v8.4s, v4.4s, v19.4s") /* v8 = X2*C0 */ \
224 __ASM_EMIT("fadd v8.4s, v8.4s, v20.4s") /* v8 = C1 + X2*C0 */ \
225 __ASM_EMIT("fmul v8.4s, v4.4s, v8.4s") /* v8 = X2*(C1 + X2*C0) */ \
226 __ASM_EMIT("fadd v8.4s, v8.4s, v21.4s") /* v8 = C2 + X2*(C1 + X2*C0) */ \
227 __ASM_EMIT("fmul v8.4s, v4.4s, v8.4s") /* v8 = X2*(C2 + X2*(C1 + X2*C0)) */ \
228 __ASM_EMIT("fadd v8.4s, v8.4s, v22.4s") /* v8 = C3 + X2*(C2 + X2*(C1 + X2*C0)) */ \
229 __ASM_EMIT("fmul v8.4s, v4.4s, v8.4s") /* v8 = X2*(C3 + X2*(C2 + X2*(C1 + X2*C0))) */ \
230 __ASM_EMIT("fadd v8.4s, v8.4s, v23.4s") /* v8 = C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0))) */ \
231 __ASM_EMIT("fmul v8.4s, v4.4s, v8.4s") /* v8 = X2*(C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0)))) */ \
232 __ASM_EMIT("fmla v0.4s, v0.4s, v8.4s") /* v0 = XX*(1.0 + X2*(C4 + X2*(C3 + X2*(C2 + X2*(C1 + X2*C0))))) */
233
234 void sinf1(float *dst, size_t count)
235 {
236 ARCH_AARCH64_ASM(
237 __ASM_EMIT("ldp q16, q17, [%[S2C], #0x00]") /* v16 = PI/2, v17 = PI */
238 __ASM_EMIT("ldp q18, q19, [%[S2C], #0x20]") /* v18 = 1/(2*PI), v19 = C0 */
239 __ASM_EMIT("ldp q20, q21, [%[S2C], #0x40]") /* v20 = C1, v21 = C2 */
240 __ASM_EMIT("ldp q22, q23, [%[S2C], #0x60]") /* v22 = C3, v23 = C4 */
241 // x16 blocks
242 __ASM_EMIT("subs %[count], %[count], #16")
243 __ASM_EMIT("b.lo 2f")
244 __ASM_EMIT("1:")
245 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") // v0 = x0, v1 = x1
246 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]") // v2 = x2, v3 = x3
247 __ASM_EMIT("fadd v0.4s, v0.4s, v16.4s") // v0 = x0 + PI/2
248 __ASM_EMIT("fadd v1.4s, v1.4s, v16.4s") // v1 = x1 + PI/2
249 __ASM_EMIT("fadd v2.4s, v2.4s, v16.4s") // v2 = x2 + PI/2
250 __ASM_EMIT("fadd v3.4s, v3.4s, v16.4s") // v3 = x3 + PI/2
251 SINF_X_PLUS_PI_2_CORE_X16
252 __ASM_EMIT("subs %[count], %[count], #16")
253 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
254 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
255 __ASM_EMIT("add %[dst], %[dst], #0x40")
256 __ASM_EMIT("b.hs 1b")
257 __ASM_EMIT("2:")
258 // x8 block
259 __ASM_EMIT("adds %[count], %[count], #8")
260 __ASM_EMIT("b.lt 4f")
261 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]") // v0 = x0, v1 = x1
262 __ASM_EMIT("fadd v0.4s, v0.4s, v16.4s") // v0 = x0 + PI/2
263 __ASM_EMIT("fadd v1.4s, v1.4s, v16.4s") // v1 = x1 + PI/2
264 SINF_X_PLUS_PI_2_CORE_X8
265 __ASM_EMIT("sub %[count], %[count], #8")
266 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
267 __ASM_EMIT("add %[dst], %[dst], #0x20")
268 __ASM_EMIT("4:")
269 // x4 block
270 __ASM_EMIT("adds %[count], %[count], #4")
271 __ASM_EMIT("b.lt 6f")
272 __ASM_EMIT("ldr q0, [%[dst], #0x00]") // v0 = x0
273 __ASM_EMIT("fadd v0.4s, v0.4s, v16.4s") // v0 = x0 + PI/2
274 SINF_X_PLUS_PI_2_CORE_X4
275 __ASM_EMIT("sub %[count], %[count], #4")
276 __ASM_EMIT("str q0, [%[dst], #0x00]")
277 __ASM_EMIT("add %[dst], %[dst], #0x10")
278 __ASM_EMIT("6:")
279 // Tail: 1x-3x block
280 __ASM_EMIT("adds %[count], %[count], #4")
281 __ASM_EMIT("b.ls 14f")
282 __ASM_EMIT("tst %[count], #1")
283 __ASM_EMIT("b.eq 8f")
284 __ASM_EMIT("ld1 {v0.s}[0], [%[dst]]")
285 __ASM_EMIT("add %[dst], %[dst], #0x04")
286 __ASM_EMIT("8:")
287 __ASM_EMIT("tst %[count], #2")
288 __ASM_EMIT("b.eq 10f")
289 __ASM_EMIT("ld1 {v0.d}[1], [%[dst]]")
290 __ASM_EMIT("10:")
291 __ASM_EMIT("fadd v0.4s, v0.4s, v16.4s") // v0 = x0 + PI/2
292 SINF_X_PLUS_PI_2_CORE_X4
293 __ASM_EMIT("tst %[count], #1")
294 __ASM_EMIT("b.eq 12f")
295 __ASM_EMIT("sub %[dst], %[dst], #0x04")
296 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
297 __ASM_EMIT("add %[dst], %[dst], #0x04")
298 __ASM_EMIT("12:")
299 __ASM_EMIT("tst %[count], #2")
300 __ASM_EMIT("b.eq 14f")
301 __ASM_EMIT("st1 {v0.d}[1], [%[dst]]")
302 // End
303 __ASM_EMIT("14:")
304
305 : [dst] "+r" (dst), [count] "+r" (count)
306 : [S2C] "r" (&sinf_const[0])
307 : "cc", "memory",
308 "v0", "v1", "v2", "v3",
309 "v4", "v5", "v6", "v7",
310 "v8", "v9", "v10", "v11",
311 "v12", "v13", "v14", "v15",
312 "v16", "v17", "v18", "v19",
313 "v20", "v21", "v22", "v23"
314 );
315 }
316
317 void sinf2(float *dst, const float *src, size_t count)
318 {
319 ARCH_AARCH64_ASM(
320 __ASM_EMIT("ldp q16, q17, [%[S2C], #0x00]") /* v16 = PI/2, v17 = PI */
321 __ASM_EMIT("ldp q18, q19, [%[S2C], #0x20]") /* v18 = 1/(2*PI), v19 = C0 */
322 __ASM_EMIT("ldp q20, q21, [%[S2C], #0x40]") /* v20 = C1, v21 = C2 */
323 __ASM_EMIT("ldp q22, q23, [%[S2C], #0x60]") /* v22 = C3, v23 = C4 */
324 // x16 blocks
325 __ASM_EMIT("subs %[count], %[count], #16")
326 __ASM_EMIT("b.lo 2f")
327 __ASM_EMIT("1:")
328 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = x0, v1 = x1
329 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]") // v2 = x2, v3 = x3
330 __ASM_EMIT("fadd v0.4s, v0.4s, v16.4s") // v0 = x0 + PI/2
331 __ASM_EMIT("fadd v1.4s, v1.4s, v16.4s") // v1 = x1 + PI/2
332 __ASM_EMIT("fadd v2.4s, v2.4s, v16.4s") // v2 = x2 + PI/2
333 __ASM_EMIT("fadd v3.4s, v3.4s, v16.4s") // v3 = x3 + PI/2
334 SINF_X_PLUS_PI_2_CORE_X16
335 __ASM_EMIT("subs %[count], %[count], #16")
336 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
337 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
338 __ASM_EMIT("add %[src], %[src], #0x40")
339 __ASM_EMIT("add %[dst], %[dst], #0x40")
340 __ASM_EMIT("b.hs 1b")
341 __ASM_EMIT("2:")
342 // x8 block
343 __ASM_EMIT("adds %[count], %[count], #8")
344 __ASM_EMIT("b.lt 4f")
345 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]") // v0 = x0, v1 = x1
346 __ASM_EMIT("fadd v0.4s, v0.4s, v16.4s") // v0 = x0 + PI/2
347 __ASM_EMIT("fadd v1.4s, v1.4s, v16.4s") // v1 = x1 + PI/2
348 SINF_X_PLUS_PI_2_CORE_X8
349 __ASM_EMIT("sub %[count], %[count], #8")
350 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
351 __ASM_EMIT("add %[src], %[src], #0x20")
352 __ASM_EMIT("add %[dst], %[dst], #0x20")
353 __ASM_EMIT("4:")
354 // x4 block
355 __ASM_EMIT("adds %[count], %[count], #4")
356 __ASM_EMIT("b.lt 6f")
357 __ASM_EMIT("ldr q0, [%[src], #0x00]") // v0 = x0
358 __ASM_EMIT("fadd v0.4s, v0.4s, v16.4s") // v0 = x0 + PI/2
359 SINF_X_PLUS_PI_2_CORE_X4
360 __ASM_EMIT("sub %[count], %[count], #4")
361 __ASM_EMIT("str q0, [%[dst], #0x00]")
362 __ASM_EMIT("add %[src], %[src], #0x10")
363 __ASM_EMIT("add %[dst], %[dst], #0x10")
364 __ASM_EMIT("6:")
365 // Tail: 1x-3x block
366 __ASM_EMIT("adds %[count], %[count], #4")
367 __ASM_EMIT("b.ls 14f")
368 __ASM_EMIT("tst %[count], #1")
369 __ASM_EMIT("b.eq 8f")
370 __ASM_EMIT("ld1 {v0.s}[0], [%[src]]")
371 __ASM_EMIT("add %[src], %[src], #0x04")
372 __ASM_EMIT("8:")
373 __ASM_EMIT("tst %[count], #2")
374 __ASM_EMIT("b.eq 10f")
375 __ASM_EMIT("ld1 {v0.d}[1], [%[src]]")
376 __ASM_EMIT("10:")
377 __ASM_EMIT("fadd v0.4s, v0.4s, v16.4s") // v0 = x0 + PI/2
378 SINF_X_PLUS_PI_2_CORE_X4
379 __ASM_EMIT("tst %[count], #1")
380 __ASM_EMIT("b.eq 12f")
381 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
382 __ASM_EMIT("add %[dst], %[dst], #0x04")
383 __ASM_EMIT("12:")
384 __ASM_EMIT("tst %[count], #2")
385 __ASM_EMIT("b.eq 14f")
386 __ASM_EMIT("st1 {v0.d}[1], [%[dst]]")
387 // End
388 __ASM_EMIT("14:")
389
390 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
391 : [S2C] "r" (&sinf_const[0])
392 : "cc", "memory",
393 "v0", "v1", "v2", "v3",
394 "v4", "v5", "v6", "v7",
395 "v8", "v9", "v10", "v11",
396 "v12", "v13", "v14", "v15",
397 "v16", "v17", "v18", "v19",
398 "v20", "v21", "v22", "v23"
399 );
400 }
401
402 void sinf_kp1(float *dst, float k, float p, size_t count)
403 {
404 ARCH_AARCH64_ASM(
405 __ASM_EMIT("ldp q16, q17, [%[S2C], #0x00]") /* v16 = PI/2, v17 = PI */
406 __ASM_EMIT("ldp q18, q19, [%[S2C], #0x20]") /* v18 = 1/(2*PI), v19 = C0 */
407 __ASM_EMIT("ldp q20, q21, [%[S2C], #0x40]") /* v20 = C1, v21 = C2 */
408 __ASM_EMIT("ldp q22, q23, [%[S2C], #0x60]") /* v22 = C3, v23 = C4 */
409 __ASM_EMIT("ld1r {v28.4s}, [%[k]]") /* v28 = k k k k */
410 __ASM_EMIT("ld1r {v29.4s}, [%[p]]") /* v29 = p p p p */
411 __ASM_EMIT("ldp q24, q25, [%[S2KP], #0x00]") /* v24 = 0 1 2 3, v25 = 4 5 6 7 */
412 __ASM_EMIT("ldp q26, q27, [%[S2KP], #0x20]") /* v26 = 8 8 8 8, v27 = 4 4 4 4 */
413 __ASM_EMIT("fadd v29.4s, v29.4s, v16.4s") /* v29 = p + PI/2 ... */
414 // x16 blocks
415 __ASM_EMIT("subs %[count], %[count], #16")
416 __ASM_EMIT("b.lo 2f")
417 __ASM_EMIT("1:")
418 __ASM_EMIT("fmul v0.4s, v28.4s, v24.4s") // v0 = k*x0
419 __ASM_EMIT("fmul v1.4s, v28.4s, v25.4s") // v1 = k*x1
420 __ASM_EMIT("fadd v24.4s, v24.4s, v26.4s") // v24 = i0 + 8
421 __ASM_EMIT("fadd v25.4s, v25.4s, v26.4s") // v25 = i1 + 8
422 __ASM_EMIT("fadd v0.4s, v0.4s, v29.4s") // v0 = k*x0 + p + PI/2
423 __ASM_EMIT("fadd v1.4s, v1.4s, v29.4s") // v1 = k*x1 + p + PI/2
424 __ASM_EMIT("fmul v2.4s, v28.4s, v24.4s") // v2 = k*x2
425 __ASM_EMIT("fmul v3.4s, v28.4s, v25.4s") // v3 = k*x3
426 __ASM_EMIT("fadd v24.4s, v24.4s, v26.4s") // v24 = i0 + 8
427 __ASM_EMIT("fadd v25.4s, v25.4s, v26.4s") // v25 = i1 + 8
428 __ASM_EMIT("fadd v2.4s, v2.4s, v29.4s") // v2 = k*x2 + p + PI/2
429 __ASM_EMIT("fadd v3.4s, v3.4s, v29.4s") // v3 = k*x3 + p + PI/2
430 SINF_X_PLUS_PI_2_CORE_X16
431 __ASM_EMIT("subs %[count], %[count], #16")
432 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
433 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
434 __ASM_EMIT("add %[dst], %[dst], #0x40")
435 __ASM_EMIT("b.hs 1b")
436 __ASM_EMIT("2:")
437 // x8 block
438 __ASM_EMIT("adds %[count], %[count], #8")
439 __ASM_EMIT("b.lt 4f")
440 __ASM_EMIT("fmul v0.4s, v28.4s, v24.4s") // v0 = k*x0
441 __ASM_EMIT("fmul v1.4s, v28.4s, v25.4s") // v1 = k*x1
442 __ASM_EMIT("fadd v24.4s, v24.4s, v26.4s") // v24 = i0 + 8
443 __ASM_EMIT("fadd v25.4s, v25.4s, v26.4s") // v25 = i1 + 8
444 __ASM_EMIT("fadd v0.4s, v0.4s, v29.4s") // v0 = k*x0 + p + PI/2
445 __ASM_EMIT("fadd v1.4s, v1.4s, v29.4s") // v1 = k*x1 + p + PI/2
446 SINF_X_PLUS_PI_2_CORE_X8
447 __ASM_EMIT("sub %[count], %[count], #8")
448 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
449 __ASM_EMIT("add %[dst], %[dst], #0x20")
450 __ASM_EMIT("4:")
451 // x4 block
452 __ASM_EMIT("adds %[count], %[count], #4")
453 __ASM_EMIT("b.lt 6f")
454 __ASM_EMIT("fmul v0.4s, v28.4s, v24.4s") // v0 = k*x0
455 __ASM_EMIT("fadd v24.4s, v24.4s, v27.4s") // v24 = i0 + 4
456 __ASM_EMIT("fadd v0.4s, v0.4s, v29.4s") // v0 = k*x0 + p + PI/2
457 SINF_X_PLUS_PI_2_CORE_X4
458 __ASM_EMIT("sub %[count], %[count], #4")
459 __ASM_EMIT("str q0, [%[dst], #0x00]")
460 __ASM_EMIT("add %[dst], %[dst], #0x10")
461 __ASM_EMIT("6:")
462 // Tail: 1x-3x block
463 __ASM_EMIT("adds %[count], %[count], #4")
464 __ASM_EMIT("b.ls 10f")
465 __ASM_EMIT("fmul v0.4s, v28.4s, v24.4s") // v0 = k*x0
466 __ASM_EMIT("fadd v0.4s, v0.4s, v29.4s") // v0 = k*x0 + p + PI/2
467 SINF_X_PLUS_PI_2_CORE_X4
468 __ASM_EMIT("tst %[count], #1")
469 __ASM_EMIT("b.eq 8f")
470 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
471 __ASM_EMIT("add %[dst], %[dst], #0x04")
472 __ASM_EMIT("ext v0.16b, v0.16b, v0.16b, #4") // v0 = S1 S2 S3 S0
473 __ASM_EMIT("8:")
474 __ASM_EMIT("tst %[count], #2")
475 __ASM_EMIT("b.eq 10f")
476 __ASM_EMIT("st1 {v0.d}[0], [%[dst]]")
477 // End
478 __ASM_EMIT("10:")
479
480 : [dst] "+r" (dst), [count] "+r" (count)
481 : [k] "r" (&k),
482 [p] "r" (&p),
483 [S2C] "r" (&sinf_const[0]),
484 [S2KP] "r" (&kp_gen_const[0])
485 : "cc", "memory",
486 "v0", "v1", "v2", "v3",
487 "v4", "v5", "v6", "v7",
488 "v8", "v9", "v10", "v11",
489 "v12", "v13", "v14", "v15",
490 "v16", "v17", "v18", "v19",
491 "v20", "v21", "v22", "v23",
492 "v24", "v25", "v26", "v27",
493 "v28", "v29"
494 );
495 }
496
497 } /* namespace asimd */
498 } /* namespace lsp */
499
500
501
502 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_PMATH_SIN_H_ */