Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/hmath/hdotp.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_HMATH_HDOTP_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_HMATH_HDOTP_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 float h_dotp(const float *a, const float *b, size_t count)
34 {
35 IF_ARCH_ARM(float result);
36 ARCH_ARM_ASM
37 (
38 __ASM_EMIT("veor q0, q0")
39 __ASM_EMIT("veor q1, q1")
40 __ASM_EMIT("subs %[count], #12") // 3*4 floats
41 __ASM_EMIT("blo 2f")
42 /* x12 Blocks */
43 __ASM_EMIT("1:")
44 __ASM_EMIT("vldm %[a]!, {q2-q4}")
45 __ASM_EMIT("vldm %[b]!, {q5-q7}")
46 __ASM_EMIT("vfma.f32 q0, q2, q5")
47 __ASM_EMIT("vfma.f32 q1, q3, q6")
48 __ASM_EMIT("vfma.f32 q0, q4, q7")
49 __ASM_EMIT("subs %[count], #12")
50 __ASM_EMIT("bhs 1b")
51 /* x8 Block */
52 __ASM_EMIT("2:")
53 __ASM_EMIT("adds %[count], #4")
54 __ASM_EMIT("blt 4f")
55 __ASM_EMIT("vldm %[a]!, {q2-q3}")
56 __ASM_EMIT("vldm %[b]!, {q5-q6}")
57 __ASM_EMIT("vfma.f32 q0, q2, q5")
58 __ASM_EMIT("vfma.f32 q1, q3, q6")
59 __ASM_EMIT("sub %[count], #8")
60 /* x4 Block */
61 __ASM_EMIT("4:")
62 __ASM_EMIT("vadd.f32 q0, q1")
63 __ASM_EMIT("adds %[count], #4")
64 __ASM_EMIT("blt 6f")
65 __ASM_EMIT("vldm %[a]!, {q2}")
66 __ASM_EMIT("vldm %[b]!, {q5}")
67 __ASM_EMIT("vfma.f32 q0, q2, q5")
68 __ASM_EMIT("sub %[count], #4")
69 /* x1 Blocks */
70 __ASM_EMIT("6:")
71 __ASM_EMIT("adds %[count], #3")
72 __ASM_EMIT("blt 8f")
73 __ASM_EMIT("7:")
74 __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[a]]!")
75 __ASM_EMIT("vld1.32 {d6[], d7[]}, [%[b]]!")
76 __ASM_EMIT("vfma.f32 s0, s8, s12")
77 __ASM_EMIT("subs %[count], #1")
78 __ASM_EMIT("bge 7b")
79 /* end */
80 __ASM_EMIT("8:")
81 __ASM_EMIT("vadd.f32 d0, d1")
82 __ASM_EMIT("vadd.f32 %[res], s0, s1")
83
84 : [res] "=t" (result),
85 [a] "+r" (a), [b] "+r" (b), [count] "+r" (count)
86 :
87 : "cc", "memory",
88 "q1", "q2", "q3", "q4", "q5", "q6", "q7"
89 );
90
91 return result;
92 }
93
94 float h_sqr_dotp(const float *a, const float *b, size_t count)
95 {
96 IF_ARCH_ARM(float result);
97 ARCH_ARM_ASM
98 (
99 __ASM_EMIT("veor q0, q0")
100 __ASM_EMIT("veor q1, q1")
101 __ASM_EMIT("subs %[count], #12") // 3*4 floats
102 __ASM_EMIT("blo 2f")
103 /* x12 Blocks */
104 __ASM_EMIT("1:")
105 __ASM_EMIT("vldm %[a]!, {q2-q4}")
106 __ASM_EMIT("vldm %[b]!, {q5-q7}")
107 __ASM_EMIT("vmul.f32 q2, q2, q2")
108 __ASM_EMIT("vmul.f32 q3, q3, q3")
109 __ASM_EMIT("vmul.f32 q4, q4, q4")
110 __ASM_EMIT("vmul.f32 q5, q5, q5")
111 __ASM_EMIT("vmul.f32 q6, q6, q6")
112 __ASM_EMIT("vmul.f32 q7, q7, q7")
113 __ASM_EMIT("vfma.f32 q0, q2, q5")
114 __ASM_EMIT("vfma.f32 q1, q3, q6")
115 __ASM_EMIT("vfma.f32 q0, q4, q7")
116 __ASM_EMIT("subs %[count], #12")
117 __ASM_EMIT("bhs 1b")
118 /* x8 Block */
119 __ASM_EMIT("2:")
120 __ASM_EMIT("adds %[count], #4")
121 __ASM_EMIT("blt 4f")
122 __ASM_EMIT("vldm %[a]!, {q2-q3}")
123 __ASM_EMIT("vldm %[b]!, {q5-q6}")
124 __ASM_EMIT("vmul.f32 q2, q2, q2")
125 __ASM_EMIT("vmul.f32 q3, q3, q3")
126 __ASM_EMIT("vmul.f32 q5, q5, q5")
127 __ASM_EMIT("vmul.f32 q6, q6, q6")
128 __ASM_EMIT("vfma.f32 q0, q2, q5")
129 __ASM_EMIT("vfma.f32 q1, q3, q6")
130 __ASM_EMIT("sub %[count], #8")
131 /* x4 Block */
132 __ASM_EMIT("4:")
133 __ASM_EMIT("vadd.f32 q0, q1")
134 __ASM_EMIT("adds %[count], #4")
135 __ASM_EMIT("blt 6f")
136 __ASM_EMIT("vldm %[a]!, {q2}")
137 __ASM_EMIT("vldm %[b]!, {q5}")
138 __ASM_EMIT("vmul.f32 q2, q2, q2")
139 __ASM_EMIT("vmul.f32 q5, q5, q5")
140 __ASM_EMIT("vfma.f32 q0, q2, q5")
141 __ASM_EMIT("sub %[count], #4")
142 /* x1 Blocks */
143 __ASM_EMIT("6:")
144 __ASM_EMIT("adds %[count], #3")
145 __ASM_EMIT("blt 8f")
146 __ASM_EMIT("7:")
147 __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[a]]!")
148 __ASM_EMIT("vld1.32 {d6[], d7[]}, [%[b]]!")
149 __ASM_EMIT("vmul.f32 q2, q2, q2")
150 __ASM_EMIT("vmul.f32 q3, q3, q3")
151 __ASM_EMIT("vfma.f32 s0, s8, s12")
152 __ASM_EMIT("subs %[count], #1")
153 __ASM_EMIT("bge 7b")
154 /* end */
155 __ASM_EMIT("8:")
156 __ASM_EMIT("vadd.f32 d0, d1")
157 __ASM_EMIT("vadd.f32 %[res], s0, s1")
158
159 : [res] "=t" (result),
160 [a] "+r" (a), [b] "+r" (b), [count] "+r" (count)
161 :
162 : "cc", "memory",
163 "q1", "q2", "q3", "q4", "q5", "q6", "q7"
164 );
165
166 return result;
167 }
168
169 float h_abs_dotp(const float *a, const float *b, size_t count)
170 {
171 IF_ARCH_ARM(float result);
172 ARCH_ARM_ASM
173 (
174 __ASM_EMIT("veor q0, q0")
175 __ASM_EMIT("veor q1, q1")
176 __ASM_EMIT("subs %[count], #12") // 3*4 floats
177 __ASM_EMIT("blo 2f")
178 /* x12 Blocks */
179 __ASM_EMIT("1:")
180 __ASM_EMIT("vldm %[a]!, {q2-q4}")
181 __ASM_EMIT("vldm %[b]!, {q5-q7}")
182 __ASM_EMIT("vabs.f32 q2, q2")
183 __ASM_EMIT("vabs.f32 q3, q3")
184 __ASM_EMIT("vabs.f32 q4, q4")
185 __ASM_EMIT("vabs.f32 q5, q5")
186 __ASM_EMIT("vabs.f32 q6, q6")
187 __ASM_EMIT("vabs.f32 q7, q7")
188 __ASM_EMIT("vfma.f32 q0, q2, q5")
189 __ASM_EMIT("vfma.f32 q1, q3, q6")
190 __ASM_EMIT("vfma.f32 q0, q4, q7")
191 __ASM_EMIT("subs %[count], #12")
192 __ASM_EMIT("bhs 1b")
193 /* x8 Block */
194 __ASM_EMIT("2:")
195 __ASM_EMIT("adds %[count], #4")
196 __ASM_EMIT("blt 4f")
197 __ASM_EMIT("vldm %[a]!, {q2-q3}")
198 __ASM_EMIT("vldm %[b]!, {q5-q6}")
199 __ASM_EMIT("vabs.f32 q2, q2")
200 __ASM_EMIT("vabs.f32 q3, q3")
201 __ASM_EMIT("vabs.f32 q5, q5")
202 __ASM_EMIT("vabs.f32 q6, q6")
203 __ASM_EMIT("vfma.f32 q0, q2, q5")
204 __ASM_EMIT("vfma.f32 q1, q3, q6")
205 __ASM_EMIT("sub %[count], #8")
206 /* x4 Block */
207 __ASM_EMIT("4:")
208 __ASM_EMIT("vadd.f32 q0, q1")
209 __ASM_EMIT("adds %[count], #4")
210 __ASM_EMIT("blt 6f")
211 __ASM_EMIT("vldm %[a]!, {q2}")
212 __ASM_EMIT("vldm %[b]!, {q5}")
213 __ASM_EMIT("vabs.f32 q2, q2")
214 __ASM_EMIT("vabs.f32 q5, q5")
215 __ASM_EMIT("vfma.f32 q0, q2, q5")
216 __ASM_EMIT("sub %[count], #4")
217 /* x1 Blocks */
218 __ASM_EMIT("6:")
219 __ASM_EMIT("adds %[count], #3")
220 __ASM_EMIT("blt 8f")
221 __ASM_EMIT("7:")
222 __ASM_EMIT("vld1.32 {d4[], d5[]}, [%[a]]!")
223 __ASM_EMIT("vld1.32 {d6[], d7[]}, [%[b]]!")
224 __ASM_EMIT("vabs.f32 q2, q2")
225 __ASM_EMIT("vabs.f32 q3, q3")
226 __ASM_EMIT("vfma.f32 s0, s8, s12")
227 __ASM_EMIT("subs %[count], #1")
228 __ASM_EMIT("bge 7b")
229 /* end */
230 __ASM_EMIT("8:")
231 __ASM_EMIT("vadd.f32 d0, d1")
232 __ASM_EMIT("vadd.f32 %[res], s0, s1")
233
234 : [res] "=t" (result),
235 [a] "+r" (a), [b] "+r" (b), [count] "+r" (count)
236 :
237 : "cc", "memory",
238 "q1", "q2", "q3", "q4", "q5", "q6", "q7"
239 );
240
241 return result;
242 }
243 }
244 }
245
246 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_HMATH_HDOTP_H_ */