Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/float.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_FLOAT_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_FLOAT_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 IF_ARCH_ARM(
34 static uint32_t SAT_IARGS[] __lsp_aligned16 =
35 {
36 LSP_DSP_VEC4(0x7f800000), // X_P_INF
37 LSP_DSP_VEC4(0xff800000), // X_N_INF
38 LSP_DSP_VEC4(LSP_DSP_FLOAT_SAT_P_NAN_I), // SX_P_NAN
39 LSP_DSP_VEC4(LSP_DSP_FLOAT_SAT_P_INF_I), // SX_P_INF
40 LSP_DSP_VEC4(LSP_DSP_FLOAT_SAT_N_NAN_I), // SX_N_NAN
41 LSP_DSP_VEC4(LSP_DSP_FLOAT_SAT_N_INF_I) // SX_N_INF
42 };
43 )
44
45 #define MULTIPLE_SATURATION_BODY(DST, SRC, SINC) \
46 __ASM_EMIT("vldm %[X_IARGS], {q8-q13}") \
47 /* q8 = +inf, q9 = -inf */ \
48 /* q10 = X_P_NAN, q11 = X_P_INF */ \
49 /* q12 = X_N_NAN, q13 = X_N_INF */ \
50 /* x8 blocks */ \
51 __ASM_EMIT("subs %[count], #8") \
52 __ASM_EMIT("blo 2f") \
53 __ASM_EMIT("1:") \
54 __ASM_EMIT("vldm %[" SRC "]" SINC ", {q0-q1}") /* q0 = s */ \
55 __ASM_EMIT("vcgt.s32 q2, q0, q8") /* q2 = [s > +inf] */ \
56 __ASM_EMIT("vcgt.s32 q3, q1, q8") \
57 __ASM_EMIT("vceq.s32 q4, q0, q8") /* q4 = [s == +inf] */ \
58 __ASM_EMIT("vceq.s32 q5, q1, q8") \
59 __ASM_EMIT("vbit q0, q10, q2") /* q0 = s' = X_P_NAN * [s > +inf] | s * [s <= +inf] */ \
60 __ASM_EMIT("vbit q1, q10, q3") \
61 __ASM_EMIT("vbit q0, q11, q4") /* q0 = X_P_INF * [s == +inf] | s' * [s != +inf] */ \
62 __ASM_EMIT("vbit q1, q11, q5") \
63 __ASM_EMIT("vcgt.u32 q2, q0, q9") /* q2 = [s > -inf] */ \
64 __ASM_EMIT("vcgt.u32 q3, q1, q9") \
65 __ASM_EMIT("vceq.u32 q4, q0, q9") /* q4 = [s == -inf] */ \
66 __ASM_EMIT("vceq.u32 q5, q1, q9") \
67 __ASM_EMIT("vbit q0, q12, q2") /* v0 = s' = X_N_NAN * [s > -inf] | s * [s <= -inf] */ \
68 __ASM_EMIT("vbit q1, q12, q3") \
69 __ASM_EMIT("vbit q0, q13, q4") /* v0 = X_N_INF * [s == +inf] | s' * [s != +inf] */ \
70 __ASM_EMIT("vbit q1, q13, q5") \
71 __ASM_EMIT("subs %[count], #8") \
72 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
73 __ASM_EMIT("bhs 1b") \
74 __ASM_EMIT("2:") \
75 /* x4 block */ \
76 __ASM_EMIT("adds %[count], #4") \
77 __ASM_EMIT("blt 4f") \
78 __ASM_EMIT("vldm %[" SRC "]" SINC ", {q0}") /* q0 = s */ \
79 __ASM_EMIT("vcgt.s32 q2, q0, q8") /* q2 = [s > +inf] */ \
80 __ASM_EMIT("vceq.s32 q4, q0, q8") /* q4 = [s == +inf] */ \
81 __ASM_EMIT("vbit q0, q10, q2") /* q0 = s' = X_P_NAN * [s > +inf] | s * [s <= +inf] */ \
82 __ASM_EMIT("vbit q0, q11, q4") /* q0 = X_P_INF * [s == +inf] | s' * [s != +inf] */ \
83 __ASM_EMIT("vcgt.u32 q2, q0, q9") /* q2 = [s > -inf] */ \
84 __ASM_EMIT("vceq.u32 q4, q0, q9") /* q4 = [s == -inf] */ \
85 __ASM_EMIT("vbit q0, q12, q2") /* v0 = s' = X_N_NAN * [s > -inf] | s * [s <= -inf] */ \
86 __ASM_EMIT("vbit q0, q13, q4") /* v0 = X_N_INF * [s == +inf] | s' * [s != +inf] */ \
87 __ASM_EMIT("sub %[count], #4") \
88 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
89 __ASM_EMIT("4:") \
90 /* x1 blocks */ \
91 __ASM_EMIT("adds %[count], #3") \
92 __ASM_EMIT("blt 6f") \
93 __ASM_EMIT("5:") \
94 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SRC "]]" SINC) /* q0 = s */ \
95 __ASM_EMIT("vcgt.s32 q2, q0, q8") /* q2 = [s > +inf] */ \
96 __ASM_EMIT("vceq.s32 q4, q0, q8") /* q4 = [s == +inf] */ \
97 __ASM_EMIT("vbit q0, q10, q2") /* q0 = s' = X_P_NAN * [s > +inf] | s * [s <= +inf] */ \
98 __ASM_EMIT("vbit q0, q11, q4") /* q0 = X_P_INF * [s == +inf] | s' * [s != +inf] */ \
99 __ASM_EMIT("vcgt.u32 q2, q0, q9") /* q2 = [s > -inf] */ \
100 __ASM_EMIT("vceq.u32 q4, q0, q9") /* q4 = [s == -inf] */ \
101 __ASM_EMIT("vbit q0, q12, q2") /* v0 = s' = X_N_NAN * [s > -inf] | s * [s <= -inf] */ \
102 __ASM_EMIT("vbit q0, q13, q4") /* v0 = X_N_INF * [s == +inf] | s' * [s != +inf] */ \
103 __ASM_EMIT("subs %[count], #1") \
104 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
105 __ASM_EMIT("bge 5b") \
106 __ASM_EMIT("6:")
107
108 void copy_saturated(float *dst, const float *src, size_t count)
109 {
110 ARCH_ARM_ASM (
111 MULTIPLE_SATURATION_BODY("dst", "src", "!")
112 : [dst] "+r" (dst), [src] "+r" (src),
113 [count] "+r" (count)
114 : [X_IARGS] "r" (&SAT_IARGS[0])
115 : "cc", "memory",
116 "q0", "q1", "q2", "q3",
117 "q4", "q5", "q6", "q7",
118 "q8", "q9", "q10", "q11",
119 "q12", "q13"
120 );
121 }
122
123 void saturate(float *dst, size_t count)
124 {
125 ARCH_ARM_ASM(
126 MULTIPLE_SATURATION_BODY("dst", "dst", "")
127 : [dst] "+r" (dst), [count] "+r" (count)
128 : [X_IARGS] "r" (&SAT_IARGS[0])
129 : "cc", "memory",
130 "q0", "q1", "q2", "q3",
131 "q4", "q5", "q6", "q7",
132 "q8", "q9", "q10", "q11",
133 "q12", "q13"
134 );
135 }
136
137 #undef MULTIPLE_SATURATION_BODY
138
139 IF_ARCH_ARM(
140 static uint32_t XLIM_SAT[] __lsp_aligned16 =
141 {
142 LSP_DSP_VEC4(0x7fffffff), // -1
143 LSP_DSP_VEC4(0x3f800000), // +1
144 LSP_DSP_VEC4(0x80000000), // sign
145 LSP_DSP_VEC4(0x7f800000) // +Inf
146 };
147 )
148
149 #define LIMIT_SAT_BODY(DST, SRC, SINC) \
150 __ASM_EMIT("vldm %[XC], {q12-q15}") /* q12 = abs, q13 = +1, q14 = sign, q15 = +Inf */ \
151 /* 8x blocks */ \
152 __ASM_EMIT("subs %[count], #8") \
153 __ASM_EMIT("blo 2f") \
154 __ASM_EMIT("1:") \
155 __ASM_EMIT("vldm %[" SRC "]" SINC ", {q0-q1}") /* q0 = s0, q1 = s1 */ \
156 __ASM_EMIT("vand q6, q0, q12") /* q6 = abs(s) */ \
157 __ASM_EMIT("vand q7, q1, q12") \
158 __ASM_EMIT("vcge.f32 q2, q13, q6") /* q2 = [ abs(s) <= +1 ] */ \
159 __ASM_EMIT("vcge.f32 q3, q13, q7") \
160 __ASM_EMIT("vand q4, q0, q14") /* q4 = sign(s) */ \
161 __ASM_EMIT("vand q5, q1, q14") \
162 __ASM_EMIT("vcge.s32 q6, q15, q6") /* q6 = [ abs(s) <= +Inf ] */ \
163 __ASM_EMIT("vcge.s32 q7, q15, q7") \
164 __ASM_EMIT("vorr q4, q4, q13") /* q4 = +1 * sign(s) */ \
165 __ASM_EMIT("vorr q5, q5, q13") \
166 __ASM_EMIT("vand q4, q4, q6") /* v4 = r = +1 * sign(s) & [ abs(s) <= +Inf ] */ \
167 __ASM_EMIT("vand q5, q5, q7") \
168 __ASM_EMIT("vbif q0, q4, q2") /* q0 = ( s & [ abs(s) <= +1 ]) | ( r & [ abs(s) > +1 ]) */ \
169 __ASM_EMIT("vbif q1, q5, q3") \
170 __ASM_EMIT("subs %[count], #8") \
171 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") \
172 __ASM_EMIT("bhs 1b") \
173 __ASM_EMIT("2:") \
174 /* 4x block */ \
175 __ASM_EMIT("adds %[count], #4") \
176 __ASM_EMIT("blt 4f") \
177 __ASM_EMIT("vldm %[" SRC "]" SINC ", {q0}") /* q0 = s0 */ \
178 __ASM_EMIT("vand q6, q0, q12") /* q6 = abs(s) */ \
179 __ASM_EMIT("vcge.f32 q2, q13, q6") /* q2 = [ abs(s) <= +1 ] */ \
180 __ASM_EMIT("vand q4, q0, q14") /* q4 = sign(s) */ \
181 __ASM_EMIT("vcge.s32 q6, q15, q6") /* q6 = [ abs(s) <= +Inf ] */ \
182 __ASM_EMIT("vorr q4, q4, q13") /* q4 = +1 * sign(s) */ \
183 __ASM_EMIT("vand q4, q4, q6") /* v4 = r = +1 * sign(s) & [ abs(s) <= +Inf ] */ \
184 __ASM_EMIT("vbif q0, q4, q2") /* q0 = ( s & [ abs(s) <= +1 ]) | ( r & [ abs(s) > +1 ]) */ \
185 __ASM_EMIT("sub %[count], #4") \
186 __ASM_EMIT("vstm %[" DST "]!, {q0}") \
187 __ASM_EMIT("4:") \
188 /* 1x blocks */ \
189 __ASM_EMIT("adds %[count], #3") \
190 __ASM_EMIT("blt 6f") \
191 __ASM_EMIT("5:") \
192 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SRC "]]" SINC) /* q0 = s0 */ \
193 __ASM_EMIT("vand q6, q0, q12") /* q6 = abs(s) */ \
194 __ASM_EMIT("vcge.f32 q2, q13, q6") /* q2 = [ abs(s) <= +1 ] */ \
195 __ASM_EMIT("vand q4, q0, q14") /* q4 = sign(s) */ \
196 __ASM_EMIT("vcge.s32 q6, q15, q6") /* q6 = [ abs(s) <= +Inf ] */ \
197 __ASM_EMIT("vorr q4, q4, q13") /* q4 = +1 * sign(s) */ \
198 __ASM_EMIT("vand q4, q4, q6") /* v4 = r = +1 * sign(s) & [ abs(s) <= +Inf ] */ \
199 __ASM_EMIT("vbif q0, q4, q2") /* q0 = ( s & [ abs(s) <= +1 ]) | ( r & [ abs(s) > +1 ]) */ \
200 __ASM_EMIT("subs %[count], #1") \
201 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") \
202 __ASM_EMIT("bge 5b") \
203 __ASM_EMIT("6:")
204
205 void limit_saturate1(float *dst, size_t count)
206 {
207 ARCH_ARM_ASM(
208 LIMIT_SAT_BODY("dst", "dst", "")
209 : [dst] "+r" (dst), [count] "+r" (count)
210 : [XC] "r" (&XLIM_SAT[0])
211 : "cc", "memory",
212 "q0", "q1", "q2", "q3",
213 "q4", "q5", "q6", "q7",
214 "q12", "q13", "q14", "q15"
215 );
216 }
217
218 void limit_saturate2(float *dst, const float *src, size_t count)
219 {
220 ARCH_ARM_ASM(
221 LIMIT_SAT_BODY("dst", "src", "!")
222 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
223 : [XC] "r" (&XLIM_SAT[0])
224 : "cc", "memory",
225 "q0", "q1", "q2", "q3",
226 "q4", "q5", "q6", "q7",
227 "q12", "q13", "q14", "q15"
228 );
229 }
230
231
232 #undef LIMIT_SAT_BODY_X8
233 #undef LIMIT_SAT_BODY_X4
234 #undef LIMIT_SAT_BODY
235
236 #define LIMIT_BODY(DST, SRC, SINC) \
237 __ASM_EMIT("vld1.32 {d16[], d17[]}, [%[min]]") \
238 __ASM_EMIT("vld1.32 {d18[], d19[]}, [%[max]]") \
239 __ASM_EMIT("subs %[count], #16") \
240 __ASM_EMIT("blo 2f") \
241 /* 16x blocks */ \
242 __ASM_EMIT("1:") \
243 __ASM_EMIT("vldm %[" SRC "]" SINC ", {q0-q3}") /* q0 = s0, q1 = s1 */ \
244 __ASM_EMIT("vcge.f32 q4, q0, q8") /* q4 = c = [ (s >= min) && (!isnan(s)) ] */ \
245 __ASM_EMIT("vcge.f32 q5, q1, q8") \
246 __ASM_EMIT("vcge.f32 q6, q2, q8") \
247 __ASM_EMIT("vcge.f32 q7, q3, q8") \
248 __ASM_EMIT("vbif q0, q8, q4") /* q0 = s*c | min*(!c) */ \
249 __ASM_EMIT("vbif q1, q8, q5") \
250 __ASM_EMIT("vbif q2, q8, q6") \
251 __ASM_EMIT("vbif q3, q8, q7") \
252 __ASM_EMIT("vcge.f32 q4, q9, q0") /* q4 = c = [ (s <= max) && (!isnan(s)) ] */ \
253 __ASM_EMIT("vcge.f32 q5, q9, q1") \
254 __ASM_EMIT("vcge.f32 q6, q9, q2") \
255 __ASM_EMIT("vcge.f32 q7, q9, q3") \
256 __ASM_EMIT("vbif q0, q9, q4") /* q0 = s*c | min*(!c) */ \
257 __ASM_EMIT("vbif q1, q9, q5") \
258 __ASM_EMIT("vbif q2, q9, q6") \
259 __ASM_EMIT("vbif q3, q9, q7") \
260 __ASM_EMIT("subs %[count], #16") \
261 __ASM_EMIT("vstm %[" DST "]!, {q0-q3}") /* q0 = s0, q1 = s1 */ \
262 __ASM_EMIT("bhs 1b") \
263 __ASM_EMIT("2:") \
264 /* 8x blocks */ \
265 __ASM_EMIT("adds %[count], #8") \
266 __ASM_EMIT("blt 4f") \
267 __ASM_EMIT("vldm %[" SRC "]" SINC ", {q0-q1}") /* q0 = s0, q1 = s1 */ \
268 __ASM_EMIT("vcge.f32 q4, q0, q8") /* q4 = c = [ (s >= min) && (!isnan(s)) ] */ \
269 __ASM_EMIT("vcge.f32 q5, q1, q8") \
270 __ASM_EMIT("vbif q0, q8, q4") /* q0 = s*c | min*(!c) */ \
271 __ASM_EMIT("vbif q1, q8, q5") \
272 __ASM_EMIT("vcge.f32 q4, q9, q0") /* q4 = c = [ (s <= max) && (!isnan(s)) ] */ \
273 __ASM_EMIT("vcge.f32 q5, q9, q1") \
274 __ASM_EMIT("vbif q0, q9, q4") /* q0 = s*c | min*(!c) */ \
275 __ASM_EMIT("vbif q1, q9, q5") \
276 __ASM_EMIT("sub %[count], #8") \
277 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") /* q0 = s0, q1 = s1 */ \
278 __ASM_EMIT("4:") \
279 /* 4x block */ \
280 __ASM_EMIT("adds %[count], #4") \
281 __ASM_EMIT("blt 6f") \
282 __ASM_EMIT("vldm %[" SRC "]" SINC ", {q0}") /* q0 = s0, q1 = s1 */ \
283 __ASM_EMIT("vcge.f32 q4, q0, q8") /* q4 = c = [ (s >= min) && (!isnan(s)) ] */ \
284 __ASM_EMIT("vbif q0, q8, q4") /* q0 = s*c | min*(!c) */ \
285 __ASM_EMIT("vcge.f32 q4, q9, q0") /* q4 = c = [ (s <= max) && (!isnan(s)) ] */ \
286 __ASM_EMIT("vbif q0, q9, q4") /* q0 = s*c | min*(!c) */ \
287 __ASM_EMIT("sub %[count], #4") \
288 __ASM_EMIT("vstm %[" DST "]!, {q0}") /* q0 = s0, q1 = s1 */ \
289 __ASM_EMIT("6:") \
290 /* 1x blocks */ \
291 __ASM_EMIT("adds %[count], #3") \
292 __ASM_EMIT("blt 8f") \
293 __ASM_EMIT("7:") \
294 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[" SRC "]]" SINC) \
295 __ASM_EMIT("vcge.f32 q4, q0, q8") /* q4 = c = [ (s >= min) && (!isnan(s)) ] */ \
296 __ASM_EMIT("vbif q0, q8, q4") /* q0 = s*c | min*(!c) */ \
297 __ASM_EMIT("vcge.f32 q4, q9, q0") /* q4 = c = [ (s <= max) && (!isnan(s)) ] */ \
298 __ASM_EMIT("vbif q0, q9, q4") /* q0 = s*c | min*(!c) */ \
299 __ASM_EMIT("subs %[count], #1") \
300 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") /* q0 = s0, q1 = s1 */ \
301 __ASM_EMIT("bge 7b") \
302 __ASM_EMIT("8:")
303
304
305 void limit1(float *dst, float min, float max, size_t count)
306 {
307 ARCH_ARM_ASM(
308 LIMIT_BODY("dst", "dst", "")
309 : [dst] "+r" (dst), [count] "+r" (count)
310 : [min] "r" (&min), [max] "r" (&max)
311 : "cc", "memory",
312 "q0", "q1", "q2", "q3",
313 "q4", "q5", "q6", "q7",
314 "q8", "q9"
315 );
316 }
317
318 void limit2(float *dst, const float *src, float min, float max, size_t count)
319 {
320 ARCH_ARM_ASM(
321 LIMIT_BODY("dst", "src", "!")
322 : [dst] "+r" (dst), [src] "+r" (src), [count] "+r" (count)
323 : [min] "r" (&min), [max] "r" (&max)
324 : "cc", "memory",
325 "q0", "q1", "q2", "q3",
326 "q4", "q5", "q6", "q7",
327 "q8", "q9"
328 );
329 }
330
331 #undef LIMIT_BODY
332
333 #undef SEL_DST
334 #undef SEL_NODST
335
336 #define SANITIZE_BODY(DST, SRC, INC) \
337 __ASM_EMIT("vldm %[CVAL], {q8-q11}") \
338 __ASM_EMIT("subs %[count], %[count], #8") \
339 __ASM_EMIT("blo 2f") \
340 /* 8x blocks */ \
341 __ASM_EMIT("1:") \
342 __ASM_EMIT("vldm %[" SRC "]" INC ", {q0-q1}") /* q0 = s */ \
343 __ASM_EMIT("vand q2, q0, q8") /* q2 = abs(s) */ \
344 __ASM_EMIT("vand q3, q1, q8") \
345 __ASM_EMIT("vand q4, q0, q9") /* q4 = sign(s) */ \
346 __ASM_EMIT("vand q5, q1, q9") \
347 __ASM_EMIT("vcle.u32 q6, q2, q10") /* q6 = abs(s) <= X_MAX */ \
348 __ASM_EMIT("vcle.u32 q7, q3, q10") \
349 __ASM_EMIT("vcgt.u32 q2, q2, q11") /* q2 = abs(s) > X_MIN */ \
350 __ASM_EMIT("vcgt.u32 q3, q3, q11") \
351 __ASM_EMIT("vand q2, q2, q6") /* q2 = (abs(s) > X_MIN) & (abs(s) <= X_MIN) */ \
352 __ASM_EMIT("vand q3, q3, q7") \
353 __ASM_EMIT("vbif q0, q4, q2") /* q0 = ((abs(s) > X_MIN) & (abs(s) <= X_MIN)) ? s : sign(s) */ \
354 __ASM_EMIT("vbif q1, q5, q3") \
355 __ASM_EMIT("subs %[count], %[count], #8") \
356 __ASM_EMIT("vstm %[" DST "]!, {q0-q1}") /* q0 = s */ \
357 __ASM_EMIT("bhs 1b") \
358 /* 4x block */ \
359 __ASM_EMIT("2:") \
360 __ASM_EMIT("adds %[count], %[count], #4") \
361 __ASM_EMIT("blt 4f") \
362 __ASM_EMIT("vldm %[" SRC "]" INC ", {q0}") /* q0 = s */ \
363 __ASM_EMIT("vand q2, q0, q8") /* q2 = abs(s) */ \
364 __ASM_EMIT("vand q4, q0, q9") /* q4 = sign(s) */ \
365 __ASM_EMIT("vcle.u32 q6, q2, q10") /* q6 = abs(s) <= X_MAX */ \
366 __ASM_EMIT("vcgt.u32 q2, q2, q11") /* q2 = abs(s) > X_MIN */ \
367 __ASM_EMIT("vand q2, q2, q6") /* q2 = (abs(s) > X_MIN) & (abs(s) <= X_MIN) */ \
368 __ASM_EMIT("vbif q0, q4, q2") /* q0 = ((abs(s) > X_MIN) & (abs(s) <= X_MIN)) ? s : sign(s) */ \
369 __ASM_EMIT("sub %[count], %[count], #4") \
370 __ASM_EMIT("vstm %[" DST "]!, {q0}") /* q0 = s */ \
371 /* 1x blocks */ \
372 __ASM_EMIT("4:") \
373 __ASM_EMIT("adds %[count], %[count], #3") \
374 __ASM_EMIT("blt 6f") \
375 __ASM_EMIT("5:") \
376 __ASM_EMIT("vld1.32 {d0[]}, [%[" SRC "]]" INC) /* q0 = s */ \
377 __ASM_EMIT("vand q2, q0, q8") /* q2 = abs(s) */ \
378 __ASM_EMIT("vand q4, q0, q9") /* q4 = sign(s) */ \
379 __ASM_EMIT("vcle.u32 q6, q2, q10") /* q6 = abs(s) <= X_MAX */ \
380 __ASM_EMIT("vcgt.u32 q2, q2, q11") /* q2 = abs(s) > X_MIN */ \
381 __ASM_EMIT("vand q2, q2, q6") /* q2 = (abs(s) > X_MIN) & (abs(s) <= X_MIN) */ \
382 __ASM_EMIT("vbif q0, q4, q2") /* q0 = ((abs(s) > X_MIN) & (abs(s) <= X_MIN)) ? s : sign(s) */ \
383 __ASM_EMIT("subs %[count], %[count], #1") \
384 __ASM_EMIT("vst1.32 {d0[0]}, [%[" DST "]]!") /* q0 = s */ \
385 __ASM_EMIT("bge 5b") \
386 /* end */ \
387 __ASM_EMIT("6:")
388
389 IF_ARCH_ARM(
390 static uint32_t SANITIZE_CVAL[] __lsp_aligned16 =
391 {
392 LSP_DSP_VEC4(0x7fffffff), // X_ABS
393 LSP_DSP_VEC4(0x80000000), // X_SIGN
394 LSP_DSP_VEC4(0x7f7fffff), // X_MAX
395 LSP_DSP_VEC4(0x007fffff) // X_MIN
396 };
397 )
398
399 void sanitize1(float *dst, size_t count)
400 {
401 ARCH_ARM_ASM
402 (
403 SANITIZE_BODY("dst", "dst", "")
404 : [dst] "+r" (dst),
405 [count] "+r" (count)
406 : [CVAL] "r" (&SANITIZE_CVAL[0])
407 : "cc", "memory",
408 "q0", "q1", "q2", "q3",
409 "q4", "q5", "q6", "q7",
410 "q8", "q9", "q10", "q11"
411 );
412 }
413
414 void sanitize2(float *dst, const float *src, size_t count)
415 {
416 ARCH_ARM_ASM
417 (
418 SANITIZE_BODY("dst", "src", "!")
419 : [dst] "+r" (dst), [src] "+r" (src),
420 [count] "+r" (count)
421 : [CVAL] "r" (&SANITIZE_CVAL[0])
422 : "cc", "memory",
423 "q0", "q1", "q2", "q3",
424 "q4", "q5", "q6", "q7",
425 "q8", "q9", "q10", "q11"
426 );
427 }
428
429 #undef SANITIZE_BODY
430 }
431 }
432
433 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_FLOAT_H_ */