Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/sse/search/minmax.h

raw
1 /*
2 * Copyright (C) 2024 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2024 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_SSE_SEARCH_MINMAX_H_
23 #define PRIVATE_DSP_ARCH_X86_SSE_SEARCH_MINMAX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_SSE_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_SSE_IMPL */
28
29 namespace lsp
30 {
31 namespace sse
32 {
33 #define SSE_MINMAX_CORE(op) \
34 float result; \
35 \
36 ARCH_X86_ASM \
37 ( \
38 /* Prepare */ \
39 __ASM_EMIT("xorps %%xmm0, %%xmm0") \
40 __ASM_EMIT("test %[count], %[count]") \
41 __ASM_EMIT("jz 2000f") \
42 \
43 __ASM_EMIT("movss 0x00(%[src]), %%xmm0") \
44 \
45 /* Loop 1: align source to 4x boundary */ \
46 __ASM_EMIT("1:") \
47 __ASM_EMIT("test $0x0f, %[src]") \
48 __ASM_EMIT("jz 2f") \
49 __ASM_EMIT("movss 0x00(%[src]), %%xmm2") \
50 __ASM_EMIT(op "ss %%xmm2, %%xmm0") \
51 __ASM_EMIT("add $0x4, %[src]") \
52 __ASM_EMIT("dec %[count]") \
53 __ASM_EMIT("jnz 1b") \
54 __ASM_EMIT("jmp 2000f") \
55 \
56 /* Prepare vectorization */ \
57 __ASM_EMIT("2:") \
58 __ASM_EMIT("shufps $0x00, %%xmm0, %%xmm0") \
59 __ASM_EMIT("movaps %%xmm0, %%xmm1") \
60 __ASM_EMIT("sub $0x18, %[count]") \
61 __ASM_EMIT("jb 4f") \
62 /* x24 Blocks */ \
63 __ASM_EMIT("3:") \
64 __ASM_EMIT("movaps 0x00(%[src]), %%xmm2") \
65 __ASM_EMIT("movaps 0x10(%[src]), %%xmm3") \
66 __ASM_EMIT("movaps 0x20(%[src]), %%xmm4") \
67 __ASM_EMIT("movaps 0x30(%[src]), %%xmm5") \
68 __ASM_EMIT("movaps 0x40(%[src]), %%xmm6") \
69 __ASM_EMIT("movaps 0x50(%[src]), %%xmm7") \
70 __ASM_EMIT(op "ps %%xmm2, %%xmm0") \
71 __ASM_EMIT(op "ps %%xmm3, %%xmm1") \
72 __ASM_EMIT(op "ps %%xmm4, %%xmm0") \
73 __ASM_EMIT(op "ps %%xmm5, %%xmm1") \
74 __ASM_EMIT(op "ps %%xmm6, %%xmm0") \
75 __ASM_EMIT(op "ps %%xmm7, %%xmm1") \
76 __ASM_EMIT("add $0x60, %[src]") \
77 __ASM_EMIT("sub $0x18, %[count]") \
78 __ASM_EMIT("jae 3b") \
79 /* x16 block */ \
80 __ASM_EMIT("4:") \
81 __ASM_EMIT("add $0x18, %[count]") \
82 __ASM_EMIT("test $0x10, %[count]") \
83 __ASM_EMIT("jz 5f") \
84 __ASM_EMIT("movaps 0x00(%[src]), %%xmm2") \
85 __ASM_EMIT("movaps 0x10(%[src]), %%xmm3") \
86 __ASM_EMIT("movaps 0x20(%[src]), %%xmm4") \
87 __ASM_EMIT("movaps 0x30(%[src]), %%xmm5") \
88 __ASM_EMIT(op "ps %%xmm2, %%xmm0") \
89 __ASM_EMIT(op "ps %%xmm3, %%xmm1") \
90 __ASM_EMIT(op "ps %%xmm4, %%xmm0") \
91 __ASM_EMIT(op "ps %%xmm5, %%xmm1") \
92 __ASM_EMIT("add $0x40, %[src]") \
93 /* x8 block */ \
94 __ASM_EMIT("5:") \
95 __ASM_EMIT("test $0x08, %[count]") \
96 __ASM_EMIT("jz 6f") \
97 __ASM_EMIT("movaps 0x00(%[src]), %%xmm2") \
98 __ASM_EMIT("movaps 0x10(%[src]), %%xmm3") \
99 __ASM_EMIT(op "ps %%xmm2, %%xmm0") \
100 __ASM_EMIT(op "ps %%xmm3, %%xmm1") \
101 __ASM_EMIT("add $0x20, %[src]") \
102 /* x4 block */ \
103 __ASM_EMIT("6:") \
104 __ASM_EMIT("test $0x04, %[count]") \
105 __ASM_EMIT("jz 7f") \
106 __ASM_EMIT("movaps 0x00(%[src]), %%xmm2") \
107 __ASM_EMIT(op "ps %%xmm2, %%xmm0") \
108 __ASM_EMIT("add $0x10, %[src]") \
109 /* x4 block */ \
110 __ASM_EMIT("7:") \
111 __ASM_EMIT(op "ps %%xmm1, %%xmm0") \
112 __ASM_EMIT("movhlps %%xmm0, %%xmm1") \
113 __ASM_EMIT(op "ps %%xmm1, %%xmm0") \
114 __ASM_EMIT("unpcklps %%xmm1, %%xmm0") \
115 __ASM_EMIT("movhlps %%xmm0, %%xmm1") \
116 __ASM_EMIT("and $0x03, %[count]") \
117 __ASM_EMIT(op "ss %%xmm1, %%xmm0") \
118 __ASM_EMIT("jz 2000f") \
119 __ASM_EMIT("8:") \
120 __ASM_EMIT("movss 0x00(%[src]), %%xmm2") \
121 __ASM_EMIT(op "ss %%xmm2, %%xmm0") \
122 __ASM_EMIT("add $0x4, %[src]") \
123 __ASM_EMIT("dec %[count]") \
124 __ASM_EMIT("jnz 8b") \
125 /* End */ \
126 __ASM_EMIT("2000:") \
127 \
128 : [src] "+r" (src), [count] "+r" (count), "=Yz" (result) \
129 : \
130 : "cc", \
131 "%xmm1", "%xmm2", "%xmm3", \
132 "%xmm4", "%xmm5", "%xmm6", "%xmm7" \
133 ); \
134 \
135 return result;
136
137 float min(const float *src, size_t count)
138 {
139 SSE_MINMAX_CORE("min");
140 }
141
142 float max(const float *src, size_t count)
143 {
144 SSE_MINMAX_CORE("max");
145 }
146
147 #undef SSE_MINMAX_CORE
148
149 void minmax(const float *src, size_t count, float *min, float *max)
150 {
151 ARCH_X86_ASM
152 (
153 __ASM_EMIT("xorps %%xmm0, %%xmm0")
154 __ASM_EMIT("xorps %%xmm2, %%xmm2")
155 __ASM_EMIT("test %[count], %[count]")
156 __ASM_EMIT("jz 2000f")
157
158 /* Align */
159 __ASM_EMIT("movss 0x00(%[src]), %%xmm0")
160 __ASM_EMIT("movss 0x00(%[src]), %%xmm2")
161 __ASM_EMIT("1:")
162 __ASM_EMIT("test $0x0f, %[src]")
163 __ASM_EMIT("jz 2f")
164 __ASM_EMIT("movss 0x00(%[src]), %%xmm4")
165 __ASM_EMIT("minss %%xmm4, %%xmm0")
166 __ASM_EMIT("maxss %%xmm4, %%xmm2")
167 __ASM_EMIT("add $0x04, %[src]")
168 __ASM_EMIT("dec %[count]")
169 __ASM_EMIT("jnz 1b")
170 __ASM_EMIT("jmp 2000f")
171
172 /* x16 Blocks */
173 __ASM_EMIT("2:")
174 __ASM_EMIT("shufps $0x00, %%xmm0, %%xmm0")
175 __ASM_EMIT("shufps $0x00, %%xmm2, %%xmm2")
176 __ASM_EMIT("movaps %%xmm0, %%xmm1")
177 __ASM_EMIT("movaps %%xmm2, %%xmm3")
178 __ASM_EMIT("sub $0x10, %[count]")
179 __ASM_EMIT("jb 4f")
180 __ASM_EMIT("3:")
181 __ASM_EMIT("movaps 0x00(%[src]), %%xmm4")
182 __ASM_EMIT("movaps 0x10(%[src]), %%xmm5")
183 __ASM_EMIT("movaps 0x20(%[src]), %%xmm6")
184 __ASM_EMIT("movaps 0x30(%[src]), %%xmm7")
185 __ASM_EMIT("minps %%xmm4, %%xmm0")
186 __ASM_EMIT("minps %%xmm5, %%xmm1")
187 __ASM_EMIT("minps %%xmm6, %%xmm0")
188 __ASM_EMIT("minps %%xmm7, %%xmm1")
189 __ASM_EMIT("maxps %%xmm4, %%xmm2")
190 __ASM_EMIT("maxps %%xmm5, %%xmm3")
191 __ASM_EMIT("maxps %%xmm6, %%xmm2")
192 __ASM_EMIT("maxps %%xmm7, %%xmm3")
193 __ASM_EMIT("add $0x40, %[src]")
194 __ASM_EMIT("sub $0x10, %[count]")
195 __ASM_EMIT("jae 3b")
196 /* x8 block */
197 __ASM_EMIT("4:")
198 __ASM_EMIT("add $0x10, %[count]")
199 __ASM_EMIT("test $0x08, %[count]")
200 __ASM_EMIT("jz 5f")
201 __ASM_EMIT("movaps 0x00(%[src]), %%xmm4")
202 __ASM_EMIT("movaps 0x10(%[src]), %%xmm5")
203 __ASM_EMIT("minps %%xmm4, %%xmm0")
204 __ASM_EMIT("minps %%xmm5, %%xmm1")
205 __ASM_EMIT("maxps %%xmm4, %%xmm2")
206 __ASM_EMIT("maxps %%xmm5, %%xmm3")
207 __ASM_EMIT("add $0x20, %[src]")
208 /* x4 block */
209 __ASM_EMIT("5:")
210 __ASM_EMIT("test $0x04, %[count]")
211 __ASM_EMIT("jz 6f")
212 __ASM_EMIT("movaps 0x00(%[src]), %%xmm4")
213 __ASM_EMIT("minps %%xmm4, %%xmm0")
214 __ASM_EMIT("maxps %%xmm4, %%xmm2")
215 __ASM_EMIT("add $0x10, %[src]")
216 __ASM_EMIT("6:")
217 /* x1 blocks */
218 __ASM_EMIT("minps %%xmm1, %%xmm0")
219 __ASM_EMIT("maxps %%xmm3, %%xmm2")
220 __ASM_EMIT("movhlps %%xmm0, %%xmm1")
221 __ASM_EMIT("movhlps %%xmm2, %%xmm3")
222 __ASM_EMIT("minps %%xmm1, %%xmm0")
223 __ASM_EMIT("maxps %%xmm3, %%xmm2")
224 __ASM_EMIT("unpcklps %%xmm1, %%xmm0")
225 __ASM_EMIT("unpcklps %%xmm3, %%xmm2")
226 __ASM_EMIT("movhlps %%xmm0, %%xmm1")
227 __ASM_EMIT("movhlps %%xmm2, %%xmm3")
228 __ASM_EMIT("minss %%xmm1, %%xmm0")
229 __ASM_EMIT("maxss %%xmm3, %%xmm2")
230 __ASM_EMIT("and $0x03, %[count]")
231 __ASM_EMIT("jz 2000f")
232 __ASM_EMIT("7:")
233 __ASM_EMIT("movss 0x00(%[src]), %%xmm4")
234 __ASM_EMIT("minss %%xmm4, %%xmm0")
235 __ASM_EMIT("maxss %%xmm4, %%xmm2")
236 __ASM_EMIT("add $0x04, %[src]")
237 __ASM_EMIT("dec %[count]")
238 __ASM_EMIT("jnz 7b")
239
240 __ASM_EMIT("2000:")
241 __ASM_EMIT("movss %%xmm0, 0x00(%[min])")
242 __ASM_EMIT("movss %%xmm2, 0x00(%[max])")
243
244 : [src] "+r" (src), [count] "+r" (count)
245 : [min] "r" (min), [max] "r" (max)
246 : "cc",
247 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
248 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
249 );
250 }
251
252 #define SSE_MINMAX_ABS_CORE(op) \
253 float result; \
254 \
255 ARCH_X86_ASM \
256 ( \
257 /* Prepare */ \
258 __ASM_EMIT("xorps %%xmm0, %%xmm0") \
259 __ASM_EMIT("test %[count], %[count]") \
260 __ASM_EMIT("jz 2000f") \
261 \
262 __ASM_EMIT("movss 0x00(%[src]), %%xmm0") \
263 __ASM_EMIT("movaps %[mask], %%xmm7") \
264 __ASM_EMIT("andps %%xmm7, %%xmm0") \
265 \
266 /* Loop 1: align source to 4x boundary */ \
267 __ASM_EMIT("1:") \
268 __ASM_EMIT("test $0x0f, %[src]") \
269 __ASM_EMIT("jz 2f") \
270 __ASM_EMIT("movss 0x00(%[src]), %%xmm2") \
271 __ASM_EMIT("andps %%xmm7, %%xmm2") \
272 __ASM_EMIT("add $0x4, %[src]") \
273 __ASM_EMIT(op "ss %%xmm2, %%xmm0") \
274 __ASM_EMIT("dec %[count]") \
275 __ASM_EMIT("jnz 1b") \
276 __ASM_EMIT("jmp 2000f") \
277 \
278 /* Prepare vectorization */ \
279 __ASM_EMIT("2:") \
280 __ASM_EMIT("shufps $0x00, %%xmm0, %%xmm0") \
281 __ASM_EMIT("movaps %%xmm7, %%xmm6") \
282 __ASM_EMIT("movaps %%xmm0, %%xmm1") \
283 __ASM_EMIT("sub $0x10, %[count]") \
284 __ASM_EMIT("jb 4f") \
285 /* x16 Blocks */ \
286 __ASM_EMIT("3:") \
287 __ASM_EMIT("movaps 0x00(%[src]), %%xmm2") \
288 __ASM_EMIT("movaps 0x10(%[src]), %%xmm3") \
289 __ASM_EMIT("movaps 0x20(%[src]), %%xmm4") \
290 __ASM_EMIT("movaps 0x30(%[src]), %%xmm5") \
291 __ASM_EMIT("andps %%xmm6, %%xmm2") \
292 __ASM_EMIT("andps %%xmm7, %%xmm3") \
293 __ASM_EMIT("andps %%xmm6, %%xmm4") \
294 __ASM_EMIT("andps %%xmm7, %%xmm5") \
295 __ASM_EMIT(op "ps %%xmm3, %%xmm2") \
296 __ASM_EMIT(op "ps %%xmm5, %%xmm4") \
297 __ASM_EMIT(op "ps %%xmm2, %%xmm0") \
298 __ASM_EMIT(op "ps %%xmm4, %%xmm1") \
299 __ASM_EMIT("add $0x40, %[src]") \
300 __ASM_EMIT("sub $0x10, %[count]") \
301 __ASM_EMIT("jae 3b") \
302 /* x8 block */ \
303 __ASM_EMIT("4:") \
304 __ASM_EMIT("add $0x10, %[count]") \
305 __ASM_EMIT("test $0x08, %[count]") \
306 __ASM_EMIT("jz 5f") \
307 __ASM_EMIT("movaps 0x00(%[src]), %%xmm2") \
308 __ASM_EMIT("movaps 0x10(%[src]), %%xmm3") \
309 __ASM_EMIT("andps %%xmm6, %%xmm2") \
310 __ASM_EMIT("andps %%xmm7, %%xmm3") \
311 __ASM_EMIT(op "ps %%xmm2, %%xmm0") \
312 __ASM_EMIT(op "ps %%xmm3, %%xmm1") \
313 __ASM_EMIT("add $0x20, %[src]") \
314 /* x4 block */ \
315 __ASM_EMIT("5:") \
316 __ASM_EMIT("test $0x04, %[count]") \
317 __ASM_EMIT("jz 6f") \
318 __ASM_EMIT("movaps 0x00(%[src]), %%xmm2") \
319 __ASM_EMIT("andps %%xmm6, %%xmm2") \
320 __ASM_EMIT(op "ps %%xmm2, %%xmm0") \
321 __ASM_EMIT("add $0x10, %[src]") \
322 /* x4 block */ \
323 __ASM_EMIT("6:") \
324 __ASM_EMIT(op "ps %%xmm1, %%xmm0") \
325 __ASM_EMIT("movhlps %%xmm0, %%xmm1") \
326 __ASM_EMIT(op "ps %%xmm1, %%xmm0") \
327 __ASM_EMIT("unpcklps %%xmm1, %%xmm0") \
328 __ASM_EMIT("movhlps %%xmm0, %%xmm1") \
329 __ASM_EMIT("and $0x03, %[count]") \
330 __ASM_EMIT(op "ss %%xmm1, %%xmm0") \
331 __ASM_EMIT("jz 2000f") \
332 __ASM_EMIT("7:") \
333 __ASM_EMIT("movss 0x00(%[src]), %%xmm2") \
334 __ASM_EMIT("andps %%xmm7, %%xmm2") \
335 __ASM_EMIT("add $0x4, %[src]") \
336 __ASM_EMIT(op "ss %%xmm2, %%xmm0") \
337 __ASM_EMIT("dec %[count]") \
338 __ASM_EMIT("jnz 7b") \
339 /* End */ \
340 __ASM_EMIT("2000:") \
341 \
342 : [src] "+r" (src), [count] "+r" (count), "=Yz" (result) \
343 : [mask] "m" (minmax_const) \
344 : "cc", \
345 "%xmm1", "%xmm2", "%xmm3", \
346 "%xmm4", "%xmm5", "%xmm6", "%xmm7" \
347 ); \
348 \
349 return result;
350
351 IF_ARCH_X86(
352 static const uint32_t minmax_const[] __lsp_aligned16 =
353 {
354 LSP_DSP_VEC4(0x7fffffff)
355 };
356 );
357
358 float abs_min(const float *src, size_t count)
359 {
360 SSE_MINMAX_ABS_CORE("min");
361 }
362
363 float abs_max(const float *src, size_t count)
364 {
365 SSE_MINMAX_ABS_CORE("max");
366 }
367
368 #undef SSE_MINMAX_ABS_CORE
369
370 void abs_minmax(const float *src, size_t count, float *min, float *max)
371 {
372 ARCH_X86_ASM
373 (
374 __ASM_EMIT("xorps %%xmm0, %%xmm0")
375 __ASM_EMIT("xorps %%xmm1, %%xmm1")
376 __ASM_EMIT("test %[count], %[count]")
377 __ASM_EMIT("jz 2000f")
378
379 __ASM_EMIT("movaps %[mask], %%xmm7")
380 __ASM_EMIT("movss 0x00(%[src]), %%xmm0")
381 __ASM_EMIT("andps %%xmm7, %%xmm0")
382 __ASM_EMIT("movaps %%xmm0, %%xmm1")
383
384 /* Align */
385 __ASM_EMIT("1:")
386 __ASM_EMIT("test $0x0f, %[src]")
387 __ASM_EMIT("jz 2f")
388 __ASM_EMIT("movss 0x00(%[src]), %%xmm2")
389 __ASM_EMIT("andps %%xmm7, %%xmm2")
390 __ASM_EMIT("add $0x04, %[src]")
391 __ASM_EMIT("minss %%xmm2, %%xmm0")
392 __ASM_EMIT("dec %[count]")
393 __ASM_EMIT("maxss %%xmm2, %%xmm1")
394 __ASM_EMIT("jnz 1b")
395 __ASM_EMIT("jmp 2000f")
396
397 /* x16 Blocks */
398 __ASM_EMIT("2:")
399 __ASM_EMIT("shufps $0x00, %%xmm0, %%xmm0")
400 __ASM_EMIT("shufps $0x00, %%xmm1, %%xmm1")
401 __ASM_EMIT("movaps %%xmm7, %%xmm6")
402 __ASM_EMIT("sub $0x10, %[count]")
403 __ASM_EMIT("jb 4f")
404 __ASM_EMIT("3:")
405 __ASM_EMIT("movaps 0x00(%[src]), %%xmm2")
406 __ASM_EMIT("movaps 0x10(%[src]), %%xmm3")
407 __ASM_EMIT("movaps 0x20(%[src]), %%xmm4")
408 __ASM_EMIT("movaps 0x30(%[src]), %%xmm5")
409 __ASM_EMIT("andps %%xmm6, %%xmm2")
410 __ASM_EMIT("andps %%xmm7, %%xmm3")
411 __ASM_EMIT("andps %%xmm6, %%xmm4")
412 __ASM_EMIT("andps %%xmm7, %%xmm5")
413 __ASM_EMIT("minps %%xmm2, %%xmm0")
414 __ASM_EMIT("maxps %%xmm3, %%xmm1")
415 __ASM_EMIT("minps %%xmm4, %%xmm0")
416 __ASM_EMIT("maxps %%xmm5, %%xmm1")
417 __ASM_EMIT("minps %%xmm3, %%xmm0")
418 __ASM_EMIT("maxps %%xmm2, %%xmm1")
419 __ASM_EMIT("minps %%xmm5, %%xmm0")
420 __ASM_EMIT("maxps %%xmm4, %%xmm1")
421 __ASM_EMIT("add $0x40, %[src]")
422 __ASM_EMIT("sub $0x10, %[count]")
423 __ASM_EMIT("jae 3b")
424 /* x8 block */
425 __ASM_EMIT("4:")
426 __ASM_EMIT("add $0x10, %[count]")
427 __ASM_EMIT("test $0x08, %[count]")
428 __ASM_EMIT("jz 5f")
429 __ASM_EMIT("movaps 0x00(%[src]), %%xmm2")
430 __ASM_EMIT("movaps 0x10(%[src]), %%xmm3")
431 __ASM_EMIT("andps %%xmm6, %%xmm2")
432 __ASM_EMIT("andps %%xmm7, %%xmm3")
433 __ASM_EMIT("minps %%xmm2, %%xmm0")
434 __ASM_EMIT("maxps %%xmm3, %%xmm1")
435 __ASM_EMIT("minps %%xmm3, %%xmm0")
436 __ASM_EMIT("maxps %%xmm2, %%xmm1")
437 __ASM_EMIT("add $0x20, %[src]")
438 /* x4 block */
439 __ASM_EMIT("5:")
440 __ASM_EMIT("test $0x04, %[count]")
441 __ASM_EMIT("jz 6f")
442 __ASM_EMIT("movaps 0x00(%[src]), %%xmm2")
443 __ASM_EMIT("andps %%xmm6, %%xmm2")
444 __ASM_EMIT("minps %%xmm2, %%xmm0")
445 __ASM_EMIT("maxps %%xmm2, %%xmm1")
446 __ASM_EMIT("add $0x10, %[src]")
447 __ASM_EMIT("6:")
448 /* x1 blocks */
449 __ASM_EMIT("movhlps %%xmm0, %%xmm2")
450 __ASM_EMIT("movhlps %%xmm1, %%xmm3")
451 __ASM_EMIT("minps %%xmm2, %%xmm0")
452 __ASM_EMIT("maxps %%xmm3, %%xmm1")
453 __ASM_EMIT("unpcklps %%xmm2, %%xmm0")
454 __ASM_EMIT("unpcklps %%xmm3, %%xmm1")
455 __ASM_EMIT("movhlps %%xmm0, %%xmm2")
456 __ASM_EMIT("movhlps %%xmm1, %%xmm3")
457 __ASM_EMIT("minss %%xmm2, %%xmm0")
458 __ASM_EMIT("maxss %%xmm3, %%xmm1")
459 __ASM_EMIT("and $0x03, %[count]")
460 __ASM_EMIT("jz 2000f")
461 __ASM_EMIT("7:")
462 __ASM_EMIT("movss 0x00(%[src]), %%xmm2")
463 __ASM_EMIT("andps %%xmm7, %%xmm2")
464 __ASM_EMIT("add $0x04, %[src]")
465 __ASM_EMIT("minss %%xmm2, %%xmm0")
466 __ASM_EMIT("dec %[count]")
467 __ASM_EMIT("maxss %%xmm2, %%xmm1")
468 __ASM_EMIT("jnz 7b")
469
470 __ASM_EMIT("2000:")
471 __ASM_EMIT("movss %%xmm0, 0x00(%[min])")
472 __ASM_EMIT("movss %%xmm1, 0x00(%[max])")
473
474 : [src] "+r" (src), [count] "+r" (count)
475 : [min] "r" (min), [max] "r" (max), [mask] "m" (minmax_const)
476 : "cc",
477 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
478 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
479 );
480 }
481
482
483 #define SSE_MINMAX_SIGN_CORE(op) \
484 float result; \
485 \
486 ARCH_X86_ASM \
487 ( \
488 /* Prepare */ \
489 __ASM_EMIT("xorps %%xmm0, %%xmm0") \
490 __ASM_EMIT("test %[count], %[count]") \
491 __ASM_EMIT("jz 4f") \
492 __ASM_EMIT("movss 0x00(%[src]), %%xmm0") /* xmm0 = result */ \
493 __ASM_EMIT("movaps %[mask], %%xmm7") /* xmm7 = mask */ \
494 __ASM_EMIT("shufps $0x00, %%xmm0, %%xmm0") /* xmm0 = result */ \
495 __ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm1 = result */ \
496 __ASM_EMIT("andps %%xmm7, %%xmm1") /* xmm1 = abs(result) */ \
497 __ASM_EMIT("sub $4, %[count]") \
498 __ASM_EMIT("jb 2f") \
499 /* x4 block */ \
500 __ASM_EMIT("1:") \
501 __ASM_EMIT("movups 0x00(%[src]), %%xmm2") /* xmm2 = x */ \
502 __ASM_EMIT("movaps %%xmm2, %%xmm4") /* xmm4 = x */ \
503 __ASM_EMIT("andps %%xmm7, %%xmm4") /* xmm4 = abs(x) */ \
504 __ASM_EMIT("movaps %%xmm4, %%xmm3") /* xmm3 = abs(x) */ \
505 __ASM_EMIT("cmpps " op ", %%xmm1, %%xmm4") /* xmm4 = [abs(x) <=> abs (result)] */ \
506 __ASM_EMIT("andps %%xmm4, %%xmm0") /* xmm2 = [abs(x) <=> abs (result)] & result */ \
507 __ASM_EMIT("movaps %%xmm4, %%xmm5") /* xmm5 = [abs(x) <=> abs (result)] */ \
508 __ASM_EMIT("andps %%xmm4, %%xmm1") /* xmm2 = [abs(x) <=> abs (result)] & abs(result) */ \
509 __ASM_EMIT("andnps %%xmm2, %%xmm4") /* xmm4 = ![abs(x) <=> abs (result)] & x */ \
510 __ASM_EMIT("andnps %%xmm3, %%xmm5") /* xmm5 = ![abs(x) <=> abs (result)] & abs(x) */ \
511 __ASM_EMIT("orps %%xmm4, %%xmm0") /* xmm0 = [abs(x) <=> abs (result)] ? result : x */ \
512 __ASM_EMIT("orps %%xmm5, %%xmm1") /* xmm1 = [abs(x) <=> abs (result)] ? abs(result) : abs(x) */ \
513 __ASM_EMIT("add $0x10, %[src]") \
514 __ASM_EMIT("sub $4, %[count]") \
515 __ASM_EMIT("jae 1b") \
516 /* deduce to 1, step 1 */ \
517 __ASM_EMIT("movhlps %%xmm1, %%xmm3") /* xmm3 = abs(x) */ \
518 __ASM_EMIT("movhlps %%xmm0, %%xmm2") /* xmm2 = x */ \
519 __ASM_EMIT("movaps %%xmm3, %%xmm4") /* xmm4 = abs(x) */ \
520 __ASM_EMIT("cmpps " op ", %%xmm1, %%xmm4") /* xmm4 = [abs(x) <=> abs (result)] */ \
521 __ASM_EMIT("andps %%xmm4, %%xmm0") /* xmm2 = [abs(x) <=> abs (result)] & result */ \
522 __ASM_EMIT("movaps %%xmm4, %%xmm5") /* xmm5 = [abs(x) <=> abs (result)] */ \
523 __ASM_EMIT("andps %%xmm4, %%xmm1") /* xmm2 = [abs(x) <=> abs (result)] & abs(result) */ \
524 __ASM_EMIT("andnps %%xmm2, %%xmm4") /* xmm4 = ![abs(x) <=> abs (result)] & x */ \
525 __ASM_EMIT("andnps %%xmm3, %%xmm5") /* xmm5 = ![abs(x) <=> abs (result)] & abs(x) */ \
526 __ASM_EMIT("orps %%xmm4, %%xmm0") /* xmm0 = [abs(x) <=> abs (result)] ? result : x */ \
527 __ASM_EMIT("orps %%xmm5, %%xmm1") /* xmm1 = [abs(x) <=> abs (result)] ? abs(result) : abs(x) */ \
528 /* deduce to 1, step 2 */ \
529 __ASM_EMIT("unpcklps %%xmm1, %%xmm1") \
530 __ASM_EMIT("unpcklps %%xmm0, %%xmm0") \
531 __ASM_EMIT("movhlps %%xmm1, %%xmm3") /* xmm3 = abs(x) */ \
532 __ASM_EMIT("movhlps %%xmm0, %%xmm2") /* xmm2 = x */ \
533 __ASM_EMIT("movaps %%xmm3, %%xmm4") /* xmm4 = abs(x) */ \
534 __ASM_EMIT("cmpps " op ", %%xmm1, %%xmm4") /* xmm4 = [abs(x) <=> abs (result)] */ \
535 __ASM_EMIT("andps %%xmm4, %%xmm0") /* xmm2 = [abs(x) <=> abs (result)] & result */ \
536 __ASM_EMIT("movaps %%xmm4, %%xmm5") /* xmm5 = [abs(x) <=> abs (result)] */ \
537 __ASM_EMIT("andps %%xmm4, %%xmm1") /* xmm2 = [abs(x) <=> abs (result)] & abs(result) */ \
538 __ASM_EMIT("andnps %%xmm2, %%xmm4") /* xmm4 = ![abs(x) <=> abs (result)] & x */ \
539 __ASM_EMIT("andnps %%xmm3, %%xmm5") /* xmm5 = ![abs(x) <=> abs (result)] & abs(x) */ \
540 __ASM_EMIT("orps %%xmm4, %%xmm0") /* xmm0 = [abs(x) <=> abs (result)] ? result : x */ \
541 __ASM_EMIT("orps %%xmm5, %%xmm1") /* xmm1 = [abs(x) <=> abs (result)] ? abs(result) : abs(x) */ \
542 /* x1 block */ \
543 __ASM_EMIT("2:") \
544 __ASM_EMIT("add $3, %[count]") \
545 __ASM_EMIT("jl 4f") \
546 __ASM_EMIT("3:") \
547 __ASM_EMIT("movss 0x00(%[src]), %%xmm2") \
548 __ASM_EMIT("movaps %%xmm2, %%xmm4") /* xmm4 = x */ \
549 __ASM_EMIT("andps %%xmm7, %%xmm4") /* xmm4 = abs(x) */ \
550 __ASM_EMIT("movaps %%xmm4, %%xmm3") /* xmm3 = abs(x) */ \
551 __ASM_EMIT("cmpps " op ", %%xmm1, %%xmm4") /* xmm4 = [abs(x) <=> abs (result)] */ \
552 __ASM_EMIT("andps %%xmm4, %%xmm0") /* xmm2 = [abs(x) <=> abs (result)] & result */ \
553 __ASM_EMIT("movaps %%xmm4, %%xmm5") /* xmm5 = [abs(x) <=> abs (result)] */ \
554 __ASM_EMIT("andps %%xmm4, %%xmm1") /* xmm2 = [abs(x) <=> abs (result)] & abs(result) */ \
555 __ASM_EMIT("andnps %%xmm2, %%xmm4") /* xmm4 = ![abs(x) <=> abs (result)] & x */ \
556 __ASM_EMIT("andnps %%xmm3, %%xmm5") /* xmm5 = ![abs(x) <=> abs (result)] & abs(x) */ \
557 __ASM_EMIT("orps %%xmm4, %%xmm0") /* xmm0 = [abs(x) <=> abs (result)] ? result : x */ \
558 __ASM_EMIT("orps %%xmm5, %%xmm1") /* xmm1 = [abs(x) <=> abs (result)] ? abs(result) : abs(x) */ \
559 __ASM_EMIT("add $0x4, %[src]") \
560 __ASM_EMIT("dec %[count]") \
561 __ASM_EMIT("jge 3b") \
562 /* End */ \
563 __ASM_EMIT("4:") \
564 \
565 : [src] "+r" (src), [count] "+r" (count), "=Yz" (result) \
566 : [mask] "m" (minmax_const) \
567 : "cc", \
568 "%xmm1", "%xmm2", "%xmm3", \
569 "%xmm4", "%xmm5", "%xmm7" \
570 ); \
571 \
572 return result;
573
574 float sign_min(const float *src, size_t count)
575 {
576 SSE_MINMAX_SIGN_CORE("$6");
577 }
578
579 float sign_max(const float *src, size_t count)
580 {
581 SSE_MINMAX_SIGN_CORE("$1");
582 }
583
584 #undef SSE_MINMAX_ABS_CORE
585
586 void sign_minmax(const float *src, size_t count, float *min, float *max)
587 {
588 ARCH_X86_ASM
589 (
590 /* Prepare */ \
591 __ASM_EMIT("xorps %%xmm0, %%xmm0")
592 __ASM_EMIT("test %[count], %[count]")
593 __ASM_EMIT("jz 4f")
594 __ASM_EMIT("movss 0x00(%[src]), %%xmm0") /* xmm0 = min ? ? ? */
595 __ASM_EMIT("shufps $0x00, %%xmm0, %%xmm0") /* xmm0 = min */
596 __ASM_EMIT("movaps %%xmm0, %%xmm1") /* xmm2 = max */
597 __ASM_EMIT("movaps %%xmm0, %%xmm2") /* xmm2 = max */
598 __ASM_EMIT("andps %[mask], %%xmm1") /* xmm1 = abs(min) */
599 __ASM_EMIT("movaps %%xmm1, %%xmm3") /* xmm3 = abs(max) */
600 __ASM_EMIT("sub $4, %[count]")
601 __ASM_EMIT("jb 2f")
602 /* x4 Blocks */
603 __ASM_EMIT("1:")
604 __ASM_EMIT("movups 0x00(%[src]), %%xmm4") /* xmm4 = x */ \
605 __ASM_EMIT("movaps %%xmm4, %%xmm5") /* xmm5 = x */ \
606 __ASM_EMIT("andps %[mask], %%xmm5") /* xmm5 = abs(x) */ \
607 __ASM_EMIT("movaps %%xmm1, %%xmm6") /* xmm6 = abs(min) */ \
608 __ASM_EMIT("cmpps $2, %%xmm5, %%xmm6") /* xmm6 = [abs(min) <= abs(x)] */ \
609 __ASM_EMIT("andps %%xmm6, %%xmm0") /* xmm0 = [abs(min) <= abs(x)] & min */
610 __ASM_EMIT("movaps %%xmm6, %%xmm7") /* xmm7 = [abs(min) <= abs(x)] */
611 __ASM_EMIT("andps %%xmm6, %%xmm1") /* xmm1 = [abs(min) <= abs(x)] & abs(min) */
612 __ASM_EMIT("andnps %%xmm4, %%xmm6") /* xmm6 = ![abs(min) <= abs(x)] & x */
613 __ASM_EMIT("andnps %%xmm5, %%xmm7") /* xmm7 = ![abs(min) <= abs(x)] & abs(x) */
614 __ASM_EMIT("orps %%xmm6, %%xmm0") /* xmm0 = [abs(min) <= abs(x)] ? min : x */
615 __ASM_EMIT("orps %%xmm7, %%xmm1") /* xmm1 = [abs(min) <= abs(x)] ? abs(min) : abs(x) */
616 __ASM_EMIT("movaps %%xmm3, %%xmm6") /* xmm6 = abs(max) */ \
617 __ASM_EMIT("cmpps $5, %%xmm5, %%xmm6") /* xmm6 = [abs(max) >= abs(x)] */ \
618 __ASM_EMIT("andps %%xmm6, %%xmm2") /* xmm2 = [abs(max) >= abs(x)] & max */
619 __ASM_EMIT("movaps %%xmm6, %%xmm7") /* xmm7 = [abs(max) >= abs(x)] */
620 __ASM_EMIT("andps %%xmm6, %%xmm3") /* xmm3 = [abs(max) >= abs(x)] & abs(max) */
621 __ASM_EMIT("andnps %%xmm4, %%xmm6") /* xmm6 = ![abs(max) >= abs(x)] & x */
622 __ASM_EMIT("andnps %%xmm5, %%xmm7") /* xmm7 = ![abs(max) >= abs(x)] & abs(x) */
623 __ASM_EMIT("orps %%xmm6, %%xmm2") /* xmm2 = [abs(max) >= abs(x)] ? max : x */
624 __ASM_EMIT("orps %%xmm7, %%xmm3") /* xmm3 = [abs(max) >= abs(x)] ? abs(max) : abs(x) */
625 __ASM_EMIT("add $0x10, %[src]")
626 __ASM_EMIT("sub $4, %[count]")
627 __ASM_EMIT("jae 1b")
628 /* Reduce to 1, step 1 */
629 __ASM_EMIT("movhlps %%xmm1, %%xmm5") /* xmm5 = abs(x) */
630 __ASM_EMIT("movhlps %%xmm0, %%xmm4") /* xmm4 = x */
631 __ASM_EMIT("movaps %%xmm1, %%xmm6") /* xmm6 = abs(min) */ \
632 __ASM_EMIT("cmpps $2, %%xmm5, %%xmm6") /* xmm6 = [abs(min) <= abs(x)] */ \
633 __ASM_EMIT("andps %%xmm6, %%xmm0") /* xmm0 = [abs(min) <= abs(x)] & min */
634 __ASM_EMIT("movaps %%xmm6, %%xmm7") /* xmm7 = [abs(min) <= abs(x)] */
635 __ASM_EMIT("andps %%xmm6, %%xmm1") /* xmm1 = [abs(min) <= abs(x)] & abs(min) */
636 __ASM_EMIT("andnps %%xmm4, %%xmm6") /* xmm6 = ![abs(min) <= abs(x)] & x */
637 __ASM_EMIT("andnps %%xmm5, %%xmm7") /* xmm7 = ![abs(min) <= abs(x)] & abs(x) */
638 __ASM_EMIT("orps %%xmm6, %%xmm0") /* xmm0 = [abs(min) <= abs(x)] ? min : x */
639 __ASM_EMIT("orps %%xmm7, %%xmm1") /* xmm1 = [abs(min) <= abs(x)] ? abs(min) : abs(x) */
640 __ASM_EMIT("movhlps %%xmm3, %%xmm5") /* xmm5 = abs(x) */
641 __ASM_EMIT("movhlps %%xmm2, %%xmm4") /* xmm4 = x */
642 __ASM_EMIT("movaps %%xmm3, %%xmm6") /* xmm6 = abs(max) */ \
643 __ASM_EMIT("cmpps $5, %%xmm5, %%xmm6") /* xmm6 = [abs(max) >= abs(x)] */ \
644 __ASM_EMIT("andps %%xmm6, %%xmm2") /* xmm2 = [abs(max) >= abs(x)] & max */
645 __ASM_EMIT("movaps %%xmm6, %%xmm7") /* xmm7 = [abs(max) >= abs(x)] */
646 __ASM_EMIT("andps %%xmm6, %%xmm3") /* xmm3 = [abs(max) >= abs(x)] & abs(max) */
647 __ASM_EMIT("andnps %%xmm4, %%xmm6") /* xmm6 = ![abs(max) >= abs(x)] & x */
648 __ASM_EMIT("andnps %%xmm5, %%xmm7") /* xmm7 = ![abs(max) >= abs(x)] & abs(x) */
649 __ASM_EMIT("orps %%xmm6, %%xmm2") /* xmm2 = [abs(max) >= abs(x)] ? max : x */
650 __ASM_EMIT("orps %%xmm7, %%xmm3") /* xmm3 = [abs(max) >= abs(x)] ? abs(max) : abs(x) */
651
652 __ASM_EMIT("unpcklps %%xmm0, %%xmm0")
653 __ASM_EMIT("unpcklps %%xmm1, %%xmm1")
654 __ASM_EMIT("unpcklps %%xmm2, %%xmm2")
655 __ASM_EMIT("unpcklps %%xmm3, %%xmm3")
656
657 __ASM_EMIT("movhlps %%xmm1, %%xmm5") /* xmm5 = abs(x) */
658 __ASM_EMIT("movhlps %%xmm0, %%xmm4") /* xmm4 = x */
659 __ASM_EMIT("movaps %%xmm1, %%xmm6") /* xmm6 = abs(min) */ \
660 __ASM_EMIT("cmpps $2, %%xmm5, %%xmm6") /* xmm6 = [abs(min) <= abs(x)] */ \
661 __ASM_EMIT("andps %%xmm6, %%xmm0") /* xmm0 = [abs(min) <= abs(x)] & min */
662 __ASM_EMIT("movaps %%xmm6, %%xmm7") /* xmm7 = [abs(min) <= abs(x)] */
663 __ASM_EMIT("andps %%xmm6, %%xmm1") /* xmm1 = [abs(min) <= abs(x)] & abs(min) */
664 __ASM_EMIT("andnps %%xmm4, %%xmm6") /* xmm6 = ![abs(min) <= abs(x)] & x */
665 __ASM_EMIT("andnps %%xmm5, %%xmm7") /* xmm7 = ![abs(min) <= abs(x)] & abs(x) */
666 __ASM_EMIT("orps %%xmm6, %%xmm0") /* xmm0 = [abs(min) <= abs(x)] ? min : x */
667 __ASM_EMIT("orps %%xmm7, %%xmm1") /* xmm1 = [abs(min) <= abs(x)] ? abs(min) : abs(x) */
668 __ASM_EMIT("movhlps %%xmm3, %%xmm5") /* xmm5 = abs(x) */
669 __ASM_EMIT("movhlps %%xmm2, %%xmm4") /* xmm4 = x */
670 __ASM_EMIT("movaps %%xmm3, %%xmm6") /* xmm6 = abs(max) */ \
671 __ASM_EMIT("cmpps $5, %%xmm5, %%xmm6") /* xmm6 = [abs(max) >= abs(x)] */ \
672 __ASM_EMIT("andps %%xmm6, %%xmm2") /* xmm2 = [abs(max) >= abs(x)] & max */
673 __ASM_EMIT("movaps %%xmm6, %%xmm7") /* xmm7 = [abs(max) >= abs(x)] */
674 __ASM_EMIT("andps %%xmm6, %%xmm3") /* xmm3 = [abs(max) >= abs(x)] & abs(max) */
675 __ASM_EMIT("andnps %%xmm4, %%xmm6") /* xmm6 = ![abs(max) >= abs(x)] & x */
676 __ASM_EMIT("andnps %%xmm5, %%xmm7") /* xmm7 = ![abs(max) >= abs(x)] & abs(x) */
677 __ASM_EMIT("orps %%xmm6, %%xmm2") /* xmm2 = [abs(max) >= abs(x)] ? max : x */
678 __ASM_EMIT("orps %%xmm7, %%xmm3") /* xmm3 = [abs(max) >= abs(x)] ? abs(max) : abs(x) */
679 /* x1 blocks */
680 __ASM_EMIT("2:")
681 __ASM_EMIT("add $3, %[count]")
682 __ASM_EMIT("jl 4f")
683 __ASM_EMIT("3:")
684 __ASM_EMIT("movss 0x00(%[src]), %%xmm4") /* xmm4 = x */ \
685 __ASM_EMIT("movaps %%xmm4, %%xmm5") /* xmm5 = x */ \
686 __ASM_EMIT("andps %[mask], %%xmm5") /* xmm5 = abs(x) */ \
687 __ASM_EMIT("movaps %%xmm1, %%xmm6") /* xmm6 = abs(min) */ \
688 __ASM_EMIT("cmpps $2, %%xmm5, %%xmm6") /* xmm6 = [abs(min) <= abs(x)] */ \
689 __ASM_EMIT("andps %%xmm6, %%xmm0") /* xmm0 = [abs(min) <= abs(x)] & min */
690 __ASM_EMIT("movaps %%xmm6, %%xmm7") /* xmm7 = [abs(min) <= abs(x)] */
691 __ASM_EMIT("andps %%xmm6, %%xmm1") /* xmm1 = [abs(min) <= abs(x)] & abs(min) */
692 __ASM_EMIT("andnps %%xmm4, %%xmm6") /* xmm6 = ![abs(min) <= abs(x)] & x */
693 __ASM_EMIT("andnps %%xmm5, %%xmm7") /* xmm7 = ![abs(min) <= abs(x)] & abs(x) */
694 __ASM_EMIT("orps %%xmm6, %%xmm0") /* xmm0 = [abs(min) <= abs(x)] ? min : x */
695 __ASM_EMIT("orps %%xmm7, %%xmm1") /* xmm1 = [abs(min) <= abs(x)] ? abs(min) : abs(x) */
696 __ASM_EMIT("movaps %%xmm3, %%xmm6") /* xmm6 = abs(max) */ \
697 __ASM_EMIT("cmpps $5, %%xmm5, %%xmm6") /* xmm6 = [abs(max) >= abs(x)] */ \
698 __ASM_EMIT("andps %%xmm6, %%xmm2") /* xmm2 = [abs(max) >= abs(x)] & max */
699 __ASM_EMIT("movaps %%xmm6, %%xmm7") /* xmm7 = [abs(max) >= abs(x)] */
700 __ASM_EMIT("andps %%xmm6, %%xmm3") /* xmm3 = [abs(max) >= abs(x)] & abs(max) */
701 __ASM_EMIT("andnps %%xmm4, %%xmm6") /* xmm6 = ![abs(max) >= abs(x)] & x */
702 __ASM_EMIT("andnps %%xmm5, %%xmm7") /* xmm7 = ![abs(max) >= abs(x)] & abs(x) */
703 __ASM_EMIT("orps %%xmm6, %%xmm2") /* xmm2 = [abs(max) >= abs(x)] ? max : x */
704 __ASM_EMIT("orps %%xmm7, %%xmm3") /* xmm3 = [abs(max) >= abs(x)] ? abs(max) : abs(x) */
705 __ASM_EMIT("add $0x04, %[src]")
706 __ASM_EMIT("dec %[count]")
707 __ASM_EMIT("jge 3b")
708 /* end */
709 __ASM_EMIT("4:")
710 __ASM_EMIT("movss %%xmm0, 0x00(%[min])")
711 __ASM_EMIT("movss %%xmm1, 0x00(%[max])")
712
713 : [src] "+r" (src), [count] "+r" (count)
714 : [min] "r" (min), [max] "r" (max), [mask] "m" (minmax_const)
715 : "cc",
716 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
717 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
718 );
719 }
720
721 } /* namespace sse */
722 } /* namespace lsp */
723
724 #endif /* PRIVATE_DSP_ARCH_X86_SSE_SEARCH_MINMAX_H_ */