Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx/search/minmax.h

raw
1 /*
2 * Copyright (C) 2024 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2024 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX_SEARCH_MINMAX_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX_SEARCH_MINMAX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX_IMPL */
28
29 namespace lsp
30 {
31 namespace avx
32 {
33 #define MINMAX_CORE(SRC, OP) \
34 __ASM_EMIT("vxorps %%ymm0, %%ymm0, %%ymm0") \
35 __ASM_EMIT("test %[count], %[count]") \
36 __ASM_EMIT("jz 10f") \
37 /* 32x block */ \
38 __ASM_EMIT("vbroadcastss (%[" SRC "]), %%ymm0") \
39 __ASM_EMIT("sub $32, %[count]") \
40 __ASM_EMIT("vmovaps %%ymm0, %%ymm1") \
41 __ASM_EMIT("jb 2f") \
42 __ASM_EMIT("vmovaps %%ymm0, %%ymm2") \
43 __ASM_EMIT("vmovaps %%ymm1, %%ymm3") \
44 __ASM_EMIT("1:") \
45 __ASM_EMIT(OP "ps 0x000(%[" SRC "]), %%ymm0, %%ymm0") \
46 __ASM_EMIT(OP "ps 0x020(%[" SRC "]), %%ymm1, %%ymm1") \
47 __ASM_EMIT(OP "ps 0x040(%[" SRC "]), %%ymm2, %%ymm2") \
48 __ASM_EMIT(OP "ps 0x060(%[" SRC "]), %%ymm3, %%ymm3") \
49 __ASM_EMIT("add $0x80, %[" SRC "]") \
50 __ASM_EMIT("sub $32, %[count]") \
51 __ASM_EMIT("jae 1b") \
52 __ASM_EMIT(OP "ps %%ymm2, %%ymm0, %%ymm0") \
53 __ASM_EMIT(OP "ps %%ymm3, %%ymm1, %%ymm1") \
54 __ASM_EMIT("2:") \
55 /* 16x block */ \
56 __ASM_EMIT("add $16, %[count]") \
57 __ASM_EMIT("jl 4f") \
58 __ASM_EMIT(OP "ps 0x000(%[" SRC "]), %%ymm0, %%ymm0") \
59 __ASM_EMIT(OP "ps 0x020(%[" SRC "]), %%ymm1, %%ymm1") \
60 __ASM_EMIT("add $0x40, %[" SRC "]") \
61 __ASM_EMIT("sub $16, %[count]") \
62 __ASM_EMIT("4:") \
63 __ASM_EMIT(OP "ps %%ymm1, %%ymm0, %%ymm0") \
64 /* 8x block */ \
65 __ASM_EMIT("add $8, %[count]") \
66 __ASM_EMIT("jl 6f") \
67 __ASM_EMIT(OP "ps 0x000(%[" SRC "]), %%ymm0, %%ymm0") \
68 __ASM_EMIT("add $0x20, %[" SRC "]") \
69 __ASM_EMIT("sub $8, %[count]") \
70 __ASM_EMIT("6:") \
71 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm1") \
72 __ASM_EMIT(OP "ps %%xmm1, %%xmm0, %%xmm0") \
73 /* 4x block */ \
74 __ASM_EMIT("add $4, %[count]") \
75 __ASM_EMIT("jl 8f") \
76 __ASM_EMIT(OP "ps 0x000(%[" SRC "]), %%xmm0, %%xmm0") \
77 __ASM_EMIT("add $0x10, %[" SRC "]") \
78 __ASM_EMIT("sub $4, %[count]") \
79 __ASM_EMIT("8:") \
80 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm1") /* xmm0 = a b c d, xmm1 = c c d d */ \
81 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = a a b b */ \
82 __ASM_EMIT(OP "ps %%xmm1, %%xmm0, %%xmm0") \
83 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm1") \
84 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") \
85 __ASM_EMIT(OP "ps %%xmm1, %%xmm0, %%xmm0") \
86 /* 1x blocks */ \
87 __ASM_EMIT("add $3, %[count]") \
88 __ASM_EMIT("jl 10f") \
89 __ASM_EMIT("9:") \
90 __ASM_EMIT("vmovss 0x000(%[" SRC "]), %%xmm1") \
91 __ASM_EMIT(OP "ps %%xmm1, %%xmm0, %%xmm0") \
92 __ASM_EMIT("add $0x04, %[" SRC "]") \
93 __ASM_EMIT("dec %[count]") \
94 __ASM_EMIT("jge 9b") \
95 /* end */ \
96 __ASM_EMIT("10:")
97
98 float min(const float *src, size_t count)
99 {
100 float res = 0.0f;
101 ARCH_X86_ASM(
102 MINMAX_CORE("src", "vmin")
103 : [src] "+r" (src), [count] "+r" (count),
104 [res] "+Yz" (res)
105 :
106 : "cc",
107 "%xmm1", "%xmm2", "%xmm3"
108 );
109
110 return res;
111 }
112
113 float max(const float *src, size_t count)
114 {
115 float res = 0.0f;
116 ARCH_X86_ASM(
117 MINMAX_CORE("src", "vmax")
118 : [src] "+r" (src), [count] "+r" (count),
119 [res] "+Yz" (res)
120 :
121 : "cc",
122 "%xmm1", "%xmm2", "%xmm3"
123 );
124
125 return res;
126 }
127
128 #undef MINMAX_CORE
129
130 #define AMINMAX_CORE(SRC, OP) \
131 __ASM_EMIT("vxorps %%ymm0, %%ymm0, %%ymm0") \
132 __ASM_EMIT("test %[count], %[count]") \
133 __ASM_EMIT("jz 10f") \
134 /* 32x block */ \
135 __ASM_EMIT("vbroadcastss (%[src]), %%ymm0") \
136 __ASM_EMIT("vmovaps %[CC], %%ymm2") \
137 __ASM_EMIT("vandps %%ymm0, %%ymm2, %%ymm0") \
138 __ASM_EMIT("sub $32, %[count]") \
139 __ASM_EMIT("vmovaps %%ymm0, %%ymm1") \
140 __ASM_EMIT("jb 2f") \
141 __ASM_EMIT("1:") \
142 __ASM_EMIT("vandps 0x000(%[" SRC "]), %%ymm2, %%ymm4") \
143 __ASM_EMIT("vandps 0x020(%[" SRC "]), %%ymm2, %%ymm5") \
144 __ASM_EMIT("vandps 0x040(%[" SRC "]), %%ymm2, %%ymm6") \
145 __ASM_EMIT("vandps 0x060(%[" SRC "]), %%ymm2, %%ymm7") \
146 __ASM_EMIT(OP "ps %%ymm4, %%ymm0, %%ymm0") \
147 __ASM_EMIT(OP "ps %%ymm5, %%ymm1, %%ymm1") \
148 __ASM_EMIT(OP "ps %%ymm6, %%ymm0, %%ymm0") \
149 __ASM_EMIT(OP "ps %%ymm7, %%ymm1, %%ymm1") \
150 __ASM_EMIT("add $0x80, %[" SRC "]") \
151 __ASM_EMIT("sub $32, %[count]") \
152 __ASM_EMIT("jae 1b") \
153 __ASM_EMIT("2:") \
154 /* 16x block */ \
155 __ASM_EMIT("add $16, %[count]") \
156 __ASM_EMIT("jl 4f") \
157 __ASM_EMIT("vandps 0x000(%[" SRC "]), %%ymm2, %%ymm4") \
158 __ASM_EMIT("vandps 0x020(%[" SRC "]), %%ymm2, %%ymm5") \
159 __ASM_EMIT(OP "ps %%ymm4, %%ymm0, %%ymm0") \
160 __ASM_EMIT(OP "ps %%ymm5, %%ymm1, %%ymm1") \
161 __ASM_EMIT("add $0x40, %[" SRC "]") \
162 __ASM_EMIT("sub $16, %[count]") \
163 __ASM_EMIT("4:") \
164 __ASM_EMIT(OP "ps %%ymm1, %%ymm0, %%ymm0") \
165 /* 8x block */ \
166 __ASM_EMIT("add $8, %[count]") \
167 __ASM_EMIT("jl 6f") \
168 __ASM_EMIT("vandps 0x000(%[" SRC "]), %%ymm2, %%ymm4") \
169 __ASM_EMIT(OP "ps %%ymm4, %%ymm0, %%ymm0") \
170 __ASM_EMIT("add $0x20, %[" SRC "]") \
171 __ASM_EMIT("sub $8, %[count]") \
172 __ASM_EMIT("6:") \
173 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4") \
174 __ASM_EMIT(OP "ps %%xmm4, %%xmm0, %%xmm0") \
175 /* 4x block */ \
176 __ASM_EMIT("add $4, %[count]") \
177 __ASM_EMIT("jl 8f") \
178 __ASM_EMIT("vandps 0x000(%[" SRC "]), %%xmm2, %%xmm4") \
179 __ASM_EMIT(OP "ps %%xmm4, %%xmm0, %%xmm0") \
180 __ASM_EMIT("add $0x10, %[" SRC "]") \
181 __ASM_EMIT("sub $4, %[count]") \
182 __ASM_EMIT("8:") \
183 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm4") /* xmm0 = a b c d, xmm1 = c c d d */ \
184 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = a a b b */ \
185 __ASM_EMIT(OP "ps %%xmm4, %%xmm0, %%xmm0") \
186 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm4") \
187 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") \
188 __ASM_EMIT(OP "ps %%xmm4, %%xmm0, %%xmm0") \
189 /* 1x blocks */ \
190 __ASM_EMIT("add $3, %[count]") \
191 __ASM_EMIT("jl 10f") \
192 __ASM_EMIT("9:") \
193 __ASM_EMIT("vmovss 0x000(%[" SRC "]), %%xmm4") \
194 __ASM_EMIT("vandps %%xmm4, %%xmm2, %%xmm4") \
195 __ASM_EMIT(OP "ps %%xmm4, %%xmm0, %%xmm0") \
196 __ASM_EMIT("add $0x04, %[" SRC "]") \
197 __ASM_EMIT("dec %[count]") \
198 __ASM_EMIT("jge 9b") \
199 /* end */ \
200 __ASM_EMIT("10:")
201
202 IF_ARCH_X86(
203 static const uint32_t minmax_const[] __lsp_aligned32 =
204 {
205 LSP_DSP_VEC8(0x7fffffff)
206 };
207 )
208
209 float abs_min(const float *src, size_t count)
210 {
211 float res = 0.0f;
212 ARCH_X86_ASM(
213 AMINMAX_CORE("src", "vmin")
214 : [src] "+r" (src), [count] "+r" (count),
215 [res] "+Yz" (res)
216 : [CC] "m" (minmax_const)
217 : "cc",
218 "%xmm1", "%xmm2",
219 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
220 );
221
222 return res;
223 }
224
225 float abs_max(const float *src, size_t count)
226 {
227 float res = 0.0f;
228 ARCH_X86_ASM(
229 AMINMAX_CORE("src", "vmax")
230 : [src] "+r" (src), [count] "+r" (count),
231 [res] "+Yz" (res)
232 : [CC] "m" (minmax_const)
233 : "cc",
234 "%xmm1", "%xmm2",
235 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
236 );
237
238 return res;
239 }
240
241 #undef AMINMAX_CORE
242
243 void minmax(const float *src, size_t count, float *min, float *max)
244 {
245 ARCH_X86_ASM(
246 __ASM_EMIT("vxorps %%ymm0, %%ymm0, %%ymm0")
247 __ASM_EMIT("vxorps %%ymm1, %%ymm1, %%ymm1")
248 __ASM_EMIT("test %[count], %[count]")
249 __ASM_EMIT("jz 10f")
250 __ASM_EMIT("vbroadcastss (%[src]), %%ymm0")
251 __ASM_EMIT("vmovaps %%ymm0, %%ymm1")
252 /* 32x block */
253 __ASM_EMIT("sub $32, %[count]")
254 __ASM_EMIT("jb 2f")
255 __ASM_EMIT("1:")
256 __ASM_EMIT("vmovups 0x000(%[src]), %%ymm4")
257 __ASM_EMIT("vmovups 0x020(%[src]), %%ymm5")
258 __ASM_EMIT("vmovups 0x040(%[src]), %%ymm6")
259 __ASM_EMIT("vmovups 0x060(%[src]), %%ymm7")
260 __ASM_EMIT("vminps %%ymm4, %%ymm0, %%ymm0")
261 __ASM_EMIT("vmaxps %%ymm6, %%ymm1, %%ymm1")
262 __ASM_EMIT("vminps %%ymm5, %%ymm0, %%ymm0")
263 __ASM_EMIT("vmaxps %%ymm7, %%ymm1, %%ymm1")
264 __ASM_EMIT("vminps %%ymm6, %%ymm0, %%ymm0")
265 __ASM_EMIT("vmaxps %%ymm4, %%ymm1, %%ymm1")
266 __ASM_EMIT("vminps %%ymm7, %%ymm0, %%ymm0")
267 __ASM_EMIT("vmaxps %%ymm5, %%ymm1, %%ymm1")
268 __ASM_EMIT("add $0x80, %[src]")
269 __ASM_EMIT("sub $32, %[count]")
270 __ASM_EMIT("jae 1b")
271 __ASM_EMIT("2:")
272 /* 16x block */
273 __ASM_EMIT("add $16, %[count]")
274 __ASM_EMIT("jl 4f")
275 __ASM_EMIT("vmovups 0x000(%[src]), %%ymm4")
276 __ASM_EMIT("vmovups 0x020(%[src]), %%ymm5")
277 __ASM_EMIT("vminps %%ymm4, %%ymm0, %%ymm0")
278 __ASM_EMIT("vmaxps %%ymm4, %%ymm1, %%ymm1")
279 __ASM_EMIT("vminps %%ymm5, %%ymm0, %%ymm0")
280 __ASM_EMIT("vmaxps %%ymm5, %%ymm1, %%ymm1")
281 __ASM_EMIT("add $0x40, %[src]")
282 __ASM_EMIT("sub $16, %[count]")
283 __ASM_EMIT("4:")
284 /* 8x block */
285 __ASM_EMIT("add $8, %[count]")
286 __ASM_EMIT("jl 6f")
287 __ASM_EMIT("vmovups 0x000(%[src]), %%ymm4")
288 __ASM_EMIT("vminps %%ymm4, %%ymm0, %%ymm0")
289 __ASM_EMIT("vmaxps %%ymm4, %%ymm1, %%ymm1")
290 __ASM_EMIT("add $0x20, %[src]")
291 __ASM_EMIT("sub $8, %[count]")
292 __ASM_EMIT("6:")
293 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4")
294 __ASM_EMIT("vextractf128 $1, %%ymm1, %%xmm5")
295 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
296 __ASM_EMIT("vmaxps %%xmm5, %%xmm1, %%xmm1")
297 /* 4x block */
298 __ASM_EMIT("add $4, %[count]")
299 __ASM_EMIT("jl 8f")
300 __ASM_EMIT("vmovups 0x000(%[src]), %%xmm4")
301 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
302 __ASM_EMIT("vmaxps %%xmm4, %%xmm1, %%xmm1")
303 __ASM_EMIT("add $0x10, %[src]")
304 __ASM_EMIT("sub $4, %[count]")
305 __ASM_EMIT("8:")
306 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm4")
307 __ASM_EMIT("vunpckhps %%xmm1, %%xmm1, %%xmm5")
308 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0")
309 __ASM_EMIT("vunpcklps %%xmm1, %%xmm1, %%xmm1")
310 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
311 __ASM_EMIT("vmaxps %%xmm5, %%xmm1, %%xmm1")
312 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm4")
313 __ASM_EMIT("vunpckhps %%xmm1, %%xmm1, %%xmm5")
314 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0")
315 __ASM_EMIT("vunpcklps %%xmm1, %%xmm1, %%xmm1")
316 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
317 __ASM_EMIT("vmaxps %%xmm5, %%xmm1, %%xmm1")
318 /* 1x blocks */
319 __ASM_EMIT("add $3, %[count]")
320 __ASM_EMIT("jl 10f")
321 __ASM_EMIT("9:")
322 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm4")
323 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
324 __ASM_EMIT("vmaxps %%xmm4, %%xmm1, %%xmm1")
325 __ASM_EMIT("add $0x04, %[src]")
326 __ASM_EMIT("dec %[count]")
327 __ASM_EMIT("jge 9b")
328 /* end */
329 __ASM_EMIT("10:")
330 __ASM_EMIT("vmovss %%xmm0, 0x00(%[min])")
331 __ASM_EMIT("vmovss %%xmm1, 0x00(%[max])")
332 : [src] "+r" (src), [count] "+r" (count)
333 : [min] "r" (min), [max] "r" (max)
334 : "cc", "memory",
335 "%xmm0", "%xmm1",
336 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
337 );
338 }
339
340 void abs_minmax(const float *src, size_t count, float *min, float *max)
341 {
342 ARCH_X86_ASM(
343 __ASM_EMIT("vxorps %%ymm0, %%ymm0, %%ymm0")
344 __ASM_EMIT("vxorps %%ymm1, %%ymm1, %%ymm1")
345 __ASM_EMIT("test %[count], %[count]")
346 __ASM_EMIT("jz 10f")
347 /* 32x block */
348 __ASM_EMIT("vmovaps %[CC], %%ymm2")
349 __ASM_EMIT("vbroadcastss (%[src]), %%ymm0")
350 __ASM_EMIT("vandps %%ymm0, %%ymm2, %%ymm0")
351 __ASM_EMIT("sub $32, %[count]")
352 __ASM_EMIT("vmovaps %%ymm0, %%ymm1")
353 __ASM_EMIT("jb 2f")
354 __ASM_EMIT("1:")
355 __ASM_EMIT("vandps 0x000(%[src]), %%ymm2, %%ymm4")
356 __ASM_EMIT("vandps 0x020(%[src]), %%ymm2, %%ymm5")
357 __ASM_EMIT("vandps 0x040(%[src]), %%ymm2, %%ymm6")
358 __ASM_EMIT("vandps 0x060(%[src]), %%ymm2, %%ymm7")
359 __ASM_EMIT("vminps %%ymm4, %%ymm0, %%ymm0")
360 __ASM_EMIT("vmaxps %%ymm6, %%ymm1, %%ymm1")
361 __ASM_EMIT("vminps %%ymm5, %%ymm0, %%ymm0")
362 __ASM_EMIT("vmaxps %%ymm7, %%ymm1, %%ymm1")
363 __ASM_EMIT("vminps %%ymm6, %%ymm0, %%ymm0")
364 __ASM_EMIT("vmaxps %%ymm4, %%ymm1, %%ymm1")
365 __ASM_EMIT("vminps %%ymm7, %%ymm0, %%ymm0")
366 __ASM_EMIT("vmaxps %%ymm5, %%ymm1, %%ymm1")
367 __ASM_EMIT("add $0x80, %[src]")
368 __ASM_EMIT("sub $32, %[count]")
369 __ASM_EMIT("jae 1b")
370 __ASM_EMIT("2:")
371 /* 16x block */
372 __ASM_EMIT("add $16, %[count]")
373 __ASM_EMIT("jl 4f")
374 __ASM_EMIT("vandps 0x000(%[src]), %%ymm2, %%ymm4")
375 __ASM_EMIT("vandps 0x020(%[src]), %%ymm2, %%ymm5")
376 __ASM_EMIT("vminps %%ymm4, %%ymm0, %%ymm0")
377 __ASM_EMIT("vmaxps %%ymm4, %%ymm1, %%ymm1")
378 __ASM_EMIT("vminps %%ymm5, %%ymm0, %%ymm0")
379 __ASM_EMIT("vmaxps %%ymm5, %%ymm1, %%ymm1")
380 __ASM_EMIT("add $0x40, %[src]")
381 __ASM_EMIT("sub $16, %[count]")
382 __ASM_EMIT("4:")
383 /* 8x block */
384 __ASM_EMIT("add $8, %[count]")
385 __ASM_EMIT("jl 6f")
386 __ASM_EMIT("vandps 0x000(%[src]), %%ymm2, %%ymm4")
387 __ASM_EMIT("vminps %%ymm4, %%ymm0, %%ymm0")
388 __ASM_EMIT("vmaxps %%ymm4, %%ymm1, %%ymm1")
389 __ASM_EMIT("add $0x20, %[src]")
390 __ASM_EMIT("sub $8, %[count]")
391 __ASM_EMIT("6:")
392 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4")
393 __ASM_EMIT("vextractf128 $1, %%ymm1, %%xmm5")
394 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
395 __ASM_EMIT("vmaxps %%xmm5, %%xmm1, %%xmm1")
396 /* 4x block */
397 __ASM_EMIT("add $4, %[count]")
398 __ASM_EMIT("jl 8f")
399 __ASM_EMIT("vandps 0x000(%[src]), %%xmm2, %%xmm4")
400 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
401 __ASM_EMIT("vmaxps %%xmm4, %%xmm1, %%xmm1")
402 __ASM_EMIT("add $0x10, %[src]")
403 __ASM_EMIT("sub $4, %[count]")
404 __ASM_EMIT("8:")
405 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm4")
406 __ASM_EMIT("vunpckhps %%xmm1, %%xmm1, %%xmm5")
407 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0")
408 __ASM_EMIT("vunpcklps %%xmm1, %%xmm1, %%xmm1")
409 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
410 __ASM_EMIT("vmaxps %%xmm5, %%xmm1, %%xmm1")
411 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm4")
412 __ASM_EMIT("vunpckhps %%xmm1, %%xmm1, %%xmm5")
413 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0")
414 __ASM_EMIT("vunpcklps %%xmm1, %%xmm1, %%xmm1")
415 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
416 __ASM_EMIT("vmaxps %%xmm5, %%xmm1, %%xmm1")
417 /* 1x blocks */
418 __ASM_EMIT("add $3, %[count]")
419 __ASM_EMIT("jl 10f")
420 __ASM_EMIT("9:")
421 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm4")
422 __ASM_EMIT("vandps %%xmm4, %%xmm2, %%xmm4")
423 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
424 __ASM_EMIT("vmaxps %%xmm4, %%xmm1, %%xmm1")
425 __ASM_EMIT("add $0x04, %[src]")
426 __ASM_EMIT("dec %[count]")
427 __ASM_EMIT("jge 9b")
428 /* end */
429 __ASM_EMIT("10:")
430 __ASM_EMIT("vmovss %%xmm0, 0x00(%[min])")
431 __ASM_EMIT("vmovss %%xmm1, 0x00(%[max])")
432 : [src] "+r" (src), [count] "+r" (count)
433 : [min] "r" (min), [max] "r" (max),
434 [CC] "m" (minmax_const)
435 : "cc", "memory",
436 "%xmm0", "%xmm1",
437 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
438 );
439 }
440
441 #define SMINMAX_CORE(OP) \
442 __ASM_EMIT("vxorps %%ymm0, %%ymm0, %%ymm0") /* ymm0 = 0 */ \
443 __ASM_EMIT("test %[count], %[count]") \
444 __ASM_EMIT("jz 8f") \
445 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") /* ymm0 = result */ \
446 __ASM_EMIT("vmovaps %[CC], %%ymm7") /* ymm7 = mask */ \
447 __ASM_EMIT("vandps %%ymm7, %%ymm0, %%ymm1") /* ymm1 = abs(result) */ \
448 /* 16x blocks */ \
449 __ASM_EMIT("sub $16, %[count]") \
450 __ASM_EMIT("jb 2f") \
451 __ASM_EMIT("1:") \
452 __ASM_EMIT("vmovups 0x000(%[src]), %%ymm2") /* ymm2 = x0 */ \
453 __ASM_EMIT("vmovups 0x020(%[src]), %%ymm4") /* ymm4 = x1 */ \
454 __ASM_EMIT("vandps %%ymm7, %%ymm2, %%ymm3") /* ymm3 = abs(x0) */ \
455 __ASM_EMIT("vandps %%ymm7, %%ymm4, %%ymm5") /* ymm5 = abs(x1) */ \
456 __ASM_EMIT("vcmpps " OP ", %%ymm1, %%ymm3, %%ymm6") /* ymm6 = [abs(result) <=> abs(x0)] */ \
457 __ASM_EMIT("vblendvps %%ymm6, %%ymm3, %%ymm1, %%ymm1") /* ymm1 = [abs(result) <=> abs(x0)] ? abs(result) : abs(x0) */ \
458 __ASM_EMIT("vblendvps %%ymm6, %%ymm2, %%ymm0, %%ymm0") /* ymm0 = [abs(result) <=> abs(x0)] ? result : x0 */ \
459 __ASM_EMIT("vcmpps " OP ", %%ymm1, %%ymm5, %%ymm6") /* ymm6 = [abs(result) <=> abs(x1)] */ \
460 __ASM_EMIT("vblendvps %%ymm6, %%ymm5, %%ymm1, %%ymm1") /* ymm1 = [abs(result) <=> abs(x1)] ? abs(result) : abs(x1) */ \
461 __ASM_EMIT("vblendvps %%ymm6, %%ymm4, %%ymm0, %%ymm0") /* ymm0 = [abs(result) <=> abs(x1)] ? result : x1 */ \
462 __ASM_EMIT("add $0x40, %[src]") \
463 __ASM_EMIT("sub $16, %[count]") \
464 __ASM_EMIT("jae 1b") \
465 /* 8x block */ \
466 __ASM_EMIT("2:") \
467 __ASM_EMIT("add $8, %[count]") \
468 __ASM_EMIT("jl 4f") \
469 __ASM_EMIT("vmovups 0x000(%[src]), %%ymm2") /* ymm2 = x0 */ \
470 __ASM_EMIT("vandps %%ymm7, %%ymm2, %%ymm3") /* ymm3 = abs(x0) */ \
471 __ASM_EMIT("vcmpps " OP ", %%ymm1, %%ymm3, %%ymm6") /* ymm6 = [abs(result) <=> abs(x0)] */ \
472 __ASM_EMIT("vblendvps %%ymm6, %%ymm3, %%ymm1, %%ymm1") /* ymm1 = [abs(result) <=> abs(x0)] ? abs(result) : abs(x0) */ \
473 __ASM_EMIT("vblendvps %%ymm6, %%ymm2, %%ymm0, %%ymm0") /* ymm0 = [abs(result) <=> abs(x0)] ? result : x0 */ \
474 __ASM_EMIT("sub $8, %[count]") \
475 __ASM_EMIT("add $0x20, %[src]") \
476 __ASM_EMIT("4:") \
477 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm2") /* ymm2 = x0 */ \
478 __ASM_EMIT("vextractf128 $1, %%ymm1, %%xmm3") /* ymm2 = abs(x0) */ \
479 __ASM_EMIT("vcmpps " OP ", %%xmm1, %%xmm3, %%xmm6") /* xmm6 = [abs(result) <=> abs(x0)] */ \
480 __ASM_EMIT("vblendvps %%xmm6, %%xmm3, %%xmm1, %%xmm1") /* xmm1 = [abs(result) <=> abs(x0)] ? abs(result) : abs(x0) */ \
481 __ASM_EMIT("vblendvps %%xmm6, %%xmm2, %%xmm0, %%xmm0") /* xmm0 = [abs(result) <=> abs(x0)] ? result : x0 */ \
482 /* 4x block */ \
483 __ASM_EMIT("add $4, %[count]") \
484 __ASM_EMIT("jl 6f") \
485 __ASM_EMIT("vmovups 0x000(%[src]), %%xmm2") /* xmm2 = x0 */ \
486 __ASM_EMIT("vandps %%xmm7, %%xmm2, %%xmm3") /* xmm3 = abs(x0) */ \
487 __ASM_EMIT("vcmpps " OP ", %%xmm1, %%xmm3, %%xmm6") /* xmm6 = [abs(result) <=> abs(x0)] */ \
488 __ASM_EMIT("vblendvps %%xmm6, %%xmm3, %%xmm1, %%xmm1") /* xmm0 = [abs(result) <=> abs(x0)] ? abs(result) : abs(x0) */ \
489 __ASM_EMIT("vblendvps %%xmm6, %%xmm2, %%xmm0, %%xmm0") /* xmm0 = [abs(result) <=> abs(x0)] ? result : x0 */ \
490 __ASM_EMIT("sub $4, %[count]") \
491 __ASM_EMIT("add $0x10, %[src]") \
492 __ASM_EMIT("6:") \
493 __ASM_EMIT("vmovhlps %%xmm0, %%xmm0, %%xmm2") /* ymm2 = x0 */ \
494 __ASM_EMIT("vmovhlps %%xmm1, %%xmm1, %%xmm3") /* ymm2 = abs(x0) */ \
495 __ASM_EMIT("vcmpps " OP ", %%xmm1, %%xmm3, %%xmm6") /* xmm6 = [abs(result) <=> abs(x0)] */ \
496 __ASM_EMIT("vblendvps %%xmm6, %%xmm3, %%xmm1, %%xmm1") /* xmm1 = [abs(result) <=> abs(x0)] ? abs(result) : abs(x0) */ \
497 __ASM_EMIT("vblendvps %%xmm6, %%xmm2, %%xmm0, %%xmm0") /* xmm0 = [abs(result) <=> abs(x0)] ? result : x0 */ \
498 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") \
499 __ASM_EMIT("vunpcklps %%xmm1, %%xmm1, %%xmm1") \
500 __ASM_EMIT("vmovhlps %%xmm0, %%xmm0, %%xmm2") /* ymm2 = x0 */ \
501 __ASM_EMIT("vmovhlps %%xmm1, %%xmm1, %%xmm3") /* ymm2 = abs(x0) */ \
502 __ASM_EMIT("vcmpps " OP ", %%xmm1, %%xmm3, %%xmm6") /* xmm6 = [abs(result) <=> abs(x0)] */ \
503 __ASM_EMIT("vblendvps %%xmm6, %%xmm3, %%xmm1, %%xmm1") /* xmm1 = [abs(result) <=> abs(x0)] ? abs(result) : abs(x0) */ \
504 __ASM_EMIT("vblendvps %%xmm6, %%xmm2, %%xmm0, %%xmm0") /* xmm0 = [abs(result) <=> abs(x0)] ? result : x0 */ \
505 /* x1 blocks */ \
506 __ASM_EMIT("add $3, %[count]") \
507 __ASM_EMIT("jl 8f") \
508 __ASM_EMIT("7:") \
509 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm2") \
510 __ASM_EMIT("vandps %%xmm7, %%xmm2, %%xmm3") /* xmm3 = abs(x0) */ \
511 __ASM_EMIT("vcmpps " OP ", %%xmm1, %%xmm3, %%xmm6") /* xmm6 = [abs(result) <=> abs(x0)] */ \
512 __ASM_EMIT("vblendvps %%xmm6, %%xmm3, %%xmm1, %%xmm1") /* xmm1 = [abs(result) <=> abs(x0)] ? abs(result) : abs(x0) */ \
513 __ASM_EMIT("vblendvps %%xmm6, %%xmm2, %%xmm0, %%xmm0") /* xmm0 = [abs(result) <=> abs(x0)] ? result : x0 */ \
514 __ASM_EMIT("add $0x04, %[src]") \
515 __ASM_EMIT("dec %[count]") \
516 __ASM_EMIT("jge 7b") \
517 /* end */ \
518 __ASM_EMIT("8:")
519
520 float sign_min(const float *src, size_t count)
521 {
522 float res;
523 ARCH_X86_ASM(
524 SMINMAX_CORE("$1")
525 : [src] "+r" (src), [count] "+r" (count),
526 [res] "=Yz" (res)
527 : [CC] "m" (minmax_const)
528 : "cc",
529 "%xmm1", "%xmm2", "%xmm3",
530 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
531 );
532
533 return res;
534 }
535
536 float sign_max(const float *src, size_t count)
537 {
538 float res;
539 ARCH_X86_ASM(
540 SMINMAX_CORE("$6")
541 : [src] "+r" (src), [count] "+r" (count),
542 [res] "=Yz" (res)
543 : [CC] "m" (minmax_const)
544 : "cc",
545 "%xmm1", "%xmm2", "%xmm3",
546 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
547 );
548
549 return res;
550 }
551
552 #undef SMINMAX_CORE
553
554 void sign_minmax(const float *src, size_t count, float *min, float *max)
555 {
556 ARCH_X86_ASM(
557 __ASM_EMIT("vxorps %%ymm0, %%ymm0, %%ymm0")
558 __ASM_EMIT("vxorps %%ymm1, %%ymm1, %%ymm1")
559 __ASM_EMIT("test %[count], %[count]")
560 __ASM_EMIT("jz 6f")
561 __ASM_EMIT("vmovaps %[CC], %%ymm7") /* ymm7 = mask */
562 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%ymm0") /* ymm0 = min */
563 __ASM_EMIT("vandps %%ymm7, %%ymm0, %%ymm1") /* ymm1 = abs(min) */
564 __ASM_EMIT("vmovaps %%ymm0, %%ymm2") /* ymm2 = max */
565 __ASM_EMIT("vmovaps %%ymm1, %%ymm3") /* ymm3 = abs(max) */
566 __ASM_EMIT("sub $8, %[count]")
567 __ASM_EMIT("jb 2f")
568 /* 8x blocks */
569 __ASM_EMIT("1:")
570 __ASM_EMIT("vmovups 0x000(%[src]), %%ymm4") /* ymm4 = x */
571 __ASM_EMIT("vandps %%ymm7, %%ymm4, %%ymm5") /* ymm5 = abs(x) */
572 __ASM_EMIT("vcmpps $1, %%ymm1, %%ymm5, %%ymm6") /* ymm6 = [abs(x) < abs(min)] */
573 __ASM_EMIT("vblendvps %%ymm6, %%ymm4, %%ymm0, %%ymm0") /* ymm0 = [abs(x) < abs(min)] ? x : min */
574 __ASM_EMIT("vblendvps %%ymm6, %%ymm5, %%ymm1, %%ymm1") /* ymm1 = [abs(x) < abs(min)] ? abs(x) : abs(min) */
575 __ASM_EMIT("vcmpps $6, %%ymm3, %%ymm5, %%ymm6") /* ymm6 = [abs(x) > abs(max)] */
576 __ASM_EMIT("vblendvps %%ymm6, %%ymm4, %%ymm2, %%ymm2") /* ymm2 = [abs(x) > abs(max)] ? x : max */
577 __ASM_EMIT("vblendvps %%ymm6, %%ymm5, %%ymm3, %%ymm3") /* ymm3 = [abs(x) > abs(max)] ? abs(x) : abs(max) */
578 __ASM_EMIT("add $0x20, %[src]")
579 __ASM_EMIT("sub $8, %[count]")
580 __ASM_EMIT("jae 1b")
581 /* Reduce to 4x block */
582 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4") /* xmm4 = x */
583 __ASM_EMIT("vextractf128 $1, %%ymm1, %%xmm5") /* xmm5 = abs(x) */
584 __ASM_EMIT("vcmpps $1, %%xmm1, %%xmm5, %%xmm6") /* xmm6 = [abs(x) < abs(min)] */
585 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm0, %%xmm0") /* xmm0 = [abs(x) < abs(min)] ? x : min */
586 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm1, %%xmm1") /* xmm1 = [abs(x) < abs(min)] ? abs(x) : abs(min) */
587 __ASM_EMIT("vextractf128 $1, %%ymm2, %%xmm4") /* xmm4 = x */
588 __ASM_EMIT("vextractf128 $1, %%ymm3, %%xmm5") /* xmm5 = abs(x) */
589 __ASM_EMIT("vcmpps $6, %%xmm3, %%xmm5, %%xmm6") /* xmm6 = [abs(x) > abs(max)] */
590 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm2, %%xmm2") /* xmm2 = [abs(x) > abs(max)] ? x : max */
591 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm3, %%xmm3") /* xmm3 = [abs(x) > abs(max)] ? abs(x) : abs(max) */
592 /* 4x block */
593 __ASM_EMIT("2:")
594 __ASM_EMIT("add $4, %[count]")
595 __ASM_EMIT("jl 4f")
596 __ASM_EMIT("vmovups 0x000(%[src]), %%xmm4") /* xmm4 = x */
597 __ASM_EMIT("vandps %%xmm7, %%xmm4, %%xmm5") /* xmm5 = abs(x) */
598 __ASM_EMIT("vcmpps $1, %%xmm1, %%xmm5, %%xmm6") /* xmm6 = [abs(x) < abs(min)] */
599 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm0, %%xmm0") /* xmm0 = [abs(x) < abs(min)] ? x : min */
600 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm1, %%xmm1") /* xmm1 = [abs(x) < abs(min)] ? abs(x) : abs(min) */
601 __ASM_EMIT("vcmpps $6, %%xmm3, %%xmm5, %%xmm6") /* xmm6 = [abs(x) > abs(max)] */
602 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm2, %%xmm2") /* xmm2 = [abs(x) > abs(max)] ? x : max */
603 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm3, %%xmm3") /* xmm3 = [abs(x) > abs(max)] ? abs(x) : abs(max) */
604 __ASM_EMIT("sub $4, %[count]")
605 __ASM_EMIT("add $0x10, %[src]")
606 /* Reduce to 1x block, step 1 */
607 __ASM_EMIT("4:")
608 __ASM_EMIT("vmovhlps %%xmm0, %%xmm0, %%xmm4") /* xmm4 = x */
609 __ASM_EMIT("vmovhlps %%xmm1, %%xmm1, %%xmm5") /* xmm5 = abs(x) */
610 __ASM_EMIT("vcmpps $1, %%xmm1, %%xmm5, %%xmm6") /* xmm6 = [abs(x) < abs(min)] */
611 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm0, %%xmm0") /* xmm0 = [abs(x) < abs(min)] ? x : min */
612 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm1, %%xmm1") /* xmm1 = [abs(x) < abs(min)] ? abs(x) : abs(min) */
613 __ASM_EMIT("vmovhlps %%xmm2, %%xmm2, %%xmm4") /* xmm4 = x */
614 __ASM_EMIT("vmovhlps %%xmm3, %%xmm3, %%xmm5") /* xmm5 = abs(x) */
615 __ASM_EMIT("vcmpps $6, %%xmm3, %%xmm5, %%xmm6") /* xmm6 = [abs(x) > abs(max)] */
616 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm2, %%xmm2") /* xmm2 = [abs(x) > abs(max)] ? x : max */
617 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm3, %%xmm3") /* xmm3 = [abs(x) > abs(max)] ? abs(x) : abs(max) */
618 /* Reduce to 1x block, step 2 */
619 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0")
620 __ASM_EMIT("vunpcklps %%xmm1, %%xmm1, %%xmm1")
621 __ASM_EMIT("vunpcklps %%xmm2, %%xmm2, %%xmm2")
622 __ASM_EMIT("vunpcklps %%xmm3, %%xmm3, %%xmm3")
623 __ASM_EMIT("vmovhlps %%xmm0, %%xmm0, %%xmm4") /* xmm4 = x */
624 __ASM_EMIT("vmovhlps %%xmm1, %%xmm1, %%xmm5") /* xmm5 = abs(x) */
625 __ASM_EMIT("vcmpps $1, %%xmm1, %%xmm5, %%xmm6") /* xmm6 = [abs(x) < abs(min)] */
626 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm0, %%xmm0") /* xmm0 = [abs(x) < abs(min)] ? x : min */
627 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm1, %%xmm1") /* xmm1 = [abs(x) < abs(min)] ? abs(x) : abs(min) */
628 __ASM_EMIT("vmovhlps %%xmm2, %%xmm2, %%xmm4") /* xmm4 = x */
629 __ASM_EMIT("vmovhlps %%xmm3, %%xmm3, %%xmm5") /* xmm5 = abs(x) */
630 __ASM_EMIT("vcmpps $6, %%xmm3, %%xmm5, %%xmm6") /* xmm6 = [abs(x) > abs(max)] */
631 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm2, %%xmm2") /* xmm2 = [abs(x) > abs(max)] ? x : max */
632 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm3, %%xmm3") /* xmm3 = [abs(x) > abs(max)] ? abs(x) : abs(max) */
633 /* 1x blocks */
634 __ASM_EMIT("add $3, %[count]")
635 __ASM_EMIT("jl 6f")
636 __ASM_EMIT("5:")
637 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm4")
638 __ASM_EMIT("vandps %%xmm7, %%xmm4, %%xmm5") /* xmm5 = abs(x) */
639 __ASM_EMIT("vcmpps $1, %%xmm1, %%xmm5, %%xmm6") /* xmm6 = [abs(x) < abs(min)] */
640 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm0, %%xmm0") /* xmm0 = [abs(x) < abs(min)] ? x : min */
641 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm1, %%xmm1") /* xmm1 = [abs(x) < abs(min)] ? abs(x) : abs(min) */
642 __ASM_EMIT("vcmpps $6, %%xmm3, %%xmm5, %%xmm6") /* xmm6 = [abs(x) > abs(max)] */
643 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm2, %%xmm2") /* xmm2 = [abs(x) > abs(max)] ? x : max */
644 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm3, %%xmm3") /* xmm3 = [abs(x) > abs(max)] ? abs(x) : abs(max) */
645 __ASM_EMIT("add $0x04, %[src]")
646 __ASM_EMIT("dec %[count]")
647 __ASM_EMIT("jge 5b")
648 /* end */
649 __ASM_EMIT("6:")
650 __ASM_EMIT("vmovss %%xmm0, 0x00(%[min])")
651 __ASM_EMIT("vmovss %%xmm1, 0x00(%[max])")
652 : [src] "+r" (src), [count] "+r" (count)
653 : [min] "r" (min), [max] "r" (max),
654 [CC] "m" (minmax_const)
655 : "cc", "memory",
656 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
657 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
658 );
659 }
660
661 } /* namespace avx */
662 } /* namespace lsp */
663
664 #endif /* PRIVATE_DSP_ARCH_X86_AVX_SEARCH_MINMAX_H_ */