Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx512/search/minmax.h

raw
1 /*
2 * Copyright (C) 2024 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2024 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 29 июл. 2024 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_SEARCH_MINMAX_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX512_SEARCH_MINMAX_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX512_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_IMPL */
28
29 namespace lsp
30 {
31 namespace avx512
32 {
33 #define MINMAX_CORE(SRC, OP) \
34 __ASM_EMIT("vxorps %%zmm0, %%zmm0, %%zmm0") \
35 __ASM_EMIT("test %[count], %[count]") \
36 __ASM_EMIT("jz 12f") \
37 /* 64x block */ \
38 __ASM_EMIT("vbroadcastss (%[" SRC "]), %%zmm0") \
39 __ASM_EMIT("sub $64, %[count]") \
40 __ASM_EMIT("vmovaps %%zmm0, %%zmm1") \
41 __ASM_EMIT("jb 2f") \
42 __ASM_EMIT("vmovaps %%zmm0, %%zmm2") \
43 __ASM_EMIT("vmovaps %%zmm1, %%zmm3") \
44 __ASM_EMIT("1:") \
45 __ASM_EMIT(OP "ps 0x000(%[" SRC "]), %%zmm0, %%zmm0") \
46 __ASM_EMIT(OP "ps 0x040(%[" SRC "]), %%zmm1, %%zmm1") \
47 __ASM_EMIT(OP "ps 0x080(%[" SRC "]), %%zmm2, %%zmm2") \
48 __ASM_EMIT(OP "ps 0x0c0(%[" SRC "]), %%zmm3, %%zmm3") \
49 __ASM_EMIT("add $0x100, %[" SRC "]") \
50 __ASM_EMIT("sub $64, %[count]") \
51 __ASM_EMIT("jae 1b") \
52 __ASM_EMIT(OP "ps %%zmm2, %%zmm0, %%zmm0") \
53 __ASM_EMIT(OP "ps %%zmm3, %%zmm1, %%zmm1") \
54 __ASM_EMIT("2:") \
55 /* 32x block */ \
56 __ASM_EMIT("add $32, %[count]") \
57 __ASM_EMIT("jl 4f") \
58 __ASM_EMIT(OP "ps 0x000(%[" SRC "]), %%zmm0, %%zmm0") \
59 __ASM_EMIT(OP "ps 0x040(%[" SRC "]), %%zmm1, %%zmm1") \
60 __ASM_EMIT("add $0x80, %[" SRC "]") \
61 __ASM_EMIT("sub $32, %[count]") \
62 __ASM_EMIT("4:") \
63 __ASM_EMIT("vextractf64x4 $1, %%zmm0, %%ymm2") \
64 __ASM_EMIT("vextractf64x4 $1, %%zmm1, %%ymm3") \
65 __ASM_EMIT(OP "ps %%ymm2, %%ymm0, %%ymm0") \
66 __ASM_EMIT(OP "ps %%ymm3, %%ymm1, %%ymm1") \
67 /* 16x block */ \
68 __ASM_EMIT("add $16, %[count]") \
69 __ASM_EMIT("jl 6f") \
70 __ASM_EMIT(OP "ps 0x000(%[" SRC "]), %%ymm0, %%ymm0") \
71 __ASM_EMIT(OP "ps 0x020(%[" SRC "]), %%ymm1, %%ymm1") \
72 __ASM_EMIT("add $0x40, %[" SRC "]") \
73 __ASM_EMIT("sub $16, %[count]") \
74 __ASM_EMIT("6:") \
75 __ASM_EMIT(OP "ps %%ymm1, %%ymm0, %%ymm0") \
76 /* 8x block */ \
77 __ASM_EMIT("add $8, %[count]") \
78 __ASM_EMIT("jl 8f") \
79 __ASM_EMIT(OP "ps 0x000(%[" SRC "]), %%ymm0, %%ymm0") \
80 __ASM_EMIT("add $0x20, %[" SRC "]") \
81 __ASM_EMIT("sub $8, %[count]") \
82 __ASM_EMIT("8:") \
83 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm1") \
84 __ASM_EMIT(OP "ps %%xmm1, %%xmm0, %%xmm0") \
85 /* 4x block */ \
86 __ASM_EMIT("add $4, %[count]") \
87 __ASM_EMIT("jl 10f") \
88 __ASM_EMIT(OP "ps 0x000(%[" SRC "]), %%xmm0, %%xmm0") \
89 __ASM_EMIT("add $0x10, %[" SRC "]") \
90 __ASM_EMIT("sub $4, %[count]") \
91 __ASM_EMIT("10:") \
92 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm1") /* xmm0 = a b c d, xmm1 = c c d d */ \
93 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = a a b b */ \
94 __ASM_EMIT(OP "ps %%xmm1, %%xmm0, %%xmm0") \
95 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm1") \
96 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") \
97 __ASM_EMIT(OP "ps %%xmm1, %%xmm0, %%xmm0") \
98 /* 1x blocks */ \
99 __ASM_EMIT("add $3, %[count]") \
100 __ASM_EMIT("jl 12f") \
101 __ASM_EMIT("11:") \
102 __ASM_EMIT("vmovss 0x000(%[" SRC "]), %%xmm1") \
103 __ASM_EMIT(OP "ps %%xmm1, %%xmm0, %%xmm0") \
104 __ASM_EMIT("add $0x04, %[" SRC "]") \
105 __ASM_EMIT("dec %[count]") \
106 __ASM_EMIT("jge 11b") \
107 __ASM_EMIT("12:") \
108 /* end */
109
110 float min(const float *src, size_t count)
111 {
112 IF_ARCH_X86( float res; )
113 ARCH_X86_ASM(
114 MINMAX_CORE("src", "vmin")
115 : [src] "+r" (src), [count] "+r" (count),
116 [res] "=Yz" (res)
117 :
118 : "cc",
119 "%xmm1", "%xmm2", "%xmm3"
120 );
121
122 return res;
123 }
124
125 float max(const float *src, size_t count)
126 {
127 IF_ARCH_X86( float res; )
128 ARCH_X86_ASM(
129 MINMAX_CORE("src", "vmax")
130 : [src] "+r" (src), [count] "+r" (count),
131 [res] "=Yz" (res)
132 :
133 : "cc",
134 "%xmm1", "%xmm2", "%xmm3"
135 );
136
137 return res;
138 }
139
140 #undef MINMAX_CORE
141
142 #define AMINMAX_CORE(SRC, OP) \
143 __ASM_EMIT("vxorps %%zmm0, %%zmm0, %%zmm0") \
144 __ASM_EMIT("test %[count], %[count]") \
145 __ASM_EMIT("jz 12f") \
146 /* 64x block */ \
147 __ASM_EMIT("vbroadcastss (%[src]), %%zmm0") \
148 __ASM_EMIT("vmovaps %[CC], %%zmm2") \
149 __ASM_EMIT("vandps %%zmm0, %%zmm2, %%zmm0") \
150 __ASM_EMIT("sub $64, %[count]") \
151 __ASM_EMIT("vmovaps %%zmm0, %%zmm1") \
152 __ASM_EMIT("jb 2f") \
153 __ASM_EMIT("1:") \
154 __ASM_EMIT("vandps 0x000(%[" SRC "]), %%zmm2, %%zmm4") \
155 __ASM_EMIT("vandps 0x040(%[" SRC "]), %%zmm2, %%zmm5") \
156 __ASM_EMIT("vandps 0x080(%[" SRC "]), %%zmm2, %%zmm6") \
157 __ASM_EMIT("vandps 0x0c0(%[" SRC "]), %%zmm2, %%zmm7") \
158 __ASM_EMIT(OP "ps %%zmm4, %%zmm0, %%zmm0") \
159 __ASM_EMIT(OP "ps %%zmm5, %%zmm1, %%zmm1") \
160 __ASM_EMIT(OP "ps %%zmm6, %%zmm0, %%zmm0") \
161 __ASM_EMIT(OP "ps %%zmm7, %%zmm1, %%zmm1") \
162 __ASM_EMIT("add $0x100, %[" SRC "]") \
163 __ASM_EMIT("sub $64, %[count]") \
164 __ASM_EMIT("jae 1b") \
165 __ASM_EMIT("2:") \
166 /* 32x block */ \
167 __ASM_EMIT("add $32, %[count]") \
168 __ASM_EMIT("jl 4f") \
169 __ASM_EMIT("vandps 0x000(%[" SRC "]), %%zmm2, %%zmm4") \
170 __ASM_EMIT("vandps 0x040(%[" SRC "]), %%zmm2, %%zmm5") \
171 __ASM_EMIT(OP "ps %%zmm4, %%zmm0, %%zmm0") \
172 __ASM_EMIT(OP "ps %%zmm5, %%zmm1, %%zmm1") \
173 __ASM_EMIT("add $0x80, %[" SRC "]") \
174 __ASM_EMIT("sub $32, %[count]") \
175 __ASM_EMIT("4:") \
176 __ASM_EMIT(OP "ps %%zmm1, %%zmm0, %%zmm0") \
177 __ASM_EMIT("vextractf64x4 $1, %%zmm0, %%ymm1") \
178 /* 16x block */ \
179 __ASM_EMIT("add $16, %[count]") \
180 __ASM_EMIT("jl 6f") \
181 __ASM_EMIT("vandps 0x000(%[" SRC "]), %%ymm2, %%ymm4") \
182 __ASM_EMIT("vandps 0x020(%[" SRC "]), %%ymm2, %%ymm5") \
183 __ASM_EMIT(OP "ps %%ymm4, %%ymm0, %%ymm0") \
184 __ASM_EMIT(OP "ps %%ymm5, %%ymm1, %%ymm1") \
185 __ASM_EMIT("add $0x40, %[" SRC "]") \
186 __ASM_EMIT("sub $16, %[count]") \
187 __ASM_EMIT("6:") \
188 __ASM_EMIT(OP "ps %%ymm1, %%ymm0, %%ymm0") \
189 /* 8x block */ \
190 __ASM_EMIT("add $8, %[count]") \
191 __ASM_EMIT("jl 8f") \
192 __ASM_EMIT("vandps 0x000(%[" SRC "]), %%ymm2, %%ymm4") \
193 __ASM_EMIT(OP "ps %%ymm4, %%ymm0, %%ymm0") \
194 __ASM_EMIT("add $0x20, %[" SRC "]") \
195 __ASM_EMIT("sub $8, %[count]") \
196 __ASM_EMIT("8:") \
197 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4") \
198 __ASM_EMIT(OP "ps %%xmm4, %%xmm0, %%xmm0") \
199 /* 4x block */ \
200 __ASM_EMIT("add $4, %[count]") \
201 __ASM_EMIT("jl 10f") \
202 __ASM_EMIT("vandps 0x000(%[" SRC "]), %%xmm2, %%xmm4") \
203 __ASM_EMIT(OP "ps %%xmm4, %%xmm0, %%xmm0") \
204 __ASM_EMIT("add $0x10, %[" SRC "]") \
205 __ASM_EMIT("sub $4, %[count]") \
206 __ASM_EMIT("10:") \
207 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm4") /* xmm0 = a b c d, xmm1 = c c d d */ \
208 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") /* xmm0 = a a b b */ \
209 __ASM_EMIT(OP "ps %%xmm4, %%xmm0, %%xmm0") \
210 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm4") \
211 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") \
212 __ASM_EMIT(OP "ps %%xmm4, %%xmm0, %%xmm0") \
213 /* 1x blocks */ \
214 __ASM_EMIT("add $3, %[count]") \
215 __ASM_EMIT("jl 12f") \
216 __ASM_EMIT("11:") \
217 __ASM_EMIT("vmovss 0x000(%[" SRC "]), %%xmm4") \
218 __ASM_EMIT("vandps %%xmm4, %%xmm2, %%xmm4") \
219 __ASM_EMIT(OP "ps %%xmm4, %%xmm0, %%xmm0") \
220 __ASM_EMIT("add $0x04, %[" SRC "]") \
221 __ASM_EMIT("dec %[count]") \
222 __ASM_EMIT("jge 11b") \
223 __ASM_EMIT("12:") \
224 /* end */
225
226 IF_ARCH_X86(
227 static const uint32_t minmax_const[] __lsp_aligned64 =
228 {
229 LSP_DSP_VEC16(0x7fffffff)
230 };
231 )
232
233 float abs_min(const float *src, size_t count)
234 {
235 IF_ARCH_X86( float res; )
236 ARCH_X86_ASM(
237 AMINMAX_CORE("src", "vmin")
238 : [src] "+r" (src), [count] "+r" (count),
239 [res] "=Yz" (res)
240 : [CC] "m" (minmax_const)
241 : "cc",
242 "%xmm1", "%xmm2",
243 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
244 );
245
246 return res;
247 }
248
249 float abs_max(const float *src, size_t count)
250 {
251 IF_ARCH_X86( float res; )
252 ARCH_X86_ASM(
253 AMINMAX_CORE("src", "vmax")
254 : [src] "+r" (src), [count] "+r" (count),
255 [res] "=Yz" (res)
256 : [CC] "m" (minmax_const)
257 : "cc",
258 "%xmm1", "%xmm2",
259 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
260 );
261
262 return res;
263 }
264
265 #undef AMINMAX_CORE
266
267 void minmax(const float *src, size_t count, float *min, float *max)
268 {
269 ARCH_X86_ASM(
270 __ASM_EMIT("vxorps %%zmm0, %%zmm0, %%zmm0")
271 __ASM_EMIT("vxorps %%zmm1, %%zmm1, %%zmm1")
272 __ASM_EMIT("test %[count], %[count]")
273 __ASM_EMIT("jz 12f")
274 __ASM_EMIT("vbroadcastss (%[src]), %%zmm0")
275 __ASM_EMIT("vmovaps %%zmm0, %%zmm1")
276 /* 64x blocks */
277 __ASM_EMIT("sub $64, %[count]")
278 __ASM_EMIT("jb 2f")
279 __ASM_EMIT("1:")
280 __ASM_EMIT("vmovups 0x000(%[src]), %%zmm4")
281 __ASM_EMIT("vmovups 0x040(%[src]), %%zmm5")
282 __ASM_EMIT("vmovups 0x080(%[src]), %%zmm6")
283 __ASM_EMIT("vmovups 0x0c0(%[src]), %%zmm7")
284 __ASM_EMIT("vminps %%zmm4, %%zmm0, %%zmm0")
285 __ASM_EMIT("vmaxps %%zmm6, %%zmm1, %%zmm1")
286 __ASM_EMIT("vminps %%zmm5, %%zmm0, %%zmm0")
287 __ASM_EMIT("vmaxps %%zmm7, %%zmm1, %%zmm1")
288 __ASM_EMIT("vminps %%zmm6, %%zmm0, %%zmm0")
289 __ASM_EMIT("vmaxps %%zmm4, %%zmm1, %%zmm1")
290 __ASM_EMIT("vminps %%zmm7, %%zmm0, %%zmm0")
291 __ASM_EMIT("vmaxps %%zmm5, %%zmm1, %%zmm1")
292 __ASM_EMIT("add $0x100, %[src]")
293 __ASM_EMIT("sub $64, %[count]")
294 __ASM_EMIT("jae 1b")
295 __ASM_EMIT("2:")
296 /* 32x block */
297 __ASM_EMIT("add $32, %[count]")
298 __ASM_EMIT("jl 4f")
299 __ASM_EMIT("vmovups 0x000(%[src]), %%zmm4")
300 __ASM_EMIT("vmovups 0x040(%[src]), %%zmm5")
301 __ASM_EMIT("vminps %%zmm4, %%zmm0, %%zmm0")
302 __ASM_EMIT("vmaxps %%zmm4, %%zmm1, %%zmm1")
303 __ASM_EMIT("vminps %%zmm5, %%zmm0, %%zmm0")
304 __ASM_EMIT("vmaxps %%zmm5, %%zmm1, %%zmm1")
305 __ASM_EMIT("add $0x80, %[src]")
306 __ASM_EMIT("sub $32, %[count]")
307 __ASM_EMIT("4:")
308 __ASM_EMIT("vextractf64x4 $1, %%zmm0, %%ymm4")
309 __ASM_EMIT("vextractf64x4 $1, %%zmm1, %%ymm5")
310 __ASM_EMIT("vminps %%ymm4, %%ymm0, %%ymm0")
311 __ASM_EMIT("vmaxps %%ymm5, %%ymm1, %%ymm1")
312 /* 16x block */
313 __ASM_EMIT("add $16, %[count]")
314 __ASM_EMIT("jl 6f")
315 __ASM_EMIT("vmovups 0x000(%[src]), %%ymm4")
316 __ASM_EMIT("vmovups 0x020(%[src]), %%ymm5")
317 __ASM_EMIT("vminps %%ymm4, %%ymm0, %%ymm0")
318 __ASM_EMIT("vmaxps %%ymm4, %%ymm1, %%ymm1")
319 __ASM_EMIT("vminps %%ymm5, %%ymm0, %%ymm0")
320 __ASM_EMIT("vmaxps %%ymm5, %%ymm1, %%ymm1")
321 __ASM_EMIT("add $0x40, %[src]")
322 __ASM_EMIT("sub $16, %[count]")
323 __ASM_EMIT("6:")
324 /* 8x block */
325 __ASM_EMIT("add $8, %[count]")
326 __ASM_EMIT("jl 8f")
327 __ASM_EMIT("vmovups 0x000(%[src]), %%ymm4")
328 __ASM_EMIT("vminps %%ymm4, %%ymm0, %%ymm0")
329 __ASM_EMIT("vmaxps %%ymm4, %%ymm1, %%ymm1")
330 __ASM_EMIT("add $0x20, %[src]")
331 __ASM_EMIT("sub $8, %[count]")
332 __ASM_EMIT("8:")
333 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4")
334 __ASM_EMIT("vextractf128 $1, %%ymm1, %%xmm5")
335 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
336 __ASM_EMIT("vmaxps %%xmm5, %%xmm1, %%xmm1")
337 /* 4x block */
338 __ASM_EMIT("add $4, %[count]")
339 __ASM_EMIT("jl 10f")
340 __ASM_EMIT("vmovups 0x000(%[src]), %%xmm4")
341 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
342 __ASM_EMIT("vmaxps %%xmm4, %%xmm1, %%xmm1")
343 __ASM_EMIT("add $0x10, %[src]")
344 __ASM_EMIT("sub $4, %[count]")
345 __ASM_EMIT("10:")
346 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm4")
347 __ASM_EMIT("vunpckhps %%xmm1, %%xmm1, %%xmm5")
348 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0")
349 __ASM_EMIT("vunpcklps %%xmm1, %%xmm1, %%xmm1")
350 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
351 __ASM_EMIT("vmaxps %%xmm5, %%xmm1, %%xmm1")
352 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm4")
353 __ASM_EMIT("vunpckhps %%xmm1, %%xmm1, %%xmm5")
354 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0")
355 __ASM_EMIT("vunpcklps %%xmm1, %%xmm1, %%xmm1")
356 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
357 __ASM_EMIT("vmaxps %%xmm5, %%xmm1, %%xmm1")
358 /* 1x blocks */
359 __ASM_EMIT("add $3, %[count]")
360 __ASM_EMIT("jl 12f")
361 __ASM_EMIT("11:")
362 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm4")
363 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
364 __ASM_EMIT("vmaxps %%xmm4, %%xmm1, %%xmm1")
365 __ASM_EMIT("add $0x04, %[src]")
366 __ASM_EMIT("dec %[count]")
367 __ASM_EMIT("jge 11b")
368 __ASM_EMIT("12:")
369 /* end */
370 __ASM_EMIT("vmovss %%xmm0, 0x00(%[min])")
371 __ASM_EMIT("vmovss %%xmm1, 0x00(%[max])")
372 : [src] "+r" (src), [count] "+r" (count)
373 : [min] "r" (min), [max] "r" (max)
374 : "cc", "memory",
375 "%xmm0", "%xmm1",
376 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
377 );
378 }
379
380 void abs_minmax(const float *src, size_t count, float *min, float *max)
381 {
382 ARCH_X86_ASM(
383 __ASM_EMIT("vxorps %%zmm0, %%zmm0, %%zmm0")
384 __ASM_EMIT("vxorps %%zmm1, %%zmm1, %%zmm1")
385 __ASM_EMIT("test %[count], %[count]")
386 __ASM_EMIT("jz 12f")
387 /* 64x block */
388 __ASM_EMIT("vmovaps %[CC], %%zmm2")
389 __ASM_EMIT("vbroadcastss (%[src]), %%zmm0")
390 __ASM_EMIT("vandps %%zmm0, %%zmm2, %%zmm0")
391 __ASM_EMIT("sub $64, %[count]")
392 __ASM_EMIT("vmovaps %%zmm0, %%zmm1")
393 __ASM_EMIT("jb 2f")
394 __ASM_EMIT("1:")
395 __ASM_EMIT("vandps 0x000(%[src]), %%zmm2, %%zmm4")
396 __ASM_EMIT("vandps 0x040(%[src]), %%zmm2, %%zmm5")
397 __ASM_EMIT("vandps 0x080(%[src]), %%zmm2, %%zmm6")
398 __ASM_EMIT("vandps 0x0c0(%[src]), %%zmm2, %%zmm7")
399 __ASM_EMIT("vminps %%zmm4, %%zmm0, %%zmm0")
400 __ASM_EMIT("vmaxps %%zmm6, %%zmm1, %%zmm1")
401 __ASM_EMIT("vminps %%zmm5, %%zmm0, %%zmm0")
402 __ASM_EMIT("vmaxps %%zmm7, %%zmm1, %%zmm1")
403 __ASM_EMIT("vminps %%zmm6, %%zmm0, %%zmm0")
404 __ASM_EMIT("vmaxps %%zmm4, %%zmm1, %%zmm1")
405 __ASM_EMIT("vminps %%zmm7, %%zmm0, %%zmm0")
406 __ASM_EMIT("vmaxps %%zmm5, %%zmm1, %%zmm1")
407 __ASM_EMIT("add $0x100, %[src]")
408 __ASM_EMIT("sub $64, %[count]")
409 __ASM_EMIT("jae 1b")
410 __ASM_EMIT("2:")
411 /* 32x block */
412 __ASM_EMIT("add $32, %[count]")
413 __ASM_EMIT("jl 4f")
414 __ASM_EMIT("vandps 0x000(%[src]), %%zmm2, %%zmm4")
415 __ASM_EMIT("vandps 0x040(%[src]), %%zmm2, %%zmm5")
416 __ASM_EMIT("vminps %%zmm4, %%zmm0, %%zmm0")
417 __ASM_EMIT("vmaxps %%zmm4, %%zmm1, %%zmm1")
418 __ASM_EMIT("vminps %%zmm5, %%zmm0, %%zmm0")
419 __ASM_EMIT("vmaxps %%zmm5, %%zmm1, %%zmm1")
420 __ASM_EMIT("add $0x80, %[src]")
421 __ASM_EMIT("sub $32, %[count]")
422 __ASM_EMIT("4:")
423 __ASM_EMIT("vextractf64x4 $1, %%zmm0, %%ymm4")
424 __ASM_EMIT("vextractf64x4 $1, %%zmm1, %%ymm5")
425 __ASM_EMIT("vminps %%ymm4, %%ymm0, %%ymm0")
426 __ASM_EMIT("vmaxps %%ymm5, %%ymm1, %%ymm1")
427 /* 16x block */
428 __ASM_EMIT("add $16, %[count]")
429 __ASM_EMIT("jl 6f")
430 __ASM_EMIT("vandps 0x000(%[src]), %%ymm2, %%ymm4")
431 __ASM_EMIT("vandps 0x020(%[src]), %%ymm2, %%ymm5")
432 __ASM_EMIT("vminps %%ymm4, %%ymm0, %%ymm0")
433 __ASM_EMIT("vmaxps %%ymm4, %%ymm1, %%ymm1")
434 __ASM_EMIT("vminps %%ymm5, %%ymm0, %%ymm0")
435 __ASM_EMIT("vmaxps %%ymm5, %%ymm1, %%ymm1")
436 __ASM_EMIT("add $0x40, %[src]")
437 __ASM_EMIT("sub $16, %[count]")
438 __ASM_EMIT("6:")
439 /* 8x block */
440 __ASM_EMIT("add $8, %[count]")
441 __ASM_EMIT("jl 8f")
442 __ASM_EMIT("vandps 0x000(%[src]), %%ymm2, %%ymm4")
443 __ASM_EMIT("vminps %%ymm4, %%ymm0, %%ymm0")
444 __ASM_EMIT("vmaxps %%ymm4, %%ymm1, %%ymm1")
445 __ASM_EMIT("add $0x20, %[src]")
446 __ASM_EMIT("sub $8, %[count]")
447 __ASM_EMIT("8:")
448 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4")
449 __ASM_EMIT("vextractf128 $1, %%ymm1, %%xmm5")
450 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
451 __ASM_EMIT("vmaxps %%xmm5, %%xmm1, %%xmm1")
452 /* 4x block */
453 __ASM_EMIT("add $4, %[count]")
454 __ASM_EMIT("jl 10f")
455 __ASM_EMIT("vandps 0x000(%[src]), %%xmm2, %%xmm4")
456 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
457 __ASM_EMIT("vmaxps %%xmm4, %%xmm1, %%xmm1")
458 __ASM_EMIT("add $0x10, %[src]")
459 __ASM_EMIT("sub $4, %[count]")
460 __ASM_EMIT("10:")
461 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm4")
462 __ASM_EMIT("vunpckhps %%xmm1, %%xmm1, %%xmm5")
463 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0")
464 __ASM_EMIT("vunpcklps %%xmm1, %%xmm1, %%xmm1")
465 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
466 __ASM_EMIT("vmaxps %%xmm5, %%xmm1, %%xmm1")
467 __ASM_EMIT("vunpckhps %%xmm0, %%xmm0, %%xmm4")
468 __ASM_EMIT("vunpckhps %%xmm1, %%xmm1, %%xmm5")
469 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0")
470 __ASM_EMIT("vunpcklps %%xmm1, %%xmm1, %%xmm1")
471 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
472 __ASM_EMIT("vmaxps %%xmm5, %%xmm1, %%xmm1")
473 /* 1x blocks */
474 __ASM_EMIT("add $3, %[count]")
475 __ASM_EMIT("jl 12f")
476 __ASM_EMIT("11:")
477 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm4")
478 __ASM_EMIT("vandps %%xmm4, %%xmm2, %%xmm4")
479 __ASM_EMIT("vminps %%xmm4, %%xmm0, %%xmm0")
480 __ASM_EMIT("vmaxps %%xmm4, %%xmm1, %%xmm1")
481 __ASM_EMIT("add $0x04, %[src]")
482 __ASM_EMIT("dec %[count]")
483 __ASM_EMIT("jge 11b")
484 /* end */
485 __ASM_EMIT("12:")
486 __ASM_EMIT("vmovss %%xmm0, 0x00(%[min])")
487 __ASM_EMIT("vmovss %%xmm1, 0x00(%[max])")
488 : [src] "+r" (src), [count] "+r" (count)
489 : [min] "r" (min), [max] "r" (max),
490 [CC] "m" (minmax_const)
491 : "cc", "memory",
492 "%xmm0", "%xmm1",
493 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
494 );
495 }
496
497 #define SMINMAX_CORE(OP) \
498 __ASM_EMIT("vxorps %%zmm0, %%zmm0, %%zmm0") /* zmm0 = 0 */ \
499 __ASM_EMIT("test %[count], %[count]") \
500 __ASM_EMIT("jz 10f") \
501 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%zmm0") /* zmm0 = result */ \
502 __ASM_EMIT("vmovaps %[CC], %%zmm7") /* zmm7 = mask */ \
503 __ASM_EMIT("vandps %%zmm7, %%zmm0, %%zmm1") /* zmm1 = abs(result) */ \
504 /* 32x blocks */ \
505 __ASM_EMIT("sub $32, %[count]") \
506 __ASM_EMIT("jb 2f") \
507 __ASM_EMIT("1:") \
508 __ASM_EMIT("vmovups 0x000(%[src]), %%zmm2") /* zmm2 = x0 */ \
509 __ASM_EMIT("vmovups 0x040(%[src]), %%zmm4") /* zmm4 = x1 */ \
510 __ASM_EMIT("vandps %%zmm7, %%zmm2, %%zmm3") /* zmm3 = abs(x0) */ \
511 __ASM_EMIT("vandps %%zmm7, %%zmm4, %%zmm5") /* zmm5 = abs(x1) */ \
512 __ASM_EMIT("vcmpps " OP ", %%zmm1, %%zmm3, %%k2") /* k2 = [abs(result) <=> abs(x0)] */ \
513 __ASM_EMIT("vmovaps %%zmm3, %%zmm1 %{%%k2%}") /* zmm1 = [abs(result) <=> abs(x0)] ? abs(result) : abs(x0) */ \
514 __ASM_EMIT("vmovaps %%zmm2, %%zmm0 %{%%k2%}") /* zmm0 = [abs(result) <=> abs(x0)] ? result : x0 */ \
515 __ASM_EMIT("vcmpps " OP ", %%zmm1, %%zmm5, %%k3") /* k3 = [abs(result) <=> abs(x1)] */ \
516 __ASM_EMIT("vmovaps %%zmm5, %%zmm1 %{%%k3%}") /* zmm1 = [abs(result) <=> abs(x1)] ? abs(result) : abs(x1) */ \
517 __ASM_EMIT("vmovaps %%zmm4, %%zmm0 %{%%k3%}") /* zmm0 = [abs(result) <=> abs(x1)] ? result : x1 */ \
518 __ASM_EMIT("add $0x80, %[src]") \
519 __ASM_EMIT("sub $32, %[count]") \
520 __ASM_EMIT("jae 1b") \
521 /* 16x block */ \
522 __ASM_EMIT("2:") \
523 __ASM_EMIT("add $16, %[count]") \
524 __ASM_EMIT("jl 4f") \
525 __ASM_EMIT("vmovups 0x000(%[src]), %%zmm2") /* zmm2 = x0 */ \
526 __ASM_EMIT("vandps %%zmm7, %%zmm2, %%zmm3") /* zmm3 = abs(x0) */ \
527 __ASM_EMIT("vcmpps " OP ", %%zmm1, %%zmm3, %%k2") /* k2 = [abs(result) <=> abs(x0)] */ \
528 __ASM_EMIT("vmovaps %%zmm3, %%zmm1 %{%%k2%}") /* zmm1 = [abs(result) <=> abs(x0)] ? abs(result) : abs(x0) */ \
529 __ASM_EMIT("vmovaps %%zmm2, %%zmm0 %{%%k2%}") /* zmm0 = [abs(result) <=> abs(x0)] ? result : x0 */ \
530 __ASM_EMIT("sub $16, %[count]") \
531 __ASM_EMIT("add $0x40, %[src]") \
532 __ASM_EMIT("4:") \
533 __ASM_EMIT("vextractf64x4 $1, %%zmm0, %%ymm2") /* ymm2 = x0 */ \
534 __ASM_EMIT("vextractf64x4 $1, %%zmm1, %%ymm3") /* ymm3 = abs(x0) */ \
535 __ASM_EMIT("vcmpps " OP ", %%ymm1, %%ymm3, %%ymm6") /* ymm6 = [abs(result) <=> abs(x0)] */ \
536 __ASM_EMIT("vblendvps %%ymm6, %%ymm3, %%ymm1, %%ymm1") /* ymm1 = [abs(result) <=> abs(x0)] ? abs(result) : abs(x0) */ \
537 __ASM_EMIT("vblendvps %%ymm6, %%ymm2, %%ymm0, %%ymm0") /* ymm0 = [abs(result) <=> abs(x0)] ? result : x0 */ \
538 /* 8x block */ \
539 __ASM_EMIT("add $8, %[count]") \
540 __ASM_EMIT("jl 6f") \
541 __ASM_EMIT("vmovups 0x000(%[src]), %%ymm2") /* ymm2 = x0 */ \
542 __ASM_EMIT("vandps %%ymm7, %%ymm2, %%ymm3") /* ymm3 = abs(x0) */ \
543 __ASM_EMIT("vcmpps " OP ", %%ymm1, %%ymm3, %%ymm6") /* ymm6 = [abs(result) <=> abs(x0)] */ \
544 __ASM_EMIT("vblendvps %%ymm6, %%ymm3, %%ymm1, %%ymm1") /* ymm1 = [abs(result) <=> abs(x0)] ? abs(result) : abs(x0) */ \
545 __ASM_EMIT("vblendvps %%ymm6, %%ymm2, %%ymm0, %%ymm0") /* ymm0 = [abs(result) <=> abs(x0)] ? result : x0 */ \
546 __ASM_EMIT("sub $8, %[count]") \
547 __ASM_EMIT("add $0x20, %[src]") \
548 __ASM_EMIT("6:") \
549 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm2") /* ymm2 = x0 */ \
550 __ASM_EMIT("vextractf128 $1, %%ymm1, %%xmm3") /* ymm2 = abs(x0) */ \
551 __ASM_EMIT("vcmpps " OP ", %%xmm1, %%xmm3, %%xmm6") /* xmm6 = [abs(result) <=> abs(x0)] */ \
552 __ASM_EMIT("vblendvps %%xmm6, %%xmm3, %%xmm1, %%xmm1") /* xmm1 = [abs(result) <=> abs(x0)] ? abs(result) : abs(x0) */ \
553 __ASM_EMIT("vblendvps %%xmm6, %%xmm2, %%xmm0, %%xmm0") /* xmm0 = [abs(result) <=> abs(x0)] ? result : x0 */ \
554 /* 4x block */ \
555 __ASM_EMIT("add $4, %[count]") \
556 __ASM_EMIT("jl 8f") \
557 __ASM_EMIT("vmovups 0x000(%[src]), %%xmm2") /* xmm2 = x0 */ \
558 __ASM_EMIT("vandps %%xmm7, %%xmm2, %%xmm3") /* xmm3 = abs(x0) */ \
559 __ASM_EMIT("vcmpps " OP ", %%xmm1, %%xmm3, %%xmm6") /* xmm6 = [abs(result) <=> abs(x0)] */ \
560 __ASM_EMIT("vblendvps %%xmm6, %%xmm3, %%xmm1, %%xmm1") /* xmm1 = [abs(result) <=> abs(x0)] ? abs(result) : abs(x0) */ \
561 __ASM_EMIT("vblendvps %%xmm6, %%xmm2, %%xmm0, %%xmm0") /* xmm0 = [abs(result) <=> abs(x0)] ? result : x0 */ \
562 __ASM_EMIT("sub $4, %[count]") \
563 __ASM_EMIT("add $0x10, %[src]") \
564 __ASM_EMIT("8:") \
565 __ASM_EMIT("vmovhlps %%xmm0, %%xmm0, %%xmm2") /* ymm2 = x0 */ \
566 __ASM_EMIT("vmovhlps %%xmm1, %%xmm1, %%xmm3") /* ymm2 = abs(x0) */ \
567 __ASM_EMIT("vcmpps " OP ", %%xmm1, %%xmm3, %%xmm6") /* xmm6 = [abs(result) <=> abs(x0)] */ \
568 __ASM_EMIT("vblendvps %%xmm6, %%xmm3, %%xmm1, %%xmm1") /* xmm1 = [abs(result) <=> abs(x0)] ? abs(result) : abs(x0) */ \
569 __ASM_EMIT("vblendvps %%xmm6, %%xmm2, %%xmm0, %%xmm0") /* xmm0 = [abs(result) <=> abs(x0)] ? result : x0 */ \
570 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0") \
571 __ASM_EMIT("vunpcklps %%xmm1, %%xmm1, %%xmm1") \
572 __ASM_EMIT("vmovhlps %%xmm0, %%xmm0, %%xmm2") /* ymm2 = x0 */ \
573 __ASM_EMIT("vmovhlps %%xmm1, %%xmm1, %%xmm3") /* ymm2 = abs(x0) */ \
574 __ASM_EMIT("vcmpps " OP ", %%xmm1, %%xmm3, %%xmm6") /* xmm6 = [abs(result) <=> abs(x0)] */ \
575 __ASM_EMIT("vblendvps %%xmm6, %%xmm3, %%xmm1, %%xmm1") /* xmm1 = [abs(result) <=> abs(x0)] ? abs(result) : abs(x0) */ \
576 __ASM_EMIT("vblendvps %%xmm6, %%xmm2, %%xmm0, %%xmm0") /* xmm0 = [abs(result) <=> abs(x0)] ? result : x0 */ \
577 /* x1 blocks */ \
578 __ASM_EMIT("add $3, %[count]") \
579 __ASM_EMIT("jl 10f") \
580 __ASM_EMIT("9:") \
581 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm2") \
582 __ASM_EMIT("vandps %%xmm7, %%xmm2, %%xmm3") /* xmm3 = abs(x0) */ \
583 __ASM_EMIT("vcmpps " OP ", %%xmm1, %%xmm3, %%xmm6") /* xmm6 = [abs(result) <=> abs(x0)] */ \
584 __ASM_EMIT("vblendvps %%xmm6, %%xmm3, %%xmm1, %%xmm1") /* xmm1 = [abs(result) <=> abs(x0)] ? abs(result) : abs(x0) */ \
585 __ASM_EMIT("vblendvps %%xmm6, %%xmm2, %%xmm0, %%xmm0") /* xmm0 = [abs(result) <=> abs(x0)] ? result : x0 */ \
586 __ASM_EMIT("add $0x04, %[src]") \
587 __ASM_EMIT("dec %[count]") \
588 __ASM_EMIT("jge 9b") \
589 /* end */ \
590 __ASM_EMIT("10:")
591
592 float sign_min(const float *src, size_t count)
593 {
594 float res;
595 ARCH_X86_ASM(
596 SMINMAX_CORE("$1")
597 : [src] "+r" (src), [count] "+r" (count),
598 [res] "=Yz" (res)
599 : [CC] "m" (minmax_const)
600 : "cc",
601 "%xmm1", "%xmm2", "%xmm3",
602 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
603 "%k2", "%k3"
604 );
605
606 return res;
607 }
608
609 float sign_max(const float *src, size_t count)
610 {
611 float res;
612 ARCH_X86_ASM(
613 SMINMAX_CORE("$6")
614 : [src] "+r" (src), [count] "+r" (count),
615 [res] "=Yz" (res)
616 : [CC] "m" (minmax_const)
617 : "cc",
618 "%xmm1", "%xmm2", "%xmm3",
619 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
620 "%k2", "%k3"
621 );
622
623 return res;
624 }
625
626 #undef SMINMAX_CORE
627
628 void sign_minmax(const float *src, size_t count, float *min, float *max)
629 {
630 ARCH_X86_ASM(
631 __ASM_EMIT("vxorps %%zmm0, %%zmm0, %%zmm0")
632 __ASM_EMIT("vxorps %%zmm1, %%zmm1, %%zmm1")
633 __ASM_EMIT("test %[count], %[count]")
634 __ASM_EMIT("jz 8f")
635 __ASM_EMIT("vmovaps %[CC], %%zmm7") /* zmm7 = mask */
636 __ASM_EMIT("vbroadcastss 0x00(%[src]), %%zmm0") /* zmm0 = min */
637 __ASM_EMIT("vandps %%zmm7, %%zmm0, %%zmm1") /* zmm1 = abs(min) */
638 __ASM_EMIT("vmovaps %%zmm0, %%zmm2") /* zmm2 = max */
639 __ASM_EMIT("vmovaps %%zmm1, %%zmm3") /* zmm3 = abs(max) */
640 __ASM_EMIT("sub $16, %[count]")
641 __ASM_EMIT("jb 2f")
642 /* 16x blocks */
643 __ASM_EMIT("1:")
644 __ASM_EMIT("vmovups 0x000(%[src]), %%zmm4") /* zmm4 = x */
645 __ASM_EMIT("vandps %%zmm7, %%zmm4, %%zmm5") /* zmm5 = abs(x) */
646 __ASM_EMIT("vcmpps $1, %%zmm1, %%zmm5, %%k2") /* k2 = [abs(x) < abs(min)] */
647 __ASM_EMIT("vcmpps $6, %%zmm3, %%zmm5, %%k3") /* k3 = [abs(x) > abs(max)] */
648 __ASM_EMIT("vmovaps %%zmm4, %%zmm0 %{%%k2%}") /* zmm0 = [abs(x) < abs(min)] ? x : min */
649 __ASM_EMIT("vmovaps %%zmm4, %%zmm2 %{%%k3%}") /* zmm2 = [abs(x) > abs(max)] ? x : max */
650 __ASM_EMIT("vmovaps %%zmm5, %%zmm1 %{%%k2%}") /* zmm1 = [abs(x) < abs(min)] ? abs(x) : abs(min) */
651 __ASM_EMIT("vmovaps %%zmm5, %%zmm3 %{%%k3%}") /* zmm3 = [abs(x) > abs(max)] ? abs(x) : abs(max) */
652 __ASM_EMIT("add $0x40, %[src]")
653 __ASM_EMIT("sub $16, %[count]")
654 __ASM_EMIT("jae 1b")
655 __ASM_EMIT("vextractf64x4 $1, %%zmm0, %%ymm4") /* ymm4 = x */
656 __ASM_EMIT("vextractf64x4 $1, %%zmm1, %%ymm5") /* ymm5 = abs(x) */
657 __ASM_EMIT("vcmpps $1, %%ymm1, %%ymm5, %%ymm6") /* ymm6 = [abs(x) < abs(min)] */
658 __ASM_EMIT("vblendvps %%ymm6, %%ymm4, %%ymm0, %%ymm0") /* ymm0 = [abs(x) < abs(min)] ? x : min */
659 __ASM_EMIT("vblendvps %%ymm6, %%ymm5, %%ymm1, %%ymm1") /* ymm1 = [abs(x) < abs(min)] ? abs(x) : abs(min) */
660 __ASM_EMIT("vextractf64x4 $1, %%zmm2, %%ymm4") /* ymm4 = x */
661 __ASM_EMIT("vextractf64x4 $1, %%zmm3, %%ymm5") /* ymm5 = abs(x) */
662 __ASM_EMIT("vcmpps $6, %%ymm3, %%ymm5, %%ymm6") /* ymm6 = [abs(x) > abs(max)] */
663 __ASM_EMIT("vblendvps %%ymm6, %%ymm4, %%ymm2, %%ymm2") /* ymm2 = [abs(x) > abs(max)] ? x : max */
664 __ASM_EMIT("vblendvps %%ymm6, %%ymm5, %%ymm3, %%ymm3") /* ymm3 = [abs(x) > abs(max)] ? abs(x) : abs(max) */
665 /* 8x block */
666 __ASM_EMIT("2:")
667 __ASM_EMIT("add $8, %[count]")
668 __ASM_EMIT("jl 4f")
669 __ASM_EMIT("vmovups 0x000(%[src]), %%ymm4") /* ymm4 = x */
670 __ASM_EMIT("vandps %%ymm7, %%ymm4, %%ymm5") /* ymm5 = abs(x) */
671 __ASM_EMIT("vcmpps $1, %%ymm1, %%ymm5, %%ymm6") /* ymm6 = [abs(x) < abs(min)] */
672 __ASM_EMIT("vblendvps %%ymm6, %%ymm4, %%ymm0, %%ymm0") /* ymm0 = [abs(x) < abs(min)] ? x : min */
673 __ASM_EMIT("vblendvps %%ymm6, %%ymm5, %%ymm1, %%ymm1") /* ymm1 = [abs(x) < abs(min)] ? abs(x) : abs(min) */
674 __ASM_EMIT("vcmpps $6, %%ymm3, %%ymm5, %%ymm6") /* ymm6 = [abs(x) > abs(max)] */
675 __ASM_EMIT("vblendvps %%ymm6, %%ymm4, %%ymm2, %%ymm2") /* ymm2 = [abs(x) > abs(max)] ? x : max */
676 __ASM_EMIT("vblendvps %%ymm6, %%ymm5, %%ymm3, %%ymm3") /* ymm3 = [abs(x) > abs(max)] ? abs(x) : abs(max) */
677 __ASM_EMIT("add $0x20, %[src]")
678 __ASM_EMIT("sub $8, %[count]")
679 __ASM_EMIT("4:")
680 __ASM_EMIT("vextractf128 $1, %%ymm0, %%xmm4") /* xmm4 = x */
681 __ASM_EMIT("vextractf128 $1, %%ymm1, %%xmm5") /* xmm5 = abs(x) */
682 __ASM_EMIT("vcmpps $1, %%xmm1, %%xmm5, %%xmm6") /* xmm6 = [abs(x) < abs(min)] */
683 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm0, %%xmm0") /* xmm0 = [abs(x) < abs(min)] ? x : min */
684 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm1, %%xmm1") /* xmm1 = [abs(x) < abs(min)] ? abs(x) : abs(min) */
685 __ASM_EMIT("vextractf128 $1, %%ymm2, %%xmm4") /* xmm4 = x */
686 __ASM_EMIT("vextractf128 $1, %%ymm3, %%xmm5") /* xmm5 = abs(x) */
687 __ASM_EMIT("vcmpps $6, %%xmm3, %%xmm5, %%xmm6") /* xmm6 = [abs(x) > abs(max)] */
688 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm2, %%xmm2") /* xmm2 = [abs(x) > abs(max)] ? x : max */
689 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm3, %%xmm3") /* xmm3 = [abs(x) > abs(max)] ? abs(x) : abs(max) */
690 /* 4x block */
691 __ASM_EMIT("add $4, %[count]")
692 __ASM_EMIT("jl 6f")
693 __ASM_EMIT("vmovups 0x000(%[src]), %%xmm4") /* xmm4 = x */
694 __ASM_EMIT("vandps %%xmm7, %%xmm4, %%xmm5") /* xmm5 = abs(x) */
695 __ASM_EMIT("vcmpps $1, %%xmm1, %%xmm5, %%xmm6") /* xmm6 = [abs(x) < abs(min)] */
696 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm0, %%xmm0") /* xmm0 = [abs(x) < abs(min)] ? x : min */
697 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm1, %%xmm1") /* xmm1 = [abs(x) < abs(min)] ? abs(x) : abs(min) */
698 __ASM_EMIT("vcmpps $6, %%xmm3, %%xmm5, %%xmm6") /* xmm6 = [abs(x) > abs(max)] */
699 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm2, %%xmm2") /* xmm2 = [abs(x) > abs(max)] ? x : max */
700 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm3, %%xmm3") /* xmm3 = [abs(x) > abs(max)] ? abs(x) : abs(max) */
701 __ASM_EMIT("sub $4, %[count]")
702 __ASM_EMIT("add $0x10, %[src]")
703 __ASM_EMIT("6:")
704 /* Reduce to 1x block, step 1 */
705 __ASM_EMIT("vmovhlps %%xmm0, %%xmm0, %%xmm4") /* xmm4 = x */
706 __ASM_EMIT("vmovhlps %%xmm1, %%xmm1, %%xmm5") /* xmm5 = abs(x) */
707 __ASM_EMIT("vcmpps $1, %%xmm1, %%xmm5, %%xmm6") /* xmm6 = [abs(x) < abs(min)] */
708 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm0, %%xmm0") /* xmm0 = [abs(x) < abs(min)] ? x : min */
709 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm1, %%xmm1") /* xmm1 = [abs(x) < abs(min)] ? abs(x) : abs(min) */
710 __ASM_EMIT("vmovhlps %%xmm2, %%xmm2, %%xmm4") /* xmm4 = x */
711 __ASM_EMIT("vmovhlps %%xmm3, %%xmm3, %%xmm5") /* xmm5 = abs(x) */
712 __ASM_EMIT("vcmpps $6, %%xmm3, %%xmm5, %%xmm6") /* xmm6 = [abs(x) > abs(max)] */
713 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm2, %%xmm2") /* xmm2 = [abs(x) > abs(max)] ? x : max */
714 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm3, %%xmm3") /* xmm3 = [abs(x) > abs(max)] ? abs(x) : abs(max) */
715 /* Reduce to 1x block, step 2 */
716 __ASM_EMIT("vunpcklps %%xmm0, %%xmm0, %%xmm0")
717 __ASM_EMIT("vunpcklps %%xmm1, %%xmm1, %%xmm1")
718 __ASM_EMIT("vunpcklps %%xmm2, %%xmm2, %%xmm2")
719 __ASM_EMIT("vunpcklps %%xmm3, %%xmm3, %%xmm3")
720 __ASM_EMIT("vmovhlps %%xmm0, %%xmm0, %%xmm4") /* xmm4 = x */
721 __ASM_EMIT("vmovhlps %%xmm1, %%xmm1, %%xmm5") /* xmm5 = abs(x) */
722 __ASM_EMIT("vcmpps $1, %%xmm1, %%xmm5, %%xmm6") /* xmm6 = [abs(x) < abs(min)] */
723 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm0, %%xmm0") /* xmm0 = [abs(x) < abs(min)] ? x : min */
724 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm1, %%xmm1") /* xmm1 = [abs(x) < abs(min)] ? abs(x) : abs(min) */
725 __ASM_EMIT("vmovhlps %%xmm2, %%xmm2, %%xmm4") /* xmm4 = x */
726 __ASM_EMIT("vmovhlps %%xmm3, %%xmm3, %%xmm5") /* xmm5 = abs(x) */
727 __ASM_EMIT("vcmpps $6, %%xmm3, %%xmm5, %%xmm6") /* xmm6 = [abs(x) > abs(max)] */
728 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm2, %%xmm2") /* xmm2 = [abs(x) > abs(max)] ? x : max */
729 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm3, %%xmm3") /* xmm3 = [abs(x) > abs(max)] ? abs(x) : abs(max) */
730 /* 1x blocks */
731 __ASM_EMIT("add $3, %[count]")
732 __ASM_EMIT("jl 8f")
733 __ASM_EMIT("7:")
734 __ASM_EMIT("vmovss 0x000(%[src]), %%xmm4")
735 __ASM_EMIT("vandps %%xmm7, %%xmm4, %%xmm5") /* xmm5 = abs(x) */
736 __ASM_EMIT("vcmpps $1, %%xmm1, %%xmm5, %%xmm6") /* xmm6 = [abs(x) < abs(min)] */
737 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm0, %%xmm0") /* xmm0 = [abs(x) < abs(min)] ? x : min */
738 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm1, %%xmm1") /* xmm1 = [abs(x) < abs(min)] ? abs(x) : abs(min) */
739 __ASM_EMIT("vcmpps $6, %%xmm3, %%xmm5, %%xmm6") /* xmm6 = [abs(x) > abs(max)] */
740 __ASM_EMIT("vblendvps %%xmm6, %%xmm4, %%xmm2, %%xmm2") /* xmm2 = [abs(x) > abs(max)] ? x : max */
741 __ASM_EMIT("vblendvps %%xmm6, %%xmm5, %%xmm3, %%xmm3") /* xmm3 = [abs(x) > abs(max)] ? abs(x) : abs(max) */
742 __ASM_EMIT("add $0x04, %[src]")
743 __ASM_EMIT("dec %[count]")
744 __ASM_EMIT("jge 7b")
745 /* end */
746 __ASM_EMIT("8:")
747 __ASM_EMIT("vmovss %%xmm0, 0x00(%[min])")
748 __ASM_EMIT("vmovss %%xmm1, 0x00(%[max])")
749 : [src] "+r" (src), [count] "+r" (count)
750 : [min] "r" (min), [max] "r" (max),
751 [CC] "m" (minmax_const)
752 : "cc", "memory",
753 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
754 "%xmm4", "%xmm5", "%xmm6", "%xmm7",
755 "%k2", "%k3"
756 );
757 }
758
759 } /* namespace avx512 */
760 } /* namespace lsp */
761
762 #endif /* PRIVATE_DSP_ARCH_X86_AVX512_SEARCH_MINMAX_H_ */