Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx/pmath/clamp.h

raw
1 /*
2 * Copyright (C) 2025 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2025 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 27 нояб. 2025 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX_PMATH_CLAMP_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX_PMATH_CLAMP_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX_IMPL */
28
29 namespace lsp
30 {
31 namespace avx
32 {
33 void clamp_vv1(float *dst, const float *min, const float *max, size_t count)
34 {
35 IF_ARCH_X86(size_t off);
36 ARCH_X86_ASM
37 (
38 __ASM_EMIT("xor %[off], %[off]")
39 // 64x blocks
40 __ASM_EMIT("sub $64, %[count]")
41 __ASM_EMIT("jb 2f")
42 __ASM_EMIT("1:")
43 __ASM_EMIT("vmovups 0x00(%[dst],%[off]), %%ymm0") /* ymm0 = x */
44 __ASM_EMIT("vmovups 0x20(%[dst],%[off]), %%ymm1")
45 __ASM_EMIT("vmovups 0x40(%[dst],%[off]), %%ymm2")
46 __ASM_EMIT("vmovups 0x60(%[dst],%[off]), %%ymm3")
47 __ASM_EMIT("vmovups 0x80(%[dst],%[off]), %%ymm4")
48 __ASM_EMIT("vmovups 0xa0(%[dst],%[off]), %%ymm5")
49 __ASM_EMIT("vmovups 0xc0(%[dst],%[off]), %%ymm6")
50 __ASM_EMIT("vmovups 0xe0(%[dst],%[off]), %%ymm7")
51 __ASM_EMIT("vmaxps 0x00(%[min],%[off]), %%ymm0, %%ymm0") /* ymm0 = max(x, min) */
52 __ASM_EMIT("vmaxps 0x20(%[min],%[off]), %%ymm1, %%ymm1")
53 __ASM_EMIT("vmaxps 0x40(%[min],%[off]), %%ymm2, %%ymm2")
54 __ASM_EMIT("vmaxps 0x60(%[min],%[off]), %%ymm3, %%ymm3")
55 __ASM_EMIT("vmaxps 0x80(%[min],%[off]), %%ymm4, %%ymm4")
56 __ASM_EMIT("vmaxps 0xa0(%[min],%[off]), %%ymm5, %%ymm5")
57 __ASM_EMIT("vmaxps 0xc0(%[min],%[off]), %%ymm6, %%ymm6")
58 __ASM_EMIT("vmaxps 0xe0(%[min],%[off]), %%ymm7, %%ymm7")
59 __ASM_EMIT("vminps 0x00(%[max],%[off]), %%ymm0, %%ymm0") /* ymm0 = clamp(x, min, max) = min(max(x, min), max) */
60 __ASM_EMIT("vminps 0x20(%[max],%[off]), %%ymm1, %%ymm1")
61 __ASM_EMIT("vminps 0x40(%[max],%[off]), %%ymm2, %%ymm2")
62 __ASM_EMIT("vminps 0x60(%[max],%[off]), %%ymm3, %%ymm3")
63 __ASM_EMIT("vminps 0x80(%[max],%[off]), %%ymm4, %%ymm4")
64 __ASM_EMIT("vminps 0xa0(%[max],%[off]), %%ymm5, %%ymm5")
65 __ASM_EMIT("vminps 0xc0(%[max],%[off]), %%ymm6, %%ymm6")
66 __ASM_EMIT("vminps 0xe0(%[max],%[off]), %%ymm7, %%ymm7")
67 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
68 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
69 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst],%[off])")
70 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst],%[off])")
71 __ASM_EMIT("vmovups %%ymm4, 0x80(%[dst],%[off])")
72 __ASM_EMIT("vmovups %%ymm5, 0xa0(%[dst],%[off])")
73 __ASM_EMIT("vmovups %%ymm6, 0xc0(%[dst],%[off])")
74 __ASM_EMIT("vmovups %%ymm7, 0xe0(%[dst],%[off])")
75 __ASM_EMIT("add $0x100, %[off]")
76 __ASM_EMIT("sub $64, %[count]")
77 __ASM_EMIT("jae 1b")
78 // 32x block
79 __ASM_EMIT("2:")
80 __ASM_EMIT("add $32, %[count]")
81 __ASM_EMIT("jl 4f")
82 __ASM_EMIT("vmovups 0x00(%[dst],%[off]), %%ymm0") /* ymm0 = x */
83 __ASM_EMIT("vmovups 0x20(%[dst],%[off]), %%ymm1")
84 __ASM_EMIT("vmovups 0x40(%[dst],%[off]), %%ymm2")
85 __ASM_EMIT("vmovups 0x60(%[dst],%[off]), %%ymm3")
86 __ASM_EMIT("vmaxps 0x00(%[min],%[off]), %%ymm0, %%ymm0") /* ymm0 = max(x, min) */
87 __ASM_EMIT("vmaxps 0x20(%[min],%[off]), %%ymm1, %%ymm1")
88 __ASM_EMIT("vmaxps 0x40(%[min],%[off]), %%ymm2, %%ymm2")
89 __ASM_EMIT("vmaxps 0x60(%[min],%[off]), %%ymm3, %%ymm3")
90 __ASM_EMIT("vminps 0x00(%[max],%[off]), %%ymm0, %%ymm0") /* ymm0 = clamp(x, min, max) = min(max(x, min), max) */
91 __ASM_EMIT("vminps 0x20(%[max],%[off]), %%ymm1, %%ymm1")
92 __ASM_EMIT("vminps 0x40(%[max],%[off]), %%ymm2, %%ymm2")
93 __ASM_EMIT("vminps 0x60(%[max],%[off]), %%ymm3, %%ymm3")
94 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
95 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
96 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst],%[off])")
97 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst],%[off])")
98 __ASM_EMIT("sub $32, %[count]")
99 __ASM_EMIT("add $0x80, %[off]")
100 // 16x block
101 __ASM_EMIT("4:")
102 __ASM_EMIT("add $16, %[count]")
103 __ASM_EMIT("jl 6f")
104 __ASM_EMIT("vmovups 0x00(%[dst],%[off]), %%ymm0") /* ymm0 = x */
105 __ASM_EMIT("vmovups 0x20(%[dst],%[off]), %%ymm1")
106 __ASM_EMIT("vmaxps 0x00(%[min],%[off]), %%ymm0, %%ymm0") /* ymm0 = max(x, min) */
107 __ASM_EMIT("vmaxps 0x20(%[min],%[off]), %%ymm1, %%ymm1")
108 __ASM_EMIT("vminps 0x00(%[max],%[off]), %%ymm0, %%ymm0") /* ymm0 = clamp(x, min, max) = min(max(x, min), max) */
109 __ASM_EMIT("vminps 0x20(%[max],%[off]), %%ymm1, %%ymm1")
110 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
111 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
112 __ASM_EMIT("sub $16, %[count]")
113 __ASM_EMIT("add $0x40, %[off]")
114 // 8x block
115 __ASM_EMIT("6:")
116 __ASM_EMIT("add $8, %[count]")
117 __ASM_EMIT("jl 8f")
118 __ASM_EMIT("vmovups 0x00(%[dst],%[off]), %%ymm0") /* ymm0 = x */
119 __ASM_EMIT("vmaxps 0x00(%[min],%[off]), %%ymm0, %%ymm0") /* ymm0 = max(x, min) */
120 __ASM_EMIT("vminps 0x00(%[max],%[off]), %%ymm0, %%ymm0") /* ymm0 = clamp(x, min, max) = min(max(x, min), max) */
121 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
122 __ASM_EMIT("sub $8, %[count]")
123 __ASM_EMIT("add $0x20, %[off]")
124 // 4x block
125 __ASM_EMIT("8:")
126 __ASM_EMIT("add $4, %[count]")
127 __ASM_EMIT("jl 10f")
128 __ASM_EMIT("vmovups 0x00(%[dst],%[off]), %%xmm0") /* xmm0 = x */
129 __ASM_EMIT("vmaxps 0x00(%[min],%[off]), %%xmm0, %%xmm0") /* xmm0 = max(x, min) */
130 __ASM_EMIT("vminps 0x00(%[max],%[off]), %%xmm0, %%xmm0") /* xmm0 = clamp(x, min, max) = min(max(x, min), max) */
131 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst],%[off])")
132 __ASM_EMIT("sub $4, %[count]")
133 __ASM_EMIT("add $0x10, %[off]")
134 // 1x blocks
135 __ASM_EMIT("10:")
136 __ASM_EMIT("add $3, %[count]")
137 __ASM_EMIT("jl 12f")
138 __ASM_EMIT("11:")
139 __ASM_EMIT("vmovss 0x00(%[dst],%[off]), %%xmm0") /* xmm0 = x */
140 __ASM_EMIT("vmaxss 0x00(%[min],%[off]), %%xmm0, %%xmm0") /* xmm0 = max(x, min) */
141 __ASM_EMIT("vminss 0x00(%[max],%[off]), %%xmm0, %%xmm0") /* xmm0 = clamp(x, min, max) = min(max(x, min), max) */
142 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
143 __ASM_EMIT("add $0x04, %[off]")
144 __ASM_EMIT("dec %[count]")
145 __ASM_EMIT("jge 11b")
146 // End
147 __ASM_EMIT("12:")
148 : [off] "=&r" (off), [count] "+r" (count)
149 : [dst] "r" (dst), [min] "r" (min), [max] "r" (max)
150 : "cc", "memory",
151 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
152 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
153 );
154 }
155
156 void clamp_vv2(float *dst, const float *src, const float *min, const float *max, size_t count)
157 {
158 IF_ARCH_X86(size_t off);
159 ARCH_X86_ASM
160 (
161 __ASM_EMIT("xor %[off], %[off]")
162 // 64x blocks
163 __ASM_EMIT64("sub $64, %[count]")
164 __ASM_EMIT32("subl $64, %[count]")
165 __ASM_EMIT("jb 2f")
166 __ASM_EMIT("1:")
167 __ASM_EMIT("vmovups 0x00(%[src],%[off]), %%ymm0") /* ymm0 = x */
168 __ASM_EMIT("vmovups 0x20(%[src],%[off]), %%ymm1")
169 __ASM_EMIT("vmovups 0x40(%[src],%[off]), %%ymm2")
170 __ASM_EMIT("vmovups 0x60(%[src],%[off]), %%ymm3")
171 __ASM_EMIT("vmovups 0x80(%[src],%[off]), %%ymm4")
172 __ASM_EMIT("vmovups 0xa0(%[src],%[off]), %%ymm5")
173 __ASM_EMIT("vmovups 0xc0(%[src],%[off]), %%ymm6")
174 __ASM_EMIT("vmovups 0xe0(%[src],%[off]), %%ymm7")
175 __ASM_EMIT("vmaxps 0x00(%[min],%[off]), %%ymm0, %%ymm0") /* ymm0 = max(x, min) */
176 __ASM_EMIT("vmaxps 0x20(%[min],%[off]), %%ymm1, %%ymm1")
177 __ASM_EMIT("vmaxps 0x40(%[min],%[off]), %%ymm2, %%ymm2")
178 __ASM_EMIT("vmaxps 0x60(%[min],%[off]), %%ymm3, %%ymm3")
179 __ASM_EMIT("vmaxps 0x80(%[min],%[off]), %%ymm4, %%ymm4")
180 __ASM_EMIT("vmaxps 0xa0(%[min],%[off]), %%ymm5, %%ymm5")
181 __ASM_EMIT("vmaxps 0xc0(%[min],%[off]), %%ymm6, %%ymm6")
182 __ASM_EMIT("vmaxps 0xe0(%[min],%[off]), %%ymm7, %%ymm7")
183 __ASM_EMIT("vminps 0x00(%[max],%[off]), %%ymm0, %%ymm0") /* ymm0 = clamp(x, min, max) = min(max(x, min), max) */
184 __ASM_EMIT("vminps 0x20(%[max],%[off]), %%ymm1, %%ymm1")
185 __ASM_EMIT("vminps 0x40(%[max],%[off]), %%ymm2, %%ymm2")
186 __ASM_EMIT("vminps 0x60(%[max],%[off]), %%ymm3, %%ymm3")
187 __ASM_EMIT("vminps 0x80(%[max],%[off]), %%ymm4, %%ymm4")
188 __ASM_EMIT("vminps 0xa0(%[max],%[off]), %%ymm5, %%ymm5")
189 __ASM_EMIT("vminps 0xc0(%[max],%[off]), %%ymm6, %%ymm6")
190 __ASM_EMIT("vminps 0xe0(%[max],%[off]), %%ymm7, %%ymm7")
191 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
192 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
193 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst],%[off])")
194 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst],%[off])")
195 __ASM_EMIT("vmovups %%ymm4, 0x80(%[dst],%[off])")
196 __ASM_EMIT("vmovups %%ymm5, 0xa0(%[dst],%[off])")
197 __ASM_EMIT("vmovups %%ymm6, 0xc0(%[dst],%[off])")
198 __ASM_EMIT("vmovups %%ymm7, 0xe0(%[dst],%[off])")
199 __ASM_EMIT("add $0x100, %[off]")
200 __ASM_EMIT64("sub $64, %[count]")
201 __ASM_EMIT32("subl $64, %[count]")
202 __ASM_EMIT("jae 1b")
203 // 32x block
204 __ASM_EMIT("2:")
205 __ASM_EMIT64("add $32, %[count]")
206 __ASM_EMIT32("addl $32, %[count]")
207 __ASM_EMIT("jl 4f")
208 __ASM_EMIT("vmovups 0x00(%[src],%[off]), %%ymm0") /* ymm0 = x */
209 __ASM_EMIT("vmovups 0x20(%[src],%[off]), %%ymm1")
210 __ASM_EMIT("vmovups 0x40(%[src],%[off]), %%ymm2")
211 __ASM_EMIT("vmovups 0x60(%[src],%[off]), %%ymm3")
212 __ASM_EMIT("vmaxps 0x00(%[min],%[off]), %%ymm0, %%ymm0") /* ymm0 = max(x, min) */
213 __ASM_EMIT("vmaxps 0x20(%[min],%[off]), %%ymm1, %%ymm1")
214 __ASM_EMIT("vmaxps 0x40(%[min],%[off]), %%ymm2, %%ymm2")
215 __ASM_EMIT("vmaxps 0x60(%[min],%[off]), %%ymm3, %%ymm3")
216 __ASM_EMIT("vminps 0x00(%[max],%[off]), %%ymm0, %%ymm0") /* ymm0 = clamp(x, min, max) = min(max(x, min), max) */
217 __ASM_EMIT("vminps 0x20(%[max],%[off]), %%ymm1, %%ymm1")
218 __ASM_EMIT("vminps 0x40(%[max],%[off]), %%ymm2, %%ymm2")
219 __ASM_EMIT("vminps 0x60(%[max],%[off]), %%ymm3, %%ymm3")
220 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
221 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
222 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst],%[off])")
223 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst],%[off])")
224 __ASM_EMIT64("sub $32, %[count]")
225 __ASM_EMIT32("subl $32, %[count]")
226 __ASM_EMIT("add $0x80, %[off]")
227 // 16x block
228 __ASM_EMIT("4:")
229 __ASM_EMIT64("add $16, %[count]")
230 __ASM_EMIT32("addl $16, %[count]")
231 __ASM_EMIT("jl 6f")
232 __ASM_EMIT("vmovups 0x00(%[src],%[off]), %%ymm0") /* ymm0 = x */
233 __ASM_EMIT("vmovups 0x20(%[src],%[off]), %%ymm1")
234 __ASM_EMIT("vmaxps 0x00(%[min],%[off]), %%ymm0, %%ymm0") /* ymm0 = max(x, min) */
235 __ASM_EMIT("vmaxps 0x20(%[min],%[off]), %%ymm1, %%ymm1")
236 __ASM_EMIT("vminps 0x00(%[max],%[off]), %%ymm0, %%ymm0") /* ymm0 = clamp(x, min, max) = min(max(x, min), max) */
237 __ASM_EMIT("vminps 0x20(%[max],%[off]), %%ymm1, %%ymm1")
238 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
239 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
240 __ASM_EMIT64("sub $16, %[count]")
241 __ASM_EMIT32("subl $16, %[count]")
242 __ASM_EMIT("add $0x40, %[off]")
243 // 8x block
244 __ASM_EMIT("6:")
245 __ASM_EMIT64("add $8, %[count]")
246 __ASM_EMIT32("addl $8, %[count]")
247 __ASM_EMIT("jl 8f")
248 __ASM_EMIT("vmovups 0x00(%[src],%[off]), %%ymm0") /* ymm0 = x */
249 __ASM_EMIT("vmaxps 0x00(%[min],%[off]), %%ymm0, %%ymm0") /* ymm0 = max(x, min) */
250 __ASM_EMIT("vminps 0x00(%[max],%[off]), %%ymm0, %%ymm0") /* ymm0 = clamp(x, min, max) = min(max(x, min), max) */
251 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
252 __ASM_EMIT64("sub $8, %[count]")
253 __ASM_EMIT32("subl $8, %[count]")
254 __ASM_EMIT("add $0x20, %[off]")
255 // 4x block
256 __ASM_EMIT("8:")
257 __ASM_EMIT64("add $4, %[count]")
258 __ASM_EMIT32("addl $4, %[count]")
259 __ASM_EMIT("jl 10f")
260 __ASM_EMIT("vmovups 0x00(%[src],%[off]), %%xmm0") /* xmm0 = x */
261 __ASM_EMIT("vmaxps 0x00(%[min],%[off]), %%xmm0, %%xmm0") /* xmm0 = max(x, min) */
262 __ASM_EMIT("vminps 0x00(%[max],%[off]), %%xmm0, %%xmm0") /* xmm0 = clamp(x, min, max) = min(max(x, min), max) */
263 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst],%[off])")
264 __ASM_EMIT64("sub $4, %[count]")
265 __ASM_EMIT32("subl $4, %[count]")
266 __ASM_EMIT("add $0x10, %[off]")
267 // 1x blocks
268 __ASM_EMIT("10:")
269 __ASM_EMIT64("add $3, %[count]")
270 __ASM_EMIT32("addl $3, %[count]")
271 __ASM_EMIT("jl 12f")
272 __ASM_EMIT("11:")
273 __ASM_EMIT("vmovss 0x00(%[src],%[off]), %%xmm0") /* xmm0 = x */
274 __ASM_EMIT("vmaxss 0x00(%[min],%[off]), %%xmm0, %%xmm0") /* xmm0 = max(x, min) */
275 __ASM_EMIT("vminss 0x00(%[max],%[off]), %%xmm0, %%xmm0") /* xmm0 = clamp(x, min, max) = min(max(x, min), max) */
276 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
277 __ASM_EMIT("add $0x04, %[off]")
278 __ASM_EMIT64("dec %[count]")
279 __ASM_EMIT32("decl %[count]")
280 __ASM_EMIT("jge 11b")
281 // End
282 __ASM_EMIT("12:")
283 : [off] "=&r" (off), [count] __ASM_ARG_RW(count)
284 : [dst] "r" (dst), [src] "r" (src), [min] "r" (min), [max] "r" (max)
285 : "cc", "memory",
286 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
287 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
288 );
289 }
290
291 void clamp_kk1(float *dst, float min, float max, size_t count)
292 {
293 IF_ARCH_X86(size_t off);
294 ARCH_X86_ASM
295 (
296 __ASM_EMIT("xor %[off], %[off]")
297 __ASM_EMIT("vbroadcastss %[min], %%ymm6") /* ymm6 = min */
298 __ASM_EMIT("vbroadcastss %[max], %%ymm7") /* ymm7 = max */
299 // 32x blocks
300 __ASM_EMIT("sub $32, %[count]")
301 __ASM_EMIT("jb 2f")
302 __ASM_EMIT("1:")
303 __ASM_EMIT("vmovups 0x00(%[dst],%[off]), %%ymm0") /* ymm0 = x */
304 __ASM_EMIT("vmovups 0x20(%[dst],%[off]), %%ymm1")
305 __ASM_EMIT("vmovups 0x40(%[dst],%[off]), %%ymm2")
306 __ASM_EMIT("vmovups 0x60(%[dst],%[off]), %%ymm3")
307 __ASM_EMIT("vmaxps %%ymm6, %%ymm0, %%ymm0") /* ymm0 = max(x, min) */
308 __ASM_EMIT("vmaxps %%ymm6, %%ymm1, %%ymm1")
309 __ASM_EMIT("vmaxps %%ymm6, %%ymm2, %%ymm2")
310 __ASM_EMIT("vmaxps %%ymm6, %%ymm3, %%ymm3")
311 __ASM_EMIT("vminps %%ymm7, %%ymm0, %%ymm0") /* ymm0 = clamp(x, min, max) = min(max(x, min), max) */
312 __ASM_EMIT("vminps %%ymm7, %%ymm1, %%ymm1")
313 __ASM_EMIT("vminps %%ymm7, %%ymm2, %%ymm2")
314 __ASM_EMIT("vminps %%ymm7, %%ymm3, %%ymm3")
315 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
316 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
317 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst],%[off])")
318 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst],%[off])")
319 __ASM_EMIT("add $0x80, %[off]")
320 __ASM_EMIT("sub $32, %[count]")
321 __ASM_EMIT("jae 1b")
322 // 16x block
323 __ASM_EMIT("2:")
324 __ASM_EMIT("add $16, %[count]")
325 __ASM_EMIT("jl 4f")
326 __ASM_EMIT("vmovups 0x00(%[dst],%[off]), %%ymm0") /* ymm0 = x */
327 __ASM_EMIT("vmovups 0x20(%[dst],%[off]), %%ymm1")
328 __ASM_EMIT("vmaxps %%ymm6, %%ymm0, %%ymm0") /* ymm0 = max(x, min) */
329 __ASM_EMIT("vmaxps %%ymm6, %%ymm1, %%ymm1")
330 __ASM_EMIT("vminps %%ymm7, %%ymm0, %%ymm0") /* ymm0 = clamp(x, min, max) = min(max(x, min), max) */
331 __ASM_EMIT("vminps %%ymm7, %%ymm1, %%ymm1")
332 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
333 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
334 __ASM_EMIT("sub $16, %[count]")
335 __ASM_EMIT("add $0x40, %[off]")
336 // 8x block
337 __ASM_EMIT("4:")
338 __ASM_EMIT("add $8, %[count]")
339 __ASM_EMIT("jl 6f")
340 __ASM_EMIT("vmovups 0x00(%[dst],%[off]), %%ymm0") /* ymm0 = x */
341 __ASM_EMIT("vmaxps %%ymm6, %%ymm0, %%ymm0") /* ymm0 = max(x, min) */
342 __ASM_EMIT("vminps %%ymm7, %%ymm0, %%ymm0") /* ymm0 = clamp(x, min, max) = min(max(x, min), max) */
343 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
344 __ASM_EMIT("sub $8, %[count]")
345 __ASM_EMIT("add $0x20, %[off]")
346 // 4x block
347 __ASM_EMIT("6:")
348 __ASM_EMIT("add $4, %[count]")
349 __ASM_EMIT("jl 8f")
350 __ASM_EMIT("vmovups 0x00(%[dst],%[off]), %%xmm0") /* xmm0 = x */
351 __ASM_EMIT("vmaxps %%xmm6, %%xmm0, %%xmm0") /* xmm0 = max(x, min) */
352 __ASM_EMIT("vminps %%xmm7, %%xmm0, %%xmm0") /* xmm0 = clamp(x, min, max) = min(max(x, min), max) */
353 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst],%[off])")
354 __ASM_EMIT("sub $4, %[count]")
355 __ASM_EMIT("add $0x10, %[off]")
356 // 1x blocks
357 __ASM_EMIT("8:")
358 __ASM_EMIT("add $3, %[count]")
359 __ASM_EMIT("jl 10f")
360 __ASM_EMIT("9:")
361 __ASM_EMIT("vmovss 0x00(%[dst],%[off]), %%xmm0") /* xmm0 = x */
362 __ASM_EMIT("vmaxss %%xmm6, %%xmm0, %%xmm0") /* xmm0 = max(x, min) */
363 __ASM_EMIT("vminss %%xmm7, %%xmm0, %%xmm0") /* xmm0 = clamp(x, min, max) = min(max(x, min), max) */
364 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
365 __ASM_EMIT("add $0x04, %[off]")
366 __ASM_EMIT("dec %[count]")
367 __ASM_EMIT("jge 9b")
368 // End
369 __ASM_EMIT("10:")
370 : [off] "=&r" (off), [count] "+r" (count)
371 : [dst] "r" (dst),
372 [min] "m" (min),
373 [max] "m" (max)
374 : "cc", "memory",
375 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
376 "%xmm6", "%xmm7"
377 );
378 }
379
380 void clamp_kk2(float *dst, const float *src, float min, float max, size_t count)
381 {
382 IF_ARCH_X86(size_t off);
383 ARCH_X86_ASM
384 (
385 __ASM_EMIT("xor %[off], %[off]")
386 __ASM_EMIT("vbroadcastss %[min], %%ymm6") /* ymm6 = min */
387 __ASM_EMIT("vbroadcastss %[max], %%ymm7") /* ymm7 = max */
388 // 32x blocks
389 __ASM_EMIT("sub $32, %[count]")
390 __ASM_EMIT("jb 2f")
391 __ASM_EMIT("1:")
392 __ASM_EMIT("vmovups 0x00(%[src],%[off]), %%ymm0") /* ymm0 = x */
393 __ASM_EMIT("vmovups 0x20(%[src],%[off]), %%ymm1")
394 __ASM_EMIT("vmovups 0x40(%[src],%[off]), %%ymm2")
395 __ASM_EMIT("vmovups 0x60(%[src],%[off]), %%ymm3")
396 __ASM_EMIT("vmaxps %%ymm6, %%ymm0, %%ymm0") /* ymm0 = max(x, min) */
397 __ASM_EMIT("vmaxps %%ymm6, %%ymm1, %%ymm1")
398 __ASM_EMIT("vmaxps %%ymm6, %%ymm2, %%ymm2")
399 __ASM_EMIT("vmaxps %%ymm6, %%ymm3, %%ymm3")
400 __ASM_EMIT("vminps %%ymm7, %%ymm0, %%ymm0") /* ymm0 = clamp(x, min, max) = min(max(x, min), max) */
401 __ASM_EMIT("vminps %%ymm7, %%ymm1, %%ymm1")
402 __ASM_EMIT("vminps %%ymm7, %%ymm2, %%ymm2")
403 __ASM_EMIT("vminps %%ymm7, %%ymm3, %%ymm3")
404 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
405 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
406 __ASM_EMIT("vmovups %%ymm2, 0x40(%[dst],%[off])")
407 __ASM_EMIT("vmovups %%ymm3, 0x60(%[dst],%[off])")
408 __ASM_EMIT("add $0x80, %[off]")
409 __ASM_EMIT("sub $32, %[count]")
410 __ASM_EMIT("jae 1b")
411 // 16x block
412 __ASM_EMIT("2:")
413 __ASM_EMIT("add $16, %[count]")
414 __ASM_EMIT("jl 4f")
415 __ASM_EMIT("vmovups 0x00(%[src],%[off]), %%ymm0") /* ymm0 = x */
416 __ASM_EMIT("vmovups 0x20(%[src],%[off]), %%ymm1")
417 __ASM_EMIT("vmaxps %%ymm6, %%ymm0, %%ymm0") /* ymm0 = max(x, min) */
418 __ASM_EMIT("vmaxps %%ymm6, %%ymm1, %%ymm1")
419 __ASM_EMIT("vminps %%ymm7, %%ymm0, %%ymm0") /* ymm0 = clamp(x, min, max) = min(max(x, min), max) */
420 __ASM_EMIT("vminps %%ymm7, %%ymm1, %%ymm1")
421 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
422 __ASM_EMIT("vmovups %%ymm1, 0x20(%[dst],%[off])")
423 __ASM_EMIT("sub $16, %[count]")
424 __ASM_EMIT("add $0x40, %[off]")
425 // 8x block
426 __ASM_EMIT("4:")
427 __ASM_EMIT("add $8, %[count]")
428 __ASM_EMIT("jl 6f")
429 __ASM_EMIT("vmovups 0x00(%[src],%[off]), %%ymm0") /* ymm0 = x */
430 __ASM_EMIT("vmaxps %%ymm6, %%ymm0, %%ymm0") /* ymm0 = max(x, min) */
431 __ASM_EMIT("vminps %%ymm7, %%ymm0, %%ymm0") /* ymm0 = clamp(x, min, max) = min(max(x, min), max) */
432 __ASM_EMIT("vmovups %%ymm0, 0x00(%[dst],%[off])")
433 __ASM_EMIT("sub $8, %[count]")
434 __ASM_EMIT("add $0x20, %[off]")
435 // 4x block
436 __ASM_EMIT("6:")
437 __ASM_EMIT("add $4, %[count]")
438 __ASM_EMIT("jl 8f")
439 __ASM_EMIT("vmovups 0x00(%[src],%[off]), %%xmm0") /* xmm0 = x */
440 __ASM_EMIT("vmaxps %%xmm6, %%xmm0, %%xmm0") /* xmm0 = max(x, min) */
441 __ASM_EMIT("vminps %%xmm7, %%xmm0, %%xmm0") /* xmm0 = clamp(x, min, max) = min(max(x, min), max) */
442 __ASM_EMIT("vmovups %%xmm0, 0x00(%[dst],%[off])")
443 __ASM_EMIT("sub $4, %[count]")
444 __ASM_EMIT("add $0x10, %[off]")
445 // 1x blocks
446 __ASM_EMIT("8:")
447 __ASM_EMIT("add $3, %[count]")
448 __ASM_EMIT("jl 10f")
449 __ASM_EMIT("9:")
450 __ASM_EMIT("vmovss 0x00(%[src],%[off]), %%xmm0") /* xmm0 = x */
451 __ASM_EMIT("vmaxss %%xmm6, %%xmm0, %%xmm0") /* xmm0 = max(x, min) */
452 __ASM_EMIT("vminss %%xmm7, %%xmm0, %%xmm0") /* xmm0 = clamp(x, min, max) = min(max(x, min), max) */
453 __ASM_EMIT("vmovss %%xmm0, 0x00(%[dst],%[off])")
454 __ASM_EMIT("add $0x04, %[off]")
455 __ASM_EMIT("dec %[count]")
456 __ASM_EMIT("jge 9b")
457 // End
458 __ASM_EMIT("10:")
459 : [off] "=&r" (off), [count] "+r" (count)
460 : [dst] "r" (dst), [src] "r" (src),
461 [min] "m" (min),
462 [max] "m" (max)
463 : "cc", "memory",
464 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
465 "%xmm6", "%xmm7"
466 );
467 }
468 } /* namespace avx */
469 } /* namespace lsp */
470
471
472
473 #endif /* PRIVATE_DSP_ARCH_X86_AVX_PMATH_CLAMP_H_ */