Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/avx2/graphics/pixelfmt.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 10 окт. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_AVX2_GRAPHICS_PIXELFMT_H_
23 #define PRIVATE_DSP_ARCH_X86_AVX2_GRAPHICS_PIXELFMT_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_AVX2_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_AVX2_IMPL */
28
29 namespace lsp
30 {
31 namespace avx2
32 {
33 IF_ARCH_X86(
34 static const uint32_t abgr32_to_bgrff32_const[] __lsp_aligned64 =
35 {
36 LSP_DSP_VEC8(0xff000000)
37 };
38 )
39
40 void abgr32_to_bgrff32(void *dst, const void *src, size_t count)
41 {
42 size_t off;
43
44 ARCH_X86_ASM
45 (
46 __ASM_EMIT("vmovdqa %[MASK], %%ymm6") // ymm6 = ff 00 00 00
47 __ASM_EMIT("xor %[off], %[off]") // off = 0
48 __ASM_EMIT("vmovdqa %%ymm6, %%ymm7") // ymm7 = ff 00 00 00
49
50 // 48-element blocks
51 __ASM_EMIT("sub $48, %[count]")
52 __ASM_EMIT("jb 2f")
53 __ASM_EMIT("1:")
54 __ASM_EMIT("vmovdqu 0x00(%[src], %[off]), %%ymm0") // ymm0 = R1 G1 B1 A1
55 __ASM_EMIT("vmovdqu 0x20(%[src], %[off]), %%ymm1")
56 __ASM_EMIT("vmovdqu 0x40(%[src], %[off]), %%ymm2")
57 __ASM_EMIT("vmovdqu 0x60(%[src], %[off]), %%ymm3")
58 __ASM_EMIT("vmovdqu 0x80(%[src], %[off]), %%ymm4")
59 __ASM_EMIT("vmovdqu 0xa0(%[src], %[off]), %%ymm5")
60 __ASM_EMIT("vpsrld $8, %%ymm0, %%ymm0") // ymm0 = 00 R1 G1 B1
61 __ASM_EMIT("vpsrld $8, %%ymm1, %%ymm1")
62 __ASM_EMIT("vpsrld $8, %%ymm2, %%ymm2")
63 __ASM_EMIT("vpsrld $8, %%ymm3, %%ymm3")
64 __ASM_EMIT("vpsrld $8, %%ymm4, %%ymm4")
65 __ASM_EMIT("vpsrld $8, %%ymm5, %%ymm5")
66 __ASM_EMIT("vorpd %%ymm6, %%ymm0, %%ymm0") // ymm6 = FF R1 G1 B1
67 __ASM_EMIT("vorpd %%ymm7, %%ymm1, %%ymm1")
68 __ASM_EMIT("vorpd %%ymm6, %%ymm2, %%ymm2")
69 __ASM_EMIT("vorpd %%ymm7, %%ymm3, %%ymm3")
70 __ASM_EMIT("vorpd %%ymm6, %%ymm4, %%ymm4")
71 __ASM_EMIT("vorpd %%ymm7, %%ymm5, %%ymm5")
72 __ASM_EMIT("vmovdqu %%ymm0, 0x00(%[dst], %[off])")
73 __ASM_EMIT("vmovdqu %%ymm1, 0x20(%[dst], %[off])")
74 __ASM_EMIT("vmovdqu %%ymm2, 0x40(%[dst], %[off])")
75 __ASM_EMIT("vmovdqu %%ymm3, 0x60(%[dst], %[off])")
76 __ASM_EMIT("vmovdqu %%ymm4, 0x80(%[dst], %[off])")
77 __ASM_EMIT("vmovdqu %%ymm5, 0xa0(%[dst], %[off])")
78 __ASM_EMIT("add $0xc0, %[off]")
79 __ASM_EMIT("sub $48, %[count]")
80 __ASM_EMIT("jae 1b")
81
82 // 32-element block
83 __ASM_EMIT("2:")
84 __ASM_EMIT("add $16, %[count]")
85 __ASM_EMIT("jl 4f")
86 __ASM_EMIT("vmovdqu 0x00(%[src], %[off]), %%ymm0") // ymm0 = R1 G1 B1 A1
87 __ASM_EMIT("vmovdqu 0x20(%[src], %[off]), %%ymm1")
88 __ASM_EMIT("vmovdqu 0x40(%[src], %[off]), %%ymm2")
89 __ASM_EMIT("vmovdqu 0x60(%[src], %[off]), %%ymm3")
90 __ASM_EMIT("vpsrld $8, %%ymm0, %%ymm0") // ymm0 = 00 R1 G1 B1
91 __ASM_EMIT("vpsrld $8, %%ymm1, %%ymm1")
92 __ASM_EMIT("vpsrld $8, %%ymm2, %%ymm2")
93 __ASM_EMIT("vpsrld $8, %%ymm3, %%ymm3")
94 __ASM_EMIT("vorpd %%ymm6, %%ymm0, %%ymm0") // ymm0 = FF R1 G1 B1
95 __ASM_EMIT("vorpd %%ymm7, %%ymm1, %%ymm1")
96 __ASM_EMIT("vorpd %%ymm6, %%ymm2, %%ymm2")
97 __ASM_EMIT("vorpd %%ymm7, %%ymm3, %%ymm3")
98 __ASM_EMIT("vmovdqu %%ymm0, 0x00(%[dst], %[off])")
99 __ASM_EMIT("vmovdqu %%ymm1, 0x20(%[dst], %[off])")
100 __ASM_EMIT("vmovdqu %%ymm2, 0x40(%[dst], %[off])")
101 __ASM_EMIT("vmovdqu %%ymm3, 0x60(%[dst], %[off])")
102 __ASM_EMIT("add $0x80, %[off]")
103 __ASM_EMIT("sub $32, %[count]")
104
105 // 16-element block
106 __ASM_EMIT("4:")
107 __ASM_EMIT("add $16, %[count]")
108 __ASM_EMIT("jl 6f")
109 __ASM_EMIT("vmovdqu 0x00(%[src], %[off]), %%ymm0") // ymm0 = R1 G1 B1 A1
110 __ASM_EMIT("vmovdqu 0x20(%[src], %[off]), %%ymm1")
111 __ASM_EMIT("vpsrld $8, %%ymm0, %%ymm0") // ymm0 = 00 R1 G1 B1
112 __ASM_EMIT("vpsrld $8, %%ymm1, %%ymm1")
113 __ASM_EMIT("vorpd %%ymm6, %%ymm0, %%ymm0") // ymm0 = FF R1 G1 B1
114 __ASM_EMIT("vorpd %%ymm7, %%ymm1, %%ymm1")
115 __ASM_EMIT("vmovdqu %%ymm0, 0x00(%[dst], %[off])")
116 __ASM_EMIT("vmovdqu %%ymm1, 0x20(%[dst], %[off])")
117 __ASM_EMIT("add $0x40, %[off]")
118 __ASM_EMIT("sub $16, %[count]")
119
120 // 8-element block
121 __ASM_EMIT("6:")
122 __ASM_EMIT("add $8, %[count]")
123 __ASM_EMIT("jl 8f")
124 __ASM_EMIT("vmovdqu 0x00(%[src], %[off]), %%xmm0") // xmm0 = R1 G1 B1 A1
125 __ASM_EMIT("vmovdqu 0x10(%[src], %[off]), %%xmm1")
126 __ASM_EMIT("vpsrld $8, %%xmm0, %%xmm0") // xmm0 = 00 R1 G1 B1
127 __ASM_EMIT("vpsrld $8, %%xmm1, %%xmm1")
128 __ASM_EMIT("vorpd %%xmm6, %%xmm0, %%xmm0") // xmm0 = FF R1 G1 B1
129 __ASM_EMIT("vorpd %%xmm7, %%xmm1, %%xmm1")
130 __ASM_EMIT("vmovdqu %%xmm0, 0x00(%[dst], %[off])")
131 __ASM_EMIT("vmovdqu %%xmm1, 0x10(%[dst], %[off])")
132 __ASM_EMIT("add $0x20, %[off]")
133 __ASM_EMIT("sub $8, %[count]")
134
135 // 4-element block
136 __ASM_EMIT("8:")
137 __ASM_EMIT("add $4, %[count]")
138 __ASM_EMIT("jl 10f")
139 __ASM_EMIT("vmovdqu 0x00(%[src], %[off]), %%xmm0") // xmm0 = R1 G1 B1 A1
140 __ASM_EMIT("vpsrld $8, %%xmm0 ,%%xmm0") // xmm0 = 00 R1 G1 B1
141 __ASM_EMIT("vorpd %%xmm6, %%xmm0, %%xmm0") // xmm0 = FF R1 G1 B1
142 __ASM_EMIT("vmovdqu %%xmm0, 0x00(%[dst], %[off])")
143 __ASM_EMIT("add $0x10, %[off]")
144 __ASM_EMIT("sub $4, %[count]")
145
146 // Tail
147 __ASM_EMIT("10:")
148 __ASM_EMIT("add $3, %[count]")
149 __ASM_EMIT("jl 12f")
150 __ASM_EMIT("11:")
151 __ASM_EMIT("vmovd 0x00(%[src], %[off]), %%xmm0") // xmm0 = R1 G1 B1 A1
152 __ASM_EMIT("vpsrld $8, %%xmm0, %%xmm0") // xmm0 = 00 R1 G1 B1
153 __ASM_EMIT("vorpd %%xmm6, %%xmm0, %%xmm0") // xmm0 = FF R1 G1 B1
154 __ASM_EMIT("vmovd %%xmm0, 0x00(%[dst], %[off])")
155 __ASM_EMIT("add $4, %[off]")
156 __ASM_EMIT("dec %[count]")
157 __ASM_EMIT("jge 11b")
158
159 // End
160 __ASM_EMIT("12:")
161
162 : [dst] "+r"(dst), [src] "+r"(src), [count] "+r" (count),
163 [off] "=&r" (off)
164 : [MASK] "m" (abgr32_to_bgrff32_const)
165 : "cc", "memory",
166 "%xmm0", "%xmm1", "%xmm2", "%xmm3",
167 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
168 );
169 }
170
171 IF_ARCH_X86(
172 static const uint32_t pabc32_set_alpha_const[] __lsp_aligned32 =
173 {
174 LSP_DSP_VEC8(0x00ffffff)
175 };
176 )
177
178 void pabc32_set_alpha(void *dst, const void *src, uint8_t alpha, size_t count)
179 {
180 IF_ARCH_X86(
181 size_t off;
182 uint32_t value = uint32_t(alpha) << 24;
183 );
184
185 ARCH_X86_ASM
186 (
187 __ASM_EMIT("vmovdqa %[MASK], %%ymm1") // ymm1 = 00 ff ff ff
188 __ASM_EMIT("vpbroadcastd %%xmm0, %%ymm0") // ymm0 = vv vv vv vv
189 __ASM_EMIT("xor %[off], %[off]") // off = 0
190
191 // 48-element blocks
192 __ASM_EMIT("sub $48, %[count]")
193 __ASM_EMIT("jb 2f")
194 __ASM_EMIT("1:")
195 __ASM_EMIT("vpand 0x00(%[src], %[off]), %%ymm1, %%ymm2") // ymm2 = 00 XX YY ZZ
196 __ASM_EMIT("vpand 0x20(%[src], %[off]), %%ymm1, %%ymm3")
197 __ASM_EMIT("vpand 0x40(%[src], %[off]), %%ymm1, %%ymm4")
198 __ASM_EMIT("vpor %%ymm0, %%ymm2, %%ymm2") // ymm2 = VV XX YY ZZ
199 __ASM_EMIT("vpand 0x60(%[src], %[off]), %%ymm1, %%ymm5")
200 __ASM_EMIT("vpor %%ymm0, %%ymm3, %%ymm3")
201 __ASM_EMIT("vpand 0x80(%[src], %[off]), %%ymm1, %%ymm6")
202 __ASM_EMIT("vpor %%ymm0, %%ymm4, %%ymm4")
203 __ASM_EMIT("vpand 0xa0(%[src], %[off]), %%ymm1, %%ymm7")
204 __ASM_EMIT("vmovdqu %%ymm2, 0x00(%[dst], %[off])")
205 __ASM_EMIT("vpor %%ymm0, %%ymm5, %%ymm5")
206 __ASM_EMIT("vmovdqu %%ymm3, 0x20(%[dst], %[off])")
207 __ASM_EMIT("vpor %%ymm0, %%ymm6, %%ymm6")
208 __ASM_EMIT("vmovdqu %%ymm4, 0x40(%[dst], %[off])")
209 __ASM_EMIT("vpor %%ymm0, %%ymm7, %%ymm7")
210 __ASM_EMIT("vmovdqu %%ymm5, 0x60(%[dst], %[off])")
211 __ASM_EMIT("vmovdqu %%ymm6, 0x80(%[dst], %[off])")
212 __ASM_EMIT("vmovdqu %%ymm7, 0xa0(%[dst], %[off])")
213 __ASM_EMIT("add $0xc0, %[off]")
214 __ASM_EMIT("sub $48, %[count]")
215 __ASM_EMIT("jae 1b")
216
217 // 32-element block
218 __ASM_EMIT("2:")
219 __ASM_EMIT("add $16, %[count]")
220 __ASM_EMIT("jl 4f")
221 __ASM_EMIT("vpand 0x00(%[src], %[off]), %%ymm1, %%ymm2") // ymm2 = 00 XX YY ZZ
222 __ASM_EMIT("vpand 0x20(%[src], %[off]), %%ymm1, %%ymm3")
223 __ASM_EMIT("vpand 0x40(%[src], %[off]), %%ymm1, %%ymm4")
224 __ASM_EMIT("vpand 0x60(%[src], %[off]), %%ymm1, %%ymm5")
225 __ASM_EMIT("vpor %%ymm0, %%ymm2, %%ymm2") // ymm2 = VV XX YY ZZ
226 __ASM_EMIT("vpor %%ymm0, %%ymm3, %%ymm3")
227 __ASM_EMIT("vpor %%ymm0, %%ymm4, %%ymm4")
228 __ASM_EMIT("vpor %%ymm0, %%ymm5, %%ymm5")
229 __ASM_EMIT("vmovdqu %%ymm2, 0x00(%[dst], %[off])")
230 __ASM_EMIT("vmovdqu %%ymm3, 0x20(%[dst], %[off])")
231 __ASM_EMIT("vmovdqu %%ymm4, 0x40(%[dst], %[off])")
232 __ASM_EMIT("vmovdqu %%ymm5, 0x60(%[dst], %[off])")
233 __ASM_EMIT("add $0x80, %[off]")
234 __ASM_EMIT("sub $32, %[count]")
235
236 // 16-element block
237 __ASM_EMIT("4:")
238 __ASM_EMIT("add $16, %[count]")
239 __ASM_EMIT("jl 6f")
240 __ASM_EMIT("vpand 0x00(%[src], %[off]), %%ymm1, %%ymm2") // ymm2 = 00 XX YY ZZ
241 __ASM_EMIT("vpand 0x20(%[src], %[off]), %%ymm1, %%ymm3")
242 __ASM_EMIT("vpor %%ymm0, %%ymm2, %%ymm2") // ymm2 = VV XX YY ZZ
243 __ASM_EMIT("vpor %%ymm0, %%ymm3, %%ymm3")
244 __ASM_EMIT("vmovdqu %%ymm2, 0x00(%[dst], %[off])")
245 __ASM_EMIT("vmovdqu %%ymm3, 0x20(%[dst], %[off])")
246 __ASM_EMIT("add $0x40, %[off]")
247 __ASM_EMIT("sub $16, %[count]")
248
249 // 8-element block
250 __ASM_EMIT("6:")
251 __ASM_EMIT("add $8, %[count]")
252 __ASM_EMIT("jl 8f")
253 __ASM_EMIT("vpand 0x00(%[src], %[off]), %%xmm1, %%xmm2") // xmm2 = 00 XX YY ZZ
254 __ASM_EMIT("vpand 0x10(%[src], %[off]), %%xmm1, %%xmm3")
255 __ASM_EMIT("vpor %%xmm0, %%xmm2, %%xmm2") // xmm2 = VV XX YY ZZ
256 __ASM_EMIT("vpor %%xmm0, %%xmm3, %%xmm3")
257 __ASM_EMIT("vmovdqu %%xmm2, 0x00(%[dst], %[off])")
258 __ASM_EMIT("vmovdqu %%xmm3, 0x10(%[dst], %[off])")
259 __ASM_EMIT("add $0x20, %[off]")
260 __ASM_EMIT("sub $8, %[count]")
261
262 // 4-element block
263 __ASM_EMIT("8:")
264 __ASM_EMIT("add $4, %[count]")
265 __ASM_EMIT("jl 10f")
266 __ASM_EMIT("vpand 0x00(%[src], %[off]), %%xmm1, %%xmm2") // xmm2 = 00 XX YY ZZ
267 __ASM_EMIT("vpor %%xmm0, %%xmm2, %%xmm2") // xmm2 = VV XX YY ZZ
268 __ASM_EMIT("vmovdqu %%xmm2, 0x00(%[dst], %[off])")
269 __ASM_EMIT("add $0x10, %[off]")
270 __ASM_EMIT("sub $4, %[count]")
271
272 // Tail
273 __ASM_EMIT("10:")
274 __ASM_EMIT("add $3, %[count]")
275 __ASM_EMIT("jl 12f")
276 __ASM_EMIT("11:")
277 __ASM_EMIT("vmovd 0x00(%[src], %[off]), %%xmm2")
278 __ASM_EMIT("vpand %%xmm1, %%xmm2, %%xmm2") // xmm2 = 00 XX YY ZZ
279 __ASM_EMIT("vpor %%xmm0, %%xmm2, %%xmm2") // xmm2 = VV XX YY ZZ
280 __ASM_EMIT("vmovd %%xmm2, 0x00(%[dst], %[off])")
281 __ASM_EMIT("add $4, %[off]")
282 __ASM_EMIT("dec %[count]")
283 __ASM_EMIT("jge 11b")
284
285 // End
286 __ASM_EMIT("12:")
287
288 : [dst] "+r"(dst), [src] "+r"(src), [count] "+r" (count),
289 [off] "=&r" (off), [value] "+Yz" (value)
290 : [MASK] "m" (pabc32_set_alpha_const)
291 : "cc", "memory",
292 "%xmm1", "%xmm2", "%xmm3",
293 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
294 );
295 }
296
297 } /* namespace avx2 */
298 } /* namespace lsp */
299
300
301 #endif /* PRIVATE_DSP_ARCH_X86_AVX2_GRAPHICS_PIXELFMT_H_ */