Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/aarch64/asimd/graphics/pixelfmt.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 11 окт. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_GRAPHICS_PIXELFMT_H_
23 #define PRIVATE_DSP_ARCH_AARCH64_ASIMD_GRAPHICS_PIXELFMT_H_
24
25 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL */
28
29 namespace lsp
30 {
31 namespace asimd
32 {
33 IF_ARCH_AARCH64(
34 static const uint32_t rgba32_to_bgra32_const[] __lsp_aligned16 =
35 {
36 LSP_DSP_VEC4(0x00ff00ff),
37 LSP_DSP_VEC4(0x00ff00ff),
38 };
39 );
40
41 void rgba32_to_bgra32(void *dst, const void *src, size_t count)
42 {
43 ARCH_AARCH64_ASM(
44 __ASM_EMIT("ldp q16, q17, [%[XC]]")
45
46 // 32x blocks
47 __ASM_EMIT("subs %[count], %[count], #32")
48 __ASM_EMIT("b.lo 2f")
49 __ASM_EMIT("1:")
50 __ASM_EMIT("ldp q0, q1, [%[src], 0x00]") // v0 = R G B A
51 __ASM_EMIT("ldp q2, q3, [%[src], 0x20]")
52 __ASM_EMIT("ldp q4, q5, [%[src], 0x40]")
53 __ASM_EMIT("ldp q6, q7, [%[src], 0x60]")
54 __ASM_EMIT("rev32 v8.8h, v0.8h") // v8 = B A R G
55 __ASM_EMIT("rev32 v9.8h, v1.8h")
56 __ASM_EMIT("rev32 v10.8h, v2.8h")
57 __ASM_EMIT("rev32 v11.8h, v3.8h")
58 __ASM_EMIT("rev32 v12.8h, v4.8h")
59 __ASM_EMIT("rev32 v13.8h, v5.8h")
60 __ASM_EMIT("rev32 v14.8h, v6.8h")
61 __ASM_EMIT("rev32 v15.8h, v7.8h")
62 __ASM_EMIT("bit v0.16b, v8.16b, v16.16b") // v0 = B G R A
63 __ASM_EMIT("bit v1.16b, v9.16b, v17.16b")
64 __ASM_EMIT("bit v2.16b, v10.16b, v16.16b")
65 __ASM_EMIT("bit v3.16b, v11.16b, v17.16b")
66 __ASM_EMIT("bit v4.16b, v12.16b, v16.16b")
67 __ASM_EMIT("bit v5.16b, v13.16b, v17.16b")
68 __ASM_EMIT("bit v6.16b, v14.16b, v16.16b")
69 __ASM_EMIT("bit v7.16b, v15.16b, v17.16b")
70 __ASM_EMIT("stp q0, q1, [%[dst], 0x00]")
71 __ASM_EMIT("stp q2, q3, [%[dst], 0x20]")
72 __ASM_EMIT("stp q4, q5, [%[dst], 0x40]")
73 __ASM_EMIT("stp q6, q7, [%[dst], 0x60]")
74 __ASM_EMIT("subs %[count], %[count], #32")
75 __ASM_EMIT("add %[src], %[src], 0x80")
76 __ASM_EMIT("add %[dst], %[dst], 0x80")
77 __ASM_EMIT("b.hs 1b")
78
79 // 16x blocks
80 __ASM_EMIT("2:")
81 __ASM_EMIT("adds %[count], %[count], #16")
82 __ASM_EMIT("b.lt 4f")
83 __ASM_EMIT("ldp q0, q1, [%[src], 0x00]") // v0 = R G B A
84 __ASM_EMIT("ldp q2, q3, [%[src], 0x20]")
85 __ASM_EMIT("rev32 v8.8h, v0.8h") // v8 = B A R G
86 __ASM_EMIT("rev32 v9.8h, v1.8h")
87 __ASM_EMIT("rev32 v10.8h, v2.8h")
88 __ASM_EMIT("rev32 v11.8h, v3.8h")
89 __ASM_EMIT("bit v0.16b, v8.16b, v16.16b") // v0 = B G R A
90 __ASM_EMIT("bit v1.16b, v9.16b, v17.16b")
91 __ASM_EMIT("bit v2.16b, v10.16b, v16.16b")
92 __ASM_EMIT("bit v3.16b, v11.16b, v17.16b")
93 __ASM_EMIT("stp q0, q1, [%[dst], 0x00]")
94 __ASM_EMIT("stp q2, q3, [%[dst], 0x20]")
95 __ASM_EMIT("sub %[count], %[count], #16")
96 __ASM_EMIT("add %[src], %[src], 0x40")
97 __ASM_EMIT("add %[dst], %[dst], 0x40")
98
99 // 8x blocks
100 __ASM_EMIT("4:")
101 __ASM_EMIT("adds %[count], %[count], #8")
102 __ASM_EMIT("b.lt 6f")
103 __ASM_EMIT("ldp q0, q1, [%[src], 0x00]") // v0 = R G B A
104 __ASM_EMIT("rev32 v8.8h, v0.8h") // v8 = B A R G
105 __ASM_EMIT("rev32 v9.8h, v1.8h")
106 __ASM_EMIT("bit v0.16b, v8.16b, v16.16b") // v0 = B G R A
107 __ASM_EMIT("bit v1.16b, v9.16b, v17.16b")
108 __ASM_EMIT("stp q0, q1, [%[dst], 0x00]")
109 __ASM_EMIT("sub %[count], %[count], #8")
110 __ASM_EMIT("add %[src], %[src], 0x20")
111 __ASM_EMIT("add %[dst], %[dst], 0x20")
112
113 // 4x blocks
114 __ASM_EMIT("6:")
115 __ASM_EMIT("adds %[count], %[count], #4")
116 __ASM_EMIT("b.lt 8f")
117 __ASM_EMIT("ldr q0, [%[src], 0x00]") // v0 = R G B A
118 __ASM_EMIT("rev32 v8.8h, v0.8h") // v8 = B A R G
119 __ASM_EMIT("bit v0.16b, v8.16b, v16.16b") // v0 = B G R A
120 __ASM_EMIT("str q0, [%[dst], 0x00]")
121 __ASM_EMIT("sub %[count], %[count], #4")
122 __ASM_EMIT("add %[src], %[src], 0x10")
123 __ASM_EMIT("add %[dst], %[dst], 0x10")
124
125 // 1x blocks
126 __ASM_EMIT("8:")
127 __ASM_EMIT("adds %[count], %[count], #3")
128 __ASM_EMIT("b.lt 10f")
129 __ASM_EMIT("9:")
130 __ASM_EMIT("ld1r {v0.4s}, [%[src]]") // v0 = R G B A
131 __ASM_EMIT("rev32 v8.8h, v0.8h") // v8 = B A R G
132 __ASM_EMIT("bit v0.16b, v8.16b, v16.16b") // v0 = B G R A
133 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
134 __ASM_EMIT("add %[src], %[src], 0x04")
135 __ASM_EMIT("add %[dst], %[dst], 0x04")
136 __ASM_EMIT("subs %[count], %[count], #1")
137 __ASM_EMIT("b.ge 9b")
138
139 // End
140 __ASM_EMIT("10:")
141 : [src] "+r" (src), [dst] "+r" (dst),
142 [count] "+r" (count)
143 : [XC] "r" (&rgba32_to_bgra32_const[0])
144 : "cc", "memory",
145 "v0", "v1", "v2", "v3",
146 "v4", "v5", "v6", "v7",
147 "v8", "v9", "v10", "v11",
148 "v12", "v13", "v14", "v15",
149 "v16", "v17"
150 );
151 }
152
153 IF_ARCH_AARCH64(
154 static const uint32_t abgr32_to_bgrff32_const[] __lsp_aligned32 =
155 {
156 LSP_DSP_VEC8(0xff000000)
157 };
158 );
159
160 void abgr32_to_bgrff32(void *dst, const void *src, size_t count)
161 {
162 ARCH_AARCH64_ASM
163 (
164 __ASM_EMIT("ldp q16, q17, [%[MASK]]")
165 __ASM_EMIT("subs %[count], %[count], #32")
166 __ASM_EMIT("ldp q18, q19, [%[MASK]]")
167 __ASM_EMIT("b.lo 2f")
168 // 32x blocks
169 __ASM_EMIT("ldp q20, q21, [%[MASK]]")
170 __ASM_EMIT("ldp q22, q23, [%[MASK]]")
171 __ASM_EMIT("1:")
172 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]")
173 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]")
174 __ASM_EMIT("ldp q4, q5, [%[src], #0x40]")
175 __ASM_EMIT("ldp q6, q7, [%[src], #0x60]")
176 __ASM_EMIT("sri v16.4s, v0.4s, #8")
177 __ASM_EMIT("sri v17.4s, v1.4s, #8")
178 __ASM_EMIT("sri v18.4s, v2.4s, #8")
179 __ASM_EMIT("sri v19.4s, v3.4s, #8")
180 __ASM_EMIT("sri v20.4s, v4.4s, #8")
181 __ASM_EMIT("sri v21.4s, v5.4s, #8")
182 __ASM_EMIT("sri v22.4s, v6.4s, #8")
183 __ASM_EMIT("sri v23.4s, v7.4s, #8")
184 __ASM_EMIT("stp q16, q17, [%[dst], #0x00]")
185 __ASM_EMIT("stp q18, q19, [%[dst], #0x20]")
186 __ASM_EMIT("stp q20, q21, [%[dst], #0x40]")
187 __ASM_EMIT("stp q22, q23, [%[dst], #0x60]")
188 __ASM_EMIT("add %[src], %[src], #0x80")
189 __ASM_EMIT("subs %[count], %[count], #32")
190 __ASM_EMIT("add %[dst], %[dst], #0x80")
191 __ASM_EMIT("b.hs 1b")
192 // 16x block
193 __ASM_EMIT("2:")
194 __ASM_EMIT("adds %[count], %[count], #16")
195 __ASM_EMIT("b.lt 4f")
196 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]")
197 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]")
198 __ASM_EMIT("sri v16.4s, v0.4s, #8")
199 __ASM_EMIT("sri v17.4s, v1.4s, #8")
200 __ASM_EMIT("sri v18.4s, v2.4s, #8")
201 __ASM_EMIT("sri v19.4s, v3.4s, #8")
202 __ASM_EMIT("stp q16, q17, [%[dst], #0x00]")
203 __ASM_EMIT("stp q18, q19, [%[dst], #0x20]")
204 __ASM_EMIT("add %[src], %[src], #0x40")
205 __ASM_EMIT("sub %[count], %[count], #16")
206 __ASM_EMIT("add %[dst], %[dst], #0x40")
207 // 8x block
208 __ASM_EMIT("4:")
209 __ASM_EMIT("adds %[count], %[count], #8")
210 __ASM_EMIT("b.lt 6f")
211 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]")
212 __ASM_EMIT("sri v16.4s, v0.4s, #8")
213 __ASM_EMIT("sri v17.4s, v1.4s, #8")
214 __ASM_EMIT("stp q16, q17, [%[dst], #0x00]")
215 __ASM_EMIT("add %[src], %[src], #0x20")
216 __ASM_EMIT("add %[dst], %[dst], #0x20")
217 __ASM_EMIT("sub %[count], %[count], #8")
218 // 4x block
219 __ASM_EMIT("6:")
220 __ASM_EMIT("adds %[count], %[count], #4")
221 __ASM_EMIT("b.lt 8f")
222 __ASM_EMIT("ldr q0, [%[src], #0x00]")
223 __ASM_EMIT("sri v16.4s, v0.4s, #8")
224 __ASM_EMIT("str q16, [%[dst], #0x00]")
225 __ASM_EMIT("add %[src], %[src], #0x10")
226 __ASM_EMIT("add %[dst], %[dst], #0x10")
227 __ASM_EMIT("sub %[count], %[count], #4")
228 // 1x blocks
229 __ASM_EMIT("8:")
230 __ASM_EMIT("adds %[count], %[count], #3")
231 __ASM_EMIT("b.lt 10f")
232 __ASM_EMIT("9:")
233 __ASM_EMIT("ld1r {v0.4s}, [%[src]]")
234 __ASM_EMIT("sri v16.4s, v0.4s, #8")
235 __ASM_EMIT("subs %[count], %[count], #1")
236 __ASM_EMIT("st1 {v16.s}[0], [%[dst]]")
237 __ASM_EMIT("add %[src], %[src], #0x04")
238 __ASM_EMIT("add %[dst], %[dst], #0x04")
239 __ASM_EMIT("b.ge 9b")
240 __ASM_EMIT("10:")
241
242 : [dst] "+r" (dst), [src] "+r" (src),
243 [count] "+r" (count)
244 : [MASK] "r" (&abgr32_to_bgrff32_const[0])
245 : "cc", "memory",
246 "v0", "v1", "v2", "v3",
247 "v4", "v5", "v6", "v7",
248 "v16", "v17", "v18", "v19",
249 "v20", "v21", "v22", "v23"
250 );
251 }
252
253 IF_ARCH_AARCH64(
254 static const uint32_t pabc32_set_alpha_const[] __lsp_aligned16 =
255 {
256 LSP_DSP_VEC4(0x00ffffff),
257 LSP_DSP_VEC4(0x00ffffff)
258 };
259 );
260
261 void pabc32_set_alpha(void *dst, const void *src, uint8_t alpha, size_t count)
262 {
263 IF_ARCH_AARCH64(
264 uint32_t a = uint32_t(alpha) << 24;
265 );
266
267 ARCH_AARCH64_ASM
268 (
269 __ASM_EMIT("ld1r {v16.4s}, [%[a]]")
270 __ASM_EMIT("subs %[count], %[count], #32")
271 __ASM_EMIT("ldp q18, q19, [%[MASK]]")
272 __ASM_EMIT("mov v17.16b, v16.16b")
273 __ASM_EMIT("b.lo 2f")
274 // 32x blocks
275 __ASM_EMIT("1:")
276 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]")
277 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]")
278 __ASM_EMIT("bif v0.16b, v16.16b, v18.16b")
279 __ASM_EMIT("bif v1.16b, v17.16b, v19.16b")
280 __ASM_EMIT("ldp q4, q5, [%[src], #0x40]")
281 __ASM_EMIT("bif v2.16b, v16.16b, v18.16b")
282 __ASM_EMIT("bif v3.16b, v17.16b, v19.16b")
283 __ASM_EMIT("ldp q6, q7, [%[src], #0x60]")
284 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
285 __ASM_EMIT("bif v4.16b, v16.16b, v18.16b")
286 __ASM_EMIT("bif v5.16b, v17.16b, v19.16b")
287 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
288 __ASM_EMIT("bif v6.16b, v16.16b, v18.16b")
289 __ASM_EMIT("bif v7.16b, v17.16b, v19.16b")
290 __ASM_EMIT("stp q4, q5, [%[dst], #0x40]")
291 __ASM_EMIT("stp q6, q7, [%[dst], #0x60]")
292 __ASM_EMIT("add %[src], %[src], #0x80")
293 __ASM_EMIT("subs %[count], %[count], #32")
294 __ASM_EMIT("add %[dst], %[dst], #0x80")
295 __ASM_EMIT("b.hs 1b")
296 // 16x block
297 __ASM_EMIT("2:")
298 __ASM_EMIT("adds %[count], %[count], #16")
299 __ASM_EMIT("b.lt 4f")
300 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]")
301 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]")
302 __ASM_EMIT("bif v0.16b, v16.16b, v18.16b")
303 __ASM_EMIT("bif v1.16b, v17.16b, v19.16b")
304 __ASM_EMIT("bif v2.16b, v16.16b, v18.16b")
305 __ASM_EMIT("bif v3.16b, v17.16b, v19.16b")
306 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
307 __ASM_EMIT("stp q2, q3, [%[dst], #0x20]")
308 __ASM_EMIT("add %[src], %[src], #0x40")
309 __ASM_EMIT("sub %[count], %[count], #16")
310 __ASM_EMIT("add %[dst], %[dst], #0x40")
311 // 8x block
312 __ASM_EMIT("4:")
313 __ASM_EMIT("adds %[count], %[count], #8")
314 __ASM_EMIT("b.lt 6f")
315 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]")
316 __ASM_EMIT("bif v0.16b, v16.16b, v18.16b")
317 __ASM_EMIT("bif v1.16b, v17.16b, v19.16b")
318 __ASM_EMIT("stp q0, q1, [%[dst], #0x00]")
319 __ASM_EMIT("add %[src], %[src], #0x20")
320 __ASM_EMIT("add %[dst], %[dst], #0x20")
321 __ASM_EMIT("sub %[count], %[count], #8")
322 // 4x block
323 __ASM_EMIT("6:")
324 __ASM_EMIT("adds %[count], %[count], #4")
325 __ASM_EMIT("b.lt 8f")
326 __ASM_EMIT("ldr q0, [%[src], #0x00]")
327 __ASM_EMIT("bif v0.16b, v16.16b, v18.16b")
328 __ASM_EMIT("str q0, [%[dst], #0x00]")
329 __ASM_EMIT("add %[src], %[src], #0x10")
330 __ASM_EMIT("add %[dst], %[dst], #0x10")
331 __ASM_EMIT("sub %[count], %[count], #4")
332 // 1x blocks
333 __ASM_EMIT("8:")
334 __ASM_EMIT("adds %[count], %[count], #3")
335 __ASM_EMIT("b.lt 10f")
336 __ASM_EMIT("9:")
337 __ASM_EMIT("ld1r {v0.4s}, [%[src]]")
338 __ASM_EMIT("bif v0.16b, v16.16b, v18.16b")
339 __ASM_EMIT("subs %[count], %[count], #1")
340 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
341 __ASM_EMIT("add %[src], %[src], #0x04")
342 __ASM_EMIT("add %[dst], %[dst], #0x04")
343 __ASM_EMIT("b.ge 9b")
344 __ASM_EMIT("10:")
345
346 : [dst] "+r" (dst), [src] "+r" (src),
347 [count] "+r" (count)
348 : [MASK] "r" (&pabc32_set_alpha_const[0]),
349 [a] "r" (&a)
350 : "cc", "memory",
351 "v0", "v1", "v2", "v3",
352 "v4", "v5", "v6", "v7",
353 "v16", "v17", "v18", "v19"
354 );
355 }
356
357 } /* namespace asimd */
358 } /* namespace lsp */
359
360 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_GRAPHICS_PIXELFMT_H_ */