Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/graphics/pixelfmt.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 10 окт. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_GRAPHICS_PIXELFMT_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_GRAPHICS_PIXELFMT_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 void rgba32_to_bgra32(void *dst, const void *src, size_t count)
34 {
35 IF_ARCH_ARM(
36 uint32_t mask;
37 uint32_t t1, t2;
38 );
39
40 ARCH_ARM_ASM(
41 // 64x blocks
42 __ASM_EMIT("subs %[count], #64")
43 __ASM_EMIT("blo 2f")
44 __ASM_EMIT("1:")
45 __ASM_EMIT("vld4.8 {q0-q1}, [%[src]]!") // d0 = R, d1 = G, d2 = B, d3 = A
46 __ASM_EMIT("vld4.8 {q2-q3}, [%[src]]!")
47 __ASM_EMIT("vswp d0, d2")
48 __ASM_EMIT("vld4.8 {q4-q5}, [%[src]]!")
49 __ASM_EMIT("vst4.8 {q0-q1}, [%[dst]]!")
50 __ASM_EMIT("vswp d4, d6")
51 __ASM_EMIT("vld4.8 {q6-q7}, [%[src]]!")
52 __ASM_EMIT("vst4.8 {q2-q3}, [%[dst]]!")
53 __ASM_EMIT("vswp d8, d10")
54 __ASM_EMIT("vld4.8 {q8-q9}, [%[src]]!")
55 __ASM_EMIT("vst4.8 {q4-q5}, [%[dst]]!")
56 __ASM_EMIT("vswp d12, d14")
57 __ASM_EMIT("vld4.8 {q10-q11}, [%[src]]!")
58 __ASM_EMIT("vst4.8 {q6-q7}, [%[dst]]!")
59 __ASM_EMIT("vswp d16, d18")
60 __ASM_EMIT("vld4.8 {q12-q13}, [%[src]]!")
61 __ASM_EMIT("vst4.8 {q8-q9}, [%[dst]]!")
62 __ASM_EMIT("vswp d20, d22")
63 __ASM_EMIT("vld4.8 {q14-q15}, [%[src]]!")
64 __ASM_EMIT("vst4.8 {q10-q11}, [%[dst]]!")
65 __ASM_EMIT("vswp d24, d26")
66 __ASM_EMIT("vswp d28, d30")
67 __ASM_EMIT("vst4.8 {q12-q13}, [%[dst]]!")
68 __ASM_EMIT("vst4.8 {q14-q15}, [%[dst]]!")
69 __ASM_EMIT("subs %[count], #64")
70 __ASM_EMIT("bhs 1b")
71
72 // 32x blocks
73 __ASM_EMIT("2:")
74 __ASM_EMIT("adds %[count], #32")
75 __ASM_EMIT("blt 4f")
76 __ASM_EMIT("vld4.8 {q0-q1}, [%[src]]!") // d0 = R, d1 = G, d2 = B, d3 = A
77 __ASM_EMIT("vld4.8 {q2-q3}, [%[src]]!")
78 __ASM_EMIT("vswp d0, d2")
79 __ASM_EMIT("vld4.8 {q4-q5}, [%[src]]!")
80 __ASM_EMIT("vst4.8 {q0-q1}, [%[dst]]!")
81 __ASM_EMIT("vswp d4, d6")
82 __ASM_EMIT("vld4.8 {q6-q7}, [%[src]]!")
83 __ASM_EMIT("vst4.8 {q2-q3}, [%[dst]]!")
84 __ASM_EMIT("vswp d8, d10")
85 __ASM_EMIT("vswp d12, d14")
86 __ASM_EMIT("vst4.8 {q4-q5}, [%[dst]]!")
87 __ASM_EMIT("vst4.8 {q6-q7}, [%[dst]]!")
88 __ASM_EMIT("sub %[count], #32")
89
90 // 16x blocks
91 __ASM_EMIT("4:")
92 __ASM_EMIT("adds %[count], #16")
93 __ASM_EMIT("blt 6f")
94 __ASM_EMIT("vld4.8 {q0-q1}, [%[src]]!") // d0 = R, d1 = G, d2 = B, d3 = A
95 __ASM_EMIT("vld4.8 {q2-q3}, [%[src]]!")
96 __ASM_EMIT("vswp d0, d2")
97 __ASM_EMIT("vswp d4, d6")
98 __ASM_EMIT("vst4.8 {q0-q1}, [%[dst]]!")
99 __ASM_EMIT("vst4.8 {q2-q3}, [%[dst]]!")
100 __ASM_EMIT("sub %[count], #16")
101
102 // 8x blocks
103 __ASM_EMIT("6:")
104 __ASM_EMIT("adds %[count], #8")
105 __ASM_EMIT("blt 8f")
106 __ASM_EMIT("vld4.8 {q0-q1}, [%[src]]!") // d0 = R, d1 = G, d2 = B, d3 = A
107 __ASM_EMIT("vswp d0, d2")
108 __ASM_EMIT("vst4.8 {q0-q1}, [%[dst]]!")
109 __ASM_EMIT("sub %[count], #8")
110
111 // 4x blocks
112 __ASM_EMIT("8:")
113 __ASM_EMIT("adds %[count], #4")
114 __ASM_EMIT("blt 10f")
115 __ASM_EMIT("vld2.8 {q0}, [%[src]]!") // d0 = RB, d1 = GA
116 __ASM_EMIT("vshl.i16 d2, d0, #8")
117 __ASM_EMIT("vshr.u16 d0, d0, #8")
118 __ASM_EMIT("vorr d0, d2")
119 __ASM_EMIT("vst2.8 {q0}, [%[dst]]!")
120 __ASM_EMIT("sub %[count], #4")
121
122 // 1x blocks
123 __ASM_EMIT("10:")
124 __ASM_EMIT("adds %[count], #3")
125 __ASM_EMIT("blt 12f")
126 __ASM_EMIT("mov %[mask], #0xff")
127 __ASM_EMIT("orr %[mask], #0xff0000") // mask = ff 00 ff 00
128 __ASM_EMIT("11:")
129 __ASM_EMIT("ldr %[t1], [%[src]], #4") // t1 = R G B A
130 __ASM_EMIT("and %[t2], %[t1], %[mask]") // t2 = R 0 B 0
131 __ASM_EMIT("and %[t1], %[t1], %[mask], lsl #8") // t1 = 0 G 0 A
132 __ASM_EMIT("orr %[t1], %[t1], %[t2], ror #16") // t1 = B G R A
133 __ASM_EMIT("str %[t1], [%[dst]], #4")
134 __ASM_EMIT("subs %[count], #1")
135 __ASM_EMIT("bge 11b")
136
137 __ASM_EMIT("12:")
138 : [src] "+r" (src), [dst] "+r" (dst), [count] "+r" (count),
139 [t1] "=&r" (t1), [t2] "=&r" (t2), [mask] "=&r" (mask)
140 :
141 : "cc", "memory",
142 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7",
143 "q8", "q9", "q10", "q11", "q12", "q13", "q14", "q15"
144 );
145 }
146
147 IF_ARCH_ARM(
148 static const uint32_t abgr32_to_bgrff32_const[] __lsp_aligned32 =
149 {
150 LSP_DSP_VEC8(0xff000000),
151 LSP_DSP_VEC8(0xff000000),
152 LSP_DSP_VEC8(0xff000000),
153 LSP_DSP_VEC8(0xff000000)
154 };
155 );
156
157 void abgr32_to_bgrff32(void *dst, const void *src, size_t count)
158 {
159 ARCH_ARM_ASM
160 (
161 __ASM_EMIT("vldm %[MASK], {q8-q15}")
162 __ASM_EMIT("subs %[count], #32")
163 __ASM_EMIT("blo 2f")
164 // 32x blocks
165 __ASM_EMIT("1:")
166 __ASM_EMIT("vldm %[src]!, {q0-q7}")
167 __ASM_EMIT("vsri.32 q8, q0, #8")
168 __ASM_EMIT("vsri.32 q9, q1, #8")
169 __ASM_EMIT("vsri.32 q10, q2, #8")
170 __ASM_EMIT("vsri.32 q11, q3, #8")
171 __ASM_EMIT("vsri.32 q12, q4, #8")
172 __ASM_EMIT("vsri.32 q13, q5, #8")
173 __ASM_EMIT("vsri.32 q14, q6, #8")
174 __ASM_EMIT("vsri.32 q15, q7, #8")
175 __ASM_EMIT("subs %[count], #32")
176 __ASM_EMIT("vstm %[dst]!, {q8-q15}")
177 __ASM_EMIT("bhs 1b")
178 // 16x block
179 __ASM_EMIT("2:")
180 __ASM_EMIT("adds %[count], #16")
181 __ASM_EMIT("blt 4f")
182 __ASM_EMIT("vldm %[src]!, {q0-q3}")
183 __ASM_EMIT("vsri.32 q8, q0, #8")
184 __ASM_EMIT("vsri.32 q9, q1, #8")
185 __ASM_EMIT("vsri.32 q10, q2, #8")
186 __ASM_EMIT("vsri.32 q11, q3, #8")
187 __ASM_EMIT("sub %[count], #16")
188 __ASM_EMIT("vstm %[dst]!, {q8-q11}")
189 // 8x block
190 __ASM_EMIT("4:")
191 __ASM_EMIT("adds %[count], #8")
192 __ASM_EMIT("blt 6f")
193 __ASM_EMIT("vldm %[src]!, {q0-q1}")
194 __ASM_EMIT("vsri.32 q8, q0, #8")
195 __ASM_EMIT("vsri.32 q9, q1, #8")
196 __ASM_EMIT("sub %[count], #8")
197 __ASM_EMIT("vstm %[dst]!, {q8-q9}")
198 // 4x block
199 __ASM_EMIT("6:")
200 __ASM_EMIT("adds %[count], #4")
201 __ASM_EMIT("blt 8f")
202 __ASM_EMIT("vldm %[src]!, {q0}")
203 __ASM_EMIT("vsri.32 q8, q0, #8")
204 __ASM_EMIT("sub %[count], #4")
205 __ASM_EMIT("vstm %[dst]!, {q8}")
206 // 1x blocks
207 __ASM_EMIT("8:")
208 __ASM_EMIT("adds %[count], #3")
209 __ASM_EMIT("blt 10f")
210 __ASM_EMIT("9:")
211 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
212 __ASM_EMIT("vsri.32 q8, q0, #8")
213 __ASM_EMIT("subs %[count], #1")
214 __ASM_EMIT("vst1.32 {d16[0]}, [%[dst]]!")
215 __ASM_EMIT("bge 9b")
216 __ASM_EMIT("10:")
217
218 : [dst] "+r" (dst), [src] "+r" (src),
219 [count] "+r" (count)
220 : [MASK] "r" (&abgr32_to_bgrff32_const[0])
221 : "cc", "memory",
222 "q0", "q1", "q2", "q3",
223 "q4", "q5", "q6", "q7",
224 "q8", "q9", "q10", "q11",
225 "q12", "q13", "q14", "q15"
226 );
227 }
228
229 IF_ARCH_ARM(
230 static const uint32_t pabc32_set_alpha_const[] __lsp_aligned16 =
231 {
232 LSP_DSP_VEC4(0x00ffffff),
233 LSP_DSP_VEC4(0x00ffffff)
234 };
235 );
236
237 void pabc32_set_alpha(void *dst, const void *src, uint8_t alpha, size_t count)
238 {
239 IF_ARCH_ARM(
240 uint32_t a = uint32_t(alpha) << 24;
241 );
242
243 ARCH_ARM_ASM
244 (
245 __ASM_EMIT("vld1.f32 {d16[], d17[]}, [%[a]]") // q8 = alpha
246 __ASM_EMIT("vldm %[MASK], {q10-q11}") // q10 = q11 = mask
247 __ASM_EMIT("vmov q9, q8") // q9 = alpha
248
249 __ASM_EMIT("subs %[count], #32")
250 __ASM_EMIT("blo 2f")
251 // 32x blocks
252 __ASM_EMIT("1:")
253 __ASM_EMIT("vldm %[src]!, {q0-q7}")
254 __ASM_EMIT("vbif q0, q8, q10")
255 __ASM_EMIT("vbif q1, q9, q11")
256 __ASM_EMIT("vbif q2, q8, q10")
257 __ASM_EMIT("vbif q3, q9, q11")
258 __ASM_EMIT("vbif q4, q8, q10")
259 __ASM_EMIT("vbif q5, q9, q11")
260 __ASM_EMIT("vbif q6, q8, q10")
261 __ASM_EMIT("vbif q7, q9, q11")
262 __ASM_EMIT("subs %[count], #32")
263 __ASM_EMIT("vstm %[dst]!, {q0-q7}")
264 __ASM_EMIT("bhs 1b")
265 // 16x block
266 __ASM_EMIT("2:")
267 __ASM_EMIT("adds %[count], #16")
268 __ASM_EMIT("blt 4f")
269 __ASM_EMIT("vldm %[src]!, {q0-q3}")
270 __ASM_EMIT("vbif q0, q8, q10")
271 __ASM_EMIT("vbif q1, q9, q11")
272 __ASM_EMIT("vbif q2, q8, q10")
273 __ASM_EMIT("vbif q3, q9, q11")
274 __ASM_EMIT("sub %[count], #16")
275 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
276 // 8x block
277 __ASM_EMIT("4:")
278 __ASM_EMIT("adds %[count], #8")
279 __ASM_EMIT("blt 6f")
280 __ASM_EMIT("vldm %[src]!, {q0-q1}")
281 __ASM_EMIT("vbif q0, q8, q10")
282 __ASM_EMIT("vbif q1, q9, q11")
283 __ASM_EMIT("sub %[count], #8")
284 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
285 // 4x block
286 __ASM_EMIT("6:")
287 __ASM_EMIT("adds %[count], #4")
288 __ASM_EMIT("blt 8f")
289 __ASM_EMIT("vldm %[src]!, {q0}")
290 __ASM_EMIT("vbif q0, q8, q10")
291 __ASM_EMIT("sub %[count], #4")
292 __ASM_EMIT("vstm %[dst]!, {q0}")
293 // 1x blocks
294 __ASM_EMIT("8:")
295 __ASM_EMIT("adds %[count], #3")
296 __ASM_EMIT("blt 10f")
297 __ASM_EMIT("9:")
298 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
299 __ASM_EMIT("vbif q0, q8, q10")
300 __ASM_EMIT("subs %[count], #1")
301 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
302 __ASM_EMIT("bge 9b")
303 // End
304 __ASM_EMIT("10:")
305
306 : [dst] "+r"(dst), [src] "+r"(src),
307 [count] "+r" (count)
308 : [MASK] "r" (&pabc32_set_alpha_const[0]),
309 [a] "r" (&a)
310 : "cc", "memory",
311 "q0", "q1", "q2", "q3",
312 "q4", "q5", "q6", "q7",
313 "q8", "q9", "q10", "q11"
314 );
315 }
316
317 } /* namespace neon_d32 */
318 } /* namespace lsp */
319
320 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_GRAPHICS_PIXELFMT_H_ */