Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/aarch64/asimd/copy.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_COPY_H_
23 #define PRIVATE_DSP_ARCH_AARCH64_ASIMD_COPY_H_
24
25 #ifndef PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_IMPL */
28
29 namespace lsp
30 {
31 namespace asimd
32 {
33 void copy(float *dst, const float *src, size_t count)
34 {
35 ARCH_AARCH64_ASM
36 (
37 __ASM_EMIT("cmp %[dst], %[src]")
38 __ASM_EMIT("b.eq 2000f")
39 __ASM_EMIT("subs %[count], %[count], #16")
40 __ASM_EMIT("b.lt 8f")
41
42 /* 128x block */
43 __ASM_EMIT("subs %[count], %[count], #112")
44 __ASM_EMIT("b.lt 2f")
45 __ASM_EMIT("1:")
46 __ASM_EMIT("ldp q0, q1, [%[src], #0x000]")
47 __ASM_EMIT("ldp q2, q3, [%[src], #0x020]")
48 __ASM_EMIT("ldp q4, q5, [%[src], #0x040]")
49 __ASM_EMIT("ldp q6, q7, [%[src], #0x060]")
50 __ASM_EMIT("stp q0, q1, [%[dst], #0x000]")
51 __ASM_EMIT("stp q2, q3, [%[dst], #0x020]")
52 __ASM_EMIT("stp q4, q5, [%[dst], #0x040]")
53 __ASM_EMIT("stp q6, q7, [%[dst], #0x060]")
54
55 __ASM_EMIT("ldp q0, q1, [%[src], #0x080]")
56 __ASM_EMIT("ldp q2, q3, [%[src], #0x0a0]")
57 __ASM_EMIT("ldp q4, q5, [%[src], #0x0c0]")
58 __ASM_EMIT("ldp q6, q7, [%[src], #0x0e0]")
59 __ASM_EMIT("stp q0, q1, [%[dst], #0x080]")
60 __ASM_EMIT("stp q2, q3, [%[dst], #0x0a0]")
61 __ASM_EMIT("stp q4, q5, [%[dst], #0x0c0]")
62 __ASM_EMIT("stp q6, q7, [%[dst], #0x0e0]")
63
64 __ASM_EMIT("ldp q0, q1, [%[src], #0x100]")
65 __ASM_EMIT("ldp q2, q3, [%[src], #0x120]")
66 __ASM_EMIT("ldp q4, q5, [%[src], #0x140]")
67 __ASM_EMIT("ldp q6, q7, [%[src], #0x160]")
68 __ASM_EMIT("stp q0, q1, [%[dst], #0x100]")
69 __ASM_EMIT("stp q2, q3, [%[dst], #0x120]")
70 __ASM_EMIT("stp q4, q5, [%[dst], #0x140]")
71 __ASM_EMIT("stp q6, q7, [%[dst], #0x160]")
72
73 __ASM_EMIT("ldp q0, q1, [%[src], #0x180]")
74 __ASM_EMIT("ldp q2, q3, [%[src], #0x1a0]")
75 __ASM_EMIT("ldp q4, q5, [%[src], #0x1c0]")
76 __ASM_EMIT("ldp q6, q7, [%[src], #0x1e0]")
77 __ASM_EMIT("stp q0, q1, [%[dst], #0x180]")
78 __ASM_EMIT("stp q2, q3, [%[dst], #0x1a0]")
79 __ASM_EMIT("stp q4, q5, [%[dst], #0x1c0]")
80 __ASM_EMIT("stp q6, q7, [%[dst], #0x1e0]")
81
82 __ASM_EMIT("subs %[count], %[count], #128")
83 __ASM_EMIT("add %[src], %[src], #0x200")
84 __ASM_EMIT("add %[dst], %[dst], #0x200")
85 __ASM_EMIT("b.hs 1b")
86
87 /* 64x block */
88 __ASM_EMIT("2:")
89 __ASM_EMIT("adds %[count], %[count], 64") // 128 - 64
90 __ASM_EMIT("b.lt 4f")
91
92 __ASM_EMIT("ldp q0, q1, [%[src], #0x000]")
93 __ASM_EMIT("ldp q2, q3, [%[src], #0x020]")
94 __ASM_EMIT("ldp q4, q5, [%[src], #0x040]")
95 __ASM_EMIT("ldp q6, q7, [%[src], #0x060]")
96 __ASM_EMIT("stp q0, q1, [%[dst], #0x000]")
97 __ASM_EMIT("stp q2, q3, [%[dst], #0x020]")
98 __ASM_EMIT("stp q4, q5, [%[dst], #0x040]")
99 __ASM_EMIT("stp q6, q7, [%[dst], #0x060]")
100
101 __ASM_EMIT("ldp q0, q1, [%[src], #0x080]")
102 __ASM_EMIT("ldp q2, q3, [%[src], #0x0a0]")
103 __ASM_EMIT("ldp q4, q5, [%[src], #0x0c0]")
104 __ASM_EMIT("ldp q6, q7, [%[src], #0x0e0]")
105 __ASM_EMIT("stp q0, q1, [%[dst], #0x080]")
106 __ASM_EMIT("stp q2, q3, [%[dst], #0x0a0]")
107 __ASM_EMIT("stp q4, q5, [%[dst], #0x0c0]")
108 __ASM_EMIT("stp q6, q7, [%[dst], #0x0e0]")
109
110 __ASM_EMIT("sub %[count], %[count], #64")
111 __ASM_EMIT("add %[src], %[src], #0x100")
112 __ASM_EMIT("add %[dst], %[dst], #0x100")
113
114 /* 32x block */
115 __ASM_EMIT("4:")
116 __ASM_EMIT("adds %[count], %[count], 32") // 64-32
117 __ASM_EMIT("b.lt 6f")
118
119 __ASM_EMIT("ldp q0, q1, [%[src], #0x000]")
120 __ASM_EMIT("ldp q2, q3, [%[src], #0x020]")
121 __ASM_EMIT("ldp q4, q5, [%[src], #0x040]")
122 __ASM_EMIT("ldp q6, q7, [%[src], #0x060]")
123 __ASM_EMIT("stp q0, q1, [%[dst], #0x000]")
124 __ASM_EMIT("stp q2, q3, [%[dst], #0x020]")
125 __ASM_EMIT("stp q4, q5, [%[dst], #0x040]")
126 __ASM_EMIT("stp q6, q7, [%[dst], #0x060]")
127
128 __ASM_EMIT("sub %[count], %[count], #32")
129 __ASM_EMIT("add %[src], %[src], #0x080")
130 __ASM_EMIT("add %[dst], %[dst], #0x080")
131
132 /* 16x block */
133 __ASM_EMIT("6:")
134 __ASM_EMIT("adds %[count], %[count], #16") // 32-16
135 __ASM_EMIT("b.lt 8f")
136
137 __ASM_EMIT("ldp q0, q1, [%[src], #0x000]")
138 __ASM_EMIT("ldp q2, q3, [%[src], #0x020]")
139 __ASM_EMIT("stp q0, q1, [%[dst], #0x000]")
140 __ASM_EMIT("stp q2, q3, [%[dst], #0x020]")
141
142 __ASM_EMIT("sub %[count], %[count], #16")
143 __ASM_EMIT("add %[src], %[src], #0x040")
144 __ASM_EMIT("add %[dst], %[dst], #0x040")
145
146 /* 8x block */
147 __ASM_EMIT("8:")
148 __ASM_EMIT("adds %[count], %[count], #8") // 16-8
149 __ASM_EMIT("b.lt 10f")
150 __ASM_EMIT("ldp q0, q1, [%[src], #0x000]")
151 __ASM_EMIT("stp q0, q1, [%[dst], #0x000]")
152 __ASM_EMIT("sub %[count], %[count], #8")
153 __ASM_EMIT("add %[src], %[src], #0x020")
154 __ASM_EMIT("add %[dst], %[dst], #0x020")
155
156 /* 4x block */
157 __ASM_EMIT("10:")
158 __ASM_EMIT("adds %[count], %[count], #4") // 8-4
159 __ASM_EMIT("b.lt 12f")
160 __ASM_EMIT("ldr q0, [%[src], #0x000]")
161 __ASM_EMIT("str q0, [%[dst], #0x000]")
162 __ASM_EMIT("sub %[count], %[count], #4")
163 __ASM_EMIT("add %[src], %[src], #0x010")
164 __ASM_EMIT("add %[dst], %[dst], #0x010")
165
166 /* 1x blocks */
167 __ASM_EMIT("12:")
168 __ASM_EMIT("adds %[count], %[count], #3") // 4-1
169 __ASM_EMIT("b.lt 14f")
170 __ASM_EMIT("13:")
171 __ASM_EMIT("ld1 {v0.s}[0], [%[src]]")
172 __ASM_EMIT("subs %[count], %[count], #1")
173 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
174 __ASM_EMIT("add %[src], %[src], #0x004")
175 __ASM_EMIT("add %[dst], %[dst], #0x004")
176 __ASM_EMIT("b.ge 13b")
177
178 /* End of copy */
179 __ASM_EMIT("14:")
180
181 : [src] "+r" (src), [dst] "+r"(dst),
182 [count] "+r" (count)
183 :
184 : "cc", "memory",
185 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7"
186 );
187 }
188
189 void move(float *dst, const float *src, size_t count)
190 {
191 ARCH_AARCH64_ASM
192 (
193 __ASM_EMIT("cmp %[dst], %[src]")
194 __ASM_EMIT("b.eq 2000f")
195 __ASM_EMIT("b.gt 1000f")
196
197 //---------------------------------------------
198 // Address-increasing copy
199 __ASM_EMIT("subs %[count], %[count], #16")
200 __ASM_EMIT("b.lt 8f")
201
202 /* 128x block */
203 __ASM_EMIT("subs %[count], %[count], #112")
204 __ASM_EMIT("b.lt 2f")
205 __ASM_EMIT("1:")
206 __ASM_EMIT("ldp q0, q1, [%[src], #0x000]")
207 __ASM_EMIT("ldp q2, q3, [%[src], #0x020]")
208 __ASM_EMIT("ldp q4, q5, [%[src], #0x040]")
209 __ASM_EMIT("ldp q6, q7, [%[src], #0x060]")
210 __ASM_EMIT("stp q0, q1, [%[dst], #0x000]")
211 __ASM_EMIT("stp q2, q3, [%[dst], #0x020]")
212 __ASM_EMIT("stp q4, q5, [%[dst], #0x040]")
213 __ASM_EMIT("stp q6, q7, [%[dst], #0x060]")
214
215 __ASM_EMIT("ldp q0, q1, [%[src], #0x080]")
216 __ASM_EMIT("ldp q2, q3, [%[src], #0x0a0]")
217 __ASM_EMIT("ldp q4, q5, [%[src], #0x0c0]")
218 __ASM_EMIT("ldp q6, q7, [%[src], #0x0e0]")
219 __ASM_EMIT("stp q0, q1, [%[dst], #0x080]")
220 __ASM_EMIT("stp q2, q3, [%[dst], #0x0a0]")
221 __ASM_EMIT("stp q4, q5, [%[dst], #0x0c0]")
222 __ASM_EMIT("stp q6, q7, [%[dst], #0x0e0]")
223
224 __ASM_EMIT("ldp q0, q1, [%[src], #0x100]")
225 __ASM_EMIT("ldp q2, q3, [%[src], #0x120]")
226 __ASM_EMIT("ldp q4, q5, [%[src], #0x140]")
227 __ASM_EMIT("ldp q6, q7, [%[src], #0x160]")
228 __ASM_EMIT("stp q0, q1, [%[dst], #0x100]")
229 __ASM_EMIT("stp q2, q3, [%[dst], #0x120]")
230 __ASM_EMIT("stp q4, q5, [%[dst], #0x140]")
231 __ASM_EMIT("stp q6, q7, [%[dst], #0x160]")
232
233 __ASM_EMIT("ldp q0, q1, [%[src], #0x180]")
234 __ASM_EMIT("ldp q2, q3, [%[src], #0x1a0]")
235 __ASM_EMIT("ldp q4, q5, [%[src], #0x1c0]")
236 __ASM_EMIT("ldp q6, q7, [%[src], #0x1e0]")
237 __ASM_EMIT("stp q0, q1, [%[dst], #0x180]")
238 __ASM_EMIT("stp q2, q3, [%[dst], #0x1a0]")
239 __ASM_EMIT("stp q4, q5, [%[dst], #0x1c0]")
240 __ASM_EMIT("stp q6, q7, [%[dst], #0x1e0]")
241
242 __ASM_EMIT("subs %[count], %[count], #128")
243 __ASM_EMIT("add %[src], %[src], #0x200")
244 __ASM_EMIT("add %[dst], %[dst], #0x200")
245 __ASM_EMIT("b.hs 1b")
246
247 /* 64x block */
248 __ASM_EMIT("2:")
249 __ASM_EMIT("adds %[count], %[count], 64") // 128 - 64
250 __ASM_EMIT("b.lt 4f")
251
252 __ASM_EMIT("ldp q0, q1, [%[src], #0x000]")
253 __ASM_EMIT("ldp q2, q3, [%[src], #0x020]")
254 __ASM_EMIT("ldp q4, q5, [%[src], #0x040]")
255 __ASM_EMIT("ldp q6, q7, [%[src], #0x060]")
256 __ASM_EMIT("stp q0, q1, [%[dst], #0x000]")
257 __ASM_EMIT("stp q2, q3, [%[dst], #0x020]")
258 __ASM_EMIT("stp q4, q5, [%[dst], #0x040]")
259 __ASM_EMIT("stp q6, q7, [%[dst], #0x060]")
260
261 __ASM_EMIT("ldp q0, q1, [%[src], #0x080]")
262 __ASM_EMIT("ldp q2, q3, [%[src], #0x0a0]")
263 __ASM_EMIT("ldp q4, q5, [%[src], #0x0c0]")
264 __ASM_EMIT("ldp q6, q7, [%[src], #0x0e0]")
265 __ASM_EMIT("stp q0, q1, [%[dst], #0x080]")
266 __ASM_EMIT("stp q2, q3, [%[dst], #0x0a0]")
267 __ASM_EMIT("stp q4, q5, [%[dst], #0x0c0]")
268 __ASM_EMIT("stp q6, q7, [%[dst], #0x0e0]")
269
270 __ASM_EMIT("sub %[count], %[count], #64")
271 __ASM_EMIT("add %[src], %[src], #0x100")
272 __ASM_EMIT("add %[dst], %[dst], #0x100")
273
274 /* 32x block */
275 __ASM_EMIT("4:")
276 __ASM_EMIT("adds %[count], %[count], 32") // 64-32
277 __ASM_EMIT("b.lt 6f")
278
279 __ASM_EMIT("ldp q0, q1, [%[src], #0x000]")
280 __ASM_EMIT("ldp q2, q3, [%[src], #0x020]")
281 __ASM_EMIT("ldp q4, q5, [%[src], #0x040]")
282 __ASM_EMIT("ldp q6, q7, [%[src], #0x060]")
283 __ASM_EMIT("stp q0, q1, [%[dst], #0x000]")
284 __ASM_EMIT("stp q2, q3, [%[dst], #0x020]")
285 __ASM_EMIT("stp q4, q5, [%[dst], #0x040]")
286 __ASM_EMIT("stp q6, q7, [%[dst], #0x060]")
287
288 __ASM_EMIT("sub %[count], %[count], #32")
289 __ASM_EMIT("add %[src], %[src], #0x080")
290 __ASM_EMIT("add %[dst], %[dst], #0x080")
291
292 /* 16x block */
293 __ASM_EMIT("6:")
294 __ASM_EMIT("adds %[count], %[count], #16") // 32-16
295 __ASM_EMIT("b.lt 8f")
296
297 __ASM_EMIT("ldp q0, q1, [%[src], #0x000]")
298 __ASM_EMIT("ldp q2, q3, [%[src], #0x020]")
299 __ASM_EMIT("stp q0, q1, [%[dst], #0x000]")
300 __ASM_EMIT("stp q2, q3, [%[dst], #0x020]")
301
302 __ASM_EMIT("sub %[count], %[count], #16")
303 __ASM_EMIT("add %[src], %[src], #0x040")
304 __ASM_EMIT("add %[dst], %[dst], #0x040")
305
306 /* 8x block */
307 __ASM_EMIT("8:")
308 __ASM_EMIT("adds %[count], %[count], #8") // 16-8
309 __ASM_EMIT("b.lt 10f")
310 __ASM_EMIT("ldp q0, q1, [%[src], #0x000]")
311 __ASM_EMIT("stp q0, q1, [%[dst], #0x000]")
312 __ASM_EMIT("sub %[count], %[count], #8")
313 __ASM_EMIT("add %[src], %[src], #0x020")
314 __ASM_EMIT("add %[dst], %[dst], #0x020")
315
316 /* 4x block */
317 __ASM_EMIT("10:")
318 __ASM_EMIT("adds %[count], %[count], #4") // 8-4
319 __ASM_EMIT("b.lt 12f")
320 __ASM_EMIT("ldr q0, [%[src], #0x000]")
321 __ASM_EMIT("str q0, [%[dst], #0x000]")
322 __ASM_EMIT("sub %[count], %[count], #4")
323 __ASM_EMIT("add %[src], %[src], #0x010")
324 __ASM_EMIT("add %[dst], %[dst], #0x010")
325
326 /* 1x blocks */
327 __ASM_EMIT("12:")
328 __ASM_EMIT("adds %[count], %[count], #3") // 4-1
329 __ASM_EMIT("b.lt 2000f")
330 __ASM_EMIT("13:")
331 __ASM_EMIT("ld1 {v0.s}[0], [%[src]]")
332 __ASM_EMIT("subs %[count], %[count], #1")
333 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
334 __ASM_EMIT("add %[src], %[src], #0x004")
335 __ASM_EMIT("add %[dst], %[dst], #0x004")
336 __ASM_EMIT("b.ge 13b")
337
338 /* End of move */
339 __ASM_EMIT("b 2000f")
340
341 //---------------------------------------------
342 // Address-decreasing copy
343 __ASM_EMIT("1000:")
344 __ASM_EMIT("add %[src], %[src], %[count], lsl #2") // src += count
345 __ASM_EMIT("add %[dst], %[dst], %[count], lsl #2") // dst += count
346 __ASM_EMIT("subs %[count], %[count], #16")
347 __ASM_EMIT("b.lt 8f")
348
349 /* 128x block */
350 __ASM_EMIT("subs %[count], %[count], #112")
351 __ASM_EMIT("b.lt 2f")
352 __ASM_EMIT("1:")
353 __ASM_EMIT("sub %[src], %[src], #0x200")
354 __ASM_EMIT("sub %[dst], %[dst], #0x200")
355
356 __ASM_EMIT("ldp q0, q1, [%[src], #0x180]")
357 __ASM_EMIT("ldp q2, q3, [%[src], #0x1a0]")
358 __ASM_EMIT("ldp q4, q5, [%[src], #0x1c0]")
359 __ASM_EMIT("ldp q6, q7, [%[src], #0x1e0]")
360 __ASM_EMIT("stp q0, q1, [%[dst], #0x180]")
361 __ASM_EMIT("stp q2, q3, [%[dst], #0x1a0]")
362 __ASM_EMIT("stp q4, q5, [%[dst], #0x1c0]")
363 __ASM_EMIT("stp q6, q7, [%[dst], #0x1e0]")
364
365 __ASM_EMIT("ldp q0, q1, [%[src], #0x100]")
366 __ASM_EMIT("ldp q2, q3, [%[src], #0x120]")
367 __ASM_EMIT("ldp q4, q5, [%[src], #0x140]")
368 __ASM_EMIT("ldp q6, q7, [%[src], #0x160]")
369 __ASM_EMIT("stp q0, q1, [%[dst], #0x100]")
370 __ASM_EMIT("stp q2, q3, [%[dst], #0x120]")
371 __ASM_EMIT("stp q4, q5, [%[dst], #0x140]")
372 __ASM_EMIT("stp q6, q7, [%[dst], #0x160]")
373
374 __ASM_EMIT("ldp q0, q1, [%[src], #0x080]")
375 __ASM_EMIT("ldp q2, q3, [%[src], #0x0a0]")
376 __ASM_EMIT("ldp q4, q5, [%[src], #0x0c0]")
377 __ASM_EMIT("ldp q6, q7, [%[src], #0x0e0]")
378 __ASM_EMIT("stp q0, q1, [%[dst], #0x080]")
379 __ASM_EMIT("stp q2, q3, [%[dst], #0x0a0]")
380 __ASM_EMIT("stp q4, q5, [%[dst], #0x0c0]")
381 __ASM_EMIT("stp q6, q7, [%[dst], #0x0e0]")
382
383 __ASM_EMIT("ldp q0, q1, [%[src], #0x000]")
384 __ASM_EMIT("ldp q2, q3, [%[src], #0x020]")
385 __ASM_EMIT("ldp q4, q5, [%[src], #0x040]")
386 __ASM_EMIT("ldp q6, q7, [%[src], #0x060]")
387 __ASM_EMIT("stp q0, q1, [%[dst], #0x000]")
388 __ASM_EMIT("stp q2, q3, [%[dst], #0x020]")
389 __ASM_EMIT("stp q4, q5, [%[dst], #0x040]")
390 __ASM_EMIT("stp q6, q7, [%[dst], #0x060]")
391
392 __ASM_EMIT("subs %[count], %[count], #128")
393 __ASM_EMIT("b.hs 1b")
394
395 /* 64x block */
396 __ASM_EMIT("2:")
397 __ASM_EMIT("adds %[count], %[count], 64") // 128 - 64
398 __ASM_EMIT("b.lt 4f")
399
400 __ASM_EMIT("sub %[src], %[src], #0x100")
401 __ASM_EMIT("sub %[dst], %[dst], #0x100")
402 __ASM_EMIT("ldp q0, q1, [%[src], #0x080]")
403 __ASM_EMIT("ldp q2, q3, [%[src], #0x0a0]")
404 __ASM_EMIT("ldp q4, q5, [%[src], #0x0c0]")
405 __ASM_EMIT("ldp q6, q7, [%[src], #0x0e0]")
406 __ASM_EMIT("stp q0, q1, [%[dst], #0x080]")
407 __ASM_EMIT("stp q2, q3, [%[dst], #0x0a0]")
408 __ASM_EMIT("stp q4, q5, [%[dst], #0x0c0]")
409 __ASM_EMIT("stp q6, q7, [%[dst], #0x0e0]")
410
411 __ASM_EMIT("ldp q0, q1, [%[src], #0x000]")
412 __ASM_EMIT("ldp q2, q3, [%[src], #0x020]")
413 __ASM_EMIT("ldp q4, q5, [%[src], #0x040]")
414 __ASM_EMIT("ldp q6, q7, [%[src], #0x060]")
415 __ASM_EMIT("stp q0, q1, [%[dst], #0x000]")
416 __ASM_EMIT("stp q2, q3, [%[dst], #0x020]")
417 __ASM_EMIT("stp q4, q5, [%[dst], #0x040]")
418 __ASM_EMIT("stp q6, q7, [%[dst], #0x060]")
419 __ASM_EMIT("sub %[count], %[count], #64")
420
421 /* 32x block */
422 __ASM_EMIT("4:")
423 __ASM_EMIT("adds %[count], %[count], 32") // 64-32
424 __ASM_EMIT("b.lt 6f")
425
426 __ASM_EMIT("sub %[src], %[src], #0x080")
427 __ASM_EMIT("sub %[dst], %[dst], #0x080")
428 __ASM_EMIT("ldp q0, q1, [%[src], #0x000]")
429 __ASM_EMIT("ldp q2, q3, [%[src], #0x020]")
430 __ASM_EMIT("ldp q4, q5, [%[src], #0x040]")
431 __ASM_EMIT("ldp q6, q7, [%[src], #0x060]")
432 __ASM_EMIT("stp q0, q1, [%[dst], #0x000]")
433 __ASM_EMIT("stp q2, q3, [%[dst], #0x020]")
434 __ASM_EMIT("stp q4, q5, [%[dst], #0x040]")
435 __ASM_EMIT("stp q6, q7, [%[dst], #0x060]")
436 __ASM_EMIT("sub %[count], %[count], #32")
437
438 /* 16x block */
439 __ASM_EMIT("6:")
440 __ASM_EMIT("adds %[count], %[count], #16") // 32-16
441 __ASM_EMIT("b.lt 8f")
442
443 __ASM_EMIT("sub %[src], %[src], #0x040")
444 __ASM_EMIT("sub %[dst], %[dst], #0x040")
445 __ASM_EMIT("ldp q0, q1, [%[src], #0x000]")
446 __ASM_EMIT("ldp q2, q3, [%[src], #0x020]")
447 __ASM_EMIT("stp q0, q1, [%[dst], #0x000]")
448 __ASM_EMIT("stp q2, q3, [%[dst], #0x020]")
449 __ASM_EMIT("sub %[count], %[count], #16")
450
451 /* 8x block */
452 __ASM_EMIT("8:")
453 __ASM_EMIT("adds %[count], %[count], #8") // 16-8
454 __ASM_EMIT("b.lt 10f")
455 __ASM_EMIT("sub %[src], %[src], #0x020")
456 __ASM_EMIT("sub %[dst], %[dst], #0x020")
457 __ASM_EMIT("ldp q0, q1, [%[src], #0x000]")
458 __ASM_EMIT("stp q0, q1, [%[dst], #0x000]")
459 __ASM_EMIT("sub %[count], %[count], #8")
460
461 /* 4x block */
462 __ASM_EMIT("10:")
463 __ASM_EMIT("adds %[count], %[count], #4") // 8-4
464 __ASM_EMIT("b.lt 12f")
465 __ASM_EMIT("sub %[src], %[src], #0x010")
466 __ASM_EMIT("sub %[dst], %[dst], #0x010")
467 __ASM_EMIT("ldr q0, [%[src], #0x000]")
468 __ASM_EMIT("str q0, [%[dst], #0x000]")
469 __ASM_EMIT("sub %[count], %[count], #4")
470
471 /* 1x blocks */
472 __ASM_EMIT("12:")
473 __ASM_EMIT("adds %[count], %[count], #3") // 4-1
474 __ASM_EMIT("b.lt 2000f")
475 __ASM_EMIT("13:")
476 __ASM_EMIT("sub %[src], %[src], #0x004")
477 __ASM_EMIT("sub %[dst], %[dst], #0x004")
478 __ASM_EMIT("ld1 {v0.s}[0], [%[src]]")
479 __ASM_EMIT("subs %[count], %[count], #1")
480 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
481 __ASM_EMIT("b.ge 13b")
482
483 /* End of move */
484 __ASM_EMIT("2000:")
485
486 : [dst] "+r" (dst), [src] "+r" (src),
487 [count] "+r" (count)
488 :
489 : "cc", "memory",
490 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7"
491 );
492 }
493
494 #define FILL_CORE(DST) \
495 __ASM_EMIT("subs %[count], %[count], #16") \
496 __ASM_EMIT("b.lt 8f") \
497 __ASM_EMIT("mov v2.16b, v0.16b") \
498 __ASM_EMIT("mov v3.16b, v1.16b") \
499 __ASM_EMIT("mov v4.16b, v0.16b") \
500 __ASM_EMIT("mov v5.16b, v1.16b") \
501 __ASM_EMIT("mov v6.16b, v2.16b") \
502 __ASM_EMIT("mov v7.16b, v3.16b") \
503 \
504 /* 128x block */ \
505 __ASM_EMIT("subs %[count], %[count], #112") \
506 __ASM_EMIT("b.lt 2f") \
507 __ASM_EMIT("1:") \
508 __ASM_EMIT("stp q0, q1, [%[" DST "], #0x000]") \
509 __ASM_EMIT("stp q2, q3, [%[" DST "], #0x020]") \
510 __ASM_EMIT("stp q4, q5, [%[" DST "], #0x040]") \
511 __ASM_EMIT("stp q6, q7, [%[" DST "], #0x060]") \
512 __ASM_EMIT("stp q0, q1, [%[" DST "], #0x080]") \
513 __ASM_EMIT("stp q2, q3, [%[" DST "], #0x0a0]") \
514 __ASM_EMIT("stp q4, q5, [%[" DST "], #0x0c0]") \
515 __ASM_EMIT("stp q6, q7, [%[" DST "], #0x0e0]") \
516 __ASM_EMIT("stp q0, q1, [%[" DST "], #0x100]") \
517 __ASM_EMIT("stp q2, q3, [%[" DST "], #0x120]") \
518 __ASM_EMIT("stp q4, q5, [%[" DST "], #0x140]") \
519 __ASM_EMIT("stp q6, q7, [%[" DST "], #0x160]") \
520 __ASM_EMIT("stp q0, q1, [%[" DST "], #0x180]") \
521 __ASM_EMIT("stp q2, q3, [%[" DST "], #0x1a0]") \
522 __ASM_EMIT("stp q4, q5, [%[" DST "], #0x1c0]") \
523 __ASM_EMIT("stp q6, q7, [%[" DST "], #0x1e0]") \
524 \
525 __ASM_EMIT("subs %[count], %[count], #128") \
526 __ASM_EMIT("add %[" DST "], %[" DST "], #0x200") \
527 __ASM_EMIT("b.hs 1b") \
528 \
529 /* 64x block */ \
530 __ASM_EMIT("2:") \
531 __ASM_EMIT("adds %[count], %[count], 64") /* 128 - 64 */ \
532 __ASM_EMIT("b.lt 4f") \
533 \
534 __ASM_EMIT("stp q0, q1, [%[" DST "], #0x000]") \
535 __ASM_EMIT("stp q2, q3, [%[" DST "], #0x020]") \
536 __ASM_EMIT("stp q4, q5, [%[" DST "], #0x040]") \
537 __ASM_EMIT("stp q6, q7, [%[" DST "], #0x060]") \
538 __ASM_EMIT("stp q0, q1, [%[" DST "], #0x080]") \
539 __ASM_EMIT("stp q2, q3, [%[" DST "], #0x0a0]") \
540 __ASM_EMIT("stp q4, q5, [%[" DST "], #0x0c0]") \
541 __ASM_EMIT("stp q6, q7, [%[" DST "], #0x0e0]") \
542 \
543 __ASM_EMIT("sub %[count], %[count], #64") \
544 __ASM_EMIT("add %[" DST "], %[" DST "], #0x100") \
545 \
546 /* 32x block */ \
547 __ASM_EMIT("4:") \
548 __ASM_EMIT("adds %[count], %[count], 32") /* 64-32 */ \
549 __ASM_EMIT("b.lt 6f") \
550 \
551 __ASM_EMIT("stp q0, q1, [%[" DST "], #0x000]") \
552 __ASM_EMIT("stp q2, q3, [%[" DST "], #0x020]") \
553 __ASM_EMIT("stp q4, q5, [%[" DST "], #0x040]") \
554 __ASM_EMIT("stp q6, q7, [%[" DST "], #0x060]") \
555 \
556 __ASM_EMIT("sub %[count], %[count], #32") \
557 __ASM_EMIT("add %[" DST "], %[" DST "], #0x080") \
558 \
559 /* 16x block */ \
560 __ASM_EMIT("6:") \
561 __ASM_EMIT("adds %[count], %[count], #16") /* 32-16 */ \
562 __ASM_EMIT("b.lt 8f") \
563 __ASM_EMIT("stp q0, q1, [%[" DST "], #0x000]") \
564 __ASM_EMIT("stp q2, q3, [%[" DST "], #0x020]") \
565 __ASM_EMIT("sub %[count], %[count], #16") \
566 __ASM_EMIT("add %[" DST "], %[" DST "], #0x040") \
567 \
568 /* 8x block */ \
569 __ASM_EMIT("8:") \
570 __ASM_EMIT("adds %[count], %[count], #8") /* 16-8 */ \
571 __ASM_EMIT("b.lt 10f") \
572 __ASM_EMIT("stp q0, q1, [%[" DST "], #0x000]") \
573 __ASM_EMIT("sub %[count], %[count], #8") \
574 __ASM_EMIT("add %[" DST "], %[" DST "], #0x020") \
575 \
576 /* 4x block */ \
577 __ASM_EMIT("10:") \
578 __ASM_EMIT("adds %[count], %[count], #4") /* 8-4 */ \
579 __ASM_EMIT("b.lt 12f") \
580 __ASM_EMIT("str q0, [%[" DST "], #0x000]") \
581 __ASM_EMIT("sub %[count], %[count], #4") \
582 __ASM_EMIT("add %[" DST "], %[" DST "], #0x010") \
583 \
584 /* 1x blocks */ \
585 __ASM_EMIT("12:") \
586 __ASM_EMIT("adds %[count], %[count], #3") /* 4-1 */ \
587 __ASM_EMIT("b.lt 14f") \
588 __ASM_EMIT("13:") \
589 __ASM_EMIT("st1 {v0.s}[0], [%[" DST "]]") \
590 __ASM_EMIT("subs %[count], %[count], #1") \
591 __ASM_EMIT("add %[" DST "], %[" DST "], #0x004") \
592 __ASM_EMIT("b.ge 13b") \
593 \
594 /* End of copy */ \
595 __ASM_EMIT("14:")
596
597 void fill(float *dst, float k, size_t count)
598 {
599 ARCH_AARCH64_ASM
600 (
601 __ASM_EMIT("ld1r {v0.4s}, [%[k]]")
602 __ASM_EMIT("mov v1.16b, v0.16b") \
603 FILL_CORE("dst")
604 : [dst] "+r"(dst),
605 [count] "+r" (count)
606 : [k] "r" (&k)
607 : "cc", "memory",
608 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7"
609 );
610 }
611
612 void fill_zero(float *dst, size_t count)
613 {
614 ARCH_AARCH64_ASM
615 (
616 __ASM_EMIT("eor v0.16b, v0.16b, v0.16b")
617 __ASM_EMIT("eor v1.16b, v1.16b, v1.16b")
618 FILL_CORE("dst")
619 : [dst] "+r"(dst),
620 [count] "+r" (count)
621 :
622 : "cc", "memory",
623 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7"
624 );
625 }
626
627 IF_ARCH_AARCH64(
628 static const float fill_one_data[] __lsp_aligned16 =
629 {
630 1.0f, 1.0f, 1.0f, 1.0f,
631 1.0f, 1.0f, 1.0f, 1.0f
632 };
633
634 static const float fill_minus_one_data[] __lsp_aligned16 =
635 {
636 -1.0f, -1.0f, -1.0f, -1.0f,
637 -1.0f, -1.0f, -1.0f, -1.0f
638 };
639 )
640
641 void fill_one(float *dst, size_t count)
642 {
643 ARCH_AARCH64_ASM
644 (
645 __ASM_EMIT("ldp q0, q1, [%[DATA]]")
646 FILL_CORE("dst")
647 : [dst] "+r"(dst),
648 [count] "+r" (count)
649 : [DATA] "r" (fill_one_data)
650 : "cc", "memory",
651 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7"
652 );
653 }
654
655 void fill_minus_one(float *dst, size_t count)
656 {
657 ARCH_AARCH64_ASM
658 (
659 __ASM_EMIT("ldp q0, q1, [%[DATA]]")
660 FILL_CORE("dst")
661 : [dst] "+r"(dst),
662 [count] "+r" (count)
663 : [DATA] "r" (fill_minus_one_data)
664 : "cc", "memory",
665 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7"
666 );
667 }
668
669 #undef FILL_CORE
670
671 void reverse1(float *dst, size_t count)
672 {
673 IF_ARCH_AARCH64(float *src);
674
675 ARCH_AARCH64_ASM
676 (
677 __ASM_EMIT("add %[src], %[dst], %[count], LSL #2")
678 __ASM_EMIT("lsr %[count], %[count], #1")
679 __ASM_EMIT("subs %[count], %[count], #16")
680 __ASM_EMIT("b.lt 2f")
681 /* 16x blocks */
682 __ASM_EMIT("1:")
683 __ASM_EMIT("sub %[src], %[src], #0x40")
684 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
685 __ASM_EMIT("ldp q2, q3, [%[dst], #0x20]")
686 __ASM_EMIT("ldp q4, q5, [%[src], #0x00]")
687 __ASM_EMIT("ldp q6, q7, [%[src], #0x20]")
688 __ASM_EMIT("rev64 v0.4s, v0.4s")
689 __ASM_EMIT("rev64 v1.4s, v1.4s")
690 __ASM_EMIT("rev64 v2.4s, v2.4s")
691 __ASM_EMIT("rev64 v3.4s, v3.4s")
692 __ASM_EMIT("rev64 v4.4s, v4.4s")
693 __ASM_EMIT("rev64 v5.4s, v5.4s")
694 __ASM_EMIT("rev64 v6.4s, v6.4s")
695 __ASM_EMIT("rev64 v7.4s, v7.4s")
696 __ASM_EMIT("ext v0.16b, v0.16b, v0.16b, #8")
697 __ASM_EMIT("ext v1.16b, v1.16b, v1.16b, #8")
698 __ASM_EMIT("ext v2.16b, v2.16b, v2.16b, #8")
699 __ASM_EMIT("ext v3.16b, v3.16b, v3.16b, #8")
700 __ASM_EMIT("ext v4.16b, v4.16b, v4.16b, #8")
701 __ASM_EMIT("ext v5.16b, v5.16b, v5.16b, #8")
702 __ASM_EMIT("ext v6.16b, v6.16b, v6.16b, #8")
703 __ASM_EMIT("ext v7.16b, v7.16b, v7.16b, #8")
704 __ASM_EMIT("stp q7, q6, [%[dst], #0x00]")
705 __ASM_EMIT("stp q5, q4, [%[dst], #0x20]")
706 __ASM_EMIT("stp q3, q2, [%[src], #0x00]")
707 __ASM_EMIT("stp q1, q0, [%[src], #0x20]")
708 __ASM_EMIT("subs %[count], %[count], #16")
709 __ASM_EMIT("add %[dst], %[dst], #0x40")
710 __ASM_EMIT("b.hs 1b")
711 /* 8x block */
712 __ASM_EMIT("2:")
713 __ASM_EMIT("adds %[count], %[count], #8") /* 16 - 8 */
714 __ASM_EMIT("b.lt 4f")
715 __ASM_EMIT("sub %[src], %[src], #0x20")
716 __ASM_EMIT("ldp q0, q1, [%[dst], #0x00]")
717 __ASM_EMIT("ldp q2, q3, [%[src], #0x00]")
718 __ASM_EMIT("rev64 v0.4s, v0.4s")
719 __ASM_EMIT("rev64 v1.4s, v1.4s")
720 __ASM_EMIT("rev64 v2.4s, v2.4s")
721 __ASM_EMIT("rev64 v3.4s, v3.4s")
722 __ASM_EMIT("ext v0.16b, v0.16b, v0.16b, #8")
723 __ASM_EMIT("ext v1.16b, v1.16b, v1.16b, #8")
724 __ASM_EMIT("ext v2.16b, v2.16b, v2.16b, #8")
725 __ASM_EMIT("ext v3.16b, v3.16b, v3.16b, #8")
726 __ASM_EMIT("stp q3, q2, [%[dst], #0x00]")
727 __ASM_EMIT("stp q1, q0, [%[src], #0x00]")
728 __ASM_EMIT("sub %[count], %[count], #8")
729 __ASM_EMIT("add %[dst], %[dst], #0x20")
730 /* 4x block */
731 __ASM_EMIT("4:")
732 __ASM_EMIT("adds %[count], %[count], #4") /* 8 - 4 */
733 __ASM_EMIT("b.lt 6f")
734 __ASM_EMIT("sub %[src], %[src], #0x10")
735 __ASM_EMIT("ldr q0, [%[dst], #0x00]")
736 __ASM_EMIT("ldr q1, [%[src], #0x00]")
737 __ASM_EMIT("rev64 v0.4s, v0.4s")
738 __ASM_EMIT("rev64 v1.4s, v1.4s")
739 __ASM_EMIT("ext v0.16b, v0.16b, v0.16b, #8")
740 __ASM_EMIT("ext v1.16b, v1.16b, v1.16b, #8")
741 __ASM_EMIT("str q1, [%[dst], #0x00]")
742 __ASM_EMIT("str q0, [%[src], #0x00]")
743 __ASM_EMIT("sub %[count], %[count], #4")
744 __ASM_EMIT("add %[dst], %[dst], #0x10")
745 /* 1x blocks */
746 __ASM_EMIT("6:")
747 __ASM_EMIT("adds %[count], %[count], #3") /* 4 - 1 */
748 __ASM_EMIT("b.lt 8f")
749 __ASM_EMIT("7:")
750 __ASM_EMIT("sub %[src], %[src], #0x04")
751 __ASM_EMIT("ld1 {v0.s}[0], [%[dst]]")
752 __ASM_EMIT("ld1 {v1.s}[0], [%[src]]")
753 __ASM_EMIT("st1 {v1.s}[0], [%[dst]]")
754 __ASM_EMIT("st1 {v0.s}[0], [%[src]]")
755 __ASM_EMIT("subs %[count], %[count], #1")
756 __ASM_EMIT("add %[dst], %[dst], #0x04")
757 __ASM_EMIT("b.ge 7b")
758 __ASM_EMIT("8:")
759
760 : [dst] "+r" (dst), [src] "=&r" (src),
761 [count] "+r" (count)
762 : [DATA] "r" (fill_minus_one_data)
763 : "cc", "memory",
764 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7"
765 );
766 }
767
768 void reverse2(float *dst, const float *src, size_t count)
769 {
770 ARCH_AARCH64_ASM
771 (
772 __ASM_EMIT("add %[src], %[src], %[count], LSL #2")
773 __ASM_EMIT("subs %[count], %[count], #32")
774 __ASM_EMIT("b.lt 2f")
775 /* 32x blocks */
776 __ASM_EMIT("1:")
777 __ASM_EMIT("sub %[src], %[src], #0x80")
778 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]")
779 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]")
780 __ASM_EMIT("ldp q4, q5, [%[src], #0x40]")
781 __ASM_EMIT("ldp q6, q7, [%[src], #0x60]")
782 __ASM_EMIT("rev64 v0.4s, v0.4s")
783 __ASM_EMIT("rev64 v1.4s, v1.4s")
784 __ASM_EMIT("rev64 v2.4s, v2.4s")
785 __ASM_EMIT("rev64 v3.4s, v3.4s")
786 __ASM_EMIT("rev64 v4.4s, v4.4s")
787 __ASM_EMIT("rev64 v5.4s, v5.4s")
788 __ASM_EMIT("rev64 v6.4s, v6.4s")
789 __ASM_EMIT("rev64 v7.4s, v7.4s")
790 __ASM_EMIT("ext v0.16b, v0.16b, v0.16b, #8")
791 __ASM_EMIT("ext v1.16b, v1.16b, v1.16b, #8")
792 __ASM_EMIT("ext v2.16b, v2.16b, v2.16b, #8")
793 __ASM_EMIT("ext v3.16b, v3.16b, v3.16b, #8")
794 __ASM_EMIT("ext v4.16b, v4.16b, v4.16b, #8")
795 __ASM_EMIT("ext v5.16b, v5.16b, v5.16b, #8")
796 __ASM_EMIT("ext v6.16b, v6.16b, v6.16b, #8")
797 __ASM_EMIT("ext v7.16b, v7.16b, v7.16b, #8")
798 __ASM_EMIT("stp q7, q6, [%[dst], #0x00]")
799 __ASM_EMIT("stp q5, q4, [%[dst], #0x20]")
800 __ASM_EMIT("stp q3, q2, [%[dst], #0x40]")
801 __ASM_EMIT("stp q1, q0, [%[dst], #0x60]")
802 __ASM_EMIT("subs %[count], %[count], #32")
803 __ASM_EMIT("add %[dst], %[dst], #0x80")
804 __ASM_EMIT("b.hs 1b")
805 /* 16x block */
806 __ASM_EMIT("2:")
807 __ASM_EMIT("adds %[count], %[count], #16") /* 32-16 */
808 __ASM_EMIT("b.lt 4f")
809 __ASM_EMIT("sub %[src], %[src], #0x40")
810 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]")
811 __ASM_EMIT("ldp q2, q3, [%[src], #0x20]")
812 __ASM_EMIT("rev64 v0.4s, v0.4s")
813 __ASM_EMIT("rev64 v1.4s, v1.4s")
814 __ASM_EMIT("rev64 v2.4s, v2.4s")
815 __ASM_EMIT("rev64 v3.4s, v3.4s")
816 __ASM_EMIT("ext v0.16b, v0.16b, v0.16b, #8")
817 __ASM_EMIT("ext v1.16b, v1.16b, v1.16b, #8")
818 __ASM_EMIT("ext v2.16b, v2.16b, v2.16b, #8")
819 __ASM_EMIT("ext v3.16b, v3.16b, v3.16b, #8")
820 __ASM_EMIT("stp q3, q2, [%[dst], #0x00]")
821 __ASM_EMIT("stp q1, q0, [%[dst], #0x20]")
822 __ASM_EMIT("sub %[count], %[count], #16")
823 __ASM_EMIT("add %[dst], %[dst], #0x40")
824 /* 8x block */
825 __ASM_EMIT("4:")
826 __ASM_EMIT("adds %[count], %[count], #8") /* 16-8 */
827 __ASM_EMIT("b.lt 6f")
828 __ASM_EMIT("sub %[src], %[src], #0x20")
829 __ASM_EMIT("ldp q0, q1, [%[src], #0x00]")
830 __ASM_EMIT("rev64 v0.4s, v0.4s")
831 __ASM_EMIT("rev64 v1.4s, v1.4s")
832 __ASM_EMIT("ext v0.16b, v0.16b, v0.16b, #8")
833 __ASM_EMIT("ext v1.16b, v1.16b, v1.16b, #8")
834 __ASM_EMIT("stp q1, q0, [%[dst], #0x00]")
835 __ASM_EMIT("sub %[count], %[count], #8")
836 __ASM_EMIT("add %[dst], %[dst], #0x20")
837 /* 4x block */
838 __ASM_EMIT("6:")
839 __ASM_EMIT("adds %[count], %[count], #4") /* 8 - 4 */
840 __ASM_EMIT("b.lt 8f")
841 __ASM_EMIT("sub %[src], %[src], #0x10")
842 __ASM_EMIT("ldr q0, [%[src], #0x00]")
843 __ASM_EMIT("rev64 v0.4s, v0.4s")
844 __ASM_EMIT("ext v0.16b, v0.16b, v0.16b, #8")
845 __ASM_EMIT("str q0, [%[dst], #0x00]")
846 __ASM_EMIT("sub %[count], %[count], #4")
847 __ASM_EMIT("add %[dst], %[dst], #0x10")
848 /* 1x blocks */
849 __ASM_EMIT("8:")
850 __ASM_EMIT("adds %[count], %[count], #3") /* 4 - 1 */
851 __ASM_EMIT("b.lt 10f")
852 __ASM_EMIT("9:")
853 __ASM_EMIT("sub %[src], %[src], #0x04")
854 __ASM_EMIT("ld1 {v0.s}[0], [%[src]]")
855 __ASM_EMIT("st1 {v0.s}[0], [%[dst]]")
856 __ASM_EMIT("subs %[count], %[count], #1")
857 __ASM_EMIT("add %[dst], %[dst], #0x04")
858 __ASM_EMIT("b.ge 9b")
859 __ASM_EMIT("10:")
860
861 : [dst] "+r" (dst), [src] "+r" (src),
862 [count] "+r" (count)
863 : [DATA] "r" (fill_minus_one_data)
864 : "cc", "memory",
865 "v0", "v1", "v2", "v3", "v4", "v5", "v6", "v7"
866 );
867 }
868 }
869 }
870
871 #endif /* PRIVATE_DSP_ARCH_AARCH64_ASIMD_COPY_H_ */