Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/arm/neon-d32/copy.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_COPY_H_
23 #define PRIVATE_DSP_ARCH_ARM_NEON_D32_COPY_H_
24
25 #ifndef PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_IMPL */
28
29 namespace lsp
30 {
31 namespace neon_d32
32 {
33 void copy(float *dst, const float *src, size_t count)
34 {
35 ARCH_ARM_ASM
36 (
37 __ASM_EMIT("cmp %[dst], %[src]")
38 __ASM_EMIT("beq 10f")
39 __ASM_EMIT("subs %[count], #0x20")
40 __ASM_EMIT("blo 2f")
41
42 /* 32x block */
43 __ASM_EMIT("1:")
44 __ASM_EMIT("vldm %[src]!, {d0-d15}")
45 __ASM_EMIT("subs %[count], #0x20")
46 __ASM_EMIT("vstm %[dst]!, {d0-d15}")
47 __ASM_EMIT("bhs 1b")
48
49 /* 16x block */
50 __ASM_EMIT("2:")
51 __ASM_EMIT("adds %[count], #0x10") // + 0x20 - 0x10
52 __ASM_EMIT("blt 4f")
53 __ASM_EMIT("vldm %[src]!, {d0-d7}")
54 __ASM_EMIT("sub %[count], #0x10")
55 __ASM_EMIT("vstm %[dst]!, {d0-d7}")
56
57 /* 8x block */
58 __ASM_EMIT("4:")
59 __ASM_EMIT("adds %[count], #0x08") // + 0x10 - 0x8
60 __ASM_EMIT("blt 5f")
61 __ASM_EMIT("vld1.32 {q0-q1}, [%[src]]!")
62 __ASM_EMIT("sub %[count], #0x08")
63 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
64
65 /* 4x block */
66 __ASM_EMIT("5:")
67 __ASM_EMIT("adds %[count], #0x04") // + 0x8 - 0x4
68 __ASM_EMIT("blt 8f")
69 __ASM_EMIT("vld1.32 {q0}, [%[src]]!")
70 __ASM_EMIT("sub %[count], #0x04")
71 __ASM_EMIT("vst1.32 {q0}, [%[dst]]!")
72
73 /* 1x blocks */
74 __ASM_EMIT("8:")
75 __ASM_EMIT("adds %[count], #0x03") // + 0x4 - 0x1
76 __ASM_EMIT("blt 10f")
77 __ASM_EMIT("9:")
78 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
79 __ASM_EMIT("subs %[count], #0x01")
80 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
81 __ASM_EMIT("bge 9b")
82
83 __ASM_EMIT("10:")
84
85 : [src] "+r" (src), [dst] "+r"(dst),
86 [count] "+r" (count)
87 :
88 : "cc", "memory",
89 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7"
90 );
91 }
92
93 void move(float *dst, const float *src, size_t count)
94 {
95 ARCH_ARM_ASM
96 (
97 __ASM_EMIT("cmp %[dst], %[src]")
98 __ASM_EMIT("beq 2000f")
99 __ASM_EMIT("blo 1000f")
100
101 // Address-decreasing copy
102 __ASM_EMIT("add %[src], %[src], %[count], lsl #2")
103 __ASM_EMIT("add %[dst], %[dst], %[count], lsl #2")
104 __ASM_EMIT("subs %[count], #32")
105 __ASM_EMIT("blo 2f")
106
107 /* 32x block */
108 __ASM_EMIT("1:")
109 __ASM_EMIT("vldmdb %[src]!, {d0-d15}")
110 __ASM_EMIT("subs %[count], #32")
111 __ASM_EMIT("vstmdb %[dst]!, {d0-d15}")
112 __ASM_EMIT("bhs 1b")
113
114 /* 16x block */
115 __ASM_EMIT("2:")
116 __ASM_EMIT("adds %[count], #16") // + 0x20 - 0x10
117 __ASM_EMIT("blt 4f")
118 __ASM_EMIT("vldmdb %[src]!, {d0-d7}")
119 __ASM_EMIT("subs %[count], #16")
120 __ASM_EMIT("vstmdb %[dst]!, {d0-d7}")
121
122 /* 8x block */
123 __ASM_EMIT("4:")
124 __ASM_EMIT("adds %[count], #8") // + 0x10 - 0x8
125 __ASM_EMIT("blt 6f")
126 __ASM_EMIT("vldmdb %[src]!, {d0-d3}")
127 __ASM_EMIT("subs %[count], #8")
128 __ASM_EMIT("vstmdb %[dst]!, {d0-d3}")
129
130 /* 4x block */
131 __ASM_EMIT("6:")
132 __ASM_EMIT("adds %[count], #4") // + 0x8 - 0x4
133 __ASM_EMIT("blt 8f")
134 __ASM_EMIT("vldmdb %[src]!, {q0}")
135 __ASM_EMIT("vstmdb %[dst]!, {q0}")
136 __ASM_EMIT("sub %[count], #0x04")
137
138 /* 1x blocks */
139 __ASM_EMIT("8:")
140 __ASM_EMIT("adds %[count], #0x03") // + 0x4 - 0x1
141 __ASM_EMIT("blt 2000f")
142 __ASM_EMIT("9:")
143 __ASM_EMIT("vldmdb %[src]!, {s0}")
144 __ASM_EMIT("subs %[count], #1")
145 __ASM_EMIT("vstmdb %[dst]!, {s0}")
146 __ASM_EMIT("bge 9b")
147 __ASM_EMIT("b 2000f")
148
149 // Address-increasing copy
150 __ASM_EMIT("1000:")
151 __ASM_EMIT("subs %[count], #0x20")
152 __ASM_EMIT("blo 2f")
153
154 /* 32x block */
155 __ASM_EMIT("1:")
156 __ASM_EMIT("vldm %[src]!, {d0-d15}")
157 __ASM_EMIT("subs %[count], #0x20")
158 __ASM_EMIT("vstm %[dst]!, {d0-d15}")
159 __ASM_EMIT("bhs 1b")
160
161 /* 16x block */
162 __ASM_EMIT("2:")
163 __ASM_EMIT("adds %[count], #0x10") // + 0x20 - 0x10
164 __ASM_EMIT("blt 4f")
165 __ASM_EMIT("vldm %[src]!, {d0-d7}")
166 __ASM_EMIT("sub %[count], #0x10")
167 __ASM_EMIT("vstm %[dst]!, {d0-d7}")
168
169 /* 8x block */
170 __ASM_EMIT("4:")
171 __ASM_EMIT("adds %[count], #0x08") // + 0x10 - 0x8
172 __ASM_EMIT("blt 5f")
173 __ASM_EMIT("vld1.32 {q0-q1}, [%[src]]!")
174 __ASM_EMIT("sub %[count], #0x08")
175 __ASM_EMIT("vst1.32 {q0-q1}, [%[dst]]!")
176
177 /* 4x block */
178 __ASM_EMIT("5:")
179 __ASM_EMIT("adds %[count], #0x04") // + 0x8 - 0x4
180 __ASM_EMIT("blt 8f")
181 __ASM_EMIT("vld1.32 {q0}, [%[src]]!")
182 __ASM_EMIT("sub %[count], #0x04")
183 __ASM_EMIT("vst1.32 {q0}, [%[dst]]!")
184
185 /* 1x blocks */
186 __ASM_EMIT("8:")
187 __ASM_EMIT("adds %[count], #0x03") // + 0x4 - 0x1
188 __ASM_EMIT("blt 2000f")
189 __ASM_EMIT("9:")
190 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
191 __ASM_EMIT("subs %[count], #0x01")
192 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
193 __ASM_EMIT("bge 9b")
194
195 __ASM_EMIT("2000:")
196
197 : [src] "+r" (src), [dst] "+r"(dst), [count] "+r" (count) :
198 : "cc", "memory",
199 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7"
200 );
201 }
202
203 void fill_zero(float *dst, size_t count)
204 {
205 ARCH_ARM_ASM
206 (
207 __ASM_EMIT("subs %[count], #32")
208 __ASM_EMIT("veor q0, q0")
209 __ASM_EMIT("veor q1, q1")
210 __ASM_EMIT("blo 2f")
211
212 /* 32x block */
213 __ASM_EMIT("veor q2, q2")
214 __ASM_EMIT("veor q3, q3")
215 __ASM_EMIT("veor q4, q4")
216 __ASM_EMIT("veor q5, q5")
217 __ASM_EMIT("veor q6, q6")
218 __ASM_EMIT("veor q7, q7")
219
220 __ASM_EMIT("1:")
221 __ASM_EMIT("subs %[count], #32")
222 __ASM_EMIT("vstm %[dst]!, {q0-q7}")
223 __ASM_EMIT("bhs 1b")
224
225 /* 16x block */
226 __ASM_EMIT("2:")
227 __ASM_EMIT("adds %[count], #16")
228 __ASM_EMIT("blt 4f")
229
230 __ASM_EMIT("veor q2, q2")
231 __ASM_EMIT("veor q3, q3")
232 __ASM_EMIT("sub %[count], #16")
233 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
234
235 /* 8x block */
236 __ASM_EMIT("4:")
237 __ASM_EMIT("adds %[count], #8")
238 __ASM_EMIT("blt 5f")
239 __ASM_EMIT("sub %[count], #0x08")
240 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
241
242 /* 4x block */
243 __ASM_EMIT("5:")
244 __ASM_EMIT("adds %[count], #4")
245 __ASM_EMIT("blt 8f")
246 __ASM_EMIT("sub %[count], #4")
247 __ASM_EMIT("vst1.32 {q0}, [%[dst]]!")
248
249 /* 1x blocks */
250 __ASM_EMIT("8:")
251 __ASM_EMIT("adds %[count], #3")
252 __ASM_EMIT("blt 10f")
253 __ASM_EMIT("9:")
254 __ASM_EMIT("subs %[count], #1")
255 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
256 __ASM_EMIT("bge 9b")
257
258 __ASM_EMIT("10:")
259
260 : [dst] "+r"(dst),
261 [count] "+r" (count)
262 :
263 : "cc", "memory",
264 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7"
265 );
266 }
267
268 void fill(float *dst, float value, size_t count)
269 {
270 ARCH_ARM_ASM
271 (
272 __ASM_EMIT("vldr s0, [%[pv]]")
273 __ASM_EMIT("subs %[count], #32")
274 __ASM_EMIT("vdup.32 q0, d0[0]")
275 __ASM_EMIT("vmov q1, q0")
276 __ASM_EMIT("blo 2f")
277
278 /* 32x block */
279 __ASM_EMIT("vmov q2, q0")
280 __ASM_EMIT("vmov q3, q1")
281 __ASM_EMIT("vmov q4, q0")
282 __ASM_EMIT("vmov q5, q1")
283 __ASM_EMIT("vmov q6, q0")
284 __ASM_EMIT("vmov q7, q1")
285
286 __ASM_EMIT("1:")
287 __ASM_EMIT("subs %[count], #32")
288 __ASM_EMIT("vstm %[dst]!, {q0-q7}")
289 __ASM_EMIT("bhs 1b")
290
291 /* 16x block */
292 __ASM_EMIT("2:")
293 __ASM_EMIT("adds %[count], #16")
294 __ASM_EMIT("blt 4f")
295
296 __ASM_EMIT("vmov q2, q0")
297 __ASM_EMIT("vmov q3, q1")
298 __ASM_EMIT("sub %[count], #16")
299 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
300
301 /* 8x block */
302 __ASM_EMIT("4:")
303 __ASM_EMIT("adds %[count], #8")
304 __ASM_EMIT("blt 5f")
305 __ASM_EMIT("sub %[count], #0x08")
306 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
307
308 /* 4x block */
309 __ASM_EMIT("5:")
310 __ASM_EMIT("adds %[count], #4")
311 __ASM_EMIT("blt 8f")
312 __ASM_EMIT("sub %[count], #4")
313 __ASM_EMIT("vst1.32 {q0}, [%[dst]]!")
314
315 /* 1x blocks */
316 __ASM_EMIT("8:")
317 __ASM_EMIT("adds %[count], #3")
318 __ASM_EMIT("blt 10f")
319 __ASM_EMIT("9:")
320 __ASM_EMIT("subs %[count], #1")
321 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
322 __ASM_EMIT("bge 9b")
323
324 __ASM_EMIT("10:")
325
326 : [dst] "+r"(dst),
327 [count] "+r" (count)
328 : [pv] "r" (&value)
329 : "cc", "memory",
330 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7"
331 );
332 }
333
334 void fill_one(float *dst, size_t count)
335 {
336 fill(dst, 1.0f, count);
337 }
338
339 void fill_minus_one(float *dst, size_t count)
340 {
341 fill(dst, -1.0f, count);
342 }
343
344 void reverse1(float *dst, size_t count)
345 {
346 IF_ARCH_ARM(float *src);
347 ARCH_ARM_ASM
348 (
349 __ASM_EMIT("add %[src], %[dst], %[count], lsl #2")
350 __ASM_EMIT("lsr %[count], #1")
351 __ASM_EMIT("subs %[count], #16")
352 __ASM_EMIT("blo 2f")
353
354 /* 16x block */
355 __ASM_EMIT("1:")
356 __ASM_EMIT("sub %[src], #0x40")
357 __ASM_EMIT("vldm %[dst], {q4-q7}")
358 __ASM_EMIT("vldm %[src], {q0-q3}")
359 __ASM_EMIT("vrev64.f32 q0, q0")
360 __ASM_EMIT("vrev64.f32 q1, q1")
361 __ASM_EMIT("vrev64.f32 q2, q2")
362 __ASM_EMIT("vrev64.f32 q3, q3")
363 __ASM_EMIT("vrev64.f32 q4, q4")
364 __ASM_EMIT("vrev64.f32 q5, q5")
365 __ASM_EMIT("vrev64.f32 q6, q6")
366 __ASM_EMIT("vrev64.f32 q7, q7")
367 __ASM_EMIT("vext.32 q0, q0, q0, #2")
368 __ASM_EMIT("vext.32 q1, q1, q1, #2")
369 __ASM_EMIT("vext.32 q2, q2, q2, #2")
370 __ASM_EMIT("vext.32 q3, q3, q3, #2")
371 __ASM_EMIT("vext.32 q4, q4, q4, #2")
372 __ASM_EMIT("vext.32 q5, q5, q5, #2")
373 __ASM_EMIT("vext.32 q6, q6, q6, #2")
374 __ASM_EMIT("vext.32 q7, q7, q7, #2")
375 __ASM_EMIT("vswp q0, q3")
376 __ASM_EMIT("vswp q1, q2")
377 __ASM_EMIT("vswp q4, q7")
378 __ASM_EMIT("vswp q5, q6")
379 __ASM_EMIT("subs %[count], #16")
380 __ASM_EMIT("vstm %[dst]!, {q0-q3}")
381 __ASM_EMIT("vstm %[src], {q4-q7}")
382 __ASM_EMIT("bhs 1b")
383
384 /* 8x block */
385 __ASM_EMIT("2:")
386 __ASM_EMIT("adds %[count], #8")
387 __ASM_EMIT("blt 4f")
388
389 __ASM_EMIT("sub %[src], #0x20")
390 __ASM_EMIT("vldm %[dst], {q4-q5}")
391 __ASM_EMIT("vldm %[src], {q0-q1}")
392 __ASM_EMIT("vrev64.f32 q0, q0")
393 __ASM_EMIT("vrev64.f32 q1, q1")
394 __ASM_EMIT("vrev64.f32 q4, q4")
395 __ASM_EMIT("vrev64.f32 q5, q5")
396 __ASM_EMIT("vext.32 q0, q0, q0, #2")
397 __ASM_EMIT("vext.32 q1, q1, q1, #2")
398 __ASM_EMIT("vext.32 q4, q4, q4, #2")
399 __ASM_EMIT("vext.32 q5, q5, q5, #2")
400 __ASM_EMIT("vswp q0, q1")
401 __ASM_EMIT("vswp q4, q5")
402 __ASM_EMIT("sub %[count], #8")
403 __ASM_EMIT("vstm %[dst]!, {q0-q1}")
404 __ASM_EMIT("vstm %[src], {q4-q5}")
405
406 /* 4x block */
407 __ASM_EMIT("4:")
408 __ASM_EMIT("adds %[count], #4")
409 __ASM_EMIT("blt 6f")
410 __ASM_EMIT("sub %[src], #0x10")
411 __ASM_EMIT("vldm %[dst], {q4}")
412 __ASM_EMIT("vldm %[src], {q0}")
413 __ASM_EMIT("vrev64.f32 q0, q0")
414 __ASM_EMIT("vrev64.f32 q4, q4")
415 __ASM_EMIT("vext.32 q0, q0, q0, #2")
416 __ASM_EMIT("vext.32 q4, q4, q4, #2")
417 __ASM_EMIT("sub %[count], #4")
418 __ASM_EMIT("vstm %[src], {q4}")
419 __ASM_EMIT("vstm %[dst]!, {q0}")
420
421 /* 1x blocks */
422 __ASM_EMIT("6:")
423 __ASM_EMIT("adds %[count], #3")
424 __ASM_EMIT("blt 8f")
425 __ASM_EMIT("9:")
426 __ASM_EMIT("sub %[src], #0x04")
427 __ASM_EMIT("vld1.32 {d8[], d9[]}, [%[dst]]")
428 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]")
429 __ASM_EMIT("subs %[count], #1")
430 __ASM_EMIT("vst1.32 {d8[0]}, [%[src]]")
431 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]!")
432 __ASM_EMIT("bge 9b")
433
434 __ASM_EMIT("8:")
435
436 : [dst] "+r"(dst), [src] "=&r" (src),
437 [count] "+r" (count)
438 :
439 : "cc", "memory",
440 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7"
441 );
442 }
443
444 void reverse2(float *dst, const float *src, size_t count)
445 {
446 ARCH_ARM_ASM
447 (
448 __ASM_EMIT("add %[dst], %[dst], %[count], lsl #2")
449 __ASM_EMIT("subs %[count], #32")
450 __ASM_EMIT("blo 2f")
451 /* 32x block */
452 __ASM_EMIT("1:")
453 __ASM_EMIT("sub %[dst], #0x80")
454 __ASM_EMIT("vldm %[src]!, {q0-q7}")
455 __ASM_EMIT("vrev64.f32 q0, q0")
456 __ASM_EMIT("vrev64.f32 q1, q1")
457 __ASM_EMIT("vrev64.f32 q2, q2")
458 __ASM_EMIT("vrev64.f32 q3, q3")
459 __ASM_EMIT("vrev64.f32 q4, q4")
460 __ASM_EMIT("vrev64.f32 q5, q5")
461 __ASM_EMIT("vrev64.f32 q6, q6")
462 __ASM_EMIT("vrev64.f32 q7, q7")
463 __ASM_EMIT("vext.32 q0, q0, q0, #2")
464 __ASM_EMIT("vext.32 q1, q1, q1, #2")
465 __ASM_EMIT("vext.32 q2, q2, q2, #2")
466 __ASM_EMIT("vext.32 q3, q3, q3, #2")
467 __ASM_EMIT("vext.32 q4, q4, q4, #2")
468 __ASM_EMIT("vext.32 q5, q5, q5, #2")
469 __ASM_EMIT("vext.32 q6, q6, q6, #2")
470 __ASM_EMIT("vext.32 q7, q7, q7, #2")
471 __ASM_EMIT("vswp q0, q7")
472 __ASM_EMIT("vswp q1, q6")
473 __ASM_EMIT("vswp q2, q5")
474 __ASM_EMIT("vswp q3, q4")
475 __ASM_EMIT("subs %[count], #32")
476 __ASM_EMIT("vstm %[dst], {q0-q7}")
477 __ASM_EMIT("bhs 1b")
478 /* 16x block */
479 __ASM_EMIT("2:")
480 __ASM_EMIT("add %[count], #16")
481 __ASM_EMIT("blt 4f")
482 __ASM_EMIT("sub %[dst], #0x40")
483 __ASM_EMIT("vldm %[src]!, {q0-q3}")
484 __ASM_EMIT("vrev64.f32 q0, q0")
485 __ASM_EMIT("vrev64.f32 q1, q1")
486 __ASM_EMIT("vrev64.f32 q2, q2")
487 __ASM_EMIT("vrev64.f32 q3, q3")
488 __ASM_EMIT("vext.32 q0, q0, q0, #2")
489 __ASM_EMIT("vext.32 q1, q1, q1, #2")
490 __ASM_EMIT("vext.32 q2, q2, q2, #2")
491 __ASM_EMIT("vext.32 q3, q3, q3, #2")
492 __ASM_EMIT("vswp q0, q3")
493 __ASM_EMIT("vswp q1, q2")
494 __ASM_EMIT("sub %[count], #16")
495 __ASM_EMIT("vstm %[dst], {q0-q3}")
496 /* 8x block */
497 __ASM_EMIT("4:")
498 __ASM_EMIT("add %[count], #8")
499 __ASM_EMIT("blt 6f")
500 __ASM_EMIT("sub %[dst], #0x20")
501 __ASM_EMIT("vldm %[src]!, {q0-q1}")
502 __ASM_EMIT("vrev64.f32 q0, q0")
503 __ASM_EMIT("vrev64.f32 q1, q1")
504 __ASM_EMIT("vext.32 q0, q0, q0, #2")
505 __ASM_EMIT("vext.32 q1, q1, q1, #2")
506 __ASM_EMIT("vswp q0, q1")
507 __ASM_EMIT("sub %[count], #8")
508 __ASM_EMIT("vstm %[dst], {q0-q1}")
509 /* 4x block */
510 __ASM_EMIT("6:")
511 __ASM_EMIT("add %[count], #4")
512 __ASM_EMIT("blt 8f")
513 __ASM_EMIT("sub %[dst], #0x10")
514 __ASM_EMIT("vldm %[src]!, {q0}")
515 __ASM_EMIT("vrev64.f32 q0, q0")
516 __ASM_EMIT("vext.32 q0, q0, q0, #2")
517 __ASM_EMIT("sub %[count], #4")
518 __ASM_EMIT("vstm %[dst], {q0}")
519 /* 1x blocks */
520 __ASM_EMIT("8:")
521 __ASM_EMIT("adds %[count], #3")
522 __ASM_EMIT("blt 10f")
523 __ASM_EMIT("9:")
524 __ASM_EMIT("sub %[dst], #0x04")
525 __ASM_EMIT("vld1.32 {d0[], d1[]}, [%[src]]!")
526 __ASM_EMIT("subs %[count], #1")
527 __ASM_EMIT("vst1.32 {d0[0]}, [%[dst]]")
528 __ASM_EMIT("bge 9b")
529 /* end */
530 __ASM_EMIT("10:")
531
532 : [dst] "+r"(dst), [src] "+r" (src),
533 [count] "+r" (count)
534 :
535 : "cc", "memory",
536 "q0", "q1", "q2", "q3" , "q4", "q5", "q6", "q7"
537 );
538 }
539 }
540 }
541
542 #endif /* PRIVATE_DSP_ARCH_ARM_NEON_D32_COPY_H_ */