Debian Codegraph @

crypto_nPbatch/montgomery25519/amd64-avx2-4x1-9l-maa5/mladder.S

raw
1 #include "crypto_asm_property.h"
2 #include "crypto_asm_hidden.h"
3 #include "consts_namespace.h"
4
5 // 4-way Montgomery ladder, 9-limb implementation
6
7 .p2align 5
8
9 ASM_HIDDEN _CRYPTO_SHARED_NAMESPACE(mladder_4x1)
10 .globl _CRYPTO_SHARED_NAMESPACE(mladder_4x1)
11 ASM_HIDDEN CRYPTO_SHARED_NAMESPACE(mladder_4x1)
12 .globl CRYPTO_SHARED_NAMESPACE(mladder_4x1)
13 _CRYPTO_SHARED_NAMESPACE(mladder_4x1):
14 CRYPTO_SHARED_NAMESPACE(mladder_4x1):
15
16 movq %rsp,%r8
17 andq $-32,%rsp
18 subq $3456,%rsp
19
20 vmovdqa vec0(%rip),%ymm0
21 vmovdqa vec1(%rip),%ymm1
22
23 // X1 ← XP,X3 ← XP
24 vmovdqa 0(%rsi),%ymm2
25 vmovdqa %ymm2,96(%rsp)
26 vmovdqa %ymm2,960(%rsp)
27
28 vmovdqa 32(%rsi),%ymm2
29 vmovdqa %ymm2,128(%rsp)
30 vmovdqa %ymm2,992(%rsp)
31
32 vmovdqa 64(%rsi),%ymm2
33 vmovdqa %ymm2,160(%rsp)
34 vmovdqa %ymm2,1024(%rsp)
35
36 vmovdqa 96(%rsi),%ymm2
37 vmovdqa %ymm2,192(%rsp)
38 vmovdqa %ymm2,1056(%rsp)
39
40 vmovdqa 128(%rsi),%ymm2
41 vmovdqa %ymm2,224(%rsp)
42 vmovdqa %ymm2,1088(%rsp)
43
44 vmovdqa 160(%rsi),%ymm2
45 vmovdqa %ymm2,256(%rsp)
46 vmovdqa %ymm2,1120(%rsp)
47
48 vmovdqa 192(%rsi),%ymm2
49 vmovdqa %ymm2,288(%rsp)
50 vmovdqa %ymm2,1152(%rsp)
51
52 vmovdqa 224(%rsi),%ymm2
53 vmovdqa %ymm2,320(%rsp)
54 vmovdqa %ymm2,1184(%rsp)
55
56 vmovdqa 256(%rsi),%ymm2
57 vmovdqa %ymm2,352(%rsp)
58 vmovdqa %ymm2,1216(%rsp)
59
60 // X2 ← 1
61 vmovdqa %ymm1,384(%rsp)
62 vmovdqa %ymm0,416(%rsp)
63 vmovdqa %ymm0,448(%rsp)
64 vmovdqa %ymm0,480(%rsp)
65 vmovdqa %ymm0,512(%rsp)
66 vmovdqa %ymm0,544(%rsp)
67 vmovdqa %ymm0,576(%rsp)
68 vmovdqa %ymm0,608(%rsp)
69 vmovdqa %ymm0,640(%rsp)
70
71 // Z2 ← 0
72 vmovdqa %ymm0,672(%rsp)
73 vmovdqa %ymm0,704(%rsp)
74 vmovdqa %ymm0,736(%rsp)
75 vmovdqa %ymm0,768(%rsp)
76 vmovdqa %ymm0,800(%rsp)
77 vmovdqa %ymm0,832(%rsp)
78 vmovdqa %ymm0,864(%rsp)
79 vmovdqa %ymm0,896(%rsp)
80 vmovdqa %ymm0,928(%rsp)
81
82 // Z3 ← 1
83 vmovdqa %ymm1,1248(%rsp)
84 vmovdqa %ymm0,1280(%rsp)
85 vmovdqa %ymm0,1312(%rsp)
86 vmovdqa %ymm0,1344(%rsp)
87 vmovdqa %ymm0,1376(%rsp)
88 vmovdqa %ymm0,1408(%rsp)
89 vmovdqa %ymm0,1440(%rsp)
90 vmovdqa %ymm0,1472(%rsp)
91 vmovdqa %ymm0,1504(%rsp)
92
93 movq $96,%r9
94 movb $62,%cl
95
96 vmovdqa vec0(%rip),%ymm0
97 vmovdqa sixtytwo(%rip),%ymm1
98 vmovdqa %ymm1,0(%rsp)
99 vmovdqa %ymm0,32(%rsp)
100
101 movq %rdx,%rax
102
103 // Montgomery ladder loop
104 .L1:
105 addq %r9,%rax
106
107 vmovdqa 0(%rax),%ymm0
108 vmovdqa %ymm0,64(%rsp)
109
110 movq %rdx,%rax
111
112 .L2:
113 /*
114 * Montgomery ladder step
115 *
116 * T1 ← X2 + Z2
117 * T2 ← X2 - Z2
118 * T3 ← X3 + Z3
119 * T4 ← X3 - Z3
120 * Z3 ← T2 · T3
121 * X3 ← T1 · T4
122 *
123 * bit ← n[i]
124 * select ← bit ⊕ prevbit
125 * prevbit ← bit
126 * CSelect(T1,T3,select): if (select == 1) {T1 = T3}
127 * CSelect(T2,T4,select): if (select == 1) {T2 = T4}
128 *
129 * T2 ← T2^2
130 * T1 ← T1^2
131 * T3 ← X3 + Z3
132 * Z3 ← X3 - Z3
133 * Z3 ← Z3^2
134 * X3 ← T3^2
135 * T3 ← T1 - T2
136 * T4 ← ((A + 2)/4) · T3
137 * T4 ← T4 + T2
138 * X2 ← T1 · T2
139 * Z2 ← T3 · T4
140 * Z3 ← Z3 · X1
141 *
142 */
143
144 // X2
145 vmovdqa 384(%rsp),%ymm10
146 vmovdqa 416(%rsp),%ymm11
147 vmovdqa 448(%rsp),%ymm12
148 vmovdqa 480(%rsp),%ymm13
149 vmovdqa 512(%rsp),%ymm5
150 vmovdqa 544(%rsp),%ymm6
151 vmovdqa 576(%rsp),%ymm7
152 vmovdqa 608(%rsp),%ymm8
153 vmovdqa 640(%rsp),%ymm9
154
155 // copy X2
156 vmovdqa %ymm10,%ymm0
157 vmovdqa %ymm11,%ymm1
158 vmovdqa %ymm12,%ymm2
159 vmovdqa %ymm13,%ymm3
160 vmovdqa %ymm5,%ymm4
161 vmovdqa %ymm6,%ymm14
162 vmovdqa %ymm7,%ymm15
163
164 // T1 ← X2 + Z2
165 vpaddq 672(%rsp),%ymm10,%ymm10
166 vpaddq 704(%rsp),%ymm11,%ymm11
167 vpaddq 736(%rsp),%ymm12,%ymm12
168 vpaddq 768(%rsp),%ymm13,%ymm13
169 vpaddq 800(%rsp),%ymm5,%ymm5
170 vpaddq 832(%rsp),%ymm6,%ymm6
171 vpaddq 864(%rsp),%ymm7,%ymm7
172 vpaddq 896(%rsp),%ymm8,%ymm8
173 vpaddq 928(%rsp),%ymm9,%ymm9
174
175 vmovdqa %ymm10,1536(%rsp)
176 vmovdqa %ymm11,1568(%rsp)
177 vmovdqa %ymm12,1600(%rsp)
178 vmovdqa %ymm13,1632(%rsp)
179 vmovdqa %ymm5,1664(%rsp)
180 vmovdqa %ymm6,1696(%rsp)
181 vmovdqa %ymm7,1728(%rsp)
182 vmovdqa %ymm8,1760(%rsp)
183 vmovdqa %ymm9,1792(%rsp)
184
185 // remaining X2
186 vmovdqa 608(%rsp),%ymm10
187 vmovdqa 640(%rsp),%ymm11
188
189 // T2 ← X2 - Z2
190 vpaddq vec2p0(%rip),%ymm0,%ymm0
191 vpaddq vec2p1_7(%rip),%ymm1,%ymm1
192 vpaddq vec2p1_7(%rip),%ymm2,%ymm2
193 vpaddq vec2p1_7(%rip),%ymm3,%ymm3
194 vpaddq vec2p1_7(%rip),%ymm4,%ymm4
195 vpaddq vec2p1_7(%rip),%ymm14,%ymm14
196 vpaddq vec2p1_7(%rip),%ymm15,%ymm15
197 vpaddq vec2p1_7(%rip),%ymm10,%ymm10
198 vpaddq vec2p8(%rip),%ymm11,%ymm11
199
200 vpsubq 672(%rsp),%ymm0,%ymm0
201 vpsubq 704(%rsp),%ymm1,%ymm1
202 vpsubq 736(%rsp),%ymm2,%ymm2
203 vpsubq 768(%rsp),%ymm3,%ymm3
204 vpsubq 800(%rsp),%ymm4,%ymm4
205 vpsubq 832(%rsp),%ymm14,%ymm14
206 vpsubq 864(%rsp),%ymm15,%ymm15
207 vpsubq 896(%rsp),%ymm10,%ymm10
208 vpsubq 928(%rsp),%ymm11,%ymm11
209
210 vpsrlq $29,%ymm4,%ymm5
211 vpaddq %ymm5,%ymm14,%ymm14
212 vpand vecmask29(%rip),%ymm4,%ymm4
213
214 vpsrlq $29,%ymm0,%ymm5
215 vpaddq %ymm5,%ymm1,%ymm1
216 vpand vecmask29(%rip),%ymm0,%ymm0
217
218 vpsrlq $29,%ymm14,%ymm5
219 vpaddq %ymm5,%ymm15,%ymm15
220 vpand vecmask29(%rip),%ymm14,%ymm14
221
222 vpsrlq $29,%ymm1,%ymm5
223 vpaddq %ymm5,%ymm2,%ymm2
224 vpand vecmask29(%rip),%ymm1,%ymm1
225
226 vpsrlq $29,%ymm15,%ymm5
227 vpaddq %ymm5,%ymm10,%ymm10
228 vpand vecmask29(%rip),%ymm15,%ymm15
229
230 vpsrlq $29,%ymm2,%ymm5
231 vpaddq %ymm5,%ymm3,%ymm3
232 vpand vecmask29(%rip),%ymm2,%ymm2
233
234 vpsrlq $29,%ymm10,%ymm5
235 vpaddq %ymm5,%ymm11,%ymm11
236 vpand vecmask29(%rip),%ymm10,%ymm10
237
238 vpsrlq $29,%ymm3,%ymm5
239 vpaddq %ymm5,%ymm4,%ymm4
240 vpand vecmask29(%rip),%ymm3,%ymm3
241
242 vpsrlq $23,%ymm11,%ymm5
243 vpmuludq vec19(%rip),%ymm5,%ymm5
244 vpaddq %ymm5,%ymm0,%ymm0
245 vpand vecmask23(%rip),%ymm11,%ymm11
246
247 vpsrlq $29,%ymm4,%ymm5
248 vpaddq %ymm5,%ymm14,%ymm14
249 vpand vecmask29(%rip),%ymm4,%ymm4
250
251 vpsrlq $29,%ymm0,%ymm5
252 vpaddq %ymm5,%ymm1,%ymm1
253 vpand vecmask29(%rip),%ymm0,%ymm0
254
255 vmovdqa %ymm0,1824(%rsp)
256 vmovdqa %ymm1,1856(%rsp)
257 vmovdqa %ymm2,1888(%rsp)
258 vmovdqa %ymm3,1920(%rsp)
259 vmovdqa %ymm4,1952(%rsp)
260 vmovdqa %ymm14,1984(%rsp)
261 vmovdqa %ymm15,2016(%rsp)
262 vmovdqa %ymm10,2048(%rsp)
263 vmovdqa %ymm11,2080(%rsp)
264
265 // X3
266 vmovdqa 960(%rsp),%ymm10
267 vmovdqa 992(%rsp),%ymm11
268 vmovdqa 1024(%rsp),%ymm12
269 vmovdqa 1056(%rsp),%ymm13
270 vmovdqa 1088(%rsp),%ymm0
271 vmovdqa 1120(%rsp),%ymm1
272 vmovdqa 1152(%rsp),%ymm2
273 vmovdqa 1184(%rsp),%ymm14
274 vmovdqa 1216(%rsp),%ymm15
275
276 // copy X3
277 vmovdqa %ymm14,%ymm3
278 vmovdqa %ymm15,%ymm4
279
280 // T3 ← X3 + Z3
281 vpaddq 1248(%rsp),%ymm10,%ymm10
282 vpaddq 1280(%rsp),%ymm11,%ymm11
283 vpaddq 1312(%rsp),%ymm12,%ymm12
284 vpaddq 1344(%rsp),%ymm13,%ymm13
285 vpaddq 1376(%rsp),%ymm0,%ymm0
286 vpaddq 1408(%rsp),%ymm1,%ymm1
287 vpaddq 1440(%rsp),%ymm2,%ymm2
288 vpaddq 1472(%rsp),%ymm14,%ymm14
289 vpaddq 1504(%rsp),%ymm15,%ymm15
290
291 vmovdqa %ymm10,2112(%rsp)
292 vmovdqa %ymm11,2144(%rsp)
293 vmovdqa %ymm12,2176(%rsp)
294 vmovdqa %ymm13,2208(%rsp)
295 vmovdqa %ymm0,2240(%rsp)
296 vmovdqa %ymm1,2272(%rsp)
297 vmovdqa %ymm2,2304(%rsp)
298 vmovdqa %ymm14,2336(%rsp)
299 vmovdqa %ymm15,2368(%rsp)
300
301 // remaining X3
302 vmovdqa 960(%rsp),%ymm10
303 vmovdqa 992(%rsp),%ymm11
304 vmovdqa 1024(%rsp),%ymm12
305 vmovdqa 1056(%rsp),%ymm13
306 vmovdqa 1088(%rsp),%ymm0
307 vmovdqa 1120(%rsp),%ymm1
308 vmovdqa 1152(%rsp),%ymm2
309
310 // T4 ← X3 - Z3
311 vpaddq vec2p0(%rip),%ymm10,%ymm10
312 vpaddq vec2p1_7(%rip),%ymm11,%ymm11
313 vpaddq vec2p1_7(%rip),%ymm12,%ymm12
314 vpaddq vec2p1_7(%rip),%ymm13,%ymm13
315 vpaddq vec2p1_7(%rip),%ymm0,%ymm0
316 vpaddq vec2p1_7(%rip),%ymm1,%ymm1
317 vpaddq vec2p1_7(%rip),%ymm2,%ymm2
318 vpaddq vec2p1_7(%rip),%ymm3,%ymm3
319 vpaddq vec2p8(%rip),%ymm4,%ymm4
320
321 vpsubq 1248(%rsp),%ymm10,%ymm10
322 vpsubq 1280(%rsp),%ymm11,%ymm11
323 vpsubq 1312(%rsp),%ymm12,%ymm12
324 vpsubq 1344(%rsp),%ymm13,%ymm13
325 vpsubq 1376(%rsp),%ymm0,%ymm0
326 vpsubq 1408(%rsp),%ymm1,%ymm1
327 vpsubq 1440(%rsp),%ymm2,%ymm2
328 vpsubq 1472(%rsp),%ymm3,%ymm3
329 vpsubq 1504(%rsp),%ymm4,%ymm4
330
331 vpsrlq $29,%ymm0,%ymm15
332 vpaddq %ymm15,%ymm1,%ymm1
333 vpand vecmask29(%rip),%ymm0,%ymm0
334
335 vpsrlq $29,%ymm10,%ymm15
336 vpaddq %ymm15,%ymm11,%ymm11
337 vpand vecmask29(%rip),%ymm10,%ymm10
338
339 vpsrlq $29,%ymm1,%ymm15
340 vpaddq %ymm15,%ymm2,%ymm2
341 vpand vecmask29(%rip),%ymm1,%ymm1
342
343 vpsrlq $29,%ymm11,%ymm15
344 vpaddq %ymm15,%ymm12,%ymm12
345 vpand vecmask29(%rip),%ymm11,%ymm11
346
347 vpsrlq $29,%ymm2,%ymm15
348 vpaddq %ymm15,%ymm3,%ymm3
349 vpand vecmask29(%rip),%ymm2,%ymm2
350
351 vpsrlq $29,%ymm12,%ymm15
352 vpaddq %ymm15,%ymm13,%ymm13
353 vpand vecmask29(%rip),%ymm12,%ymm12
354
355 vpsrlq $29,%ymm3,%ymm15
356 vpaddq %ymm15,%ymm4,%ymm4
357 vpand vecmask29(%rip),%ymm3,%ymm3
358
359 vpsrlq $29,%ymm13,%ymm15
360 vpaddq %ymm15,%ymm0,%ymm0
361 vpand vecmask29(%rip),%ymm13,%ymm13
362
363 vpsrlq $29,%ymm0,%ymm15
364 vpaddq %ymm15,%ymm1,%ymm1
365 vpand vecmask29(%rip),%ymm0,%ymm0
366
367 vpsrlq $23,%ymm4,%ymm15
368 vpmuludq vec19(%rip),%ymm15,%ymm15
369 vpaddq %ymm15,%ymm10,%ymm10
370 vpand vecmask23(%rip),%ymm4,%ymm4
371
372 vpsrlq $29,%ymm1,%ymm15
373 vpaddq %ymm15,%ymm2,%ymm2
374 vpand vecmask29(%rip),%ymm1,%ymm1
375
376 vpsrlq $29,%ymm10,%ymm15
377 vpaddq %ymm15,%ymm11,%ymm11
378 vpand vecmask29(%rip),%ymm10,%ymm10
379
380 vmovdqa %ymm10,2400(%rsp)
381 vmovdqa %ymm11,2432(%rsp)
382 vmovdqa %ymm12,2464(%rsp)
383 vmovdqa %ymm13,2496(%rsp)
384 vmovdqa %ymm0,2528(%rsp)
385 vmovdqa %ymm1,2560(%rsp)
386 vmovdqa %ymm2,2592(%rsp)
387 vmovdqa %ymm3,2624(%rsp)
388 vmovdqa %ymm4,2656(%rsp)
389
390 vmovdqa 1664(%rsp),%ymm5
391
392 // X3 ← T1 · T4
393 vpmuludq %ymm5,%ymm0,%ymm15
394 vmovdqa %ymm15,2688(%rsp)
395
396 vpmuludq %ymm6,%ymm0,%ymm15
397 vpmuludq %ymm5,%ymm1,%ymm14
398 vpaddq %ymm14,%ymm15,%ymm15
399 vmovdqa %ymm15,2720(%rsp)
400
401 vpmuludq %ymm7,%ymm0,%ymm15
402 vpmuludq %ymm6,%ymm1,%ymm14
403 vpaddq %ymm14,%ymm15,%ymm15
404 vpmuludq %ymm5,%ymm2,%ymm14
405 vpaddq %ymm14,%ymm15,%ymm15
406 vmovdqa %ymm15,2752(%rsp)
407
408 vpmuludq %ymm8,%ymm0,%ymm15
409 vpmuludq %ymm7,%ymm1,%ymm14
410 vpaddq %ymm14,%ymm15,%ymm15
411 vpmuludq %ymm6,%ymm2,%ymm14
412 vpaddq %ymm14,%ymm15,%ymm15
413 vpmuludq %ymm5,%ymm3,%ymm14
414 vpaddq %ymm14,%ymm15,%ymm15
415 vmovdqa %ymm15,2784(%rsp)
416
417 vpmuludq %ymm9,%ymm0,%ymm15
418 vpmuludq %ymm8,%ymm1,%ymm14
419 vpaddq %ymm14,%ymm15,%ymm15
420 vpmuludq %ymm7,%ymm2,%ymm14
421 vpaddq %ymm14,%ymm15,%ymm15
422 vpmuludq %ymm6,%ymm3,%ymm14
423 vpaddq %ymm14,%ymm15,%ymm15
424 vpmuludq %ymm5,%ymm4,%ymm14
425 vpaddq %ymm14,%ymm15,%ymm15
426 vmovdqa %ymm15,2816(%rsp)
427
428 vpmuludq %ymm9,%ymm1,%ymm15
429 vpmuludq %ymm8,%ymm2,%ymm14
430 vpaddq %ymm14,%ymm15,%ymm15
431 vpmuludq %ymm7,%ymm3,%ymm14
432 vpaddq %ymm14,%ymm15,%ymm15
433 vpmuludq %ymm6,%ymm4,%ymm14
434 vpaddq %ymm14,%ymm15,%ymm15
435 vmovdqa %ymm15,2848(%rsp)
436
437 vpmuludq %ymm9,%ymm2,%ymm15
438 vpmuludq %ymm8,%ymm3,%ymm14
439 vpaddq %ymm14,%ymm15,%ymm15
440 vpmuludq %ymm7,%ymm4,%ymm14
441 vpaddq %ymm14,%ymm15,%ymm15
442 vmovdqa %ymm15,2880(%rsp)
443
444 vpmuludq %ymm9,%ymm3,%ymm15
445 vpmuludq %ymm8,%ymm4,%ymm14
446 vpaddq %ymm14,%ymm15,%ymm15
447 vmovdqa %ymm15,2912(%rsp)
448
449 vpmuludq %ymm9,%ymm4,%ymm15
450 vmovdqa %ymm15,2944(%rsp)
451
452 vpaddq %ymm10,%ymm0,%ymm0
453 vpaddq %ymm11,%ymm1,%ymm1
454 vpaddq %ymm12,%ymm2,%ymm2
455 vpaddq %ymm13,%ymm3,%ymm3
456 vpaddq 1536(%rsp),%ymm5,%ymm5
457 vpaddq 1568(%rsp),%ymm6,%ymm6
458 vpaddq 1600(%rsp),%ymm7,%ymm7
459 vpaddq 1632(%rsp),%ymm8,%ymm8
460
461 vpmuludq 1536(%rsp),%ymm10,%ymm15
462 vmovdqa %ymm15,2976(%rsp)
463 vpaddq 2688(%rsp),%ymm15,%ymm15
464 vmovdqa %ymm15,3200(%rsp)
465
466 vpmuludq 1568(%rsp),%ymm10,%ymm15
467 vpmuludq 1536(%rsp),%ymm11,%ymm14
468 vpaddq %ymm14,%ymm15,%ymm15
469 vmovdqa %ymm15,3008(%rsp)
470 vpaddq 2720(%rsp),%ymm15,%ymm15
471 vmovdqa %ymm15,3232(%rsp)
472
473 vpmuludq 1600(%rsp),%ymm10,%ymm15
474 vpmuludq 1568(%rsp),%ymm11,%ymm14
475 vpaddq %ymm14,%ymm15,%ymm15
476 vpmuludq 1536(%rsp),%ymm12,%ymm14
477 vpaddq %ymm14,%ymm15,%ymm15
478 vmovdqa %ymm15,3040(%rsp)
479 vpaddq 2752(%rsp),%ymm15,%ymm15
480 vmovdqa %ymm15,3264(%rsp)
481
482 vpmuludq 1632(%rsp),%ymm10,%ymm15
483 vpmuludq 1600(%rsp),%ymm11,%ymm14
484 vpaddq %ymm14,%ymm15,%ymm15
485 vpmuludq 1568(%rsp),%ymm12,%ymm14
486 vpaddq %ymm14,%ymm15,%ymm15
487 vpmuludq 1536(%rsp),%ymm13,%ymm14
488 vpaddq %ymm14,%ymm15,%ymm15
489 vmovdqa %ymm15,3072(%rsp)
490 vpaddq 2784(%rsp),%ymm15,%ymm15
491 vmovdqa %ymm15,3296(%rsp)
492
493 vpmuludq 1632(%rsp),%ymm11,%ymm15
494 vpmuludq 1600(%rsp),%ymm12,%ymm14
495 vpaddq %ymm14,%ymm15,%ymm15
496 vpmuludq 1568(%rsp),%ymm13,%ymm14
497 vpaddq %ymm14,%ymm15,%ymm15
498 vmovdqa %ymm15,3104(%rsp)
499 vpaddq 2816(%rsp),%ymm15,%ymm15
500 vmovdqa %ymm15,3328(%rsp)
501
502 vpmuludq 1632(%rsp),%ymm12,%ymm15
503 vpmuludq 1600(%rsp),%ymm13,%ymm14
504 vpaddq %ymm14,%ymm15,%ymm15
505 vmovdqa %ymm15,3136(%rsp)
506 vpaddq 2848(%rsp),%ymm15,%ymm15
507 vmovdqa %ymm15,3360(%rsp)
508
509 vpmuludq 1632(%rsp),%ymm13,%ymm15
510 vmovdqa %ymm15,3168(%rsp)
511 vpaddq 2880(%rsp),%ymm15,%ymm15
512 vmovdqa %ymm15,3392(%rsp)
513
514 vpmuludq %ymm5,%ymm0,%ymm15
515 vmovdqa %ymm15,3424(%rsp)
516
517 vpmuludq %ymm6,%ymm0,%ymm15
518 vpmuludq %ymm5,%ymm1,%ymm14
519 vpaddq %ymm14,%ymm15,%ymm10
520
521 vpmuludq %ymm7,%ymm0,%ymm15
522 vpmuludq %ymm6,%ymm1,%ymm14
523 vpaddq %ymm14,%ymm15,%ymm15
524 vpmuludq %ymm5,%ymm2,%ymm14
525 vpaddq %ymm14,%ymm15,%ymm11
526
527 vpmuludq %ymm8,%ymm0,%ymm15
528 vpmuludq %ymm7,%ymm1,%ymm14
529 vpaddq %ymm14,%ymm15,%ymm15
530 vpmuludq %ymm6,%ymm2,%ymm14
531 vpaddq %ymm14,%ymm15,%ymm15
532 vpmuludq %ymm5,%ymm3,%ymm14
533 vpaddq %ymm14,%ymm15,%ymm12
534
535 vpmuludq %ymm9,%ymm0,%ymm15
536 vpmuludq %ymm8,%ymm1,%ymm14
537 vpaddq %ymm14,%ymm15,%ymm15
538 vpmuludq %ymm7,%ymm2,%ymm14
539 vpaddq %ymm14,%ymm15,%ymm15
540 vpmuludq %ymm6,%ymm3,%ymm14
541 vpaddq %ymm14,%ymm15,%ymm15
542 vpmuludq %ymm5,%ymm4,%ymm14
543 vpaddq %ymm14,%ymm15,%ymm13
544
545 vpmuludq %ymm9,%ymm1,%ymm15
546 vpmuludq %ymm8,%ymm2,%ymm14
547 vpaddq %ymm14,%ymm15,%ymm15
548 vpmuludq %ymm7,%ymm3,%ymm14
549 vpaddq %ymm14,%ymm15,%ymm15
550 vpmuludq %ymm6,%ymm4,%ymm14
551 vpaddq %ymm14,%ymm15,%ymm0
552
553 vpmuludq %ymm9,%ymm2,%ymm15
554 vpmuludq %ymm8,%ymm3,%ymm14
555 vpaddq %ymm14,%ymm15,%ymm15
556 vpmuludq %ymm7,%ymm4,%ymm14
557 vpaddq %ymm14,%ymm15,%ymm1
558
559 vpmuludq %ymm9,%ymm3,%ymm15
560 vpmuludq %ymm8,%ymm4,%ymm14
561 vpaddq %ymm14,%ymm15,%ymm2
562
563 vpmuludq %ymm9,%ymm4,%ymm3
564
565 vmovdqa 3424(%rsp),%ymm9
566
567 vpsubq 3200(%rsp),%ymm9,%ymm9
568 vpsubq 3232(%rsp),%ymm10,%ymm10
569 vpsubq 3264(%rsp),%ymm11,%ymm11
570 vpsubq 3296(%rsp),%ymm12,%ymm12
571 vpsubq 3328(%rsp),%ymm13,%ymm13
572 vpsubq 3360(%rsp),%ymm0,%ymm0
573 vpsubq 3392(%rsp),%ymm1,%ymm1
574 vpsubq 2912(%rsp),%ymm2,%ymm2
575 vpsubq 2944(%rsp),%ymm3,%ymm3
576
577 vpaddq 3104(%rsp),%ymm9,%ymm9
578 vpaddq 3136(%rsp),%ymm10,%ymm10
579 vpaddq 3168(%rsp),%ymm11,%ymm11
580 vpaddq 2688(%rsp),%ymm13,%ymm13
581 vpaddq 2720(%rsp),%ymm0,%ymm0
582 vpaddq 2752(%rsp),%ymm1,%ymm1
583 vpaddq 2784(%rsp),%ymm2,%ymm2
584 vpaddq 2816(%rsp),%ymm3,%ymm3
585
586 vpsrlq $29,%ymm0,%ymm14
587 vpaddq %ymm14,%ymm1,%ymm1
588 vpand vecmask29(%rip),%ymm0,%ymm0
589 vpmuludq vec1216(%rip),%ymm0,%ymm0
590 vpaddq 2976(%rsp),%ymm0,%ymm0
591
592 vpsrlq $29,%ymm1,%ymm14
593 vpaddq %ymm14,%ymm2,%ymm2
594 vpand vecmask29(%rip),%ymm1,%ymm1
595 vpmuludq vec1216(%rip),%ymm1,%ymm1
596 vpaddq 3008(%rsp),%ymm1,%ymm1
597
598 vpsrlq $29,%ymm2,%ymm14
599 vpaddq %ymm14,%ymm3,%ymm3
600 vpand vecmask29(%rip),%ymm2,%ymm2
601 vpmuludq vec1216(%rip),%ymm2,%ymm2
602 vpaddq 3040(%rsp),%ymm2,%ymm2
603
604 vpsrlq $29,%ymm3,%ymm14
605 vpaddq 2848(%rsp),%ymm14,%ymm14
606 vpand vecmask29(%rip),%ymm3,%ymm3
607 vpmuludq vec1216(%rip),%ymm3,%ymm3
608 vpaddq 3072(%rsp),%ymm3,%ymm3
609
610 vpsrlq $29,%ymm14,%ymm15
611 vpaddq 2880(%rsp),%ymm15,%ymm15
612 vpand vecmask29(%rip),%ymm14,%ymm4
613 vpmuludq vec1216(%rip),%ymm4,%ymm4
614 vpaddq %ymm9,%ymm4,%ymm4
615
616 vpsrlq $29,%ymm15,%ymm14
617 vpaddq 2912(%rsp),%ymm14,%ymm14
618 vpand vecmask29(%rip),%ymm15,%ymm5
619 vpmuludq vec1216(%rip),%ymm5,%ymm5
620 vpaddq %ymm10,%ymm5,%ymm5
621
622 vpsrlq $29,%ymm14,%ymm15
623 vpaddq 2944(%rsp),%ymm15,%ymm15
624 vpand vecmask29(%rip),%ymm14,%ymm6
625 vpmuludq vec1216(%rip),%ymm6,%ymm6
626 vpaddq %ymm11,%ymm6,%ymm6
627
628 vpsrlq $29,%ymm15,%ymm8
629 vpand vecmask29(%rip),%ymm15,%ymm7
630
631 vpmuludq vec1216(%rip),%ymm7,%ymm7
632 vpaddq %ymm12,%ymm7,%ymm7
633 vpmuludq vec1216(%rip),%ymm8,%ymm8
634 vpaddq %ymm13,%ymm8,%ymm8
635
636 vpsrlq $29,%ymm4,%ymm10
637 vpaddq %ymm10,%ymm5,%ymm5
638 vpand vecmask29(%rip),%ymm4,%ymm4
639
640 vpsrlq $29,%ymm0,%ymm10
641 vpaddq %ymm10,%ymm1,%ymm1
642 vpand vecmask29(%rip),%ymm0,%ymm0
643
644 vpsrlq $29,%ymm5,%ymm10
645 vpaddq %ymm10,%ymm6,%ymm6
646 vpand vecmask29(%rip),%ymm5,%ymm5
647
648 vpsrlq $29,%ymm1,%ymm10
649 vpaddq %ymm10,%ymm2,%ymm2
650 vpand vecmask29(%rip),%ymm1,%ymm1
651
652 vpsrlq $29,%ymm6,%ymm10
653 vpaddq %ymm10,%ymm7,%ymm7
654 vpand vecmask29(%rip),%ymm6,%ymm6
655
656 vpsrlq $29,%ymm2,%ymm10
657 vpaddq %ymm10,%ymm3,%ymm3
658 vpand vecmask29(%rip),%ymm2,%ymm2
659
660 vpsrlq $29,%ymm7,%ymm10
661 vpaddq %ymm10,%ymm8,%ymm8
662 vpand vecmask29(%rip),%ymm7,%ymm7
663
664 vpsrlq $29,%ymm3,%ymm10
665 vpaddq %ymm10,%ymm4,%ymm4
666 vpand vecmask29(%rip),%ymm3,%ymm3
667
668 vpsrlq $23,%ymm8,%ymm10
669 vpaddq %ymm10,%ymm0,%ymm0
670 vpaddq %ymm10,%ymm10,%ymm10
671 vpaddq %ymm10,%ymm0,%ymm0
672 vpsllq $3,%ymm10,%ymm10
673 vpaddq %ymm10,%ymm0,%ymm0
674 vpand vecmask23(%rip),%ymm8,%ymm8
675
676 vpsrlq $29,%ymm4,%ymm10
677 vpaddq %ymm10,%ymm5,%ymm5
678 vpand vecmask29(%rip),%ymm4,%ymm4
679
680 vpsrlq $29,%ymm0,%ymm10
681 vpaddq %ymm10,%ymm1,%ymm1
682 vpand vecmask29(%rip),%ymm0,%ymm0
683
684 vmovdqa %ymm0,960(%rsp)
685 vmovdqa %ymm1,992(%rsp)
686 vmovdqa %ymm2,1024(%rsp)
687 vmovdqa %ymm3,1056(%rsp)
688 vmovdqa %ymm4,1088(%rsp)
689 vmovdqa %ymm5,1120(%rsp)
690 vmovdqa %ymm6,1152(%rsp)
691 vmovdqa %ymm7,1184(%rsp)
692 vmovdqa %ymm8,1216(%rsp)
693
694 // Z3 ← T2 · T3
695 vmovdqa 1824(%rsp),%ymm10
696 vmovdqa 1856(%rsp),%ymm11
697 vmovdqa 1888(%rsp),%ymm12
698 vmovdqa 1920(%rsp),%ymm13
699 vmovdqa 1952(%rsp),%ymm0
700 vmovdqa 1984(%rsp),%ymm1
701 vmovdqa 2016(%rsp),%ymm2
702 vmovdqa 2048(%rsp),%ymm3
703 vmovdqa 2080(%rsp),%ymm4
704
705 vmovdqa 2240(%rsp),%ymm5
706 vmovdqa 2272(%rsp),%ymm6
707 vmovdqa 2304(%rsp),%ymm7
708 vmovdqa 2336(%rsp),%ymm8
709 vmovdqa 2368(%rsp),%ymm9
710
711 vpmuludq %ymm5,%ymm0,%ymm15
712 vmovdqa %ymm15,2688(%rsp)
713
714 vpmuludq %ymm6,%ymm0,%ymm15
715 vpmuludq %ymm5,%ymm1,%ymm14
716 vpaddq %ymm14,%ymm15,%ymm15
717 vmovdqa %ymm15,2720(%rsp)
718
719 vpmuludq %ymm7,%ymm0,%ymm15
720 vpmuludq %ymm6,%ymm1,%ymm14
721 vpaddq %ymm14,%ymm15,%ymm15
722 vpmuludq %ymm5,%ymm2,%ymm14
723 vpaddq %ymm14,%ymm15,%ymm15
724 vmovdqa %ymm15,2752(%rsp)
725
726 vpmuludq %ymm8,%ymm0,%ymm15
727 vpmuludq %ymm7,%ymm1,%ymm14
728 vpaddq %ymm14,%ymm15,%ymm15
729 vpmuludq %ymm6,%ymm2,%ymm14
730 vpaddq %ymm14,%ymm15,%ymm15
731 vpmuludq %ymm5,%ymm3,%ymm14
732 vpaddq %ymm14,%ymm15,%ymm15
733 vmovdqa %ymm15,2784(%rsp)
734
735 vpmuludq %ymm9,%ymm0,%ymm15
736 vpmuludq %ymm8,%ymm1,%ymm14
737 vpaddq %ymm14,%ymm15,%ymm15
738 vpmuludq %ymm7,%ymm2,%ymm14
739 vpaddq %ymm14,%ymm15,%ymm15
740 vpmuludq %ymm6,%ymm3,%ymm14
741 vpaddq %ymm14,%ymm15,%ymm15
742 vpmuludq %ymm5,%ymm4,%ymm14
743 vpaddq %ymm14,%ymm15,%ymm15
744 vmovdqa %ymm15,2816(%rsp)
745
746 vpmuludq %ymm9,%ymm1,%ymm15
747 vpmuludq %ymm8,%ymm2,%ymm14
748 vpaddq %ymm14,%ymm15,%ymm15
749 vpmuludq %ymm7,%ymm3,%ymm14
750 vpaddq %ymm14,%ymm15,%ymm15
751 vpmuludq %ymm6,%ymm4,%ymm14
752 vpaddq %ymm14,%ymm15,%ymm15
753 vmovdqa %ymm15,2848(%rsp)
754
755 vpmuludq %ymm9,%ymm2,%ymm15
756 vpmuludq %ymm8,%ymm3,%ymm14
757 vpaddq %ymm14,%ymm15,%ymm15
758 vpmuludq %ymm7,%ymm4,%ymm14
759 vpaddq %ymm14,%ymm15,%ymm15
760 vmovdqa %ymm15,2880(%rsp)
761
762 vpmuludq %ymm9,%ymm3,%ymm15
763 vpmuludq %ymm8,%ymm4,%ymm14
764 vpaddq %ymm14,%ymm15,%ymm15
765 vmovdqa %ymm15,2912(%rsp)
766
767 vpmuludq %ymm9,%ymm4,%ymm15
768 vmovdqa %ymm15,2944(%rsp)
769
770 vpaddq %ymm10,%ymm0,%ymm0
771 vpaddq %ymm11,%ymm1,%ymm1
772 vpaddq %ymm12,%ymm2,%ymm2
773 vpaddq %ymm13,%ymm3,%ymm3
774 vpaddq 2112(%rsp),%ymm5,%ymm5
775 vpaddq 2144(%rsp),%ymm6,%ymm6
776 vpaddq 2176(%rsp),%ymm7,%ymm7
777 vpaddq 2208(%rsp),%ymm8,%ymm8
778
779 vpmuludq 2112(%rsp),%ymm10,%ymm15
780 vmovdqa %ymm15,2976(%rsp)
781 vpaddq 2688(%rsp),%ymm15,%ymm15
782 vmovdqa %ymm15,3200(%rsp)
783
784 vpmuludq 2144(%rsp),%ymm10,%ymm15
785 vpmuludq 2112(%rsp),%ymm11,%ymm14
786 vpaddq %ymm14,%ymm15,%ymm15
787 vmovdqa %ymm15,3008(%rsp)
788 vpaddq 2720(%rsp),%ymm15,%ymm15
789 vmovdqa %ymm15,3232(%rsp)
790
791 vpmuludq 2176(%rsp),%ymm10,%ymm15
792 vpmuludq 2144(%rsp),%ymm11,%ymm14
793 vpaddq %ymm14,%ymm15,%ymm15
794 vpmuludq 2112(%rsp),%ymm12,%ymm14
795 vpaddq %ymm14,%ymm15,%ymm15
796 vmovdqa %ymm15,3040(%rsp)
797 vpaddq 2752(%rsp),%ymm15,%ymm15
798 vmovdqa %ymm15,3264(%rsp)
799
800 vpmuludq 2208(%rsp),%ymm10,%ymm15
801 vpmuludq 2176(%rsp),%ymm11,%ymm14
802 vpaddq %ymm14,%ymm15,%ymm15
803 vpmuludq 2144(%rsp),%ymm12,%ymm14
804 vpaddq %ymm14,%ymm15,%ymm15
805 vpmuludq 2112(%rsp),%ymm13,%ymm14
806 vpaddq %ymm14,%ymm15,%ymm15
807 vmovdqa %ymm15,3072(%rsp)
808 vpaddq 2784(%rsp),%ymm15,%ymm15
809 vmovdqa %ymm15,3296(%rsp)
810
811 vpmuludq 2208(%rsp),%ymm11,%ymm15
812 vpmuludq 2176(%rsp),%ymm12,%ymm14
813 vpaddq %ymm14,%ymm15,%ymm15
814 vpmuludq 2144(%rsp),%ymm13,%ymm14
815 vpaddq %ymm14,%ymm15,%ymm15
816 vmovdqa %ymm15,3104(%rsp)
817 vpaddq 2816(%rsp),%ymm15,%ymm15
818 vmovdqa %ymm15,3328(%rsp)
819
820 vpmuludq 2208(%rsp),%ymm12,%ymm15
821 vpmuludq 2176(%rsp),%ymm13,%ymm14
822 vpaddq %ymm14,%ymm15,%ymm15
823 vmovdqa %ymm15,3136(%rsp)
824 vpaddq 2848(%rsp),%ymm15,%ymm15
825 vmovdqa %ymm15,3360(%rsp)
826
827 vpmuludq 2208(%rsp),%ymm13,%ymm15
828 vmovdqa %ymm15,3168(%rsp)
829 vpaddq 2880(%rsp),%ymm15,%ymm15
830 vmovdqa %ymm15,3392(%rsp)
831
832 vpmuludq %ymm5,%ymm0,%ymm15
833 vmovdqa %ymm15,3424(%rsp)
834
835 vpmuludq %ymm6,%ymm0,%ymm15
836 vpmuludq %ymm5,%ymm1,%ymm14
837 vpaddq %ymm14,%ymm15,%ymm10
838
839 vpmuludq %ymm7,%ymm0,%ymm15
840 vpmuludq %ymm6,%ymm1,%ymm14
841 vpaddq %ymm14,%ymm15,%ymm15
842 vpmuludq %ymm5,%ymm2,%ymm14
843 vpaddq %ymm14,%ymm15,%ymm11
844
845 vpmuludq %ymm8,%ymm0,%ymm15
846 vpmuludq %ymm7,%ymm1,%ymm14
847 vpaddq %ymm14,%ymm15,%ymm15
848 vpmuludq %ymm6,%ymm2,%ymm14
849 vpaddq %ymm14,%ymm15,%ymm15
850 vpmuludq %ymm5,%ymm3,%ymm14
851 vpaddq %ymm14,%ymm15,%ymm12
852
853 vpmuludq %ymm9,%ymm0,%ymm15
854 vpmuludq %ymm8,%ymm1,%ymm14
855 vpaddq %ymm14,%ymm15,%ymm15
856 vpmuludq %ymm7,%ymm2,%ymm14
857 vpaddq %ymm14,%ymm15,%ymm15
858 vpmuludq %ymm6,%ymm3,%ymm14
859 vpaddq %ymm14,%ymm15,%ymm15
860 vpmuludq %ymm5,%ymm4,%ymm14
861 vpaddq %ymm14,%ymm15,%ymm13
862
863 vpmuludq %ymm9,%ymm1,%ymm15
864 vpmuludq %ymm8,%ymm2,%ymm14
865 vpaddq %ymm14,%ymm15,%ymm15
866 vpmuludq %ymm7,%ymm3,%ymm14
867 vpaddq %ymm14,%ymm15,%ymm15
868 vpmuludq %ymm6,%ymm4,%ymm14
869 vpaddq %ymm14,%ymm15,%ymm0
870
871 vpmuludq %ymm9,%ymm2,%ymm15
872 vpmuludq %ymm8,%ymm3,%ymm14
873 vpaddq %ymm14,%ymm15,%ymm15
874 vpmuludq %ymm7,%ymm4,%ymm14
875 vpaddq %ymm14,%ymm15,%ymm1
876
877 vpmuludq %ymm9,%ymm3,%ymm15
878 vpmuludq %ymm8,%ymm4,%ymm14
879 vpaddq %ymm14,%ymm15,%ymm2
880
881 vpmuludq %ymm9,%ymm4,%ymm3
882
883 vmovdqa 3424(%rsp),%ymm9
884
885 vpsubq 3200(%rsp),%ymm9,%ymm9
886 vpsubq 3232(%rsp),%ymm10,%ymm10
887 vpsubq 3264(%rsp),%ymm11,%ymm11
888 vpsubq 3296(%rsp),%ymm12,%ymm12
889 vpsubq 3328(%rsp),%ymm13,%ymm13
890 vpsubq 3360(%rsp),%ymm0,%ymm0
891 vpsubq 3392(%rsp),%ymm1,%ymm1
892 vpsubq 2912(%rsp),%ymm2,%ymm2
893 vpsubq 2944(%rsp),%ymm3,%ymm3
894
895 vpaddq 3104(%rsp),%ymm9,%ymm9
896 vpaddq 3136(%rsp),%ymm10,%ymm10
897 vpaddq 3168(%rsp),%ymm11,%ymm11
898 vpaddq 2688(%rsp),%ymm13,%ymm13
899 vpaddq 2720(%rsp),%ymm0,%ymm0
900 vpaddq 2752(%rsp),%ymm1,%ymm1
901 vpaddq 2784(%rsp),%ymm2,%ymm2
902 vpaddq 2816(%rsp),%ymm3,%ymm3
903
904 vpsrlq $29,%ymm0,%ymm14
905 vpaddq %ymm14,%ymm1,%ymm1
906 vpand vecmask29(%rip),%ymm0,%ymm0
907 vpmuludq vec1216(%rip),%ymm0,%ymm0
908 vpaddq 2976(%rsp),%ymm0,%ymm0
909
910 vpsrlq $29,%ymm1,%ymm14
911 vpaddq %ymm14,%ymm2,%ymm2
912 vpand vecmask29(%rip),%ymm1,%ymm1
913 vpmuludq vec1216(%rip),%ymm1,%ymm1
914 vpaddq 3008(%rsp),%ymm1,%ymm1
915
916 vpsrlq $29,%ymm2,%ymm14
917 vpaddq %ymm14,%ymm3,%ymm3
918 vpand vecmask29(%rip),%ymm2,%ymm2
919 vpmuludq vec1216(%rip),%ymm2,%ymm2
920 vpaddq 3040(%rsp),%ymm2,%ymm2
921
922 vpsrlq $29,%ymm3,%ymm14
923 vpaddq 2848(%rsp),%ymm14,%ymm14
924 vpand vecmask29(%rip),%ymm3,%ymm3
925 vpmuludq vec1216(%rip),%ymm3,%ymm3
926 vpaddq 3072(%rsp),%ymm3,%ymm3
927
928 vpsrlq $29,%ymm14,%ymm15
929 vpaddq 2880(%rsp),%ymm15,%ymm15
930 vpand vecmask29(%rip),%ymm14,%ymm4
931 vpmuludq vec1216(%rip),%ymm4,%ymm4
932 vpaddq %ymm9,%ymm4,%ymm4
933
934 vpsrlq $29,%ymm15,%ymm14
935 vpaddq 2912(%rsp),%ymm14,%ymm14
936 vpand vecmask29(%rip),%ymm15,%ymm5
937 vpmuludq vec1216(%rip),%ymm5,%ymm5
938 vpaddq %ymm10,%ymm5,%ymm5
939
940 vpsrlq $29,%ymm14,%ymm15
941 vpaddq 2944(%rsp),%ymm15,%ymm15
942 vpand vecmask29(%rip),%ymm14,%ymm6
943 vpmuludq vec1216(%rip),%ymm6,%ymm6
944 vpaddq %ymm11,%ymm6,%ymm6
945
946 vpsrlq $29,%ymm15,%ymm8
947 vpand vecmask29(%rip),%ymm15,%ymm7
948
949 vpmuludq vec1216(%rip),%ymm7,%ymm7
950 vpaddq %ymm12,%ymm7,%ymm7
951 vpmuludq vec1216(%rip),%ymm8,%ymm8
952 vpaddq %ymm13,%ymm8,%ymm8
953
954 vpsrlq $29,%ymm4,%ymm10
955 vpaddq %ymm10,%ymm5,%ymm5
956 vpand vecmask29(%rip),%ymm4,%ymm4
957
958 vpsrlq $29,%ymm0,%ymm10
959 vpaddq %ymm10,%ymm1,%ymm1
960 vpand vecmask29(%rip),%ymm0,%ymm0
961
962 vpsrlq $29,%ymm5,%ymm10
963 vpaddq %ymm10,%ymm6,%ymm6
964 vpand vecmask29(%rip),%ymm5,%ymm5
965
966 vpsrlq $29,%ymm1,%ymm10
967 vpaddq %ymm10,%ymm2,%ymm2
968 vpand vecmask29(%rip),%ymm1,%ymm1
969
970 vpsrlq $29,%ymm6,%ymm10
971 vpaddq %ymm10,%ymm7,%ymm7
972 vpand vecmask29(%rip),%ymm6,%ymm6
973
974 vpsrlq $29,%ymm2,%ymm10
975 vpaddq %ymm10,%ymm3,%ymm3
976 vpand vecmask29(%rip),%ymm2,%ymm2
977
978 vpsrlq $29,%ymm7,%ymm10
979 vpaddq %ymm10,%ymm8,%ymm8
980 vpand vecmask29(%rip),%ymm7,%ymm7
981
982 vpsrlq $29,%ymm3,%ymm10
983 vpaddq %ymm10,%ymm4,%ymm4
984 vpand vecmask29(%rip),%ymm3,%ymm3
985
986 vpsrlq $23,%ymm8,%ymm10
987 vpaddq %ymm10,%ymm0,%ymm0
988 vpaddq %ymm10,%ymm10,%ymm10
989 vpaddq %ymm10,%ymm0,%ymm0
990 vpsllq $3,%ymm10,%ymm10
991 vpaddq %ymm10,%ymm0,%ymm0
992 vpand vecmask23(%rip),%ymm8,%ymm8
993
994 vpsrlq $29,%ymm4,%ymm10
995 vpaddq %ymm10,%ymm5,%ymm5
996 vpand vecmask29(%rip),%ymm4,%ymm4
997
998 vpsrlq $29,%ymm0,%ymm10
999 vpaddq %ymm10,%ymm1,%ymm1
1000 vpand vecmask29(%rip),%ymm0,%ymm0
1001
1002 vmovdqa %ymm0,1248(%rsp)
1003 vmovdqa %ymm1,1280(%rsp)
1004 vmovdqa %ymm2,1312(%rsp)
1005 vmovdqa %ymm3,1344(%rsp)
1006 vmovdqa %ymm4,1376(%rsp)
1007 vmovdqa %ymm5,1408(%rsp)
1008 vmovdqa %ymm6,1440(%rsp)
1009 vmovdqa %ymm7,1472(%rsp)
1010 vmovdqa %ymm8,1504(%rsp)
1011
1012 // conditional select
1013 vmovdqa 0(%rsp),%ymm10
1014 vmovdqa 64(%rsp),%ymm11
1015 vpsrlq %xmm10,%ymm11,%ymm11
1016 vpand vec1(%rip),%ymm11,%ymm12
1017
1018 vpxor 32(%rsp),%ymm12,%ymm11
1019 vmovdqa %ymm12,32(%rsp)
1020
1021 vpsubq one(%rip),%ymm10,%ymm10
1022 vmovdqa %ymm10,0(%rsp)
1023
1024 vmovdqa vec0(%rip),%ymm10
1025 vpsubq %ymm11,%ymm10,%ymm10
1026
1027 vmovdqa 1536(%rsp),%ymm0
1028 vmovdqa 1568(%rsp),%ymm1
1029 vmovdqa 1600(%rsp),%ymm2
1030 vmovdqa 1632(%rsp),%ymm3
1031 vmovdqa 1664(%rsp),%ymm4
1032 vmovdqa 1696(%rsp),%ymm5
1033 vmovdqa 1728(%rsp),%ymm6
1034 vmovdqa 1760(%rsp),%ymm7
1035 vmovdqa 1792(%rsp),%ymm8
1036
1037 vpxor 2112(%rsp),%ymm0,%ymm0
1038 vpxor 2144(%rsp),%ymm1,%ymm1
1039 vpxor 2176(%rsp),%ymm2,%ymm2
1040 vpxor 2208(%rsp),%ymm3,%ymm3
1041 vpxor 2240(%rsp),%ymm4,%ymm4
1042 vpxor 2272(%rsp),%ymm5,%ymm5
1043 vpxor 2304(%rsp),%ymm6,%ymm6
1044 vpxor 2336(%rsp),%ymm7,%ymm7
1045 vpxor 2368(%rsp),%ymm8,%ymm8
1046
1047 vpand %ymm10,%ymm0,%ymm0
1048 vpand %ymm10,%ymm1,%ymm1
1049 vpand %ymm10,%ymm2,%ymm2
1050 vpand %ymm10,%ymm3,%ymm3
1051 vpand %ymm10,%ymm4,%ymm4
1052 vpand %ymm10,%ymm5,%ymm5
1053 vpand %ymm10,%ymm6,%ymm6
1054 vpand %ymm10,%ymm7,%ymm7
1055 vpand %ymm10,%ymm8,%ymm8
1056
1057 vpxor 1536(%rsp),%ymm0,%ymm0
1058 vpxor 1568(%rsp),%ymm1,%ymm1
1059 vpxor 1600(%rsp),%ymm2,%ymm2
1060 vpxor 1632(%rsp),%ymm3,%ymm3
1061 vpxor 1664(%rsp),%ymm4,%ymm4
1062 vpxor 1696(%rsp),%ymm5,%ymm5
1063 vpxor 1728(%rsp),%ymm6,%ymm6
1064 vpxor 1760(%rsp),%ymm7,%ymm7
1065 vpxor 1792(%rsp),%ymm8,%ymm8
1066
1067 vmovdqa %ymm0,1536(%rsp)
1068 vmovdqa %ymm1,1568(%rsp)
1069 vmovdqa %ymm2,1600(%rsp)
1070 vmovdqa %ymm3,1632(%rsp)
1071 vmovdqa %ymm4,1664(%rsp)
1072 vmovdqa %ymm5,1696(%rsp)
1073 vmovdqa %ymm6,1728(%rsp)
1074 vmovdqa %ymm7,1760(%rsp)
1075 vmovdqa %ymm8,1792(%rsp)
1076
1077 vmovdqa 1824(%rsp),%ymm0
1078 vmovdqa 1856(%rsp),%ymm1
1079 vmovdqa 1888(%rsp),%ymm2
1080 vmovdqa 1920(%rsp),%ymm3
1081 vmovdqa 1952(%rsp),%ymm4
1082 vmovdqa 1984(%rsp),%ymm5
1083 vmovdqa 2016(%rsp),%ymm6
1084 vmovdqa 2048(%rsp),%ymm7
1085 vmovdqa 2080(%rsp),%ymm8
1086
1087 vpxor 2400(%rsp),%ymm0,%ymm0
1088 vpxor 2432(%rsp),%ymm1,%ymm1
1089 vpxor 2464(%rsp),%ymm2,%ymm2
1090 vpxor 2496(%rsp),%ymm3,%ymm3
1091 vpxor 2528(%rsp),%ymm4,%ymm4
1092 vpxor 2560(%rsp),%ymm5,%ymm5
1093 vpxor 2592(%rsp),%ymm6,%ymm6
1094 vpxor 2624(%rsp),%ymm7,%ymm7
1095 vpxor 2656(%rsp),%ymm8,%ymm8
1096
1097 vpand %ymm10,%ymm0,%ymm0
1098 vpand %ymm10,%ymm1,%ymm1
1099 vpand %ymm10,%ymm2,%ymm2
1100 vpand %ymm10,%ymm3,%ymm3
1101 vpand %ymm10,%ymm4,%ymm4
1102 vpand %ymm10,%ymm5,%ymm5
1103 vpand %ymm10,%ymm6,%ymm6
1104 vpand %ymm10,%ymm7,%ymm7
1105 vpand %ymm10,%ymm8,%ymm8
1106
1107 vpxor 1824(%rsp),%ymm0,%ymm0
1108 vpxor 1856(%rsp),%ymm1,%ymm1
1109 vpxor 1888(%rsp),%ymm2,%ymm2
1110 vpxor 1920(%rsp),%ymm3,%ymm3
1111 vpxor 1952(%rsp),%ymm4,%ymm4
1112 vpxor 1984(%rsp),%ymm5,%ymm5
1113 vpxor 2016(%rsp),%ymm6,%ymm6
1114 vpxor 2048(%rsp),%ymm7,%ymm7
1115 vpxor 2080(%rsp),%ymm8,%ymm8
1116
1117 // T2 ← T2^2
1118 vpmuludq %ymm1,%ymm8,%ymm15
1119 vpmuludq %ymm2,%ymm7,%ymm14
1120 vpaddq %ymm14,%ymm15,%ymm15
1121 vpmuludq %ymm3,%ymm6,%ymm14
1122 vpaddq %ymm14,%ymm15,%ymm15
1123 vpmuludq %ymm4,%ymm5,%ymm14
1124 vpaddq %ymm14,%ymm15,%ymm15
1125 vpsllq $1,%ymm15,%ymm9
1126
1127 vpmuludq %ymm2,%ymm8,%ymm15
1128 vpmuludq %ymm3,%ymm7,%ymm14
1129 vpaddq %ymm14,%ymm15,%ymm15
1130 vpmuludq %ymm4,%ymm6,%ymm14
1131 vpaddq %ymm14,%ymm15,%ymm15
1132 vpsllq $1,%ymm15,%ymm15
1133 vpmuludq %ymm5,%ymm5,%ymm14
1134 vpaddq %ymm14,%ymm15,%ymm10
1135
1136 vpsrlq $29,%ymm9,%ymm14
1137 vpaddq %ymm14,%ymm10,%ymm10
1138 vpand vecmask29(%rip),%ymm9,%ymm9
1139
1140 vpmuludq vec1216(%rip),%ymm9,%ymm9
1141 vpmuludq %ymm0,%ymm0,%ymm15
1142 vpaddq %ymm15,%ymm9,%ymm9
1143
1144 vpmuludq %ymm3,%ymm8,%ymm15
1145 vpmuludq %ymm4,%ymm7,%ymm14
1146 vpaddq %ymm14,%ymm15,%ymm15
1147 vpmuludq %ymm5,%ymm6,%ymm14
1148 vpaddq %ymm14,%ymm15,%ymm15
1149 vpsllq $1,%ymm15,%ymm11
1150
1151 vpsrlq $29,%ymm10,%ymm14
1152 vpaddq %ymm14,%ymm11,%ymm11
1153 vpand vecmask29(%rip),%ymm10,%ymm10
1154
1155 vpmuludq vec1216(%rip),%ymm10,%ymm10
1156 vpmuludq %ymm0,%ymm1,%ymm15
1157 vpsllq $1,%ymm15,%ymm15
1158 vpaddq %ymm15,%ymm10,%ymm10
1159 vpmuludq %ymm4,%ymm8,%ymm15
1160 vpmuludq %ymm5,%ymm7,%ymm14
1161 vpaddq %ymm14,%ymm15,%ymm15
1162 vpsllq $1,%ymm15,%ymm15
1163 vpmuludq %ymm6,%ymm6,%ymm14
1164 vpaddq %ymm14,%ymm15,%ymm12
1165
1166 vpsrlq $29,%ymm11,%ymm14
1167 vpaddq %ymm14,%ymm12,%ymm12
1168 vpand vecmask29(%rip),%ymm11,%ymm11
1169 vpmuludq vec1216(%rip),%ymm11,%ymm11
1170 vpmuludq %ymm0,%ymm2,%ymm15
1171 vpsllq $1,%ymm15,%ymm15
1172 vpmuludq %ymm1,%ymm1,%ymm14
1173 vpaddq %ymm14,%ymm15,%ymm15
1174 vpaddq %ymm15,%ymm11,%ymm11
1175 vpmuludq %ymm5,%ymm8,%ymm15
1176 vpmuludq %ymm6,%ymm7,%ymm14
1177 vpaddq %ymm14,%ymm15,%ymm15
1178 vpsllq $1,%ymm15,%ymm13
1179
1180 vpsrlq $29,%ymm12,%ymm14
1181 vpaddq %ymm14,%ymm13,%ymm13
1182 vpand vecmask29(%rip),%ymm12,%ymm12
1183
1184 vpmuludq vec1216(%rip),%ymm12,%ymm12
1185 vpmuludq %ymm0,%ymm3,%ymm15
1186 vpmuludq %ymm1,%ymm2,%ymm14
1187 vpaddq %ymm14,%ymm15,%ymm15
1188 vpsllq $1,%ymm15,%ymm15
1189 vpaddq %ymm15,%ymm12,%ymm12
1190
1191 vmovdqa %ymm11,2688(%rsp)
1192
1193 vpmuludq %ymm6,%ymm8,%ymm15
1194 vpsllq $1,%ymm15,%ymm15
1195 vpmuludq %ymm7,%ymm7,%ymm14
1196 vpaddq %ymm14,%ymm15,%ymm14
1197
1198 vpsrlq $29,%ymm13,%ymm15
1199 vpaddq %ymm15,%ymm14,%ymm14
1200 vpand vecmask29(%rip),%ymm13,%ymm13
1201
1202 vpmuludq vec1216(%rip),%ymm13,%ymm13
1203 vpmuludq %ymm0,%ymm4,%ymm15
1204 vpmuludq %ymm1,%ymm3,%ymm11
1205 vpaddq %ymm11,%ymm15,%ymm15
1206 vpsllq $1,%ymm15,%ymm15
1207 vpmuludq %ymm2,%ymm2,%ymm11
1208 vpaddq %ymm11,%ymm15,%ymm15
1209 vpaddq %ymm15,%ymm13,%ymm13
1210
1211 vmovdqa %ymm12,2720(%rsp)
1212
1213 vpmuludq %ymm7,%ymm8,%ymm15
1214 vpsllq $1,%ymm15,%ymm15
1215
1216 vpsrlq $29,%ymm14,%ymm11
1217 vpaddq %ymm11,%ymm15,%ymm15
1218 vpand vecmask29(%rip),%ymm14,%ymm14
1219
1220 vpmuludq vec1216(%rip),%ymm14,%ymm14
1221 vpmuludq %ymm0,%ymm5,%ymm12
1222 vpmuludq %ymm1,%ymm4,%ymm11
1223 vpaddq %ymm11,%ymm12,%ymm12
1224 vpmuludq %ymm2,%ymm3,%ymm11
1225 vpaddq %ymm11,%ymm12,%ymm12
1226 vpsllq $1,%ymm12,%ymm12
1227 vpaddq %ymm12,%ymm14,%ymm14
1228
1229 vmovdqa %ymm13,2752(%rsp)
1230
1231 vpmuludq %ymm8,%ymm8,%ymm11
1232
1233 vpsrlq $29,%ymm15,%ymm12
1234 vpaddq %ymm12,%ymm11,%ymm11
1235 vpand vecmask29(%rip),%ymm15,%ymm15
1236
1237 vpmuludq vec1216(%rip),%ymm15,%ymm15
1238 vpmuludq %ymm0,%ymm6,%ymm12
1239 vpmuludq %ymm1,%ymm5,%ymm13
1240 vpaddq %ymm12,%ymm13,%ymm13
1241 vpmuludq %ymm2,%ymm4,%ymm12
1242 vpaddq %ymm12,%ymm13,%ymm13
1243 vpsllq $1,%ymm13,%ymm13
1244 vpmuludq %ymm3,%ymm3,%ymm12
1245 vpaddq %ymm12,%ymm13,%ymm13
1246 vpaddq %ymm13,%ymm15,%ymm15
1247
1248 vmovdqa %ymm14,2784(%rsp)
1249
1250 vpsrlq $29,%ymm11,%ymm12
1251 vpand vecmask29(%rip),%ymm11,%ymm11
1252
1253 vpmuludq vec1216(%rip),%ymm11,%ymm11
1254 vpmuludq %ymm0,%ymm7,%ymm13
1255 vpmuludq %ymm1,%ymm6,%ymm14
1256 vpaddq %ymm13,%ymm14,%ymm14
1257 vpmuludq %ymm2,%ymm5,%ymm13
1258 vpaddq %ymm13,%ymm14,%ymm14
1259 vpmuludq %ymm3,%ymm4,%ymm13
1260 vpaddq %ymm13,%ymm14,%ymm14
1261 vpsllq $1,%ymm14,%ymm14
1262 vpaddq %ymm14,%ymm11,%ymm11
1263
1264 vpmuludq vec1216(%rip),%ymm12,%ymm12
1265 vpmuludq %ymm0,%ymm8,%ymm13
1266 vpmuludq %ymm1,%ymm7,%ymm14
1267 vpaddq %ymm13,%ymm14,%ymm14
1268 vpmuludq %ymm2,%ymm6,%ymm13
1269 vpaddq %ymm13,%ymm14,%ymm14
1270 vpmuludq %ymm3,%ymm5,%ymm13
1271 vpaddq %ymm13,%ymm14,%ymm14
1272 vpsllq $1,%ymm14,%ymm14
1273 vpmuludq %ymm4,%ymm4,%ymm13
1274 vpaddq %ymm13,%ymm14,%ymm14
1275 vpaddq %ymm14,%ymm12,%ymm12
1276
1277 vmovdqa 2752(%rsp),%ymm4
1278 vpsrlq $29,%ymm4,%ymm5
1279 vpaddq 2784(%rsp),%ymm5,%ymm5
1280 vpand vecmask29(%rip),%ymm4,%ymm4
1281
1282 vpsrlq $29,%ymm9,%ymm14
1283 vpaddq %ymm14,%ymm10,%ymm1
1284 vpand vecmask29(%rip),%ymm9,%ymm0
1285
1286 vpsrlq $29,%ymm5,%ymm6
1287 vpaddq %ymm15,%ymm6,%ymm6
1288 vpand vecmask29(%rip),%ymm5,%ymm5
1289
1290 vpsrlq $29,%ymm1,%ymm14
1291 vpaddq 2688(%rsp),%ymm14,%ymm2
1292 vpand vecmask29(%rip),%ymm1,%ymm1
1293
1294 vpsrlq $29,%ymm6,%ymm7
1295 vpaddq %ymm11,%ymm7,%ymm7
1296 vpand vecmask29(%rip),%ymm6,%ymm6
1297
1298 vpsrlq $29,%ymm2,%ymm14
1299 vpaddq 2720(%rsp),%ymm14,%ymm3
1300 vpand vecmask29(%rip),%ymm2,%ymm2
1301
1302 vpsrlq $29,%ymm7,%ymm8
1303 vpaddq %ymm12,%ymm8,%ymm8
1304 vpand vecmask29(%rip),%ymm7,%ymm7
1305
1306 vpsrlq $29,%ymm3,%ymm14
1307 vpaddq %ymm14,%ymm4,%ymm4
1308 vpand vecmask29(%rip),%ymm3,%ymm3
1309
1310 vpsrlq $23,%ymm8,%ymm14
1311 vpaddq %ymm14,%ymm0,%ymm0
1312 vpsllq $1,%ymm14,%ymm14
1313 vpaddq %ymm14,%ymm0,%ymm0
1314 vpsllq $3,%ymm14,%ymm14
1315 vpaddq %ymm14,%ymm0,%ymm0
1316 vpand vecmask23(%rip),%ymm8,%ymm8
1317
1318 vpsrlq $29,%ymm4,%ymm14
1319 vpaddq %ymm14,%ymm5,%ymm5
1320 vpand vecmask29(%rip),%ymm4,%ymm4
1321
1322 vpsrlq $29,%ymm0,%ymm14
1323 vpaddq %ymm14,%ymm1,%ymm1
1324 vpand vecmask29(%rip),%ymm0,%ymm0
1325
1326 vmovdqa %ymm0,1824(%rsp)
1327 vmovdqa %ymm1,1856(%rsp)
1328 vmovdqa %ymm2,1888(%rsp)
1329 vmovdqa %ymm3,1920(%rsp)
1330 vmovdqa %ymm4,1952(%rsp)
1331 vmovdqa %ymm5,1984(%rsp)
1332 vmovdqa %ymm6,2016(%rsp)
1333 vmovdqa %ymm7,2048(%rsp)
1334 vmovdqa %ymm8,2080(%rsp)
1335
1336 // T1 ← T1^2
1337 vmovdqa 1536(%rsp),%ymm0
1338 vmovdqa 1568(%rsp),%ymm1
1339 vmovdqa 1600(%rsp),%ymm2
1340 vmovdqa 1632(%rsp),%ymm3
1341 vmovdqa 1664(%rsp),%ymm4
1342 vmovdqa 1696(%rsp),%ymm5
1343 vmovdqa 1728(%rsp),%ymm6
1344 vmovdqa 1760(%rsp),%ymm7
1345 vmovdqa 1792(%rsp),%ymm8
1346
1347 vpmuludq %ymm1,%ymm8,%ymm15
1348 vpmuludq %ymm2,%ymm7,%ymm14
1349 vpaddq %ymm14,%ymm15,%ymm15
1350 vpmuludq %ymm3,%ymm6,%ymm14
1351 vpaddq %ymm14,%ymm15,%ymm15
1352 vpmuludq %ymm4,%ymm5,%ymm14
1353 vpaddq %ymm14,%ymm15,%ymm15
1354 vpsllq $1,%ymm15,%ymm9
1355
1356 vpmuludq %ymm2,%ymm8,%ymm15
1357 vpmuludq %ymm3,%ymm7,%ymm14
1358 vpaddq %ymm14,%ymm15,%ymm15
1359 vpmuludq %ymm4,%ymm6,%ymm14
1360 vpaddq %ymm14,%ymm15,%ymm15
1361 vpsllq $1,%ymm15,%ymm15
1362 vpmuludq %ymm5,%ymm5,%ymm14
1363 vpaddq %ymm14,%ymm15,%ymm10
1364
1365 vpsrlq $29,%ymm9,%ymm14
1366 vpaddq %ymm14,%ymm10,%ymm10
1367 vpand vecmask29(%rip),%ymm9,%ymm9
1368
1369 vpmuludq vec1216(%rip),%ymm9,%ymm9
1370 vpmuludq %ymm0,%ymm0,%ymm15
1371 vpaddq %ymm15,%ymm9,%ymm9
1372
1373 vpmuludq %ymm3,%ymm8,%ymm15
1374 vpmuludq %ymm4,%ymm7,%ymm14
1375 vpaddq %ymm14,%ymm15,%ymm15
1376 vpmuludq %ymm5,%ymm6,%ymm14
1377 vpaddq %ymm14,%ymm15,%ymm15
1378 vpsllq $1,%ymm15,%ymm11
1379
1380 vpsrlq $29,%ymm10,%ymm14
1381 vpaddq %ymm14,%ymm11,%ymm11
1382 vpand vecmask29(%rip),%ymm10,%ymm10
1383
1384 vpmuludq vec1216(%rip),%ymm10,%ymm10
1385 vpmuludq %ymm0,%ymm1,%ymm15
1386 vpsllq $1,%ymm15,%ymm15
1387 vpaddq %ymm15,%ymm10,%ymm10
1388 vpmuludq %ymm4,%ymm8,%ymm15
1389 vpmuludq %ymm5,%ymm7,%ymm14
1390 vpaddq %ymm14,%ymm15,%ymm15
1391 vpsllq $1,%ymm15,%ymm15
1392 vpmuludq %ymm6,%ymm6,%ymm14
1393 vpaddq %ymm14,%ymm15,%ymm12
1394
1395 vpsrlq $29,%ymm11,%ymm14
1396 vpaddq %ymm14,%ymm12,%ymm12
1397 vpand vecmask29(%rip),%ymm11,%ymm11
1398 vpmuludq vec1216(%rip),%ymm11,%ymm11
1399 vpmuludq %ymm0,%ymm2,%ymm15
1400 vpsllq $1,%ymm15,%ymm15
1401 vpmuludq %ymm1,%ymm1,%ymm14
1402 vpaddq %ymm14,%ymm15,%ymm15
1403 vpaddq %ymm15,%ymm11,%ymm11
1404 vpmuludq %ymm5,%ymm8,%ymm15
1405 vpmuludq %ymm6,%ymm7,%ymm14
1406 vpaddq %ymm14,%ymm15,%ymm15
1407 vpsllq $1,%ymm15,%ymm13
1408
1409 vpsrlq $29,%ymm12,%ymm14
1410 vpaddq %ymm14,%ymm13,%ymm13
1411 vpand vecmask29(%rip),%ymm12,%ymm12
1412
1413 vpmuludq vec1216(%rip),%ymm12,%ymm12
1414 vpmuludq %ymm0,%ymm3,%ymm15
1415 vpmuludq %ymm1,%ymm2,%ymm14
1416 vpaddq %ymm14,%ymm15,%ymm15
1417 vpsllq $1,%ymm15,%ymm15
1418 vpaddq %ymm15,%ymm12,%ymm12
1419
1420 vmovdqa %ymm11,2688(%rsp)
1421
1422 vpmuludq %ymm6,%ymm8,%ymm15
1423 vpsllq $1,%ymm15,%ymm15
1424 vpmuludq %ymm7,%ymm7,%ymm14
1425 vpaddq %ymm14,%ymm15,%ymm14
1426
1427 vpsrlq $29,%ymm13,%ymm15
1428 vpaddq %ymm15,%ymm14,%ymm14
1429 vpand vecmask29(%rip),%ymm13,%ymm13
1430
1431 vpmuludq vec1216(%rip),%ymm13,%ymm13
1432 vpmuludq %ymm0,%ymm4,%ymm15
1433 vpmuludq %ymm1,%ymm3,%ymm11
1434 vpaddq %ymm11,%ymm15,%ymm15
1435 vpsllq $1,%ymm15,%ymm15
1436 vpmuludq %ymm2,%ymm2,%ymm11
1437 vpaddq %ymm11,%ymm15,%ymm15
1438 vpaddq %ymm15,%ymm13,%ymm13
1439
1440 vmovdqa %ymm12,2720(%rsp)
1441
1442 vpmuludq %ymm7,%ymm8,%ymm15
1443 vpsllq $1,%ymm15,%ymm15
1444
1445 vpsrlq $29,%ymm14,%ymm11
1446 vpaddq %ymm11,%ymm15,%ymm15
1447 vpand vecmask29(%rip),%ymm14,%ymm14
1448
1449 vpmuludq vec1216(%rip),%ymm14,%ymm14
1450 vpmuludq %ymm0,%ymm5,%ymm12
1451 vpmuludq %ymm1,%ymm4,%ymm11
1452 vpaddq %ymm11,%ymm12,%ymm12
1453 vpmuludq %ymm2,%ymm3,%ymm11
1454 vpaddq %ymm11,%ymm12,%ymm12
1455 vpsllq $1,%ymm12,%ymm12
1456 vpaddq %ymm12,%ymm14,%ymm14
1457
1458 vmovdqa %ymm13,2752(%rsp)
1459
1460 vpmuludq %ymm8,%ymm8,%ymm11
1461
1462 vpsrlq $29,%ymm15,%ymm12
1463 vpaddq %ymm12,%ymm11,%ymm11
1464 vpand vecmask29(%rip),%ymm15,%ymm15
1465
1466 vpmuludq vec1216(%rip),%ymm15,%ymm15
1467 vpmuludq %ymm0,%ymm6,%ymm12
1468 vpmuludq %ymm1,%ymm5,%ymm13
1469 vpaddq %ymm12,%ymm13,%ymm13
1470 vpmuludq %ymm2,%ymm4,%ymm12
1471 vpaddq %ymm12,%ymm13,%ymm13
1472 vpsllq $1,%ymm13,%ymm13
1473 vpmuludq %ymm3,%ymm3,%ymm12
1474 vpaddq %ymm12,%ymm13,%ymm13
1475 vpaddq %ymm13,%ymm15,%ymm15
1476
1477 vmovdqa %ymm14,2784(%rsp)
1478
1479 vpsrlq $29,%ymm11,%ymm12
1480 vpand vecmask29(%rip),%ymm11,%ymm11
1481
1482 vpmuludq vec1216(%rip),%ymm11,%ymm11
1483 vpmuludq %ymm0,%ymm7,%ymm13
1484 vpmuludq %ymm1,%ymm6,%ymm14
1485 vpaddq %ymm13,%ymm14,%ymm14
1486 vpmuludq %ymm2,%ymm5,%ymm13
1487 vpaddq %ymm13,%ymm14,%ymm14
1488 vpmuludq %ymm3,%ymm4,%ymm13
1489 vpaddq %ymm13,%ymm14,%ymm14
1490 vpsllq $1,%ymm14,%ymm14
1491 vpaddq %ymm14,%ymm11,%ymm11
1492
1493 vpmuludq vec1216(%rip),%ymm12,%ymm12
1494 vpmuludq %ymm0,%ymm8,%ymm13
1495 vpmuludq %ymm1,%ymm7,%ymm14
1496 vpaddq %ymm13,%ymm14,%ymm14
1497 vpmuludq %ymm2,%ymm6,%ymm13
1498 vpaddq %ymm13,%ymm14,%ymm14
1499 vpmuludq %ymm3,%ymm5,%ymm13
1500 vpaddq %ymm13,%ymm14,%ymm14
1501 vpsllq $1,%ymm14,%ymm14
1502 vpmuludq %ymm4,%ymm4,%ymm13
1503 vpaddq %ymm13,%ymm14,%ymm14
1504 vpaddq %ymm14,%ymm12,%ymm12
1505
1506 vmovdqa 2752(%rsp),%ymm4
1507 vpsrlq $29,%ymm4,%ymm5
1508 vpaddq 2784(%rsp),%ymm5,%ymm5
1509 vpand vecmask29(%rip),%ymm4,%ymm4
1510
1511 vpsrlq $29,%ymm9,%ymm14
1512 vpaddq %ymm14,%ymm10,%ymm1
1513 vpand vecmask29(%rip),%ymm9,%ymm0
1514
1515 vpsrlq $29,%ymm5,%ymm6
1516 vpaddq %ymm15,%ymm6,%ymm6
1517 vpand vecmask29(%rip),%ymm5,%ymm5
1518
1519 vpsrlq $29,%ymm1,%ymm14
1520 vpaddq 2688(%rsp),%ymm14,%ymm2
1521 vpand vecmask29(%rip),%ymm1,%ymm1
1522
1523 vpsrlq $29,%ymm6,%ymm7
1524 vpaddq %ymm11,%ymm7,%ymm7
1525 vpand vecmask29(%rip),%ymm6,%ymm6
1526
1527 vpsrlq $29,%ymm2,%ymm14
1528 vpaddq 2720(%rsp),%ymm14,%ymm3
1529 vpand vecmask29(%rip),%ymm2,%ymm2
1530
1531 vpsrlq $29,%ymm7,%ymm8
1532 vpaddq %ymm12,%ymm8,%ymm8
1533 vpand vecmask29(%rip),%ymm7,%ymm7
1534
1535 vpsrlq $29,%ymm3,%ymm14
1536 vpaddq %ymm14,%ymm4,%ymm4
1537 vpand vecmask29(%rip),%ymm3,%ymm3
1538
1539 vpsrlq $23,%ymm8,%ymm14
1540 vpaddq %ymm14,%ymm0,%ymm0
1541 vpsllq $1,%ymm14,%ymm14
1542 vpaddq %ymm14,%ymm0,%ymm0
1543 vpsllq $3,%ymm14,%ymm14
1544 vpaddq %ymm14,%ymm0,%ymm0
1545 vpand vecmask23(%rip),%ymm8,%ymm8
1546
1547 vpsrlq $29,%ymm4,%ymm14
1548 vpaddq %ymm14,%ymm5,%ymm5
1549 vpand vecmask29(%rip),%ymm4,%ymm4
1550
1551 vpsrlq $29,%ymm0,%ymm14
1552 vpaddq %ymm14,%ymm1,%ymm1
1553 vpand vecmask29(%rip),%ymm0,%ymm0
1554
1555 vmovdqa %ymm0,1536(%rsp)
1556 vmovdqa %ymm1,1568(%rsp)
1557 vmovdqa %ymm2,1600(%rsp)
1558 vmovdqa %ymm3,1632(%rsp)
1559 vmovdqa %ymm4,1664(%rsp)
1560 vmovdqa %ymm5,1696(%rsp)
1561 vmovdqa %ymm6,1728(%rsp)
1562 vmovdqa %ymm7,1760(%rsp)
1563 vmovdqa %ymm8,1792(%rsp)
1564
1565 // X3
1566 vmovdqa 960(%rsp),%ymm9
1567 vmovdqa 992(%rsp),%ymm10
1568 vmovdqa 1024(%rsp),%ymm11
1569 vmovdqa 1056(%rsp),%ymm12
1570 vmovdqa 1088(%rsp),%ymm13
1571 vmovdqa 1120(%rsp),%ymm14
1572 vmovdqa 1152(%rsp),%ymm15
1573 vmovdqa 1184(%rsp),%ymm7
1574 vmovdqa 1216(%rsp),%ymm8
1575
1576 // copy X3
1577 vmovdqa %ymm9,%ymm0
1578 vmovdqa %ymm10,%ymm1
1579 vmovdqa %ymm11,%ymm2
1580 vmovdqa %ymm12,%ymm3
1581 vmovdqa %ymm13,%ymm4
1582 vmovdqa %ymm14,%ymm5
1583 vmovdqa %ymm15,%ymm6
1584
1585 // T3 ← X3 + Z3
1586 vpaddq 1248(%rsp),%ymm9,%ymm9
1587 vpaddq 1280(%rsp),%ymm10,%ymm10
1588 vpaddq 1312(%rsp),%ymm11,%ymm11
1589 vpaddq 1344(%rsp),%ymm12,%ymm12
1590 vpaddq 1376(%rsp),%ymm13,%ymm13
1591 vpaddq 1408(%rsp),%ymm14,%ymm14
1592 vpaddq 1440(%rsp),%ymm15,%ymm15
1593 vpaddq 1472(%rsp),%ymm7,%ymm7
1594 vpaddq 1504(%rsp),%ymm8,%ymm8
1595
1596 vmovdqa %ymm9,2112(%rsp)
1597 vmovdqa %ymm10,2144(%rsp)
1598 vmovdqa %ymm11,2176(%rsp)
1599 vmovdqa %ymm12,2208(%rsp)
1600 vmovdqa %ymm13,2240(%rsp)
1601 vmovdqa %ymm14,2272(%rsp)
1602 vmovdqa %ymm15,2304(%rsp)
1603 vmovdqa %ymm7,2336(%rsp)
1604 vmovdqa %ymm8,2368(%rsp)
1605
1606 // remaining X3
1607 vmovdqa 1184(%rsp),%ymm7
1608 vmovdqa 1216(%rsp),%ymm8
1609
1610 // Z3 ← X3 - Z3
1611 vpaddq vec2p0(%rip),%ymm0,%ymm0
1612 vpaddq vec2p1_7(%rip),%ymm1,%ymm1
1613 vpaddq vec2p1_7(%rip),%ymm2,%ymm2
1614 vpaddq vec2p1_7(%rip),%ymm3,%ymm3
1615 vpaddq vec2p1_7(%rip),%ymm4,%ymm4
1616 vpaddq vec2p1_7(%rip),%ymm5,%ymm5
1617 vpaddq vec2p1_7(%rip),%ymm6,%ymm6
1618 vpaddq vec2p1_7(%rip),%ymm7,%ymm7
1619 vpaddq vec2p8(%rip),%ymm8,%ymm8
1620
1621 vpsubq 1248(%rsp),%ymm0,%ymm0
1622 vpsubq 1280(%rsp),%ymm1,%ymm1
1623 vpsubq 1312(%rsp),%ymm2,%ymm2
1624 vpsubq 1344(%rsp),%ymm3,%ymm3
1625 vpsubq 1376(%rsp),%ymm4,%ymm4
1626 vpsubq 1408(%rsp),%ymm5,%ymm5
1627 vpsubq 1440(%rsp),%ymm6,%ymm6
1628 vpsubq 1472(%rsp),%ymm7,%ymm7
1629 vpsubq 1504(%rsp),%ymm8,%ymm8
1630
1631 vpsrlq $29,%ymm4,%ymm10
1632 vpaddq %ymm10,%ymm5,%ymm5
1633 vpand vecmask29(%rip),%ymm4,%ymm4
1634
1635 vpsrlq $29,%ymm0,%ymm10
1636 vpaddq %ymm10,%ymm1,%ymm1
1637 vpand vecmask29(%rip),%ymm0,%ymm0
1638
1639 vpsrlq $29,%ymm5,%ymm10
1640 vpaddq %ymm10,%ymm6,%ymm6
1641 vpand vecmask29(%rip),%ymm5,%ymm5
1642
1643 vpsrlq $29,%ymm1,%ymm10
1644 vpaddq %ymm10,%ymm2,%ymm2
1645 vpand vecmask29(%rip),%ymm1,%ymm1
1646
1647 vpsrlq $29,%ymm6,%ymm10
1648 vpaddq %ymm10,%ymm7,%ymm7
1649 vpand vecmask29(%rip),%ymm6,%ymm6
1650
1651 vpsrlq $29,%ymm2,%ymm10
1652 vpaddq %ymm10,%ymm3,%ymm3
1653 vpand vecmask29(%rip),%ymm2,%ymm2
1654
1655 vpsrlq $29,%ymm7,%ymm10
1656 vpaddq %ymm10,%ymm8,%ymm8
1657 vpand vecmask29(%rip),%ymm7,%ymm7
1658
1659 vpsrlq $29,%ymm3,%ymm10
1660 vpaddq %ymm10,%ymm4,%ymm4
1661 vpand vecmask29(%rip),%ymm3,%ymm3
1662
1663 vpsrlq $23,%ymm8,%ymm10
1664 vpmuludq vec19(%rip),%ymm10,%ymm10
1665 vpaddq %ymm10,%ymm0,%ymm0
1666 vpand vecmask23(%rip),%ymm8,%ymm8
1667
1668 vpsrlq $29,%ymm4,%ymm10
1669 vpaddq %ymm10,%ymm5,%ymm5
1670 vpand vecmask29(%rip),%ymm4,%ymm4
1671
1672 vpsrlq $29,%ymm0,%ymm10
1673 vpaddq %ymm10,%ymm1,%ymm1
1674 vpand vecmask29(%rip),%ymm0,%ymm0
1675
1676 // Z3 ← Z3^2
1677 vpmuludq %ymm1,%ymm8,%ymm15
1678 vpmuludq %ymm2,%ymm7,%ymm14
1679 vpaddq %ymm14,%ymm15,%ymm15
1680 vpmuludq %ymm3,%ymm6,%ymm14
1681 vpaddq %ymm14,%ymm15,%ymm15
1682 vpmuludq %ymm4,%ymm5,%ymm14
1683 vpaddq %ymm14,%ymm15,%ymm15
1684 vpsllq $1,%ymm15,%ymm9
1685
1686 vpmuludq %ymm2,%ymm8,%ymm15
1687 vpmuludq %ymm3,%ymm7,%ymm14
1688 vpaddq %ymm14,%ymm15,%ymm15
1689 vpmuludq %ymm4,%ymm6,%ymm14
1690 vpaddq %ymm14,%ymm15,%ymm15
1691 vpsllq $1,%ymm15,%ymm15
1692 vpmuludq %ymm5,%ymm5,%ymm14
1693 vpaddq %ymm14,%ymm15,%ymm10
1694
1695 vpsrlq $29,%ymm9,%ymm14
1696 vpaddq %ymm14,%ymm10,%ymm10
1697 vpand vecmask29(%rip),%ymm9,%ymm9
1698
1699 vpmuludq vec1216(%rip),%ymm9,%ymm9
1700 vpmuludq %ymm0,%ymm0,%ymm15
1701 vpaddq %ymm15,%ymm9,%ymm9
1702
1703 vpmuludq %ymm3,%ymm8,%ymm15
1704 vpmuludq %ymm4,%ymm7,%ymm14
1705 vpaddq %ymm14,%ymm15,%ymm15
1706 vpmuludq %ymm5,%ymm6,%ymm14
1707 vpaddq %ymm14,%ymm15,%ymm15
1708 vpsllq $1,%ymm15,%ymm11
1709
1710 vpsrlq $29,%ymm10,%ymm14
1711 vpaddq %ymm14,%ymm11,%ymm11
1712 vpand vecmask29(%rip),%ymm10,%ymm10
1713
1714 vpmuludq vec1216(%rip),%ymm10,%ymm10
1715 vpmuludq %ymm0,%ymm1,%ymm15
1716 vpsllq $1,%ymm15,%ymm15
1717 vpaddq %ymm15,%ymm10,%ymm10
1718 vpmuludq %ymm4,%ymm8,%ymm15
1719 vpmuludq %ymm5,%ymm7,%ymm14
1720 vpaddq %ymm14,%ymm15,%ymm15
1721 vpsllq $1,%ymm15,%ymm15
1722 vpmuludq %ymm6,%ymm6,%ymm14
1723 vpaddq %ymm14,%ymm15,%ymm12
1724
1725 vpsrlq $29,%ymm11,%ymm14
1726 vpaddq %ymm14,%ymm12,%ymm12
1727 vpand vecmask29(%rip),%ymm11,%ymm11
1728 vpmuludq vec1216(%rip),%ymm11,%ymm11
1729 vpmuludq %ymm0,%ymm2,%ymm15
1730 vpsllq $1,%ymm15,%ymm15
1731 vpmuludq %ymm1,%ymm1,%ymm14
1732 vpaddq %ymm14,%ymm15,%ymm15
1733 vpaddq %ymm15,%ymm11,%ymm11
1734 vpmuludq %ymm5,%ymm8,%ymm15
1735 vpmuludq %ymm6,%ymm7,%ymm14
1736 vpaddq %ymm14,%ymm15,%ymm15
1737 vpsllq $1,%ymm15,%ymm13
1738
1739 vpsrlq $29,%ymm12,%ymm14
1740 vpaddq %ymm14,%ymm13,%ymm13
1741 vpand vecmask29(%rip),%ymm12,%ymm12
1742
1743 vpmuludq vec1216(%rip),%ymm12,%ymm12
1744 vpmuludq %ymm0,%ymm3,%ymm15
1745 vpmuludq %ymm1,%ymm2,%ymm14
1746 vpaddq %ymm14,%ymm15,%ymm15
1747 vpsllq $1,%ymm15,%ymm15
1748 vpaddq %ymm15,%ymm12,%ymm12
1749
1750 vmovdqa %ymm11,2688(%rsp)
1751
1752 vpmuludq %ymm6,%ymm8,%ymm15
1753 vpsllq $1,%ymm15,%ymm15
1754 vpmuludq %ymm7,%ymm7,%ymm14
1755 vpaddq %ymm14,%ymm15,%ymm14
1756
1757 vpsrlq $29,%ymm13,%ymm15
1758 vpaddq %ymm15,%ymm14,%ymm14
1759 vpand vecmask29(%rip),%ymm13,%ymm13
1760
1761 vpmuludq vec1216(%rip),%ymm13,%ymm13
1762 vpmuludq %ymm0,%ymm4,%ymm15
1763 vpmuludq %ymm1,%ymm3,%ymm11
1764 vpaddq %ymm11,%ymm15,%ymm15
1765 vpsllq $1,%ymm15,%ymm15
1766 vpmuludq %ymm2,%ymm2,%ymm11
1767 vpaddq %ymm11,%ymm15,%ymm15
1768 vpaddq %ymm15,%ymm13,%ymm13
1769
1770 vmovdqa %ymm12,2720(%rsp)
1771
1772 vpmuludq %ymm7,%ymm8,%ymm15
1773 vpsllq $1,%ymm15,%ymm15
1774
1775 vpsrlq $29,%ymm14,%ymm11
1776 vpaddq %ymm11,%ymm15,%ymm15
1777 vpand vecmask29(%rip),%ymm14,%ymm14
1778
1779 vpmuludq vec1216(%rip),%ymm14,%ymm14
1780 vpmuludq %ymm0,%ymm5,%ymm12
1781 vpmuludq %ymm1,%ymm4,%ymm11
1782 vpaddq %ymm11,%ymm12,%ymm12
1783 vpmuludq %ymm2,%ymm3,%ymm11
1784 vpaddq %ymm11,%ymm12,%ymm12
1785 vpsllq $1,%ymm12,%ymm12
1786 vpaddq %ymm12,%ymm14,%ymm14
1787
1788 vmovdqa %ymm13,2752(%rsp)
1789
1790 vpmuludq %ymm8,%ymm8,%ymm11
1791
1792 vpsrlq $29,%ymm15,%ymm12
1793 vpaddq %ymm12,%ymm11,%ymm11
1794 vpand vecmask29(%rip),%ymm15,%ymm15
1795
1796 vpmuludq vec1216(%rip),%ymm15,%ymm15
1797 vpmuludq %ymm0,%ymm6,%ymm12
1798 vpmuludq %ymm1,%ymm5,%ymm13
1799 vpaddq %ymm12,%ymm13,%ymm13
1800 vpmuludq %ymm2,%ymm4,%ymm12
1801 vpaddq %ymm12,%ymm13,%ymm13
1802 vpsllq $1,%ymm13,%ymm13
1803 vpmuludq %ymm3,%ymm3,%ymm12
1804 vpaddq %ymm12,%ymm13,%ymm13
1805 vpaddq %ymm13,%ymm15,%ymm15
1806
1807 vmovdqa %ymm14,2784(%rsp)
1808
1809 vpsrlq $29,%ymm11,%ymm12
1810 vpand vecmask29(%rip),%ymm11,%ymm11
1811
1812 vpmuludq vec1216(%rip),%ymm11,%ymm11
1813 vpmuludq %ymm0,%ymm7,%ymm13
1814 vpmuludq %ymm1,%ymm6,%ymm14
1815 vpaddq %ymm13,%ymm14,%ymm14
1816 vpmuludq %ymm2,%ymm5,%ymm13
1817 vpaddq %ymm13,%ymm14,%ymm14
1818 vpmuludq %ymm3,%ymm4,%ymm13
1819 vpaddq %ymm13,%ymm14,%ymm14
1820 vpsllq $1,%ymm14,%ymm14
1821 vpaddq %ymm14,%ymm11,%ymm11
1822
1823 vpmuludq vec1216(%rip),%ymm12,%ymm12
1824 vpmuludq %ymm0,%ymm8,%ymm13
1825 vpmuludq %ymm1,%ymm7,%ymm14
1826 vpaddq %ymm13,%ymm14,%ymm14
1827 vpmuludq %ymm2,%ymm6,%ymm13
1828 vpaddq %ymm13,%ymm14,%ymm14
1829 vpmuludq %ymm3,%ymm5,%ymm13
1830 vpaddq %ymm13,%ymm14,%ymm14
1831 vpsllq $1,%ymm14,%ymm14
1832 vpmuludq %ymm4,%ymm4,%ymm13
1833 vpaddq %ymm13,%ymm14,%ymm14
1834 vpaddq %ymm14,%ymm12,%ymm12
1835
1836 vmovdqa 2752(%rsp),%ymm4
1837 vpsrlq $29,%ymm4,%ymm5
1838 vpaddq 2784(%rsp),%ymm5,%ymm5
1839 vpand vecmask29(%rip),%ymm4,%ymm4
1840
1841 vpsrlq $29,%ymm9,%ymm14
1842 vpaddq %ymm14,%ymm10,%ymm1
1843 vpand vecmask29(%rip),%ymm9,%ymm0
1844
1845 vpsrlq $29,%ymm5,%ymm6
1846 vpaddq %ymm15,%ymm6,%ymm6
1847 vpand vecmask29(%rip),%ymm5,%ymm5
1848
1849 vpsrlq $29,%ymm1,%ymm14
1850 vpaddq 2688(%rsp),%ymm14,%ymm2
1851 vpand vecmask29(%rip),%ymm1,%ymm1
1852
1853 vpsrlq $29,%ymm6,%ymm7
1854 vpaddq %ymm11,%ymm7,%ymm7
1855 vpand vecmask29(%rip),%ymm6,%ymm6
1856
1857 vpsrlq $29,%ymm2,%ymm14
1858 vpaddq 2720(%rsp),%ymm14,%ymm3
1859 vpand vecmask29(%rip),%ymm2,%ymm2
1860
1861 vpsrlq $29,%ymm7,%ymm8
1862 vpaddq %ymm12,%ymm8,%ymm8
1863 vpand vecmask29(%rip),%ymm7,%ymm7
1864
1865 vpsrlq $29,%ymm3,%ymm14
1866 vpaddq %ymm14,%ymm4,%ymm4
1867 vpand vecmask29(%rip),%ymm3,%ymm3
1868
1869 vpsrlq $23,%ymm8,%ymm14
1870 vpaddq %ymm14,%ymm0,%ymm0
1871 vpsllq $1,%ymm14,%ymm14
1872 vpaddq %ymm14,%ymm0,%ymm0
1873 vpsllq $3,%ymm14,%ymm14
1874 vpaddq %ymm14,%ymm0,%ymm0
1875 vpand vecmask23(%rip),%ymm8,%ymm8
1876
1877 vpsrlq $29,%ymm4,%ymm14
1878 vpaddq %ymm14,%ymm5,%ymm5
1879 vpand vecmask29(%rip),%ymm4,%ymm4
1880
1881 vpsrlq $29,%ymm0,%ymm14
1882 vpaddq %ymm14,%ymm1,%ymm1
1883 vpand vecmask29(%rip),%ymm0,%ymm0
1884
1885 vmovdqa %ymm0,1248(%rsp)
1886 vmovdqa %ymm1,1280(%rsp)
1887 vmovdqa %ymm2,1312(%rsp)
1888 vmovdqa %ymm3,1344(%rsp)
1889 vmovdqa %ymm4,1376(%rsp)
1890 vmovdqa %ymm5,1408(%rsp)
1891 vmovdqa %ymm6,1440(%rsp)
1892 vmovdqa %ymm7,1472(%rsp)
1893 vmovdqa %ymm8,1504(%rsp)
1894
1895 // X3 ← T3^2
1896 vmovdqa 2112(%rsp),%ymm0
1897 vmovdqa 2144(%rsp),%ymm1
1898 vmovdqa 2176(%rsp),%ymm2
1899 vmovdqa 2208(%rsp),%ymm3
1900 vmovdqa 2240(%rsp),%ymm4
1901 vmovdqa 2272(%rsp),%ymm5
1902 vmovdqa 2304(%rsp),%ymm6
1903 vmovdqa 2336(%rsp),%ymm7
1904 vmovdqa 2368(%rsp),%ymm8
1905
1906 vpmuludq %ymm1,%ymm8,%ymm15
1907 vpmuludq %ymm2,%ymm7,%ymm14
1908 vpaddq %ymm14,%ymm15,%ymm15
1909 vpmuludq %ymm3,%ymm6,%ymm14
1910 vpaddq %ymm14,%ymm15,%ymm15
1911 vpmuludq %ymm4,%ymm5,%ymm14
1912 vpaddq %ymm14,%ymm15,%ymm15
1913 vpsllq $1,%ymm15,%ymm9
1914
1915 vpmuludq %ymm2,%ymm8,%ymm15
1916 vpmuludq %ymm3,%ymm7,%ymm14
1917 vpaddq %ymm14,%ymm15,%ymm15
1918 vpmuludq %ymm4,%ymm6,%ymm14
1919 vpaddq %ymm14,%ymm15,%ymm15
1920 vpsllq $1,%ymm15,%ymm15
1921 vpmuludq %ymm5,%ymm5,%ymm14
1922 vpaddq %ymm14,%ymm15,%ymm10
1923
1924 vpsrlq $29,%ymm9,%ymm14
1925 vpaddq %ymm14,%ymm10,%ymm10
1926 vpand vecmask29(%rip),%ymm9,%ymm9
1927
1928 vpmuludq vec1216(%rip),%ymm9,%ymm9
1929 vpmuludq %ymm0,%ymm0,%ymm15
1930 vpaddq %ymm15,%ymm9,%ymm9
1931
1932 vpmuludq %ymm3,%ymm8,%ymm15
1933 vpmuludq %ymm4,%ymm7,%ymm14
1934 vpaddq %ymm14,%ymm15,%ymm15
1935 vpmuludq %ymm5,%ymm6,%ymm14
1936 vpaddq %ymm14,%ymm15,%ymm15
1937 vpsllq $1,%ymm15,%ymm11
1938
1939 vpsrlq $29,%ymm10,%ymm14
1940 vpaddq %ymm14,%ymm11,%ymm11
1941 vpand vecmask29(%rip),%ymm10,%ymm10
1942
1943 vpmuludq vec1216(%rip),%ymm10,%ymm10
1944 vpmuludq %ymm0,%ymm1,%ymm15
1945 vpsllq $1,%ymm15,%ymm15
1946 vpaddq %ymm15,%ymm10,%ymm10
1947 vpmuludq %ymm4,%ymm8,%ymm15
1948 vpmuludq %ymm5,%ymm7,%ymm14
1949 vpaddq %ymm14,%ymm15,%ymm15
1950 vpsllq $1,%ymm15,%ymm15
1951 vpmuludq %ymm6,%ymm6,%ymm14
1952 vpaddq %ymm14,%ymm15,%ymm12
1953
1954 vpsrlq $29,%ymm11,%ymm14
1955 vpaddq %ymm14,%ymm12,%ymm12
1956 vpand vecmask29(%rip),%ymm11,%ymm11
1957 vpmuludq vec1216(%rip),%ymm11,%ymm11
1958 vpmuludq %ymm0,%ymm2,%ymm15
1959 vpsllq $1,%ymm15,%ymm15
1960 vpmuludq %ymm1,%ymm1,%ymm14
1961 vpaddq %ymm14,%ymm15,%ymm15
1962 vpaddq %ymm15,%ymm11,%ymm11
1963 vpmuludq %ymm5,%ymm8,%ymm15
1964 vpmuludq %ymm6,%ymm7,%ymm14
1965 vpaddq %ymm14,%ymm15,%ymm15
1966 vpsllq $1,%ymm15,%ymm13
1967
1968 vpsrlq $29,%ymm12,%ymm14
1969 vpaddq %ymm14,%ymm13,%ymm13
1970 vpand vecmask29(%rip),%ymm12,%ymm12
1971
1972 vpmuludq vec1216(%rip),%ymm12,%ymm12
1973 vpmuludq %ymm0,%ymm3,%ymm15
1974 vpmuludq %ymm1,%ymm2,%ymm14
1975 vpaddq %ymm14,%ymm15,%ymm15
1976 vpsllq $1,%ymm15,%ymm15
1977 vpaddq %ymm15,%ymm12,%ymm12
1978
1979 vmovdqa %ymm11,2688(%rsp)
1980
1981 vpmuludq %ymm6,%ymm8,%ymm15
1982 vpsllq $1,%ymm15,%ymm15
1983 vpmuludq %ymm7,%ymm7,%ymm14
1984 vpaddq %ymm14,%ymm15,%ymm14
1985
1986 vpsrlq $29,%ymm13,%ymm15
1987 vpaddq %ymm15,%ymm14,%ymm14
1988 vpand vecmask29(%rip),%ymm13,%ymm13
1989
1990 vpmuludq vec1216(%rip),%ymm13,%ymm13
1991 vpmuludq %ymm0,%ymm4,%ymm15
1992 vpmuludq %ymm1,%ymm3,%ymm11
1993 vpaddq %ymm11,%ymm15,%ymm15
1994 vpsllq $1,%ymm15,%ymm15
1995 vpmuludq %ymm2,%ymm2,%ymm11
1996 vpaddq %ymm11,%ymm15,%ymm15
1997 vpaddq %ymm15,%ymm13,%ymm13
1998
1999 vmovdqa %ymm12,2720(%rsp)
2000
2001 vpmuludq %ymm7,%ymm8,%ymm15
2002 vpsllq $1,%ymm15,%ymm15
2003
2004 vpsrlq $29,%ymm14,%ymm11
2005 vpaddq %ymm11,%ymm15,%ymm15
2006 vpand vecmask29(%rip),%ymm14,%ymm14
2007
2008 vpmuludq vec1216(%rip),%ymm14,%ymm14
2009 vpmuludq %ymm0,%ymm5,%ymm12
2010 vpmuludq %ymm1,%ymm4,%ymm11
2011 vpaddq %ymm11,%ymm12,%ymm12
2012 vpmuludq %ymm2,%ymm3,%ymm11
2013 vpaddq %ymm11,%ymm12,%ymm12
2014 vpsllq $1,%ymm12,%ymm12
2015 vpaddq %ymm12,%ymm14,%ymm14
2016
2017 vmovdqa %ymm13,2752(%rsp)
2018
2019 vpmuludq %ymm8,%ymm8,%ymm11
2020
2021 vpsrlq $29,%ymm15,%ymm12
2022 vpaddq %ymm12,%ymm11,%ymm11
2023 vpand vecmask29(%rip),%ymm15,%ymm15
2024
2025 vpmuludq vec1216(%rip),%ymm15,%ymm15
2026 vpmuludq %ymm0,%ymm6,%ymm12
2027 vpmuludq %ymm1,%ymm5,%ymm13
2028 vpaddq %ymm12,%ymm13,%ymm13
2029 vpmuludq %ymm2,%ymm4,%ymm12
2030 vpaddq %ymm12,%ymm13,%ymm13
2031 vpsllq $1,%ymm13,%ymm13
2032 vpmuludq %ymm3,%ymm3,%ymm12
2033 vpaddq %ymm12,%ymm13,%ymm13
2034 vpaddq %ymm13,%ymm15,%ymm15
2035
2036 vmovdqa %ymm14,2784(%rsp)
2037
2038 vpsrlq $29,%ymm11,%ymm12
2039 vpand vecmask29(%rip),%ymm11,%ymm11
2040
2041 vpmuludq vec1216(%rip),%ymm11,%ymm11
2042 vpmuludq %ymm0,%ymm7,%ymm13
2043 vpmuludq %ymm1,%ymm6,%ymm14
2044 vpaddq %ymm13,%ymm14,%ymm14
2045 vpmuludq %ymm2,%ymm5,%ymm13
2046 vpaddq %ymm13,%ymm14,%ymm14
2047 vpmuludq %ymm3,%ymm4,%ymm13
2048 vpaddq %ymm13,%ymm14,%ymm14
2049 vpsllq $1,%ymm14,%ymm14
2050 vpaddq %ymm14,%ymm11,%ymm11
2051
2052 vpmuludq vec1216(%rip),%ymm12,%ymm12
2053 vpmuludq %ymm0,%ymm8,%ymm13
2054 vpmuludq %ymm1,%ymm7,%ymm14
2055 vpaddq %ymm13,%ymm14,%ymm14
2056 vpmuludq %ymm2,%ymm6,%ymm13
2057 vpaddq %ymm13,%ymm14,%ymm14
2058 vpmuludq %ymm3,%ymm5,%ymm13
2059 vpaddq %ymm13,%ymm14,%ymm14
2060 vpsllq $1,%ymm14,%ymm14
2061 vpmuludq %ymm4,%ymm4,%ymm13
2062 vpaddq %ymm13,%ymm14,%ymm14
2063 vpaddq %ymm14,%ymm12,%ymm12
2064
2065 vmovdqa 2752(%rsp),%ymm4
2066 vpsrlq $29,%ymm4,%ymm5
2067 vpaddq 2784(%rsp),%ymm5,%ymm5
2068 vpand vecmask29(%rip),%ymm4,%ymm4
2069
2070 vpsrlq $29,%ymm9,%ymm14
2071 vpaddq %ymm14,%ymm10,%ymm1
2072 vpand vecmask29(%rip),%ymm9,%ymm0
2073
2074 vpsrlq $29,%ymm5,%ymm6
2075 vpaddq %ymm15,%ymm6,%ymm6
2076 vpand vecmask29(%rip),%ymm5,%ymm5
2077
2078 vpsrlq $29,%ymm1,%ymm14
2079 vpaddq 2688(%rsp),%ymm14,%ymm2
2080 vpand vecmask29(%rip),%ymm1,%ymm1
2081
2082 vpsrlq $29,%ymm6,%ymm7
2083 vpaddq %ymm11,%ymm7,%ymm7
2084 vpand vecmask29(%rip),%ymm6,%ymm6
2085
2086 vpsrlq $29,%ymm2,%ymm14
2087 vpaddq 2720(%rsp),%ymm14,%ymm3
2088 vpand vecmask29(%rip),%ymm2,%ymm2
2089
2090 vpsrlq $29,%ymm7,%ymm8
2091 vpaddq %ymm12,%ymm8,%ymm8
2092 vpand vecmask29(%rip),%ymm7,%ymm7
2093
2094 vpsrlq $29,%ymm3,%ymm14
2095 vpaddq %ymm14,%ymm4,%ymm4
2096 vpand vecmask29(%rip),%ymm3,%ymm3
2097
2098 vpsrlq $23,%ymm8,%ymm14
2099 vpaddq %ymm14,%ymm0,%ymm0
2100 vpsllq $1,%ymm14,%ymm14
2101 vpaddq %ymm14,%ymm0,%ymm0
2102 vpsllq $3,%ymm14,%ymm14
2103 vpaddq %ymm14,%ymm0,%ymm0
2104 vpand vecmask23(%rip),%ymm8,%ymm8
2105
2106 vpsrlq $29,%ymm4,%ymm14
2107 vpaddq %ymm14,%ymm5,%ymm5
2108 vpand vecmask29(%rip),%ymm4,%ymm4
2109
2110 vpsrlq $29,%ymm0,%ymm14
2111 vpaddq %ymm14,%ymm1,%ymm1
2112 vpand vecmask29(%rip),%ymm0,%ymm0
2113
2114 vmovdqa %ymm0,960(%rsp)
2115 vmovdqa %ymm1,992(%rsp)
2116 vmovdqa %ymm2,1024(%rsp)
2117 vmovdqa %ymm3,1056(%rsp)
2118 vmovdqa %ymm4,1088(%rsp)
2119 vmovdqa %ymm5,1120(%rsp)
2120 vmovdqa %ymm6,1152(%rsp)
2121 vmovdqa %ymm7,1184(%rsp)
2122 vmovdqa %ymm8,1216(%rsp)
2123
2124 // T3 ← T1 - T2
2125 vmovdqa 1536(%rsp),%ymm10
2126 vmovdqa 1568(%rsp),%ymm11
2127 vmovdqa 1600(%rsp),%ymm12
2128 vmovdqa 1632(%rsp),%ymm13
2129 vmovdqa 1664(%rsp),%ymm0
2130 vmovdqa 1696(%rsp),%ymm1
2131 vmovdqa 1728(%rsp),%ymm2
2132 vmovdqa 1760(%rsp),%ymm3
2133 vmovdqa 1792(%rsp),%ymm4
2134
2135 vpaddq vec2p0(%rip),%ymm10,%ymm10
2136 vpaddq vec2p1_7(%rip),%ymm11,%ymm11
2137 vpaddq vec2p1_7(%rip),%ymm12,%ymm12
2138 vpaddq vec2p1_7(%rip),%ymm13,%ymm13
2139 vpaddq vec2p1_7(%rip),%ymm0,%ymm0
2140 vpaddq vec2p1_7(%rip),%ymm1,%ymm1
2141 vpaddq vec2p1_7(%rip),%ymm2,%ymm2
2142 vpaddq vec2p1_7(%rip),%ymm3,%ymm3
2143 vpaddq vec2p8(%rip),%ymm4,%ymm4
2144
2145 vpsubq 1824(%rsp),%ymm10,%ymm10
2146 vpsubq 1856(%rsp),%ymm11,%ymm11
2147 vpsubq 1888(%rsp),%ymm12,%ymm12
2148 vpsubq 1920(%rsp),%ymm13,%ymm13
2149 vpsubq 1952(%rsp),%ymm0,%ymm0
2150 vpsubq 1984(%rsp),%ymm1,%ymm1
2151 vpsubq 2016(%rsp),%ymm2,%ymm2
2152 vpsubq 2048(%rsp),%ymm3,%ymm3
2153 vpsubq 2080(%rsp),%ymm4,%ymm4
2154
2155 vpsrlq $29,%ymm10,%ymm5
2156 vpaddq %ymm5,%ymm11,%ymm11
2157 vpand vecmask29(%rip),%ymm10,%ymm10
2158
2159 vpsrlq $29,%ymm11,%ymm5
2160 vpaddq %ymm5,%ymm12,%ymm12
2161 vpand vecmask29(%rip),%ymm11,%ymm11
2162
2163 vpsrlq $29,%ymm12,%ymm5
2164 vpaddq %ymm5,%ymm13,%ymm13
2165 vpand vecmask29(%rip),%ymm12,%ymm12
2166
2167 vpsrlq $29,%ymm13,%ymm5
2168 vpaddq %ymm5,%ymm0,%ymm0
2169 vpand vecmask29(%rip),%ymm13,%ymm13
2170
2171 vpsrlq $29,%ymm0,%ymm5
2172 vpaddq %ymm5,%ymm1,%ymm1
2173 vpand vecmask29(%rip),%ymm0,%ymm0
2174
2175 vpsrlq $29,%ymm1,%ymm5
2176 vpaddq %ymm5,%ymm2,%ymm2
2177 vpand vecmask29(%rip),%ymm1,%ymm1
2178
2179 vpsrlq $29,%ymm2,%ymm5
2180 vpaddq %ymm5,%ymm3,%ymm3
2181 vpand vecmask29(%rip),%ymm2,%ymm2
2182
2183 vpsrlq $29,%ymm3,%ymm5
2184 vpaddq %ymm5,%ymm4,%ymm4
2185 vpand vecmask29(%rip),%ymm3,%ymm3
2186
2187 vpsrlq $23,%ymm4,%ymm5
2188 vpmuludq vec19(%rip),%ymm5,%ymm5
2189 vpaddq %ymm5,%ymm10,%ymm10
2190 vpand vecmask23(%rip),%ymm4,%ymm4
2191
2192 vpsrlq $29,%ymm10,%ymm5
2193 vpaddq %ymm5,%ymm11,%ymm11
2194 vpand vecmask29(%rip),%ymm10,%ymm10
2195
2196 vmovdqa %ymm10,2112(%rsp)
2197 vmovdqa %ymm11,2144(%rsp)
2198 vmovdqa %ymm12,2176(%rsp)
2199 vmovdqa %ymm13,2208(%rsp)
2200 vmovdqa %ymm0,2240(%rsp)
2201 vmovdqa %ymm1,2272(%rsp)
2202 vmovdqa %ymm2,2304(%rsp)
2203 vmovdqa %ymm3,2336(%rsp)
2204 vmovdqa %ymm4,2368(%rsp)
2205
2206 // T4 ← ((A2)/4) · T3
2207 vpmuludq veca24(%rip),%ymm10,%ymm10
2208 vpmuludq veca24(%rip),%ymm11,%ymm11
2209 vpmuludq veca24(%rip),%ymm12,%ymm12
2210 vpmuludq veca24(%rip),%ymm13,%ymm13
2211 vpmuludq veca24(%rip),%ymm0,%ymm0
2212 vpmuludq veca24(%rip),%ymm1,%ymm1
2213 vpmuludq veca24(%rip),%ymm2,%ymm2
2214 vpmuludq veca24(%rip),%ymm3,%ymm3
2215 vpmuludq veca24(%rip),%ymm4,%ymm4
2216
2217 // T4 ← T4 + T2
2218 vpaddq 1824(%rsp),%ymm10,%ymm10
2219 vpaddq 1856(%rsp),%ymm11,%ymm11
2220 vpaddq 1888(%rsp),%ymm12,%ymm12
2221 vpaddq 1920(%rsp),%ymm13,%ymm13
2222 vpaddq 1952(%rsp),%ymm0,%ymm0
2223 vpaddq 1984(%rsp),%ymm1,%ymm1
2224 vpaddq 2016(%rsp),%ymm2,%ymm2
2225 vpaddq 2048(%rsp),%ymm3,%ymm3
2226 vpaddq 2080(%rsp),%ymm4,%ymm4
2227
2228 vpsrlq $29,%ymm10,%ymm15
2229 vpaddq %ymm15,%ymm11,%ymm11
2230 vpand vecmask29(%rip),%ymm10,%ymm10
2231
2232 vpsrlq $29,%ymm11,%ymm15
2233 vpaddq %ymm15,%ymm12,%ymm12
2234 vpand vecmask29(%rip),%ymm11,%ymm11
2235
2236 vpsrlq $29,%ymm12,%ymm15
2237 vpaddq %ymm15,%ymm13,%ymm13
2238 vpand vecmask29(%rip),%ymm12,%ymm12
2239
2240 vpsrlq $29,%ymm13,%ymm15
2241 vpaddq %ymm15,%ymm0,%ymm0
2242 vpand vecmask29(%rip),%ymm13,%ymm13
2243
2244 vpsrlq $29,%ymm0,%ymm15
2245 vpaddq %ymm15,%ymm1,%ymm1
2246 vpand vecmask29(%rip),%ymm0,%ymm0
2247
2248 vpsrlq $29,%ymm1,%ymm15
2249 vpaddq %ymm15,%ymm2,%ymm2
2250 vpand vecmask29(%rip),%ymm1,%ymm1
2251
2252 vpsrlq $29,%ymm2,%ymm15
2253 vpaddq %ymm15,%ymm3,%ymm3
2254 vpand vecmask29(%rip),%ymm2,%ymm2
2255
2256 vpsrlq $29,%ymm3,%ymm15
2257 vpaddq %ymm15,%ymm4,%ymm4
2258 vpand vecmask29(%rip),%ymm3,%ymm3
2259
2260 vpsrlq $23,%ymm4,%ymm15
2261 vpmuludq vec19(%rip),%ymm15,%ymm15
2262 vpaddq %ymm15,%ymm10,%ymm10
2263 vpand vecmask23(%rip),%ymm4,%ymm4
2264
2265 // Z2 ← T3 · T4
2266 vmovdqa 2240(%rsp),%ymm5
2267 vmovdqa 2272(%rsp),%ymm6
2268 vmovdqa 2304(%rsp),%ymm7
2269 vmovdqa 2336(%rsp),%ymm8
2270 vmovdqa 2368(%rsp),%ymm9
2271
2272 vpmuludq %ymm5,%ymm0,%ymm15
2273 vmovdqa %ymm15,2688(%rsp)
2274
2275 vpmuludq %ymm6,%ymm0,%ymm15
2276 vpmuludq %ymm5,%ymm1,%ymm14
2277 vpaddq %ymm14,%ymm15,%ymm15
2278 vmovdqa %ymm15,2720(%rsp)
2279
2280 vpmuludq %ymm7,%ymm0,%ymm15
2281 vpmuludq %ymm6,%ymm1,%ymm14
2282 vpaddq %ymm14,%ymm15,%ymm15
2283 vpmuludq %ymm5,%ymm2,%ymm14
2284 vpaddq %ymm14,%ymm15,%ymm15
2285 vmovdqa %ymm15,2752(%rsp)
2286
2287 vpmuludq %ymm8,%ymm0,%ymm15
2288 vpmuludq %ymm7,%ymm1,%ymm14
2289 vpaddq %ymm14,%ymm15,%ymm15
2290 vpmuludq %ymm6,%ymm2,%ymm14
2291 vpaddq %ymm14,%ymm15,%ymm15
2292 vpmuludq %ymm5,%ymm3,%ymm14
2293 vpaddq %ymm14,%ymm15,%ymm15
2294 vmovdqa %ymm15,2784(%rsp)
2295
2296 vpmuludq %ymm9,%ymm0,%ymm15
2297 vpmuludq %ymm8,%ymm1,%ymm14
2298 vpaddq %ymm14,%ymm15,%ymm15
2299 vpmuludq %ymm7,%ymm2,%ymm14
2300 vpaddq %ymm14,%ymm15,%ymm15
2301 vpmuludq %ymm6,%ymm3,%ymm14
2302 vpaddq %ymm14,%ymm15,%ymm15
2303 vpmuludq %ymm5,%ymm4,%ymm14
2304 vpaddq %ymm14,%ymm15,%ymm15
2305 vmovdqa %ymm15,2816(%rsp)
2306
2307 vpmuludq %ymm9,%ymm1,%ymm15
2308 vpmuludq %ymm8,%ymm2,%ymm14
2309 vpaddq %ymm14,%ymm15,%ymm15
2310 vpmuludq %ymm7,%ymm3,%ymm14
2311 vpaddq %ymm14,%ymm15,%ymm15
2312 vpmuludq %ymm6,%ymm4,%ymm14
2313 vpaddq %ymm14,%ymm15,%ymm15
2314 vmovdqa %ymm15,2848(%rsp)
2315
2316 vpmuludq %ymm9,%ymm2,%ymm15
2317 vpmuludq %ymm8,%ymm3,%ymm14
2318 vpaddq %ymm14,%ymm15,%ymm15
2319 vpmuludq %ymm7,%ymm4,%ymm14
2320 vpaddq %ymm14,%ymm15,%ymm15
2321 vmovdqa %ymm15,2880(%rsp)
2322
2323 vpmuludq %ymm9,%ymm3,%ymm15
2324 vpmuludq %ymm8,%ymm4,%ymm14
2325 vpaddq %ymm14,%ymm15,%ymm15
2326 vmovdqa %ymm15,2912(%rsp)
2327
2328 vpmuludq %ymm9,%ymm4,%ymm15
2329 vmovdqa %ymm15,2944(%rsp)
2330
2331 vpaddq %ymm10,%ymm0,%ymm0
2332 vpaddq %ymm11,%ymm1,%ymm1
2333 vpaddq %ymm12,%ymm2,%ymm2
2334 vpaddq %ymm13,%ymm3,%ymm3
2335 vpaddq 2112(%rsp),%ymm5,%ymm5
2336 vpaddq 2144(%rsp),%ymm6,%ymm6
2337 vpaddq 2176(%rsp),%ymm7,%ymm7
2338 vpaddq 2208(%rsp),%ymm8,%ymm8
2339
2340 vpmuludq 2112(%rsp),%ymm10,%ymm15
2341 vmovdqa %ymm15,2976(%rsp)
2342 vpaddq 2688(%rsp),%ymm15,%ymm15
2343 vmovdqa %ymm15,3200(%rsp)
2344
2345 vpmuludq 2144(%rsp),%ymm10,%ymm15
2346 vpmuludq 2112(%rsp),%ymm11,%ymm14
2347 vpaddq %ymm14,%ymm15,%ymm15
2348 vmovdqa %ymm15,3008(%rsp)
2349 vpaddq 2720(%rsp),%ymm15,%ymm15
2350 vmovdqa %ymm15,3232(%rsp)
2351
2352 vpmuludq 2176(%rsp),%ymm10,%ymm15
2353 vpmuludq 2144(%rsp),%ymm11,%ymm14
2354 vpaddq %ymm14,%ymm15,%ymm15
2355 vpmuludq 2112(%rsp),%ymm12,%ymm14
2356 vpaddq %ymm14,%ymm15,%ymm15
2357 vmovdqa %ymm15,3040(%rsp)
2358 vpaddq 2752(%rsp),%ymm15,%ymm15
2359 vmovdqa %ymm15,3264(%rsp)
2360
2361 vpmuludq 2208(%rsp),%ymm10,%ymm15
2362 vpmuludq 2176(%rsp),%ymm11,%ymm14
2363 vpaddq %ymm14,%ymm15,%ymm15
2364 vpmuludq 2144(%rsp),%ymm12,%ymm14
2365 vpaddq %ymm14,%ymm15,%ymm15
2366 vpmuludq 2112(%rsp),%ymm13,%ymm14
2367 vpaddq %ymm14,%ymm15,%ymm15
2368 vmovdqa %ymm15,3072(%rsp)
2369 vpaddq 2784(%rsp),%ymm15,%ymm15
2370 vmovdqa %ymm15,3296(%rsp)
2371
2372 vpmuludq 2208(%rsp),%ymm11,%ymm15
2373 vpmuludq 2176(%rsp),%ymm12,%ymm14
2374 vpaddq %ymm14,%ymm15,%ymm15
2375 vpmuludq 2144(%rsp),%ymm13,%ymm14
2376 vpaddq %ymm14,%ymm15,%ymm15
2377 vmovdqa %ymm15,3104(%rsp)
2378 vpaddq 2816(%rsp),%ymm15,%ymm15
2379 vmovdqa %ymm15,3328(%rsp)
2380
2381 vpmuludq 2208(%rsp),%ymm12,%ymm15
2382 vpmuludq 2176(%rsp),%ymm13,%ymm14
2383 vpaddq %ymm14,%ymm15,%ymm15
2384 vmovdqa %ymm15,3136(%rsp)
2385 vpaddq 2848(%rsp),%ymm15,%ymm15
2386 vmovdqa %ymm15,3360(%rsp)
2387
2388 vpmuludq 2208(%rsp),%ymm13,%ymm15
2389 vmovdqa %ymm15,3168(%rsp)
2390 vpaddq 2880(%rsp),%ymm15,%ymm15
2391 vmovdqa %ymm15,3392(%rsp)
2392
2393 vpmuludq %ymm5,%ymm0,%ymm15
2394 vmovdqa %ymm15,3424(%rsp)
2395
2396 vpmuludq %ymm6,%ymm0,%ymm15
2397 vpmuludq %ymm5,%ymm1,%ymm14
2398 vpaddq %ymm14,%ymm15,%ymm10
2399
2400 vpmuludq %ymm7,%ymm0,%ymm15
2401 vpmuludq %ymm6,%ymm1,%ymm14
2402 vpaddq %ymm14,%ymm15,%ymm15
2403 vpmuludq %ymm5,%ymm2,%ymm14
2404 vpaddq %ymm14,%ymm15,%ymm11
2405
2406 vpmuludq %ymm8,%ymm0,%ymm15
2407 vpmuludq %ymm7,%ymm1,%ymm14
2408 vpaddq %ymm14,%ymm15,%ymm15
2409 vpmuludq %ymm6,%ymm2,%ymm14
2410 vpaddq %ymm14,%ymm15,%ymm15
2411 vpmuludq %ymm5,%ymm3,%ymm14
2412 vpaddq %ymm14,%ymm15,%ymm12
2413
2414 vpmuludq %ymm9,%ymm0,%ymm15
2415 vpmuludq %ymm8,%ymm1,%ymm14
2416 vpaddq %ymm14,%ymm15,%ymm15
2417 vpmuludq %ymm7,%ymm2,%ymm14
2418 vpaddq %ymm14,%ymm15,%ymm15
2419 vpmuludq %ymm6,%ymm3,%ymm14
2420 vpaddq %ymm14,%ymm15,%ymm15
2421 vpmuludq %ymm5,%ymm4,%ymm14
2422 vpaddq %ymm14,%ymm15,%ymm13
2423
2424 vpmuludq %ymm9,%ymm1,%ymm15
2425 vpmuludq %ymm8,%ymm2,%ymm14
2426 vpaddq %ymm14,%ymm15,%ymm15
2427 vpmuludq %ymm7,%ymm3,%ymm14
2428 vpaddq %ymm14,%ymm15,%ymm15
2429 vpmuludq %ymm6,%ymm4,%ymm14
2430 vpaddq %ymm14,%ymm15,%ymm0
2431
2432 vpmuludq %ymm9,%ymm2,%ymm15
2433 vpmuludq %ymm8,%ymm3,%ymm14
2434 vpaddq %ymm14,%ymm15,%ymm15
2435 vpmuludq %ymm7,%ymm4,%ymm14
2436 vpaddq %ymm14,%ymm15,%ymm1
2437
2438 vpmuludq %ymm9,%ymm3,%ymm15
2439 vpmuludq %ymm8,%ymm4,%ymm14
2440 vpaddq %ymm14,%ymm15,%ymm2
2441
2442 vpmuludq %ymm9,%ymm4,%ymm3
2443
2444 vmovdqa 3424(%rsp),%ymm9
2445
2446 vpsubq 3200(%rsp),%ymm9,%ymm9
2447 vpsubq 3232(%rsp),%ymm10,%ymm10
2448 vpsubq 3264(%rsp),%ymm11,%ymm11
2449 vpsubq 3296(%rsp),%ymm12,%ymm12
2450 vpsubq 3328(%rsp),%ymm13,%ymm13
2451 vpsubq 3360(%rsp),%ymm0,%ymm0
2452 vpsubq 3392(%rsp),%ymm1,%ymm1
2453 vpsubq 2912(%rsp),%ymm2,%ymm2
2454 vpsubq 2944(%rsp),%ymm3,%ymm3
2455
2456 vpaddq 3104(%rsp),%ymm9,%ymm9
2457 vpaddq 3136(%rsp),%ymm10,%ymm10
2458 vpaddq 3168(%rsp),%ymm11,%ymm11
2459 vpaddq 2688(%rsp),%ymm13,%ymm13
2460 vpaddq 2720(%rsp),%ymm0,%ymm0
2461 vpaddq 2752(%rsp),%ymm1,%ymm1
2462 vpaddq 2784(%rsp),%ymm2,%ymm2
2463 vpaddq 2816(%rsp),%ymm3,%ymm3
2464
2465 vpsrlq $29,%ymm0,%ymm14
2466 vpaddq %ymm14,%ymm1,%ymm1
2467 vpand vecmask29(%rip),%ymm0,%ymm0
2468 vpmuludq vec1216(%rip),%ymm0,%ymm0
2469 vpaddq 2976(%rsp),%ymm0,%ymm0
2470
2471 vpsrlq $29,%ymm1,%ymm14
2472 vpaddq %ymm14,%ymm2,%ymm2
2473 vpand vecmask29(%rip),%ymm1,%ymm1
2474 vpmuludq vec1216(%rip),%ymm1,%ymm1
2475 vpaddq 3008(%rsp),%ymm1,%ymm1
2476
2477 vpsrlq $29,%ymm2,%ymm14
2478 vpaddq %ymm14,%ymm3,%ymm3
2479 vpand vecmask29(%rip),%ymm2,%ymm2
2480 vpmuludq vec1216(%rip),%ymm2,%ymm2
2481 vpaddq 3040(%rsp),%ymm2,%ymm2
2482
2483 vpsrlq $29,%ymm3,%ymm14
2484 vpaddq 2848(%rsp),%ymm14,%ymm14
2485 vpand vecmask29(%rip),%ymm3,%ymm3
2486 vpmuludq vec1216(%rip),%ymm3,%ymm3
2487 vpaddq 3072(%rsp),%ymm3,%ymm3
2488
2489 vpsrlq $29,%ymm14,%ymm15
2490 vpaddq 2880(%rsp),%ymm15,%ymm15
2491 vpand vecmask29(%rip),%ymm14,%ymm4
2492 vpmuludq vec1216(%rip),%ymm4,%ymm4
2493 vpaddq %ymm9,%ymm4,%ymm4
2494
2495 vpsrlq $29,%ymm15,%ymm14
2496 vpaddq 2912(%rsp),%ymm14,%ymm14
2497 vpand vecmask29(%rip),%ymm15,%ymm5
2498 vpmuludq vec1216(%rip),%ymm5,%ymm5
2499 vpaddq %ymm10,%ymm5,%ymm5
2500
2501 vpsrlq $29,%ymm14,%ymm15
2502 vpaddq 2944(%rsp),%ymm15,%ymm15
2503 vpand vecmask29(%rip),%ymm14,%ymm6
2504 vpmuludq vec1216(%rip),%ymm6,%ymm6
2505 vpaddq %ymm11,%ymm6,%ymm6
2506
2507 vpsrlq $29,%ymm15,%ymm8
2508 vpand vecmask29(%rip),%ymm15,%ymm7
2509
2510 vpmuludq vec1216(%rip),%ymm7,%ymm7
2511 vpaddq %ymm12,%ymm7,%ymm7
2512 vpmuludq vec1216(%rip),%ymm8,%ymm8
2513 vpaddq %ymm13,%ymm8,%ymm8
2514
2515 vpsrlq $29,%ymm4,%ymm10
2516 vpaddq %ymm10,%ymm5,%ymm5
2517 vpand vecmask29(%rip),%ymm4,%ymm4
2518
2519 vpsrlq $29,%ymm0,%ymm10
2520 vpaddq %ymm10,%ymm1,%ymm1
2521 vpand vecmask29(%rip),%ymm0,%ymm0
2522
2523 vpsrlq $29,%ymm5,%ymm10
2524 vpaddq %ymm10,%ymm6,%ymm6
2525 vpand vecmask29(%rip),%ymm5,%ymm5
2526
2527 vpsrlq $29,%ymm1,%ymm10
2528 vpaddq %ymm10,%ymm2,%ymm2
2529 vpand vecmask29(%rip),%ymm1,%ymm1
2530
2531 vpsrlq $29,%ymm6,%ymm10
2532 vpaddq %ymm10,%ymm7,%ymm7
2533 vpand vecmask29(%rip),%ymm6,%ymm6
2534
2535 vpsrlq $29,%ymm2,%ymm10
2536 vpaddq %ymm10,%ymm3,%ymm3
2537 vpand vecmask29(%rip),%ymm2,%ymm2
2538
2539 vpsrlq $29,%ymm7,%ymm10
2540 vpaddq %ymm10,%ymm8,%ymm8
2541 vpand vecmask29(%rip),%ymm7,%ymm7
2542
2543 vpsrlq $29,%ymm3,%ymm10
2544 vpaddq %ymm10,%ymm4,%ymm4
2545 vpand vecmask29(%rip),%ymm3,%ymm3
2546
2547 vpsrlq $23,%ymm8,%ymm10
2548 vpaddq %ymm10,%ymm0,%ymm0
2549 vpaddq %ymm10,%ymm10,%ymm10
2550 vpaddq %ymm10,%ymm0,%ymm0
2551 vpsllq $3,%ymm10,%ymm10
2552 vpaddq %ymm10,%ymm0,%ymm0
2553 vpand vecmask23(%rip),%ymm8,%ymm8
2554
2555 vpsrlq $29,%ymm4,%ymm10
2556 vpaddq %ymm10,%ymm5,%ymm5
2557 vpand vecmask29(%rip),%ymm4,%ymm4
2558
2559 vpsrlq $29,%ymm0,%ymm10
2560 vpaddq %ymm10,%ymm1,%ymm1
2561 vpand vecmask29(%rip),%ymm0,%ymm0
2562
2563 vmovdqa %ymm0,672(%rsp)
2564 vmovdqa %ymm1,704(%rsp)
2565 vmovdqa %ymm2,736(%rsp)
2566 vmovdqa %ymm3,768(%rsp)
2567 vmovdqa %ymm4,800(%rsp)
2568 vmovdqa %ymm5,832(%rsp)
2569 vmovdqa %ymm6,864(%rsp)
2570 vmovdqa %ymm7,896(%rsp)
2571 vmovdqa %ymm8,928(%rsp)
2572
2573 // X2 ← T1 · T2
2574 vmovdqa 1824(%rsp),%ymm10
2575 vmovdqa 1856(%rsp),%ymm11
2576 vmovdqa 1888(%rsp),%ymm12
2577 vmovdqa 1920(%rsp),%ymm13
2578 vmovdqa 1952(%rsp),%ymm0
2579 vmovdqa 1984(%rsp),%ymm1
2580 vmovdqa 2016(%rsp),%ymm2
2581 vmovdqa 2048(%rsp),%ymm3
2582 vmovdqa 2080(%rsp),%ymm4
2583
2584 vmovdqa 1664(%rsp),%ymm5
2585 vmovdqa 1696(%rsp),%ymm6
2586 vmovdqa 1728(%rsp),%ymm7
2587 vmovdqa 1760(%rsp),%ymm8
2588 vmovdqa 1792(%rsp),%ymm9
2589
2590 vpmuludq %ymm5,%ymm0,%ymm15
2591 vmovdqa %ymm15,2688(%rsp)
2592
2593 vpmuludq %ymm6,%ymm0,%ymm15
2594 vpmuludq %ymm5,%ymm1,%ymm14
2595 vpaddq %ymm14,%ymm15,%ymm15
2596 vmovdqa %ymm15,2720(%rsp)
2597
2598 vpmuludq %ymm7,%ymm0,%ymm15
2599 vpmuludq %ymm6,%ymm1,%ymm14
2600 vpaddq %ymm14,%ymm15,%ymm15
2601 vpmuludq %ymm5,%ymm2,%ymm14
2602 vpaddq %ymm14,%ymm15,%ymm15
2603 vmovdqa %ymm15,2752(%rsp)
2604
2605 vpmuludq %ymm8,%ymm0,%ymm15
2606 vpmuludq %ymm7,%ymm1,%ymm14
2607 vpaddq %ymm14,%ymm15,%ymm15
2608 vpmuludq %ymm6,%ymm2,%ymm14
2609 vpaddq %ymm14,%ymm15,%ymm15
2610 vpmuludq %ymm5,%ymm3,%ymm14
2611 vpaddq %ymm14,%ymm15,%ymm15
2612 vmovdqa %ymm15,2784(%rsp)
2613
2614 vpmuludq %ymm9,%ymm0,%ymm15
2615 vpmuludq %ymm8,%ymm1,%ymm14
2616 vpaddq %ymm14,%ymm15,%ymm15
2617 vpmuludq %ymm7,%ymm2,%ymm14
2618 vpaddq %ymm14,%ymm15,%ymm15
2619 vpmuludq %ymm6,%ymm3,%ymm14
2620 vpaddq %ymm14,%ymm15,%ymm15
2621 vpmuludq %ymm5,%ymm4,%ymm14
2622 vpaddq %ymm14,%ymm15,%ymm15
2623 vmovdqa %ymm15,2816(%rsp)
2624
2625 vpmuludq %ymm9,%ymm1,%ymm15
2626 vpmuludq %ymm8,%ymm2,%ymm14
2627 vpaddq %ymm14,%ymm15,%ymm15
2628 vpmuludq %ymm7,%ymm3,%ymm14
2629 vpaddq %ymm14,%ymm15,%ymm15
2630 vpmuludq %ymm6,%ymm4,%ymm14
2631 vpaddq %ymm14,%ymm15,%ymm15
2632 vmovdqa %ymm15,2848(%rsp)
2633
2634 vpmuludq %ymm9,%ymm2,%ymm15
2635 vpmuludq %ymm8,%ymm3,%ymm14
2636 vpaddq %ymm14,%ymm15,%ymm15
2637 vpmuludq %ymm7,%ymm4,%ymm14
2638 vpaddq %ymm14,%ymm15,%ymm15
2639 vmovdqa %ymm15,2880(%rsp)
2640
2641 vpmuludq %ymm9,%ymm3,%ymm15
2642 vpmuludq %ymm8,%ymm4,%ymm14
2643 vpaddq %ymm14,%ymm15,%ymm15
2644 vmovdqa %ymm15,2912(%rsp)
2645
2646 vpmuludq %ymm9,%ymm4,%ymm15
2647 vmovdqa %ymm15,2944(%rsp)
2648
2649 vpaddq %ymm10,%ymm0,%ymm0
2650 vpaddq %ymm11,%ymm1,%ymm1
2651 vpaddq %ymm12,%ymm2,%ymm2
2652 vpaddq %ymm13,%ymm3,%ymm3
2653 vpaddq 1536(%rsp),%ymm5,%ymm5
2654 vpaddq 1568(%rsp),%ymm6,%ymm6
2655 vpaddq 1600(%rsp),%ymm7,%ymm7
2656 vpaddq 1632(%rsp),%ymm8,%ymm8
2657
2658 vpmuludq 1536(%rsp),%ymm10,%ymm15
2659 vmovdqa %ymm15,2976(%rsp)
2660 vpaddq 2688(%rsp),%ymm15,%ymm15
2661 vmovdqa %ymm15,3200(%rsp)
2662
2663 vpmuludq 1568(%rsp),%ymm10,%ymm15
2664 vpmuludq 1536(%rsp),%ymm11,%ymm14
2665 vpaddq %ymm14,%ymm15,%ymm15
2666 vmovdqa %ymm15,3008(%rsp)
2667 vpaddq 2720(%rsp),%ymm15,%ymm15
2668 vmovdqa %ymm15,3232(%rsp)
2669
2670 vpmuludq 1600(%rsp),%ymm10,%ymm15
2671 vpmuludq 1568(%rsp),%ymm11,%ymm14
2672 vpaddq %ymm14,%ymm15,%ymm15
2673 vpmuludq 1536(%rsp),%ymm12,%ymm14
2674 vpaddq %ymm14,%ymm15,%ymm15
2675 vmovdqa %ymm15,3040(%rsp)
2676 vpaddq 2752(%rsp),%ymm15,%ymm15
2677 vmovdqa %ymm15,3264(%rsp)
2678
2679 vpmuludq 1632(%rsp),%ymm10,%ymm15
2680 vpmuludq 1600(%rsp),%ymm11,%ymm14
2681 vpaddq %ymm14,%ymm15,%ymm15
2682 vpmuludq 1568(%rsp),%ymm12,%ymm14
2683 vpaddq %ymm14,%ymm15,%ymm15
2684 vpmuludq 1536(%rsp),%ymm13,%ymm14
2685 vpaddq %ymm14,%ymm15,%ymm15
2686 vmovdqa %ymm15,3072(%rsp)
2687 vpaddq 2784(%rsp),%ymm15,%ymm15
2688 vmovdqa %ymm15,3296(%rsp)
2689
2690 vpmuludq 1632(%rsp),%ymm11,%ymm15
2691 vpmuludq 1600(%rsp),%ymm12,%ymm14
2692 vpaddq %ymm14,%ymm15,%ymm15
2693 vpmuludq 1568(%rsp),%ymm13,%ymm14
2694 vpaddq %ymm14,%ymm15,%ymm15
2695 vmovdqa %ymm15,3104(%rsp)
2696 vpaddq 2816(%rsp),%ymm15,%ymm15
2697 vmovdqa %ymm15,3328(%rsp)
2698
2699 vpmuludq 1632(%rsp),%ymm12,%ymm15
2700 vpmuludq 1600(%rsp),%ymm13,%ymm14
2701 vpaddq %ymm14,%ymm15,%ymm15
2702 vmovdqa %ymm15,3136(%rsp)
2703 vpaddq 2848(%rsp),%ymm15,%ymm15
2704 vmovdqa %ymm15,3360(%rsp)
2705
2706 vpmuludq 1632(%rsp),%ymm13,%ymm15
2707 vmovdqa %ymm15,3168(%rsp)
2708 vpaddq 2880(%rsp),%ymm15,%ymm15
2709 vmovdqa %ymm15,3392(%rsp)
2710
2711 vpmuludq %ymm5,%ymm0,%ymm15
2712 vmovdqa %ymm15,3424(%rsp)
2713
2714 vpmuludq %ymm6,%ymm0,%ymm15
2715 vpmuludq %ymm5,%ymm1,%ymm14
2716 vpaddq %ymm14,%ymm15,%ymm10
2717
2718 vpmuludq %ymm7,%ymm0,%ymm15
2719 vpmuludq %ymm6,%ymm1,%ymm14
2720 vpaddq %ymm14,%ymm15,%ymm15
2721 vpmuludq %ymm5,%ymm2,%ymm14
2722 vpaddq %ymm14,%ymm15,%ymm11
2723
2724 vpmuludq %ymm8,%ymm0,%ymm15
2725 vpmuludq %ymm7,%ymm1,%ymm14
2726 vpaddq %ymm14,%ymm15,%ymm15
2727 vpmuludq %ymm6,%ymm2,%ymm14
2728 vpaddq %ymm14,%ymm15,%ymm15
2729 vpmuludq %ymm5,%ymm3,%ymm14
2730 vpaddq %ymm14,%ymm15,%ymm12
2731
2732 vpmuludq %ymm9,%ymm0,%ymm15
2733 vpmuludq %ymm8,%ymm1,%ymm14
2734 vpaddq %ymm14,%ymm15,%ymm15
2735 vpmuludq %ymm7,%ymm2,%ymm14
2736 vpaddq %ymm14,%ymm15,%ymm15
2737 vpmuludq %ymm6,%ymm3,%ymm14
2738 vpaddq %ymm14,%ymm15,%ymm15
2739 vpmuludq %ymm5,%ymm4,%ymm14
2740 vpaddq %ymm14,%ymm15,%ymm13
2741
2742 vpmuludq %ymm9,%ymm1,%ymm15
2743 vpmuludq %ymm8,%ymm2,%ymm14
2744 vpaddq %ymm14,%ymm15,%ymm15
2745 vpmuludq %ymm7,%ymm3,%ymm14
2746 vpaddq %ymm14,%ymm15,%ymm15
2747 vpmuludq %ymm6,%ymm4,%ymm14
2748 vpaddq %ymm14,%ymm15,%ymm0
2749
2750 vpmuludq %ymm9,%ymm2,%ymm15
2751 vpmuludq %ymm8,%ymm3,%ymm14
2752 vpaddq %ymm14,%ymm15,%ymm15
2753 vpmuludq %ymm7,%ymm4,%ymm14
2754 vpaddq %ymm14,%ymm15,%ymm1
2755
2756 vpmuludq %ymm9,%ymm3,%ymm15
2757 vpmuludq %ymm8,%ymm4,%ymm14
2758 vpaddq %ymm14,%ymm15,%ymm2
2759
2760 vpmuludq %ymm9,%ymm4,%ymm3
2761
2762 vmovdqa 3424(%rsp),%ymm9
2763
2764 vpsubq 3200(%rsp),%ymm9,%ymm9
2765 vpsubq 3232(%rsp),%ymm10,%ymm10
2766 vpsubq 3264(%rsp),%ymm11,%ymm11
2767 vpsubq 3296(%rsp),%ymm12,%ymm12
2768 vpsubq 3328(%rsp),%ymm13,%ymm13
2769 vpsubq 3360(%rsp),%ymm0,%ymm0
2770 vpsubq 3392(%rsp),%ymm1,%ymm1
2771 vpsubq 2912(%rsp),%ymm2,%ymm2
2772 vpsubq 2944(%rsp),%ymm3,%ymm3
2773
2774 vpaddq 3104(%rsp),%ymm9,%ymm9
2775 vpaddq 3136(%rsp),%ymm10,%ymm10
2776 vpaddq 3168(%rsp),%ymm11,%ymm11
2777 vpaddq 2688(%rsp),%ymm13,%ymm13
2778 vpaddq 2720(%rsp),%ymm0,%ymm0
2779 vpaddq 2752(%rsp),%ymm1,%ymm1
2780 vpaddq 2784(%rsp),%ymm2,%ymm2
2781 vpaddq 2816(%rsp),%ymm3,%ymm3
2782
2783 vpsrlq $29,%ymm0,%ymm14
2784 vpaddq %ymm14,%ymm1,%ymm1
2785 vpand vecmask29(%rip),%ymm0,%ymm0
2786 vpmuludq vec1216(%rip),%ymm0,%ymm0
2787 vpaddq 2976(%rsp),%ymm0,%ymm0
2788
2789 vpsrlq $29,%ymm1,%ymm14
2790 vpaddq %ymm14,%ymm2,%ymm2
2791 vpand vecmask29(%rip),%ymm1,%ymm1
2792 vpmuludq vec1216(%rip),%ymm1,%ymm1
2793 vpaddq 3008(%rsp),%ymm1,%ymm1
2794
2795 vpsrlq $29,%ymm2,%ymm14
2796 vpaddq %ymm14,%ymm3,%ymm3
2797 vpand vecmask29(%rip),%ymm2,%ymm2
2798 vpmuludq vec1216(%rip),%ymm2,%ymm2
2799 vpaddq 3040(%rsp),%ymm2,%ymm2
2800
2801 vpsrlq $29,%ymm3,%ymm14
2802 vpaddq 2848(%rsp),%ymm14,%ymm14
2803 vpand vecmask29(%rip),%ymm3,%ymm3
2804 vpmuludq vec1216(%rip),%ymm3,%ymm3
2805 vpaddq 3072(%rsp),%ymm3,%ymm3
2806
2807 vpsrlq $29,%ymm14,%ymm15
2808 vpaddq 2880(%rsp),%ymm15,%ymm15
2809 vpand vecmask29(%rip),%ymm14,%ymm4
2810 vpmuludq vec1216(%rip),%ymm4,%ymm4
2811 vpaddq %ymm9,%ymm4,%ymm4
2812
2813 vpsrlq $29,%ymm15,%ymm14
2814 vpaddq 2912(%rsp),%ymm14,%ymm14
2815 vpand vecmask29(%rip),%ymm15,%ymm5
2816 vpmuludq vec1216(%rip),%ymm5,%ymm5
2817 vpaddq %ymm10,%ymm5,%ymm5
2818
2819 vpsrlq $29,%ymm14,%ymm15
2820 vpaddq 2944(%rsp),%ymm15,%ymm15
2821 vpand vecmask29(%rip),%ymm14,%ymm6
2822 vpmuludq vec1216(%rip),%ymm6,%ymm6
2823 vpaddq %ymm11,%ymm6,%ymm6
2824
2825 vpsrlq $29,%ymm15,%ymm8
2826 vpand vecmask29(%rip),%ymm15,%ymm7
2827
2828 vpmuludq vec1216(%rip),%ymm7,%ymm7
2829 vpaddq %ymm12,%ymm7,%ymm7
2830 vpmuludq vec1216(%rip),%ymm8,%ymm8
2831 vpaddq %ymm13,%ymm8,%ymm8
2832
2833 vpsrlq $29,%ymm4,%ymm10
2834 vpaddq %ymm10,%ymm5,%ymm5
2835 vpand vecmask29(%rip),%ymm4,%ymm4
2836
2837 vpsrlq $29,%ymm0,%ymm10
2838 vpaddq %ymm10,%ymm1,%ymm1
2839 vpand vecmask29(%rip),%ymm0,%ymm0
2840
2841 vpsrlq $29,%ymm5,%ymm10
2842 vpaddq %ymm10,%ymm6,%ymm6
2843 vpand vecmask29(%rip),%ymm5,%ymm5
2844
2845 vpsrlq $29,%ymm1,%ymm10
2846 vpaddq %ymm10,%ymm2,%ymm2
2847 vpand vecmask29(%rip),%ymm1,%ymm1
2848
2849 vpsrlq $29,%ymm6,%ymm10
2850 vpaddq %ymm10,%ymm7,%ymm7
2851 vpand vecmask29(%rip),%ymm6,%ymm6
2852
2853 vpsrlq $29,%ymm2,%ymm10
2854 vpaddq %ymm10,%ymm3,%ymm3
2855 vpand vecmask29(%rip),%ymm2,%ymm2
2856
2857 vpsrlq $29,%ymm7,%ymm10
2858 vpaddq %ymm10,%ymm8,%ymm8
2859 vpand vecmask29(%rip),%ymm7,%ymm7
2860
2861 vpsrlq $29,%ymm3,%ymm10
2862 vpaddq %ymm10,%ymm4,%ymm4
2863 vpand vecmask29(%rip),%ymm3,%ymm3
2864
2865 vpsrlq $23,%ymm8,%ymm10
2866 vpaddq %ymm10,%ymm0,%ymm0
2867 vpaddq %ymm10,%ymm10,%ymm10
2868 vpaddq %ymm10,%ymm0,%ymm0
2869 vpsllq $3,%ymm10,%ymm10
2870 vpaddq %ymm10,%ymm0,%ymm0
2871 vpand vecmask23(%rip),%ymm8,%ymm8
2872
2873 vpsrlq $29,%ymm4,%ymm10
2874 vpaddq %ymm10,%ymm5,%ymm5
2875 vpand vecmask29(%rip),%ymm4,%ymm4
2876
2877 vpsrlq $29,%ymm0,%ymm10
2878 vpaddq %ymm10,%ymm1,%ymm1
2879 vpand vecmask29(%rip),%ymm0,%ymm0
2880
2881 vmovdqa %ymm0,384(%rsp)
2882 vmovdqa %ymm1,416(%rsp)
2883 vmovdqa %ymm2,448(%rsp)
2884 vmovdqa %ymm3,480(%rsp)
2885 vmovdqa %ymm4,512(%rsp)
2886 vmovdqa %ymm5,544(%rsp)
2887 vmovdqa %ymm6,576(%rsp)
2888 vmovdqa %ymm7,608(%rsp)
2889 vmovdqa %ymm8,640(%rsp)
2890
2891 // Z3 ← Z3 · X1
2892 vmovdqa 96(%rsp),%ymm10
2893 vmovdqa 128(%rsp),%ymm11
2894 vmovdqa 160(%rsp),%ymm12
2895 vmovdqa 192(%rsp),%ymm13
2896 vmovdqa 224(%rsp),%ymm0
2897 vmovdqa 256(%rsp),%ymm1
2898 vmovdqa 288(%rsp),%ymm2
2899 vmovdqa 320(%rsp),%ymm3
2900 vmovdqa 352(%rsp),%ymm4
2901
2902 vmovdqa 1376(%rsp),%ymm5
2903 vmovdqa 1408(%rsp),%ymm6
2904 vmovdqa 1440(%rsp),%ymm7
2905 vmovdqa 1472(%rsp),%ymm8
2906 vmovdqa 1504(%rsp),%ymm9
2907
2908 vpmuludq %ymm5,%ymm0,%ymm15
2909 vmovdqa %ymm15,2688(%rsp)
2910
2911 vpmuludq %ymm6,%ymm0,%ymm15
2912 vpmuludq %ymm5,%ymm1,%ymm14
2913 vpaddq %ymm14,%ymm15,%ymm15
2914 vmovdqa %ymm15,2720(%rsp)
2915
2916 vpmuludq %ymm7,%ymm0,%ymm15
2917 vpmuludq %ymm6,%ymm1,%ymm14
2918 vpaddq %ymm14,%ymm15,%ymm15
2919 vpmuludq %ymm5,%ymm2,%ymm14
2920 vpaddq %ymm14,%ymm15,%ymm15
2921 vmovdqa %ymm15,2752(%rsp)
2922
2923 vpmuludq %ymm8,%ymm0,%ymm15
2924 vpmuludq %ymm7,%ymm1,%ymm14
2925 vpaddq %ymm14,%ymm15,%ymm15
2926 vpmuludq %ymm6,%ymm2,%ymm14
2927 vpaddq %ymm14,%ymm15,%ymm15
2928 vpmuludq %ymm5,%ymm3,%ymm14
2929 vpaddq %ymm14,%ymm15,%ymm15
2930 vmovdqa %ymm15,2784(%rsp)
2931
2932 vpmuludq %ymm9,%ymm0,%ymm15
2933 vpmuludq %ymm8,%ymm1,%ymm14
2934 vpaddq %ymm14,%ymm15,%ymm15
2935 vpmuludq %ymm7,%ymm2,%ymm14
2936 vpaddq %ymm14,%ymm15,%ymm15
2937 vpmuludq %ymm6,%ymm3,%ymm14
2938 vpaddq %ymm14,%ymm15,%ymm15
2939 vpmuludq %ymm5,%ymm4,%ymm14
2940 vpaddq %ymm14,%ymm15,%ymm15
2941 vmovdqa %ymm15,2816(%rsp)
2942
2943 vpmuludq %ymm9,%ymm1,%ymm15
2944 vpmuludq %ymm8,%ymm2,%ymm14
2945 vpaddq %ymm14,%ymm15,%ymm15
2946 vpmuludq %ymm7,%ymm3,%ymm14
2947 vpaddq %ymm14,%ymm15,%ymm15
2948 vpmuludq %ymm6,%ymm4,%ymm14
2949 vpaddq %ymm14,%ymm15,%ymm15
2950 vmovdqa %ymm15,2848(%rsp)
2951
2952 vpmuludq %ymm9,%ymm2,%ymm15
2953 vpmuludq %ymm8,%ymm3,%ymm14
2954 vpaddq %ymm14,%ymm15,%ymm15
2955 vpmuludq %ymm7,%ymm4,%ymm14
2956 vpaddq %ymm14,%ymm15,%ymm15
2957 vmovdqa %ymm15,2880(%rsp)
2958
2959 vpmuludq %ymm9,%ymm3,%ymm15
2960 vpmuludq %ymm8,%ymm4,%ymm14
2961 vpaddq %ymm14,%ymm15,%ymm15
2962 vmovdqa %ymm15,2912(%rsp)
2963
2964 vpmuludq %ymm9,%ymm4,%ymm15
2965 vmovdqa %ymm15,2944(%rsp)
2966
2967 vpaddq %ymm10,%ymm0,%ymm0
2968 vpaddq %ymm11,%ymm1,%ymm1
2969 vpaddq %ymm12,%ymm2,%ymm2
2970 vpaddq %ymm13,%ymm3,%ymm3
2971 vpaddq 1248(%rsp),%ymm5,%ymm5
2972 vpaddq 1280(%rsp),%ymm6,%ymm6
2973 vpaddq 1312(%rsp),%ymm7,%ymm7
2974 vpaddq 1344(%rsp),%ymm8,%ymm8
2975
2976 vpmuludq 1248(%rsp),%ymm10,%ymm15
2977 vmovdqa %ymm15,2976(%rsp)
2978 vpaddq 2688(%rsp),%ymm15,%ymm15
2979 vmovdqa %ymm15,3200(%rsp)
2980
2981 vpmuludq 1280(%rsp),%ymm10,%ymm15
2982 vpmuludq 1248(%rsp),%ymm11,%ymm14
2983 vpaddq %ymm14,%ymm15,%ymm15
2984 vmovdqa %ymm15,3008(%rsp)
2985 vpaddq 2720(%rsp),%ymm15,%ymm15
2986 vmovdqa %ymm15,3232(%rsp)
2987
2988 vpmuludq 1312(%rsp),%ymm10,%ymm15
2989 vpmuludq 1280(%rsp),%ymm11,%ymm14
2990 vpaddq %ymm14,%ymm15,%ymm15
2991 vpmuludq 1248(%rsp),%ymm12,%ymm14
2992 vpaddq %ymm14,%ymm15,%ymm15
2993 vmovdqa %ymm15,3040(%rsp)
2994 vpaddq 2752(%rsp),%ymm15,%ymm15
2995 vmovdqa %ymm15,3264(%rsp)
2996
2997 vpmuludq 1344(%rsp),%ymm10,%ymm15
2998 vpmuludq 1312(%rsp),%ymm11,%ymm14
2999 vpaddq %ymm14,%ymm15,%ymm15
3000 vpmuludq 1280(%rsp),%ymm12,%ymm14
3001 vpaddq %ymm14,%ymm15,%ymm15
3002 vpmuludq 1248(%rsp),%ymm13,%ymm14
3003 vpaddq %ymm14,%ymm15,%ymm15
3004 vmovdqa %ymm15,3072(%rsp)
3005 vpaddq 2784(%rsp),%ymm15,%ymm15
3006 vmovdqa %ymm15,3296(%rsp)
3007
3008 vpmuludq 1344(%rsp),%ymm11,%ymm15
3009 vpmuludq 1312(%rsp),%ymm12,%ymm14
3010 vpaddq %ymm14,%ymm15,%ymm15
3011 vpmuludq 1280(%rsp),%ymm13,%ymm14
3012 vpaddq %ymm14,%ymm15,%ymm15
3013 vmovdqa %ymm15,3104(%rsp)
3014 vpaddq 2816(%rsp),%ymm15,%ymm15
3015 vmovdqa %ymm15,3328(%rsp)
3016
3017 vpmuludq 1344(%rsp),%ymm12,%ymm15
3018 vpmuludq 1312(%rsp),%ymm13,%ymm14
3019 vpaddq %ymm14,%ymm15,%ymm15
3020 vmovdqa %ymm15,3136(%rsp)
3021 vpaddq 2848(%rsp),%ymm15,%ymm15
3022 vmovdqa %ymm15,3360(%rsp)
3023
3024 vpmuludq 1344(%rsp),%ymm13,%ymm15
3025 vmovdqa %ymm15,3168(%rsp)
3026 vpaddq 2880(%rsp),%ymm15,%ymm15
3027 vmovdqa %ymm15,3392(%rsp)
3028
3029 vpmuludq %ymm5,%ymm0,%ymm15
3030 vmovdqa %ymm15,3424(%rsp)
3031
3032 vpmuludq %ymm6,%ymm0,%ymm15
3033 vpmuludq %ymm5,%ymm1,%ymm14
3034 vpaddq %ymm14,%ymm15,%ymm10
3035
3036 vpmuludq %ymm7,%ymm0,%ymm15
3037 vpmuludq %ymm6,%ymm1,%ymm14
3038 vpaddq %ymm14,%ymm15,%ymm15
3039 vpmuludq %ymm5,%ymm2,%ymm14
3040 vpaddq %ymm14,%ymm15,%ymm11
3041
3042 vpmuludq %ymm8,%ymm0,%ymm15
3043 vpmuludq %ymm7,%ymm1,%ymm14
3044 vpaddq %ymm14,%ymm15,%ymm15
3045 vpmuludq %ymm6,%ymm2,%ymm14
3046 vpaddq %ymm14,%ymm15,%ymm15
3047 vpmuludq %ymm5,%ymm3,%ymm14
3048 vpaddq %ymm14,%ymm15,%ymm12
3049
3050 vpmuludq %ymm9,%ymm0,%ymm15
3051 vpmuludq %ymm8,%ymm1,%ymm14
3052 vpaddq %ymm14,%ymm15,%ymm15
3053 vpmuludq %ymm7,%ymm2,%ymm14
3054 vpaddq %ymm14,%ymm15,%ymm15
3055 vpmuludq %ymm6,%ymm3,%ymm14
3056 vpaddq %ymm14,%ymm15,%ymm15
3057 vpmuludq %ymm5,%ymm4,%ymm14
3058 vpaddq %ymm14,%ymm15,%ymm13
3059
3060 vpmuludq %ymm9,%ymm1,%ymm15
3061 vpmuludq %ymm8,%ymm2,%ymm14
3062 vpaddq %ymm14,%ymm15,%ymm15
3063 vpmuludq %ymm7,%ymm3,%ymm14
3064 vpaddq %ymm14,%ymm15,%ymm15
3065 vpmuludq %ymm6,%ymm4,%ymm14
3066 vpaddq %ymm14,%ymm15,%ymm0
3067
3068 vpmuludq %ymm9,%ymm2,%ymm15
3069 vpmuludq %ymm8,%ymm3,%ymm14
3070 vpaddq %ymm14,%ymm15,%ymm15
3071 vpmuludq %ymm7,%ymm4,%ymm14
3072 vpaddq %ymm14,%ymm15,%ymm1
3073
3074 vpmuludq %ymm9,%ymm3,%ymm15
3075 vpmuludq %ymm8,%ymm4,%ymm14
3076 vpaddq %ymm14,%ymm15,%ymm2
3077
3078 vpmuludq %ymm9,%ymm4,%ymm3
3079
3080 vmovdqa 3424(%rsp),%ymm9
3081
3082 vpsubq 3200(%rsp),%ymm9,%ymm9
3083 vpsubq 3232(%rsp),%ymm10,%ymm10
3084 vpsubq 3264(%rsp),%ymm11,%ymm11
3085 vpsubq 3296(%rsp),%ymm12,%ymm12
3086 vpsubq 3328(%rsp),%ymm13,%ymm13
3087 vpsubq 3360(%rsp),%ymm0,%ymm0
3088 vpsubq 3392(%rsp),%ymm1,%ymm1
3089 vpsubq 2912(%rsp),%ymm2,%ymm2
3090 vpsubq 2944(%rsp),%ymm3,%ymm3
3091 vpaddq 3104(%rsp),%ymm9,%ymm9
3092 vpaddq 3136(%rsp),%ymm10,%ymm10
3093 vpaddq 3168(%rsp),%ymm11,%ymm11
3094 vpaddq 2688(%rsp),%ymm13,%ymm13
3095 vpaddq 2720(%rsp),%ymm0,%ymm0
3096 vpaddq 2752(%rsp),%ymm1,%ymm1
3097 vpaddq 2784(%rsp),%ymm2,%ymm2
3098 vpaddq 2816(%rsp),%ymm3,%ymm3
3099
3100 vpsrlq $29,%ymm0,%ymm14
3101 vpaddq %ymm14,%ymm1,%ymm1
3102 vpand vecmask29(%rip),%ymm0,%ymm0
3103 vpmuludq vec1216(%rip),%ymm0,%ymm0
3104 vpaddq 2976(%rsp),%ymm0,%ymm0
3105
3106 vpsrlq $29,%ymm1,%ymm14
3107 vpaddq %ymm14,%ymm2,%ymm2
3108 vpand vecmask29(%rip),%ymm1,%ymm1
3109 vpmuludq vec1216(%rip),%ymm1,%ymm1
3110 vpaddq 3008(%rsp),%ymm1,%ymm1
3111
3112 vpsrlq $29,%ymm2,%ymm14
3113 vpaddq %ymm14,%ymm3,%ymm3
3114 vpand vecmask29(%rip),%ymm2,%ymm2
3115 vpmuludq vec1216(%rip),%ymm2,%ymm2
3116 vpaddq 3040(%rsp),%ymm2,%ymm2
3117
3118 vpsrlq $29,%ymm3,%ymm14
3119 vpaddq 2848(%rsp),%ymm14,%ymm14
3120 vpand vecmask29(%rip),%ymm3,%ymm3
3121 vpmuludq vec1216(%rip),%ymm3,%ymm3
3122 vpaddq 3072(%rsp),%ymm3,%ymm3
3123
3124 vpsrlq $29,%ymm14,%ymm15
3125 vpaddq 2880(%rsp),%ymm15,%ymm15
3126 vpand vecmask29(%rip),%ymm14,%ymm4
3127 vpmuludq vec1216(%rip),%ymm4,%ymm4
3128 vpaddq %ymm9,%ymm4,%ymm4
3129
3130 vpsrlq $29,%ymm15,%ymm14
3131 vpaddq 2912(%rsp),%ymm14,%ymm14
3132 vpand vecmask29(%rip),%ymm15,%ymm5
3133 vpmuludq vec1216(%rip),%ymm5,%ymm5
3134 vpaddq %ymm10,%ymm5,%ymm5
3135
3136 vpsrlq $29,%ymm14,%ymm15
3137 vpaddq 2944(%rsp),%ymm15,%ymm15
3138 vpand vecmask29(%rip),%ymm14,%ymm6
3139 vpmuludq vec1216(%rip),%ymm6,%ymm6
3140 vpaddq %ymm11,%ymm6,%ymm6
3141
3142 vpsrlq $29,%ymm15,%ymm8
3143 vpand vecmask29(%rip),%ymm15,%ymm7
3144
3145 vpmuludq vec1216(%rip),%ymm7,%ymm7
3146 vpaddq %ymm12,%ymm7,%ymm7
3147 vpmuludq vec1216(%rip),%ymm8,%ymm8
3148 vpaddq %ymm13,%ymm8,%ymm8
3149
3150 vpsrlq $29,%ymm4,%ymm10
3151 vpaddq %ymm10,%ymm5,%ymm5
3152 vpand vecmask29(%rip),%ymm4,%ymm4
3153
3154 vpsrlq $29,%ymm0,%ymm10
3155 vpaddq %ymm10,%ymm1,%ymm1
3156 vpand vecmask29(%rip),%ymm0,%ymm0
3157
3158 vpsrlq $29,%ymm5,%ymm10
3159 vpaddq %ymm10,%ymm6,%ymm6
3160 vpand vecmask29(%rip),%ymm5,%ymm5
3161
3162 vpsrlq $29,%ymm1,%ymm10
3163 vpaddq %ymm10,%ymm2,%ymm2
3164 vpand vecmask29(%rip),%ymm1,%ymm1
3165
3166 vpsrlq $29,%ymm6,%ymm10
3167 vpaddq %ymm10,%ymm7,%ymm7
3168 vpand vecmask29(%rip),%ymm6,%ymm6
3169
3170 vpsrlq $29,%ymm2,%ymm10
3171 vpaddq %ymm10,%ymm3,%ymm3
3172 vpand vecmask29(%rip),%ymm2,%ymm2
3173
3174 vpsrlq $29,%ymm7,%ymm10
3175 vpaddq %ymm10,%ymm8,%ymm8
3176 vpand vecmask29(%rip),%ymm7,%ymm7
3177
3178 vpsrlq $29,%ymm3,%ymm10
3179 vpaddq %ymm10,%ymm4,%ymm4
3180 vpand vecmask29(%rip),%ymm3,%ymm3
3181
3182 vpsrlq $23,%ymm8,%ymm10
3183 vpaddq %ymm10,%ymm0,%ymm0
3184 vpaddq %ymm10,%ymm10,%ymm10
3185 vpaddq %ymm10,%ymm0,%ymm0
3186 vpsllq $3,%ymm10,%ymm10
3187 vpaddq %ymm10,%ymm0,%ymm0
3188 vpand vecmask23(%rip),%ymm8,%ymm8
3189
3190 vpsrlq $29,%ymm4,%ymm10
3191 vpaddq %ymm10,%ymm5,%ymm5
3192 vpand vecmask29(%rip),%ymm4,%ymm4
3193
3194 vpsrlq $29,%ymm0,%ymm10
3195 vpaddq %ymm10,%ymm1,%ymm1
3196 vpand vecmask29(%rip),%ymm0,%ymm0
3197
3198 vmovdqa %ymm0,1248(%rsp)
3199 vmovdqa %ymm1,1280(%rsp)
3200 vmovdqa %ymm2,1312(%rsp)
3201 vmovdqa %ymm3,1344(%rsp)
3202 vmovdqa %ymm4,1376(%rsp)
3203 vmovdqa %ymm5,1408(%rsp)
3204 vmovdqa %ymm6,1440(%rsp)
3205 vmovdqa %ymm7,1472(%rsp)
3206 vmovdqa %ymm8,1504(%rsp)
3207
3208 subb $1,%cl
3209 cmpb $0,%cl
3210 jge .L2
3211
3212 vmovdqa sixtythree(%rip),%ymm0
3213 vmovdqa %ymm0,0(%rsp)
3214 movb $63,%cl
3215 subq $32,%r9
3216 cmpq $0,%r9
3217 jge .L1
3218
3219 // reduce X2
3220 vmovdqa 384(%rsp),%ymm0
3221 vmovdqa 416(%rsp),%ymm1
3222 vmovdqa 448(%rsp),%ymm2
3223 vmovdqa 480(%rsp),%ymm3
3224 vmovdqa 512(%rsp),%ymm4
3225 vmovdqa 544(%rsp),%ymm5
3226 vmovdqa 576(%rsp),%ymm6
3227 vmovdqa 608(%rsp),%ymm7
3228 vmovdqa 640(%rsp),%ymm8
3229
3230 vpsrlq $29,%ymm0,%ymm10
3231 vpaddq %ymm10,%ymm1,%ymm1
3232 vpand vecmask29(%rip),%ymm0,%ymm0
3233
3234 vpsrlq $29,%ymm1,%ymm10
3235 vpaddq %ymm10,%ymm2,%ymm2
3236 vpand vecmask29(%rip),%ymm1,%ymm1
3237
3238 vpsrlq $29,%ymm2,%ymm10
3239 vpaddq %ymm10,%ymm3,%ymm3
3240 vpand vecmask29(%rip),%ymm2,%ymm2
3241
3242 vpsrlq $29,%ymm3,%ymm10
3243 vpaddq %ymm10,%ymm4,%ymm4
3244 vpand vecmask29(%rip),%ymm3,%ymm3
3245
3246 vpsrlq $29,%ymm4,%ymm10
3247 vpaddq %ymm10,%ymm5,%ymm5
3248 vpand vecmask29(%rip),%ymm4,%ymm4
3249
3250 vpsrlq $29,%ymm5,%ymm10
3251 vpaddq %ymm10,%ymm6,%ymm6
3252 vpand vecmask29(%rip),%ymm5,%ymm5
3253
3254 vpsrlq $29,%ymm6,%ymm10
3255 vpaddq %ymm10,%ymm7,%ymm7
3256 vpand vecmask29(%rip),%ymm6,%ymm6
3257
3258 vpsrlq $29,%ymm7,%ymm10
3259 vpaddq %ymm10,%ymm8,%ymm8
3260 vpand vecmask29(%rip),%ymm7,%ymm7
3261
3262 vpsrlq $23,%ymm8,%ymm10
3263 vpmuludq vec19(%rip),%ymm10,%ymm10
3264 vpaddq %ymm10,%ymm0,%ymm0
3265 vpand vecmask23(%rip),%ymm8,%ymm8
3266
3267 vpsrlq $29,%ymm0,%ymm10
3268 vpaddq %ymm10,%ymm1,%ymm1
3269 vpand vecmask29(%rip),%ymm0,%ymm0
3270
3271 // store X2
3272 vmovdqa %ymm0,0(%rdi)
3273 vmovdqa %ymm1,32(%rdi)
3274 vmovdqa %ymm2,64(%rdi)
3275 vmovdqa %ymm3,96(%rdi)
3276 vmovdqa %ymm4,128(%rdi)
3277 vmovdqa %ymm5,160(%rdi)
3278 vmovdqa %ymm6,192(%rdi)
3279 vmovdqa %ymm7,224(%rdi)
3280 vmovdqa %ymm8,256(%rdi)
3281
3282 // reduce Z2
3283 vmovdqa 672(%rsp),%ymm0
3284 vmovdqa 704(%rsp),%ymm1
3285 vmovdqa 736(%rsp),%ymm2
3286 vmovdqa 768(%rsp),%ymm3
3287 vmovdqa 800(%rsp),%ymm4
3288 vmovdqa 832(%rsp),%ymm5
3289 vmovdqa 864(%rsp),%ymm6
3290 vmovdqa 896(%rsp),%ymm7
3291 vmovdqa 928(%rsp),%ymm8
3292
3293 vpsrlq $29,%ymm0,%ymm10
3294 vpaddq %ymm10,%ymm1,%ymm1
3295 vpand vecmask29(%rip),%ymm0,%ymm0
3296
3297 vpsrlq $29,%ymm1,%ymm10
3298 vpaddq %ymm10,%ymm2,%ymm2
3299 vpand vecmask29(%rip),%ymm1,%ymm1
3300
3301 vpsrlq $29,%ymm2,%ymm10
3302 vpaddq %ymm10,%ymm3,%ymm3
3303 vpand vecmask29(%rip),%ymm2,%ymm2
3304
3305 vpsrlq $29,%ymm3,%ymm10
3306 vpaddq %ymm10,%ymm4,%ymm4
3307 vpand vecmask29(%rip),%ymm3,%ymm3
3308
3309 vpsrlq $29,%ymm4,%ymm10
3310 vpaddq %ymm10,%ymm5,%ymm5
3311 vpand vecmask29(%rip),%ymm4,%ymm4
3312
3313 vpsrlq $29,%ymm5,%ymm10
3314 vpaddq %ymm10,%ymm6,%ymm6
3315 vpand vecmask29(%rip),%ymm5,%ymm5
3316
3317 vpsrlq $29,%ymm6,%ymm10
3318 vpaddq %ymm10,%ymm7,%ymm7
3319 vpand vecmask29(%rip),%ymm6,%ymm6
3320
3321 vpsrlq $29,%ymm7,%ymm10
3322 vpaddq %ymm10,%ymm8,%ymm8
3323 vpand vecmask29(%rip),%ymm7,%ymm7
3324
3325 vpsrlq $23,%ymm8,%ymm10
3326 vpmuludq vec19(%rip),%ymm10,%ymm10
3327 vpaddq %ymm10,%ymm0,%ymm0
3328 vpand vecmask23(%rip),%ymm8,%ymm8
3329
3330 vpsrlq $29,%ymm0,%ymm10
3331 vpaddq %ymm10,%ymm1,%ymm1
3332 vpand vecmask29(%rip),%ymm0,%ymm0
3333
3334 // store Z2
3335 vmovdqa %ymm0,288(%rdi)
3336 vmovdqa %ymm1,320(%rdi)
3337 vmovdqa %ymm2,352(%rdi)
3338 vmovdqa %ymm3,384(%rdi)
3339 vmovdqa %ymm4,416(%rdi)
3340 vmovdqa %ymm5,448(%rdi)
3341 vmovdqa %ymm6,480(%rdi)
3342 vmovdqa %ymm7,512(%rdi)
3343 vmovdqa %ymm8,544(%rdi)
3344
3345 movq %r8,%rsp
3346
3347 ret
3348 .section .note.GNU-stack,"",@progbits