Debian Codegraph @

crypto_nPbatch/montgomery25519/amd64-avx2-4x1-10l-mxaa/mladder.S

raw
1 #include "crypto_asm_property.h"
2 #include "crypto_asm_hidden.h"
3 #include "consts_namespace.h"
4
5 // 4-way Montgomery ladder, 10-limb implementation
6
7 .p2align 5
8
9 ASM_HIDDEN _CRYPTO_SHARED_NAMESPACE(mladder_4x1)
10 .globl _CRYPTO_SHARED_NAMESPACE(mladder_4x1)
11 ASM_HIDDEN CRYPTO_SHARED_NAMESPACE(mladder_4x1)
12 .globl CRYPTO_SHARED_NAMESPACE(mladder_4x1)
13 _CRYPTO_SHARED_NAMESPACE(mladder_4x1):
14 CRYPTO_SHARED_NAMESPACE(mladder_4x1):
15
16 movq %rsp,%r8
17 andq $-32,%rsp
18 subq $2976,%rsp
19
20 vmovdqa vec0(%rip),%ymm0
21 vmovdqa vec1(%rip),%ymm1
22
23 // X1 ← XP,X3 ← XP
24 vmovdqa 0(%rsi),%ymm2
25 vmovdqa %ymm2,96(%rsp)
26 vmovdqa %ymm2,1056(%rsp)
27
28 vmovdqa 32(%rsi),%ymm2
29 vmovdqa %ymm2,128(%rsp)
30 vmovdqa %ymm2,1088(%rsp)
31
32 vmovdqa 64(%rsi),%ymm2
33 vmovdqa %ymm2,160(%rsp)
34 vmovdqa %ymm2,1120(%rsp)
35
36 vmovdqa 96(%rsi),%ymm2
37 vmovdqa %ymm2,192(%rsp)
38 vmovdqa %ymm2,1152(%rsp)
39
40 vmovdqa 128(%rsi),%ymm2
41 vmovdqa %ymm2,224(%rsp)
42 vmovdqa %ymm2,1184(%rsp)
43
44 vmovdqa 160(%rsi),%ymm2
45 vmovdqa %ymm2,256(%rsp)
46 vmovdqa %ymm2,1216(%rsp)
47
48 vmovdqa 192(%rsi),%ymm2
49 vmovdqa %ymm2,288(%rsp)
50 vmovdqa %ymm2,1248(%rsp)
51
52 vmovdqa 224(%rsi),%ymm2
53 vmovdqa %ymm2,320(%rsp)
54 vmovdqa %ymm2,1280(%rsp)
55
56 vmovdqa 256(%rsi),%ymm2
57 vmovdqa %ymm2,352(%rsp)
58 vmovdqa %ymm2,1312(%rsp)
59
60 vmovdqa 288(%rsi),%ymm2
61 vmovdqa %ymm2,384(%rsp)
62 vmovdqa %ymm2,1344(%rsp)
63
64 // X2 ← 1
65 vmovdqa %ymm1,416(%rsp)
66 vmovdqa %ymm0,448(%rsp)
67 vmovdqa %ymm0,480(%rsp)
68 vmovdqa %ymm0,512(%rsp)
69 vmovdqa %ymm0,544(%rsp)
70 vmovdqa %ymm0,576(%rsp)
71 vmovdqa %ymm0,608(%rsp)
72 vmovdqa %ymm0,640(%rsp)
73 vmovdqa %ymm0,672(%rsp)
74 vmovdqa %ymm0,704(%rsp)
75
76 // Z2 ← 0
77 vmovdqa %ymm0,736(%rsp)
78 vmovdqa %ymm0,768(%rsp)
79 vmovdqa %ymm0,800(%rsp)
80 vmovdqa %ymm0,832(%rsp)
81 vmovdqa %ymm0,864(%rsp)
82 vmovdqa %ymm0,896(%rsp)
83 vmovdqa %ymm0,928(%rsp)
84 vmovdqa %ymm0,960(%rsp)
85 vmovdqa %ymm0,992(%rsp)
86 vmovdqa %ymm0,1024(%rsp)
87
88 // Z3 ← 1
89 vmovdqa %ymm1,1376(%rsp)
90 vmovdqa %ymm0,1408(%rsp)
91 vmovdqa %ymm0,1440(%rsp)
92 vmovdqa %ymm0,1472(%rsp)
93 vmovdqa %ymm0,1504(%rsp)
94 vmovdqa %ymm0,1536(%rsp)
95 vmovdqa %ymm0,1568(%rsp)
96 vmovdqa %ymm0,1600(%rsp)
97 vmovdqa %ymm0,1632(%rsp)
98 vmovdqa %ymm0,1664(%rsp)
99
100 movq $96,%r9
101 movb $62,%cl
102
103 vmovdqa vec0(%rip),%ymm0
104 vmovdqa sixtytwo(%rip),%ymm1
105 vmovdqa %ymm1,0(%rsp)
106 vmovdqa %ymm0,32(%rsp)
107
108 movq %rdx,%rax
109
110 // Montgomery ladder loop
111 .L1:
112 addq %r9,%rax
113
114 vmovdqa 0(%rax),%ymm0
115 vmovdqa %ymm0,64(%rsp)
116
117 movq %rdx,%rax
118 .L2:
119
120 /*
121 * Montgomery ladder step
122 *
123 * T1 ← X2 + Z2
124 * T2 ← X2 - Z2
125 * T3 ← X3 + Z3
126 * T4 ← X3 - Z3
127 * Z3 ← T2 · T3
128 * X3 ← T1 · T4
129 *
130 * bit ← n[i]
131 * select ← bit ⊕ prevbit
132 * prevbit ← bit
133 * CSelect(T1,T3,select): if (select == 1) {T1 = T3}
134 * CSelect(T2,T4,select): if (select == 1) {T2 = T4}
135 *
136 * T2 ← T2^2
137 * T1 ← T1^2
138 * T3 ← X3 + Z3
139 * Z3 ← X3 - Z3
140 * Z3 ← Z3^2
141 * X3 ← T3^2
142 * T3 ← T1 - T2
143 * T4 ← ((A + 2)/4) · T3
144 * T4 ← T4 + T2
145 * X2 ← T1 · T2
146 * Z2 ← T3 · T4
147 * Z3 ← Z3 · X1
148 *
149 */
150
151 // X2
152 vmovdqa 416(%rsp),%ymm10
153 vmovdqa 448(%rsp),%ymm11
154 vmovdqa 480(%rsp),%ymm12
155 vmovdqa 512(%rsp),%ymm13
156 vmovdqa 544(%rsp),%ymm14
157 vmovdqa 576(%rsp),%ymm15
158 vmovdqa 608(%rsp),%ymm6
159 vmovdqa 640(%rsp),%ymm7
160 vmovdqa 672(%rsp),%ymm8
161 vmovdqa 704(%rsp),%ymm9
162
163 // copy X2
164 vmovdqa %ymm10,%ymm0
165 vmovdqa %ymm11,%ymm1
166 vmovdqa %ymm12,%ymm2
167 vmovdqa %ymm13,%ymm3
168 vmovdqa %ymm14,%ymm4
169 vmovdqa %ymm15,%ymm5
170
171 // T1 ← X2 + Z2
172 vpaddq 736(%rsp),%ymm10,%ymm10
173 vpaddq 768(%rsp),%ymm11,%ymm11
174 vpaddq 800(%rsp),%ymm12,%ymm12
175 vpaddq 832(%rsp),%ymm13,%ymm13
176 vpaddq 864(%rsp),%ymm14,%ymm14
177 vpaddq 896(%rsp),%ymm15,%ymm15
178 vpaddq 928(%rsp),%ymm6,%ymm6
179 vpaddq 960(%rsp),%ymm7,%ymm7
180 vpaddq 992(%rsp),%ymm8,%ymm8
181 vpaddq 1024(%rsp),%ymm9,%ymm9
182
183 vmovdqa %ymm10,1696(%rsp)
184 vmovdqa %ymm11,1728(%rsp)
185 vmovdqa %ymm12,1760(%rsp)
186 vmovdqa %ymm13,1792(%rsp)
187 vmovdqa %ymm14,1824(%rsp)
188 vmovdqa %ymm15,1856(%rsp)
189 vmovdqa %ymm6,1888(%rsp)
190 vmovdqa %ymm7,1920(%rsp)
191 vmovdqa %ymm8,1952(%rsp)
192 vmovdqa %ymm9,1984(%rsp)
193
194 // remaining X2
195 vmovdqa 608(%rsp),%ymm6
196 vmovdqa 640(%rsp),%ymm7
197 vmovdqa 672(%rsp),%ymm8
198 vmovdqa 704(%rsp),%ymm9
199
200 // T2 ← X2 - Z2
201 vpaddq vec2p0(%rip),%ymm0,%ymm0
202 vpaddq vec2p13579(%rip),%ymm1,%ymm1
203 vpaddq vec2p2468(%rip),%ymm2,%ymm2
204 vpaddq vec2p13579(%rip),%ymm3,%ymm3
205 vpaddq vec2p2468(%rip),%ymm4,%ymm4
206 vpaddq vec2p13579(%rip),%ymm5,%ymm5
207 vpaddq vec2p2468(%rip),%ymm6,%ymm6
208 vpaddq vec2p13579(%rip),%ymm7,%ymm7
209 vpaddq vec2p2468(%rip),%ymm8,%ymm8
210 vpaddq vec2p13579(%rip),%ymm9,%ymm9
211
212 vpsubq 736(%rsp),%ymm0,%ymm0
213 vpsubq 768(%rsp),%ymm1,%ymm1
214 vpsubq 800(%rsp),%ymm2,%ymm2
215 vpsubq 832(%rsp),%ymm3,%ymm3
216 vpsubq 864(%rsp),%ymm4,%ymm4
217 vpsubq 896(%rsp),%ymm5,%ymm5
218 vpsubq 928(%rsp),%ymm6,%ymm6
219 vpsubq 960(%rsp),%ymm7,%ymm7
220 vpsubq 992(%rsp),%ymm8,%ymm8
221 vpsubq 1024(%rsp),%ymm9,%ymm9
222
223 vmovdqa %ymm0,2016(%rsp)
224 vmovdqa %ymm1,2048(%rsp)
225 vmovdqa %ymm2,2080(%rsp)
226 vmovdqa %ymm3,2112(%rsp)
227 vmovdqa %ymm4,2144(%rsp)
228 vmovdqa %ymm5,2176(%rsp)
229 vmovdqa %ymm6,2208(%rsp)
230 vmovdqa %ymm7,2240(%rsp)
231 vmovdqa %ymm8,2272(%rsp)
232 vmovdqa %ymm9,2304(%rsp)
233
234 // X3
235 vmovdqa 1056(%rsp),%ymm10
236 vmovdqa 1088(%rsp),%ymm11
237 vmovdqa 1120(%rsp),%ymm12
238 vmovdqa 1152(%rsp),%ymm13
239 vmovdqa 1184(%rsp),%ymm14
240 vmovdqa 1216(%rsp),%ymm15
241 vmovdqa 1248(%rsp),%ymm6
242 vmovdqa 1280(%rsp),%ymm7
243 vmovdqa 1312(%rsp),%ymm8
244 vmovdqa 1344(%rsp),%ymm9
245
246 // copy X3
247 vmovdqa %ymm10,%ymm0
248 vmovdqa %ymm11,%ymm1
249 vmovdqa %ymm12,%ymm2
250 vmovdqa %ymm13,%ymm3
251 vmovdqa %ymm14,%ymm4
252 vmovdqa %ymm15,%ymm5
253
254 // T3 ← X3 + Z3
255 vpaddq 1376(%rsp),%ymm10,%ymm10
256 vpaddq 1408(%rsp),%ymm11,%ymm11
257 vpaddq 1440(%rsp),%ymm12,%ymm12
258 vpaddq 1472(%rsp),%ymm13,%ymm13
259 vpaddq 1504(%rsp),%ymm14,%ymm14
260 vpaddq 1536(%rsp),%ymm15,%ymm15
261 vpaddq 1568(%rsp),%ymm6,%ymm6
262 vpaddq 1600(%rsp),%ymm7,%ymm7
263 vpaddq 1632(%rsp),%ymm8,%ymm8
264 vpaddq 1664(%rsp),%ymm9,%ymm9
265
266 vmovdqa %ymm10,2336(%rsp)
267 vmovdqa %ymm11,2368(%rsp)
268 vmovdqa %ymm12,2400(%rsp)
269 vmovdqa %ymm13,2432(%rsp)
270 vmovdqa %ymm14,2464(%rsp)
271 vmovdqa %ymm15,2496(%rsp)
272 vmovdqa %ymm6,2528(%rsp)
273 vmovdqa %ymm7,2560(%rsp)
274 vmovdqa %ymm8,2592(%rsp)
275 vmovdqa %ymm9,2624(%rsp)
276
277 // remaining X3
278 vmovdqa 1248(%rsp),%ymm6
279 vmovdqa 1280(%rsp),%ymm7
280 vmovdqa 1312(%rsp),%ymm8
281 vmovdqa 1344(%rsp),%ymm9
282
283 // T4 ← X3 - Z3
284 vpaddq vec2p0(%rip),%ymm0,%ymm0
285 vpaddq vec2p13579(%rip),%ymm1,%ymm1
286 vpaddq vec2p2468(%rip),%ymm2,%ymm2
287 vpaddq vec2p13579(%rip),%ymm3,%ymm3
288 vpaddq vec2p2468(%rip),%ymm4,%ymm4
289 vpaddq vec2p13579(%rip),%ymm5,%ymm5
290 vpaddq vec2p2468(%rip),%ymm6,%ymm6
291 vpaddq vec2p13579(%rip),%ymm7,%ymm7
292 vpaddq vec2p2468(%rip),%ymm8,%ymm8
293 vpaddq vec2p13579(%rip),%ymm9,%ymm9
294
295 vpsubq 1376(%rsp),%ymm0,%ymm0
296 vpsubq 1408(%rsp),%ymm1,%ymm1
297 vpsubq 1440(%rsp),%ymm2,%ymm2
298 vpsubq 1472(%rsp),%ymm3,%ymm3
299 vpsubq 1504(%rsp),%ymm4,%ymm4
300 vpsubq 1536(%rsp),%ymm5,%ymm5
301 vpsubq 1568(%rsp),%ymm6,%ymm6
302 vpsubq 1600(%rsp),%ymm7,%ymm7
303 vpsubq 1632(%rsp),%ymm8,%ymm8
304 vpsubq 1664(%rsp),%ymm9,%ymm9
305
306 vmovdqa %ymm0,2656(%rsp)
307 vmovdqa %ymm1,2688(%rsp)
308 vmovdqa %ymm2,2720(%rsp)
309 vmovdqa %ymm3,2752(%rsp)
310 vmovdqa %ymm4,2784(%rsp)
311 vmovdqa %ymm5,2816(%rsp)
312 vmovdqa %ymm6,2848(%rsp)
313 vmovdqa %ymm7,2880(%rsp)
314 vmovdqa %ymm8,2912(%rsp)
315 vmovdqa %ymm9,2944(%rsp)
316
317 // X3 ← T1 · T4
318 vmovdqa 1728(%rsp),%ymm11
319 vmovdqa 1792(%rsp),%ymm12
320 vmovdqa 1856(%rsp),%ymm13
321 vmovdqa 1920(%rsp),%ymm14
322 vmovdqa 1984(%rsp),%ymm15
323
324 vpaddq %ymm11,%ymm11,%ymm11
325 vpaddq %ymm12,%ymm12,%ymm12
326 vpaddq %ymm13,%ymm13,%ymm13
327 vpaddq %ymm14,%ymm14,%ymm14
328 vpaddq %ymm15,%ymm15,%ymm15
329
330 vpmuludq vec19(%rip),%ymm1,%ymm1
331 vpmuludq vec19(%rip),%ymm2,%ymm2
332 vpmuludq vec19(%rip),%ymm3,%ymm3
333 vpmuludq vec19(%rip),%ymm4,%ymm4
334 vpmuludq vec19(%rip),%ymm5,%ymm5
335 vpmuludq vec19(%rip),%ymm6,%ymm6
336 vpmuludq vec19(%rip),%ymm7,%ymm7
337 vpmuludq vec19(%rip),%ymm8,%ymm8
338 vpmuludq vec19(%rip),%ymm9,%ymm9
339
340 vpmuludq %ymm15,%ymm1,%ymm0
341 vpmuludq %ymm14,%ymm3,%ymm10
342 vpaddq %ymm10,%ymm0,%ymm0
343 vpmuludq %ymm13,%ymm5,%ymm10
344 vpaddq %ymm10,%ymm0,%ymm0
345 vpmuludq %ymm12,%ymm7,%ymm10
346 vpaddq %ymm10,%ymm0,%ymm0
347 vpmuludq %ymm11,%ymm9,%ymm10
348 vpaddq %ymm10,%ymm0,%ymm0
349 vpmuludq 1952(%rsp),%ymm2,%ymm10
350 vpaddq %ymm10,%ymm0,%ymm0
351 vpmuludq 1888(%rsp),%ymm4,%ymm10
352 vpaddq %ymm10,%ymm0,%ymm0
353 vpmuludq 1824(%rsp),%ymm6,%ymm10
354 vpaddq %ymm10,%ymm0,%ymm0
355 vpmuludq 1760(%rsp),%ymm8,%ymm10
356 vpaddq %ymm10,%ymm0,%ymm0
357
358 vpmuludq 1984(%rsp),%ymm2,%ymm1
359 vpmuludq 1952(%rsp),%ymm3,%ymm10
360 vpaddq %ymm10,%ymm1,%ymm1
361 vpmuludq 1920(%rsp),%ymm4,%ymm10
362 vpaddq %ymm10,%ymm1,%ymm1
363 vpmuludq 1888(%rsp),%ymm5,%ymm10
364 vpaddq %ymm10,%ymm1,%ymm1
365 vpmuludq 1856(%rsp),%ymm6,%ymm10
366 vpaddq %ymm10,%ymm1,%ymm1
367 vpmuludq 1824(%rsp),%ymm7,%ymm10
368 vpaddq %ymm10,%ymm1,%ymm1
369 vpmuludq 1792(%rsp),%ymm8,%ymm10
370 vpaddq %ymm10,%ymm1,%ymm1
371 vpmuludq 1760(%rsp),%ymm9,%ymm10
372 vpaddq %ymm10,%ymm1,%ymm1
373
374 vpmuludq %ymm15,%ymm3,%ymm2
375 vpmuludq %ymm14,%ymm5,%ymm10
376 vpaddq %ymm10,%ymm2,%ymm2
377 vpmuludq %ymm13,%ymm7,%ymm10
378 vpaddq %ymm10,%ymm2,%ymm2
379 vpmuludq %ymm12,%ymm9,%ymm10
380 vpaddq %ymm10,%ymm2,%ymm2
381 vpmuludq 1952(%rsp),%ymm4,%ymm10
382 vpaddq %ymm10,%ymm2,%ymm2
383 vpmuludq 1888(%rsp),%ymm6,%ymm10
384 vpaddq %ymm10,%ymm2,%ymm2
385 vpmuludq 1824(%rsp),%ymm8,%ymm10
386 vpaddq %ymm10,%ymm2,%ymm2
387 vpmuludq 2688(%rsp),%ymm11,%ymm10
388 vpaddq %ymm10,%ymm2,%ymm2
389
390 vpmuludq 1984(%rsp),%ymm4,%ymm3
391 vpmuludq 1952(%rsp),%ymm5,%ymm10
392 vpaddq %ymm10,%ymm3,%ymm3
393 vpmuludq 1920(%rsp),%ymm6,%ymm10
394 vpaddq %ymm10,%ymm3,%ymm3
395 vpmuludq 1888(%rsp),%ymm7,%ymm10
396 vpaddq %ymm10,%ymm3,%ymm3
397 vpmuludq 1856(%rsp),%ymm8,%ymm10
398 vpaddq %ymm10,%ymm3,%ymm3
399 vpmuludq 1824(%rsp),%ymm9,%ymm10
400 vpaddq %ymm10,%ymm3,%ymm3
401
402 vpmuludq %ymm15,%ymm5,%ymm4
403 vpmuludq %ymm14,%ymm7,%ymm10
404 vpaddq %ymm10,%ymm4,%ymm4
405 vpmuludq %ymm13,%ymm9,%ymm10
406 vpaddq %ymm10,%ymm4,%ymm4
407 vpmuludq 1952(%rsp),%ymm6,%ymm10
408 vpaddq %ymm10,%ymm4,%ymm4
409 vpmuludq 1888(%rsp),%ymm8,%ymm10
410 vpaddq %ymm10,%ymm4,%ymm4
411 vpmuludq 2688(%rsp),%ymm12,%ymm10
412 vpaddq %ymm10,%ymm4,%ymm4
413 vpmuludq 2752(%rsp),%ymm11,%ymm10
414 vpaddq %ymm10,%ymm4,%ymm4
415
416 vpmuludq 1984(%rsp),%ymm6,%ymm5
417 vpmuludq 1952(%rsp),%ymm7,%ymm10
418 vpaddq %ymm10,%ymm5,%ymm5
419 vpmuludq 1920(%rsp),%ymm8,%ymm10
420 vpaddq %ymm10,%ymm5,%ymm5
421 vpmuludq 1888(%rsp),%ymm9,%ymm10
422 vpaddq %ymm10,%ymm5,%ymm5
423
424 vpmuludq %ymm15,%ymm7,%ymm6
425 vpmuludq %ymm14,%ymm9,%ymm10
426 vpaddq %ymm10,%ymm6,%ymm6
427 vpmuludq 1952(%rsp),%ymm8,%ymm10
428 vpaddq %ymm10,%ymm6,%ymm6
429 vpmuludq 2688(%rsp),%ymm13,%ymm10
430 vpaddq %ymm10,%ymm6,%ymm6
431 vpmuludq 2752(%rsp),%ymm12,%ymm10
432 vpaddq %ymm10,%ymm6,%ymm6
433 vpmuludq 2816(%rsp),%ymm11,%ymm10
434 vpaddq %ymm10,%ymm6,%ymm6
435
436 vpmuludq 1984(%rsp),%ymm8,%ymm7
437 vpmuludq 1952(%rsp),%ymm9,%ymm10
438 vpaddq %ymm10,%ymm7,%ymm7
439
440 vpmuludq %ymm15,%ymm9,%ymm8
441 vpmuludq 2688(%rsp),%ymm14,%ymm10
442 vpaddq %ymm10,%ymm8,%ymm8
443 vpmuludq 2752(%rsp),%ymm13,%ymm10
444 vpaddq %ymm10,%ymm8,%ymm8
445 vpmuludq 2816(%rsp),%ymm12,%ymm10
446 vpaddq %ymm10,%ymm8,%ymm8
447 vpmuludq 2880(%rsp),%ymm11,%ymm10
448 vpaddq %ymm10,%ymm8,%ymm8
449
450 vmovdqa 1696(%rsp),%ymm11
451 vmovdqa 1728(%rsp),%ymm12
452 vmovdqa 1760(%rsp),%ymm13
453 vmovdqa 1792(%rsp),%ymm14
454 vmovdqa 1824(%rsp),%ymm15
455 vmovdqa 1856(%rsp),%ymm9
456
457 vpmuludq 2656(%rsp),%ymm11,%ymm10
458 vpaddq %ymm10,%ymm0,%ymm0
459
460 vpmuludq 2720(%rsp),%ymm11,%ymm10
461 vpaddq %ymm10,%ymm2,%ymm2
462 vpmuludq 2656(%rsp),%ymm13,%ymm10
463 vpaddq %ymm10,%ymm2,%ymm2
464
465 vpmuludq 2752(%rsp),%ymm11,%ymm10
466 vpaddq %ymm10,%ymm3,%ymm3
467 vpmuludq 2720(%rsp),%ymm12,%ymm10
468 vpaddq %ymm10,%ymm3,%ymm3
469 vpmuludq 2688(%rsp),%ymm13,%ymm10
470 vpaddq %ymm10,%ymm3,%ymm3
471 vpmuludq 2656(%rsp),%ymm14,%ymm10
472 vpaddq %ymm10,%ymm3,%ymm3
473
474 vpmuludq 2688(%rsp),%ymm11,%ymm10
475 vpaddq %ymm10,%ymm1,%ymm1
476 vpmuludq 2656(%rsp),%ymm12,%ymm10
477 vpaddq %ymm10,%ymm1,%ymm1
478
479 vpmuludq 2784(%rsp),%ymm11,%ymm10
480 vpaddq %ymm10,%ymm4,%ymm4
481 vpmuludq 2720(%rsp),%ymm13,%ymm10
482 vpaddq %ymm10,%ymm4,%ymm4
483 vpmuludq 2656(%rsp),%ymm15,%ymm10
484 vpaddq %ymm10,%ymm4,%ymm4
485
486 vpmuludq 2816(%rsp),%ymm11,%ymm10
487 vpaddq %ymm10,%ymm5,%ymm5
488 vpmuludq 2784(%rsp),%ymm12,%ymm10
489 vpaddq %ymm10,%ymm5,%ymm5
490 vpmuludq 2752(%rsp),%ymm13,%ymm10
491 vpaddq %ymm10,%ymm5,%ymm5
492 vpmuludq 2720(%rsp),%ymm14,%ymm10
493 vpaddq %ymm10,%ymm5,%ymm5
494 vpmuludq 2688(%rsp),%ymm15,%ymm10
495 vpaddq %ymm10,%ymm5,%ymm5
496 vpmuludq 2656(%rsp),%ymm9,%ymm10
497 vpaddq %ymm10,%ymm5,%ymm5
498
499 vpmuludq 2848(%rsp),%ymm11,%ymm10
500 vpaddq %ymm10,%ymm6,%ymm6
501 vpmuludq 2784(%rsp),%ymm13,%ymm10
502 vpaddq %ymm10,%ymm6,%ymm6
503 vpmuludq 2720(%rsp),%ymm15,%ymm10
504 vpaddq %ymm10,%ymm6,%ymm6
505
506 vpmuludq 2880(%rsp),%ymm11,%ymm10
507 vpaddq %ymm10,%ymm7,%ymm7
508 vpmuludq 2848(%rsp),%ymm12,%ymm10
509 vpaddq %ymm10,%ymm7,%ymm7
510 vpmuludq 2816(%rsp),%ymm13,%ymm10
511 vpaddq %ymm10,%ymm7,%ymm7
512 vpmuludq 2784(%rsp),%ymm14,%ymm10
513 vpaddq %ymm10,%ymm7,%ymm7
514 vpmuludq 2752(%rsp),%ymm15,%ymm10
515 vpaddq %ymm10,%ymm7,%ymm7
516 vpmuludq 2720(%rsp),%ymm9,%ymm10
517 vpaddq %ymm10,%ymm7,%ymm7
518
519 vpmuludq 2912(%rsp),%ymm11,%ymm10
520 vpaddq %ymm10,%ymm8,%ymm8
521 vpmuludq 2848(%rsp),%ymm13,%ymm10
522 vpaddq %ymm10,%ymm8,%ymm8
523 vpmuludq 2784(%rsp),%ymm15,%ymm10
524 vpaddq %ymm10,%ymm8,%ymm8
525
526 vpmuludq 2784(%rsp),%ymm9,%ymm9
527 vpmuludq 2944(%rsp),%ymm11,%ymm10
528 vpaddq %ymm10,%ymm9,%ymm9
529 vpmuludq 2912(%rsp),%ymm12,%ymm10
530 vpaddq %ymm10,%ymm9,%ymm9
531 vpmuludq 2880(%rsp),%ymm13,%ymm10
532 vpaddq %ymm10,%ymm9,%ymm9
533 vpmuludq 2848(%rsp),%ymm14,%ymm10
534 vpaddq %ymm10,%ymm9,%ymm9
535 vpmuludq 2816(%rsp),%ymm15,%ymm10
536 vpaddq %ymm10,%ymm9,%ymm9
537
538 vmovdqa 1888(%rsp),%ymm11
539 vmovdqa 1920(%rsp),%ymm12
540 vmovdqa 1952(%rsp),%ymm13
541 vmovdqa 1984(%rsp),%ymm14
542
543 vpmuludq 2656(%rsp),%ymm11,%ymm10
544 vpaddq %ymm10,%ymm6,%ymm6
545
546 vpmuludq 2688(%rsp),%ymm11,%ymm10
547 vpaddq %ymm10,%ymm7,%ymm7
548 vpmuludq 2656(%rsp),%ymm12,%ymm10
549 vpaddq %ymm10,%ymm7,%ymm7
550
551 vpmuludq 2720(%rsp),%ymm11,%ymm10
552 vpaddq %ymm10,%ymm8,%ymm8
553 vpmuludq 2656(%rsp),%ymm13,%ymm10
554 vpaddq %ymm10,%ymm8,%ymm8
555
556 vpmuludq 2752(%rsp),%ymm11,%ymm10
557 vpaddq %ymm10,%ymm9,%ymm9
558 vpmuludq 2720(%rsp),%ymm12,%ymm10
559 vpaddq %ymm10,%ymm9,%ymm9
560 vpmuludq 2688(%rsp),%ymm13,%ymm10
561 vpaddq %ymm10,%ymm9,%ymm9
562 vpmuludq 2656(%rsp),%ymm14,%ymm10
563 vpaddq %ymm10,%ymm9,%ymm9
564
565 vpsrlq $25,%ymm5,%ymm10
566 vpaddq %ymm10,%ymm6,%ymm6
567 vpand vecmask25(%rip),%ymm5,%ymm15
568
569 vpsrlq $26,%ymm0,%ymm10
570 vpaddq %ymm10,%ymm1,%ymm1
571 vpand vecmask26(%rip),%ymm0,%ymm0
572
573 vpsrlq $26,%ymm6,%ymm10
574 vpaddq %ymm10,%ymm7,%ymm7
575 vpand vecmask26(%rip),%ymm6,%ymm11
576
577 vpsrlq $25,%ymm1,%ymm10
578 vpaddq %ymm10,%ymm2,%ymm2
579 vpand vecmask25(%rip),%ymm1,%ymm1
580
581 vpsrlq $25,%ymm7,%ymm10
582 vpaddq %ymm10,%ymm8,%ymm8
583 vpand vecmask25(%rip),%ymm7,%ymm14
584
585 vpsrlq $26,%ymm2,%ymm10
586 vpaddq %ymm10,%ymm3,%ymm3
587 vpand vecmask26(%rip),%ymm2,%ymm12
588
589 vpsrlq $26,%ymm8,%ymm10
590 vpaddq %ymm10,%ymm9,%ymm9
591 vpand vecmask26(%rip),%ymm8,%ymm6
592
593 vpsrlq $25,%ymm3,%ymm10
594 vpaddq %ymm10,%ymm4,%ymm4
595 vpand vecmask25(%rip),%ymm3,%ymm13
596
597 vpsrlq $25,%ymm9,%ymm10
598 vpaddq %ymm10,%ymm0,%ymm0
599 vpsllq $1,%ymm10,%ymm10
600 vpaddq %ymm10,%ymm0,%ymm0
601 vpsllq $3,%ymm10,%ymm10
602 vpaddq %ymm10,%ymm0,%ymm0
603 vpand vecmask25(%rip),%ymm9,%ymm8
604
605 vpsrlq $26,%ymm4,%ymm10
606 vpaddq %ymm10,%ymm15,%ymm15
607 vpand vecmask26(%rip),%ymm4,%ymm7
608
609 vpsrlq $26,%ymm0,%ymm10
610 vpaddq %ymm10,%ymm1,%ymm3
611 vpand vecmask26(%rip),%ymm0,%ymm0
612
613 vpsrlq $25,%ymm15,%ymm10
614 vpaddq %ymm10,%ymm11,%ymm5
615 vpand vecmask25(%rip),%ymm15,%ymm9
616
617 vmovdqa %ymm0,1056(%rsp)
618 vmovdqa %ymm3,1088(%rsp)
619 vmovdqa %ymm12,1120(%rsp)
620 vmovdqa %ymm13,1152(%rsp)
621 vmovdqa %ymm7,1184(%rsp)
622 vmovdqa %ymm9,1216(%rsp)
623 vmovdqa %ymm5,1248(%rsp)
624 vmovdqa %ymm14,1280(%rsp)
625 vmovdqa %ymm6,1312(%rsp)
626 vmovdqa %ymm8,1344(%rsp)
627
628 // Z3 ← T2 · T3
629 vmovdqa 2368(%rsp),%ymm1
630 vmovdqa 2400(%rsp),%ymm2
631 vmovdqa 2432(%rsp),%ymm3
632 vmovdqa 2464(%rsp),%ymm4
633 vmovdqa 2496(%rsp),%ymm5
634 vmovdqa 2528(%rsp),%ymm6
635 vmovdqa 2560(%rsp),%ymm7
636 vmovdqa 2592(%rsp),%ymm8
637 vmovdqa 2624(%rsp),%ymm9
638
639 vmovdqa 2048(%rsp),%ymm11
640 vmovdqa 2112(%rsp),%ymm12
641 vmovdqa 2176(%rsp),%ymm13
642 vmovdqa 2240(%rsp),%ymm14
643 vmovdqa 2304(%rsp),%ymm15
644
645 vpaddq %ymm11,%ymm11,%ymm11
646 vpaddq %ymm12,%ymm12,%ymm12
647 vpaddq %ymm13,%ymm13,%ymm13
648 vpaddq %ymm14,%ymm14,%ymm14
649 vpaddq %ymm15,%ymm15,%ymm15
650
651 vpmuludq vec19(%rip),%ymm1,%ymm1
652 vpmuludq vec19(%rip),%ymm2,%ymm2
653 vpmuludq vec19(%rip),%ymm3,%ymm3
654 vpmuludq vec19(%rip),%ymm4,%ymm4
655 vpmuludq vec19(%rip),%ymm5,%ymm5
656 vpmuludq vec19(%rip),%ymm6,%ymm6
657 vpmuludq vec19(%rip),%ymm7,%ymm7
658 vpmuludq vec19(%rip),%ymm8,%ymm8
659 vpmuludq vec19(%rip),%ymm9,%ymm9
660
661 vpmuludq %ymm15,%ymm1,%ymm0
662 vpmuludq %ymm14,%ymm3,%ymm10
663 vpaddq %ymm10,%ymm0,%ymm0
664 vpmuludq %ymm13,%ymm5,%ymm10
665 vpaddq %ymm10,%ymm0,%ymm0
666 vpmuludq %ymm12,%ymm7,%ymm10
667 vpaddq %ymm10,%ymm0,%ymm0
668 vpmuludq %ymm11,%ymm9,%ymm10
669 vpaddq %ymm10,%ymm0,%ymm0
670 vpmuludq 2272(%rsp),%ymm2,%ymm10
671 vpaddq %ymm10,%ymm0,%ymm0
672 vpmuludq 2208(%rsp),%ymm4,%ymm10
673 vpaddq %ymm10,%ymm0,%ymm0
674 vpmuludq 2144(%rsp),%ymm6,%ymm10
675 vpaddq %ymm10,%ymm0,%ymm0
676 vpmuludq 2080(%rsp),%ymm8,%ymm10
677 vpaddq %ymm10,%ymm0,%ymm0
678
679 vpmuludq 2304(%rsp),%ymm2,%ymm1
680 vpmuludq 2272(%rsp),%ymm3,%ymm10
681 vpaddq %ymm10,%ymm1,%ymm1
682 vpmuludq 2240(%rsp),%ymm4,%ymm10
683 vpaddq %ymm10,%ymm1,%ymm1
684 vpmuludq 2208(%rsp),%ymm5,%ymm10
685 vpaddq %ymm10,%ymm1,%ymm1
686 vpmuludq 2176(%rsp),%ymm6,%ymm10
687 vpaddq %ymm10,%ymm1,%ymm1
688 vpmuludq 2144(%rsp),%ymm7,%ymm10
689 vpaddq %ymm10,%ymm1,%ymm1
690 vpmuludq 2112(%rsp),%ymm8,%ymm10
691 vpaddq %ymm10,%ymm1,%ymm1
692 vpmuludq 2080(%rsp),%ymm9,%ymm10
693 vpaddq %ymm10,%ymm1,%ymm1
694
695 vpmuludq %ymm15,%ymm3,%ymm2
696 vpmuludq %ymm14,%ymm5,%ymm10
697 vpaddq %ymm10,%ymm2,%ymm2
698 vpmuludq %ymm13,%ymm7,%ymm10
699 vpaddq %ymm10,%ymm2,%ymm2
700 vpmuludq %ymm12,%ymm9,%ymm10
701 vpaddq %ymm10,%ymm2,%ymm2
702 vpmuludq 2272(%rsp),%ymm4,%ymm10
703 vpaddq %ymm10,%ymm2,%ymm2
704 vpmuludq 2208(%rsp),%ymm6,%ymm10
705 vpaddq %ymm10,%ymm2,%ymm2
706 vpmuludq 2144(%rsp),%ymm8,%ymm10
707 vpaddq %ymm10,%ymm2,%ymm2
708 vpmuludq 2368(%rsp),%ymm11,%ymm10
709 vpaddq %ymm10,%ymm2,%ymm2
710
711 vpmuludq 2304(%rsp),%ymm4,%ymm3
712 vpmuludq 2272(%rsp),%ymm5,%ymm10
713 vpaddq %ymm10,%ymm3,%ymm3
714 vpmuludq 2240(%rsp),%ymm6,%ymm10
715 vpaddq %ymm10,%ymm3,%ymm3
716 vpmuludq 2208(%rsp),%ymm7,%ymm10
717 vpaddq %ymm10,%ymm3,%ymm3
718 vpmuludq 2176(%rsp),%ymm8,%ymm10
719 vpaddq %ymm10,%ymm3,%ymm3
720 vpmuludq 2144(%rsp),%ymm9,%ymm10
721 vpaddq %ymm10,%ymm3,%ymm3
722
723 vpmuludq %ymm15,%ymm5,%ymm4
724 vpmuludq %ymm14,%ymm7,%ymm10
725 vpaddq %ymm10,%ymm4,%ymm4
726 vpmuludq %ymm13,%ymm9,%ymm10
727 vpaddq %ymm10,%ymm4,%ymm4
728 vpmuludq 2272(%rsp),%ymm6,%ymm10
729 vpaddq %ymm10,%ymm4,%ymm4
730 vpmuludq 2208(%rsp),%ymm8,%ymm10
731 vpaddq %ymm10,%ymm4,%ymm4
732 vpmuludq 2368(%rsp),%ymm12,%ymm10
733 vpaddq %ymm10,%ymm4,%ymm4
734 vpmuludq 2432(%rsp),%ymm11,%ymm10
735 vpaddq %ymm10,%ymm4,%ymm4
736
737 vpmuludq 2304(%rsp),%ymm6,%ymm5
738 vpmuludq 2272(%rsp),%ymm7,%ymm10
739 vpaddq %ymm10,%ymm5,%ymm5
740 vpmuludq 2240(%rsp),%ymm8,%ymm10
741 vpaddq %ymm10,%ymm5,%ymm5
742 vpmuludq 2208(%rsp),%ymm9,%ymm10
743 vpaddq %ymm10,%ymm5,%ymm5
744
745 vpmuludq %ymm15,%ymm7,%ymm6
746 vpmuludq %ymm14,%ymm9,%ymm10
747 vpaddq %ymm10,%ymm6,%ymm6
748 vpmuludq 2272(%rsp),%ymm8,%ymm10
749 vpaddq %ymm10,%ymm6,%ymm6
750 vpmuludq 2368(%rsp),%ymm13,%ymm10
751 vpaddq %ymm10,%ymm6,%ymm6
752 vpmuludq 2432(%rsp),%ymm12,%ymm10
753 vpaddq %ymm10,%ymm6,%ymm6
754 vpmuludq 2496(%rsp),%ymm11,%ymm10
755 vpaddq %ymm10,%ymm6,%ymm6
756
757 vpmuludq 2304(%rsp),%ymm8,%ymm7
758 vpmuludq 2272(%rsp),%ymm9,%ymm10
759 vpaddq %ymm10,%ymm7,%ymm7
760
761 vpmuludq %ymm15,%ymm9,%ymm8
762 vpmuludq 2368(%rsp),%ymm14,%ymm10
763 vpaddq %ymm10,%ymm8,%ymm8
764 vpmuludq 2432(%rsp),%ymm13,%ymm10
765 vpaddq %ymm10,%ymm8,%ymm8
766 vpmuludq 2496(%rsp),%ymm12,%ymm10
767 vpaddq %ymm10,%ymm8,%ymm8
768 vpmuludq 2560(%rsp),%ymm11,%ymm10
769 vpaddq %ymm10,%ymm8,%ymm8
770
771 vmovdqa 2016(%rsp),%ymm11
772 vmovdqa 2048(%rsp),%ymm12
773 vmovdqa 2080(%rsp),%ymm13
774 vmovdqa 2112(%rsp),%ymm14
775 vmovdqa 2144(%rsp),%ymm15
776 vmovdqa 2176(%rsp),%ymm9
777
778 vpmuludq 2336(%rsp),%ymm11,%ymm10
779 vpaddq %ymm10,%ymm0,%ymm0
780
781 vpmuludq 2400(%rsp),%ymm11,%ymm10
782 vpaddq %ymm10,%ymm2,%ymm2
783 vpmuludq 2336(%rsp),%ymm13,%ymm10
784 vpaddq %ymm10,%ymm2,%ymm2
785
786 vpmuludq 2432(%rsp),%ymm11,%ymm10
787 vpaddq %ymm10,%ymm3,%ymm3
788 vpmuludq 2400(%rsp),%ymm12,%ymm10
789 vpaddq %ymm10,%ymm3,%ymm3
790 vpmuludq 2368(%rsp),%ymm13,%ymm10
791 vpaddq %ymm10,%ymm3,%ymm3
792 vpmuludq 2336(%rsp),%ymm14,%ymm10
793 vpaddq %ymm10,%ymm3,%ymm3
794
795 vpmuludq 2368(%rsp),%ymm11,%ymm10
796 vpaddq %ymm10,%ymm1,%ymm1
797 vpmuludq 2336(%rsp),%ymm12,%ymm10
798 vpaddq %ymm10,%ymm1,%ymm1
799
800 vpmuludq 2464(%rsp),%ymm11,%ymm10
801 vpaddq %ymm10,%ymm4,%ymm4
802 vpmuludq 2400(%rsp),%ymm13,%ymm10
803 vpaddq %ymm10,%ymm4,%ymm4
804 vpmuludq 2336(%rsp),%ymm15,%ymm10
805 vpaddq %ymm10,%ymm4,%ymm4
806
807 vpmuludq 2496(%rsp),%ymm11,%ymm10
808 vpaddq %ymm10,%ymm5,%ymm5
809 vpmuludq 2464(%rsp),%ymm12,%ymm10
810 vpaddq %ymm10,%ymm5,%ymm5
811 vpmuludq 2432(%rsp),%ymm13,%ymm10
812 vpaddq %ymm10,%ymm5,%ymm5
813 vpmuludq 2400(%rsp),%ymm14,%ymm10
814 vpaddq %ymm10,%ymm5,%ymm5
815 vpmuludq 2368(%rsp),%ymm15,%ymm10
816 vpaddq %ymm10,%ymm5,%ymm5
817 vpmuludq 2336(%rsp),%ymm9,%ymm10
818 vpaddq %ymm10,%ymm5,%ymm5
819
820 vpmuludq 2528(%rsp),%ymm11,%ymm10
821 vpaddq %ymm10,%ymm6,%ymm6
822 vpmuludq 2464(%rsp),%ymm13,%ymm10
823 vpaddq %ymm10,%ymm6,%ymm6
824 vpmuludq 2400(%rsp),%ymm15,%ymm10
825 vpaddq %ymm10,%ymm6,%ymm6
826
827 vpmuludq 2560(%rsp),%ymm11,%ymm10
828 vpaddq %ymm10,%ymm7,%ymm7
829 vpmuludq 2528(%rsp),%ymm12,%ymm10
830 vpaddq %ymm10,%ymm7,%ymm7
831 vpmuludq 2496(%rsp),%ymm13,%ymm10
832 vpaddq %ymm10,%ymm7,%ymm7
833 vpmuludq 2464(%rsp),%ymm14,%ymm10
834 vpaddq %ymm10,%ymm7,%ymm7
835 vpmuludq 2432(%rsp),%ymm15,%ymm10
836 vpaddq %ymm10,%ymm7,%ymm7
837 vpmuludq 2400(%rsp),%ymm9,%ymm10
838 vpaddq %ymm10,%ymm7,%ymm7
839
840 vpmuludq 2592(%rsp),%ymm11,%ymm10
841 vpaddq %ymm10,%ymm8,%ymm8
842 vpmuludq 2528(%rsp),%ymm13,%ymm10
843 vpaddq %ymm10,%ymm8,%ymm8
844 vpmuludq 2464(%rsp),%ymm15,%ymm10
845 vpaddq %ymm10,%ymm8,%ymm8
846
847 vpmuludq 2464(%rsp),%ymm9,%ymm9
848 vpmuludq 2624(%rsp),%ymm11,%ymm10
849 vpaddq %ymm10,%ymm9,%ymm9
850 vpmuludq 2592(%rsp),%ymm12,%ymm10
851 vpaddq %ymm10,%ymm9,%ymm9
852 vpmuludq 2560(%rsp),%ymm13,%ymm10
853 vpaddq %ymm10,%ymm9,%ymm9
854 vpmuludq 2528(%rsp),%ymm14,%ymm10
855 vpaddq %ymm10,%ymm9,%ymm9
856 vpmuludq 2496(%rsp),%ymm15,%ymm10
857 vpaddq %ymm10,%ymm9,%ymm9
858
859 vmovdqa 2208(%rsp),%ymm11
860 vmovdqa 2240(%rsp),%ymm12
861 vmovdqa 2272(%rsp),%ymm13
862 vmovdqa 2304(%rsp),%ymm14
863
864 vpmuludq 2336(%rsp),%ymm11,%ymm10
865 vpaddq %ymm10,%ymm6,%ymm6
866
867 vpmuludq 2368(%rsp),%ymm11,%ymm10
868 vpaddq %ymm10,%ymm7,%ymm7
869 vpmuludq 2336(%rsp),%ymm12,%ymm10
870 vpaddq %ymm10,%ymm7,%ymm7
871
872 vpmuludq 2400(%rsp),%ymm11,%ymm10
873 vpaddq %ymm10,%ymm8,%ymm8
874 vpmuludq 2336(%rsp),%ymm13,%ymm10
875 vpaddq %ymm10,%ymm8,%ymm8
876
877 vpmuludq 2432(%rsp),%ymm11,%ymm10
878 vpaddq %ymm10,%ymm9,%ymm9
879 vpmuludq 2400(%rsp),%ymm12,%ymm10
880 vpaddq %ymm10,%ymm9,%ymm9
881 vpmuludq 2368(%rsp),%ymm13,%ymm10
882 vpaddq %ymm10,%ymm9,%ymm9
883 vpmuludq 2336(%rsp),%ymm14,%ymm10
884 vpaddq %ymm10,%ymm9,%ymm9
885
886 vpsrlq $25,%ymm5,%ymm10
887 vpaddq %ymm10,%ymm6,%ymm6
888 vpand vecmask25(%rip),%ymm5,%ymm15
889
890 vpsrlq $26,%ymm0,%ymm10
891 vpaddq %ymm10,%ymm1,%ymm1
892 vpand vecmask26(%rip),%ymm0,%ymm0
893
894 vpsrlq $26,%ymm6,%ymm10
895 vpaddq %ymm10,%ymm7,%ymm7
896 vpand vecmask26(%rip),%ymm6,%ymm11
897
898 vpsrlq $25,%ymm1,%ymm10
899 vpaddq %ymm10,%ymm2,%ymm2
900 vpand vecmask25(%rip),%ymm1,%ymm1
901
902 vpsrlq $25,%ymm7,%ymm10
903 vpaddq %ymm10,%ymm8,%ymm8
904 vpand vecmask25(%rip),%ymm7,%ymm14
905
906 vpsrlq $26,%ymm2,%ymm10
907 vpaddq %ymm10,%ymm3,%ymm3
908 vpand vecmask26(%rip),%ymm2,%ymm12
909
910 vpsrlq $26,%ymm8,%ymm10
911 vpaddq %ymm10,%ymm9,%ymm9
912 vpand vecmask26(%rip),%ymm8,%ymm6
913
914 vpsrlq $25,%ymm3,%ymm10
915 vpaddq %ymm10,%ymm4,%ymm4
916 vpand vecmask25(%rip),%ymm3,%ymm13
917
918 vpsrlq $25,%ymm9,%ymm10
919 vpaddq %ymm10,%ymm0,%ymm0
920 vpsllq $1,%ymm10,%ymm10
921 vpaddq %ymm10,%ymm0,%ymm0
922 vpsllq $3,%ymm10,%ymm10
923 vpaddq %ymm10,%ymm0,%ymm0
924 vpand vecmask25(%rip),%ymm9,%ymm8
925
926 vpsrlq $26,%ymm4,%ymm10
927 vpaddq %ymm10,%ymm15,%ymm15
928 vpand vecmask26(%rip),%ymm4,%ymm7
929
930 vpsrlq $26,%ymm0,%ymm10
931 vpaddq %ymm10,%ymm1,%ymm3
932 vpand vecmask26(%rip),%ymm0,%ymm0
933
934 vpsrlq $25,%ymm15,%ymm10
935 vpaddq %ymm10,%ymm11,%ymm5
936 vpand vecmask25(%rip),%ymm15,%ymm9
937
938 vmovdqa %ymm0,1376(%rsp)
939 vmovdqa %ymm3,1408(%rsp)
940 vmovdqa %ymm12,1440(%rsp)
941 vmovdqa %ymm13,1472(%rsp)
942 vmovdqa %ymm7,1504(%rsp)
943 vmovdqa %ymm9,1536(%rsp)
944 vmovdqa %ymm5,1568(%rsp)
945 vmovdqa %ymm14,1600(%rsp)
946 vmovdqa %ymm6,1632(%rsp)
947 vmovdqa %ymm8,1664(%rsp)
948
949 // conditional select
950 vmovdqa 0(%rsp),%ymm10
951 vmovdqa 64(%rsp),%ymm11
952 vpsrlq %xmm10,%ymm11,%ymm11
953 vpand vec1(%rip),%ymm11,%ymm12
954
955 vpxor 32(%rsp),%ymm12,%ymm11
956 vmovdqa %ymm12,32(%rsp)
957
958 vpsubq one(%rip),%ymm10,%ymm10
959 vmovdqa %ymm10,0(%rsp)
960
961 vmovdqa vec0(%rip),%ymm10
962 vpsubq %ymm11,%ymm10,%ymm10
963
964 vmovdqa 1696(%rsp),%ymm0
965 vmovdqa 1728(%rsp),%ymm1
966 vmovdqa 1760(%rsp),%ymm2
967 vmovdqa 1792(%rsp),%ymm3
968 vmovdqa 1824(%rsp),%ymm4
969 vmovdqa 1856(%rsp),%ymm5
970 vmovdqa 1888(%rsp),%ymm6
971 vmovdqa 1920(%rsp),%ymm7
972 vmovdqa 1952(%rsp),%ymm8
973 vmovdqa 1984(%rsp),%ymm9
974
975 vpxor 2336(%rsp),%ymm0,%ymm0
976 vpxor 2368(%rsp),%ymm1,%ymm1
977 vpxor 2400(%rsp),%ymm2,%ymm2
978 vpxor 2432(%rsp),%ymm3,%ymm3
979 vpxor 2464(%rsp),%ymm4,%ymm4
980 vpxor 2496(%rsp),%ymm5,%ymm5
981 vpxor 2528(%rsp),%ymm6,%ymm6
982 vpxor 2560(%rsp),%ymm7,%ymm7
983 vpxor 2592(%rsp),%ymm8,%ymm8
984 vpxor 2624(%rsp),%ymm9,%ymm9
985
986 vpand %ymm10,%ymm0,%ymm0
987 vpand %ymm10,%ymm1,%ymm1
988 vpand %ymm10,%ymm2,%ymm2
989 vpand %ymm10,%ymm3,%ymm3
990 vpand %ymm10,%ymm4,%ymm4
991 vpand %ymm10,%ymm5,%ymm5
992 vpand %ymm10,%ymm6,%ymm6
993 vpand %ymm10,%ymm7,%ymm7
994 vpand %ymm10,%ymm8,%ymm8
995 vpand %ymm10,%ymm9,%ymm9
996
997 vpxor 1696(%rsp),%ymm0,%ymm0
998 vpxor 1728(%rsp),%ymm1,%ymm1
999 vpxor 1760(%rsp),%ymm2,%ymm2
1000 vpxor 1792(%rsp),%ymm3,%ymm3
1001 vpxor 1824(%rsp),%ymm4,%ymm4
1002 vpxor 1856(%rsp),%ymm5,%ymm5
1003 vpxor 1888(%rsp),%ymm6,%ymm6
1004 vpxor 1920(%rsp),%ymm7,%ymm7
1005 vpxor 1952(%rsp),%ymm8,%ymm8
1006 vpxor 1984(%rsp),%ymm9,%ymm9
1007
1008 vmovdqa %ymm0,1696(%rsp)
1009 vmovdqa %ymm1,1728(%rsp)
1010 vmovdqa %ymm2,1760(%rsp)
1011 vmovdqa %ymm3,1792(%rsp)
1012 vmovdqa %ymm4,1824(%rsp)
1013 vmovdqa %ymm5,1856(%rsp)
1014 vmovdqa %ymm6,1888(%rsp)
1015 vmovdqa %ymm7,1920(%rsp)
1016 vmovdqa %ymm8,1952(%rsp)
1017 vmovdqa %ymm9,1984(%rsp)
1018
1019 vmovdqa 2016(%rsp),%ymm0
1020 vmovdqa 2048(%rsp),%ymm3
1021 vmovdqa 2080(%rsp),%ymm12
1022 vmovdqa 2112(%rsp),%ymm13
1023 vmovdqa 2144(%rsp),%ymm7
1024 vmovdqa 2176(%rsp),%ymm9
1025 vmovdqa 2208(%rsp),%ymm5
1026 vmovdqa 2240(%rsp),%ymm14
1027 vmovdqa 2272(%rsp),%ymm6
1028 vmovdqa 2304(%rsp),%ymm8
1029
1030 vpxor 2656(%rsp),%ymm0,%ymm0
1031 vpxor 2688(%rsp),%ymm3,%ymm3
1032 vpxor 2720(%rsp),%ymm12,%ymm12
1033 vpxor 2752(%rsp),%ymm13,%ymm13
1034 vpxor 2784(%rsp),%ymm7,%ymm7
1035 vpxor 2816(%rsp),%ymm9,%ymm9
1036 vpxor 2848(%rsp),%ymm5,%ymm5
1037 vpxor 2880(%rsp),%ymm14,%ymm14
1038 vpxor 2912(%rsp),%ymm6,%ymm6
1039 vpxor 2944(%rsp),%ymm8,%ymm8
1040
1041 vpand %ymm10,%ymm0,%ymm0
1042 vpand %ymm10,%ymm3,%ymm3
1043 vpand %ymm10,%ymm12,%ymm12
1044 vpand %ymm10,%ymm13,%ymm13
1045 vpand %ymm10,%ymm7,%ymm7
1046 vpand %ymm10,%ymm9,%ymm9
1047 vpand %ymm10,%ymm5,%ymm5
1048 vpand %ymm10,%ymm14,%ymm14
1049 vpand %ymm10,%ymm6,%ymm6
1050 vpand %ymm10,%ymm8,%ymm8
1051
1052 vpxor 2016(%rsp),%ymm0,%ymm0
1053 vpxor 2048(%rsp),%ymm3,%ymm3
1054 vpxor 2080(%rsp),%ymm12,%ymm12
1055 vpxor 2112(%rsp),%ymm13,%ymm13
1056 vpxor 2144(%rsp),%ymm7,%ymm7
1057 vpxor 2176(%rsp),%ymm9,%ymm9
1058 vpxor 2208(%rsp),%ymm5,%ymm5
1059 vpxor 2240(%rsp),%ymm14,%ymm14
1060 vpxor 2272(%rsp),%ymm6,%ymm6
1061 vpxor 2304(%rsp),%ymm8,%ymm8
1062
1063 vmovdqa %ymm12,2080(%rsp)
1064 vmovdqa %ymm13,2112(%rsp)
1065 vmovdqa %ymm7,2144(%rsp)
1066 vmovdqa %ymm9,2176(%rsp)
1067 vmovdqa %ymm5,2208(%rsp)
1068 vmovdqa %ymm14,2240(%rsp)
1069 vmovdqa %ymm6,2272(%rsp)
1070 vmovdqa %ymm8,2304(%rsp)
1071
1072 // T2 ← T2^2
1073 vpmuludq vec19(%rip),%ymm5,%ymm2
1074 vpmuludq vec19(%rip),%ymm6,%ymm6
1075 vpmuludq vec38(%rip),%ymm9,%ymm1
1076 vpmuludq vec38(%rip),%ymm14,%ymm4
1077 vpmuludq vec38(%rip),%ymm8,%ymm8
1078
1079 vpaddq %ymm0,%ymm0,%ymm10
1080 vpaddq %ymm3,%ymm3,%ymm11
1081 vpaddq %ymm12,%ymm12,%ymm12
1082 vpaddq %ymm13,%ymm13,%ymm13
1083 vpaddq %ymm7,%ymm7,%ymm7
1084 vpaddq %ymm9,%ymm9,%ymm9
1085 vpaddq %ymm5,%ymm5,%ymm5
1086 vpaddq %ymm14,%ymm14,%ymm14
1087
1088 vpmuludq %ymm0,%ymm0,%ymm0
1089 vpmuludq %ymm11,%ymm8,%ymm15
1090 vpaddq %ymm15,%ymm0,%ymm0
1091 vpmuludq %ymm12,%ymm6,%ymm15
1092 vpaddq %ymm15,%ymm0,%ymm0
1093 vpmuludq %ymm13,%ymm4,%ymm15
1094 vpaddq %ymm15,%ymm0,%ymm0
1095 vpmuludq %ymm7,%ymm2,%ymm15
1096 vpaddq %ymm15,%ymm0,%ymm0
1097 vpmuludq 2176(%rsp),%ymm1,%ymm15
1098 vpaddq %ymm15,%ymm0,%ymm0
1099
1100 vpmuludq 2208(%rsp),%ymm1,%ymm1
1101 vpmuludq %ymm3,%ymm10,%ymm15
1102 vpaddq %ymm15,%ymm1,%ymm1
1103 vpmuludq 2080(%rsp),%ymm8,%ymm15
1104 vpaddq %ymm15,%ymm1,%ymm1
1105 vpmuludq %ymm13,%ymm6,%ymm15
1106 vpaddq %ymm15,%ymm1,%ymm1
1107 vpmuludq 2144(%rsp),%ymm4,%ymm15
1108 vpaddq %ymm15,%ymm1,%ymm1
1109
1110 vpmuludq 2208(%rsp),%ymm2,%ymm2
1111 vpmuludq 2080(%rsp),%ymm10,%ymm15
1112 vpaddq %ymm15,%ymm2,%ymm2
1113 vpmuludq %ymm3,%ymm11,%ymm15
1114 vpaddq %ymm15,%ymm2,%ymm2
1115 vpmuludq %ymm13,%ymm8,%ymm15
1116 vpaddq %ymm15,%ymm2,%ymm2
1117 vpmuludq %ymm7,%ymm6,%ymm15
1118 vpaddq %ymm15,%ymm2,%ymm2
1119 vpmuludq %ymm9,%ymm4,%ymm15
1120 vpaddq %ymm15,%ymm2,%ymm2
1121
1122 vpmuludq 2112(%rsp),%ymm10,%ymm3
1123 vpmuludq 2080(%rsp),%ymm11,%ymm15
1124 vpaddq %ymm15,%ymm3,%ymm3
1125 vpmuludq 2144(%rsp),%ymm8,%ymm15
1126 vpaddq %ymm15,%ymm3,%ymm3
1127 vpmuludq %ymm9,%ymm6,%ymm15
1128 vpaddq %ymm15,%ymm3,%ymm3
1129 vpmuludq 2208(%rsp),%ymm4,%ymm15
1130 vpaddq %ymm15,%ymm3,%ymm3
1131
1132 vpmuludq 2240(%rsp),%ymm4,%ymm4
1133 vpmuludq 2144(%rsp),%ymm10,%ymm15
1134 vpaddq %ymm15,%ymm4,%ymm4
1135 vpmuludq %ymm11,%ymm13,%ymm15
1136 vpaddq %ymm15,%ymm4,%ymm4
1137 vmovdqa 2080(%rsp),%ymm15
1138 vpmuludq %ymm15,%ymm15,%ymm15
1139 vpaddq %ymm15,%ymm4,%ymm4
1140 vpmuludq %ymm9,%ymm8,%ymm15
1141 vpaddq %ymm15,%ymm4,%ymm4
1142 vpmuludq %ymm5,%ymm6,%ymm15
1143 vpaddq %ymm15,%ymm4,%ymm4
1144
1145 vpmuludq 2176(%rsp),%ymm10,%ymm5
1146 vpmuludq 2144(%rsp),%ymm11,%ymm15
1147 vpaddq %ymm15,%ymm5,%ymm5
1148 vpmuludq 2112(%rsp),%ymm12,%ymm15
1149 vpaddq %ymm15,%ymm5,%ymm5
1150 vpmuludq 2208(%rsp),%ymm8,%ymm15
1151 vpaddq %ymm15,%ymm5,%ymm5
1152 vpmuludq %ymm6,%ymm14,%ymm15
1153 vpaddq %ymm15,%ymm5,%ymm5
1154
1155 vpmuludq 2272(%rsp),%ymm6,%ymm6
1156 vpmuludq 2208(%rsp),%ymm10,%ymm15
1157 vpaddq %ymm15,%ymm6,%ymm6
1158 vpmuludq %ymm11,%ymm9,%ymm15
1159 vpaddq %ymm15,%ymm6,%ymm6
1160 vpmuludq 2144(%rsp),%ymm12,%ymm15
1161 vpaddq %ymm15,%ymm6,%ymm6
1162 vpmuludq 2112(%rsp),%ymm13,%ymm15
1163 vpaddq %ymm15,%ymm6,%ymm6
1164 vpmuludq %ymm14,%ymm8,%ymm15
1165 vpaddq %ymm15,%ymm6,%ymm6
1166
1167 vpmuludq 2240(%rsp),%ymm10,%ymm7
1168 vpmuludq 2208(%rsp),%ymm11,%ymm15
1169 vpaddq %ymm15,%ymm7,%ymm7
1170 vpmuludq 2176(%rsp),%ymm12,%ymm15
1171 vpaddq %ymm15,%ymm7,%ymm7
1172 vpmuludq 2144(%rsp),%ymm13,%ymm15
1173 vpaddq %ymm15,%ymm7,%ymm7
1174 vpmuludq 2272(%rsp),%ymm8,%ymm15
1175 vpaddq %ymm15,%ymm7,%ymm7
1176
1177 vpmuludq 2304(%rsp),%ymm8,%ymm8
1178 vpmuludq 2272(%rsp),%ymm10,%ymm15
1179 vpaddq %ymm15,%ymm8,%ymm8
1180 vpmuludq %ymm11,%ymm14,%ymm15
1181 vpaddq %ymm15,%ymm8,%ymm8
1182 vpmuludq 2208(%rsp),%ymm12,%ymm15
1183 vpaddq %ymm15,%ymm8,%ymm8
1184 vpmuludq %ymm13,%ymm9,%ymm15
1185 vpaddq %ymm15,%ymm8,%ymm8
1186 vmovdqa 2144(%rsp),%ymm15
1187 vpmuludq %ymm15,%ymm15,%ymm15
1188 vpaddq %ymm15,%ymm8,%ymm8
1189
1190 vpmuludq 2144(%rsp),%ymm9,%ymm9
1191 vpmuludq 2304(%rsp),%ymm10,%ymm15
1192 vpaddq %ymm15,%ymm9,%ymm9
1193 vpmuludq 2272(%rsp),%ymm11,%ymm15
1194 vpaddq %ymm15,%ymm9,%ymm9
1195 vpmuludq 2240(%rsp),%ymm12,%ymm15
1196 vpaddq %ymm15,%ymm9,%ymm9
1197 vpmuludq 2208(%rsp),%ymm13,%ymm15
1198 vpaddq %ymm15,%ymm9,%ymm9
1199
1200 vpsrlq $25,%ymm5,%ymm10
1201 vpaddq %ymm10,%ymm6,%ymm6
1202 vpand vecmask25(%rip),%ymm5,%ymm5
1203
1204 vpsrlq $26,%ymm0,%ymm10
1205 vpaddq %ymm10,%ymm1,%ymm1
1206 vpand vecmask26(%rip),%ymm0,%ymm0
1207
1208 vpsrlq $26,%ymm6,%ymm10
1209 vpaddq %ymm10,%ymm7,%ymm7
1210 vpand vecmask26(%rip),%ymm6,%ymm6
1211
1212 vpsrlq $25,%ymm1,%ymm10
1213 vpaddq %ymm10,%ymm2,%ymm2
1214 vpand vecmask25(%rip),%ymm1,%ymm1
1215
1216 vpsrlq $25,%ymm7,%ymm10
1217 vpaddq %ymm10,%ymm8,%ymm8
1218 vpand vecmask25(%rip),%ymm7,%ymm7
1219
1220 vpsrlq $26,%ymm2,%ymm10
1221 vpaddq %ymm10,%ymm3,%ymm3
1222 vpand vecmask26(%rip),%ymm2,%ymm2
1223
1224 vpsrlq $26,%ymm8,%ymm10
1225 vpaddq %ymm10,%ymm9,%ymm9
1226 vpand vecmask26(%rip),%ymm8,%ymm8
1227
1228 vpsrlq $25,%ymm3,%ymm10
1229 vpaddq %ymm10,%ymm4,%ymm4
1230 vpand vecmask25(%rip),%ymm3,%ymm3
1231
1232 vpsrlq $25,%ymm9,%ymm10
1233 vpaddq %ymm10,%ymm0,%ymm0
1234 vpsllq $1,%ymm10,%ymm10
1235 vpaddq %ymm10,%ymm0,%ymm0
1236 vpsllq $3,%ymm10,%ymm10
1237 vpaddq %ymm10,%ymm0,%ymm0
1238 vpand vecmask25(%rip),%ymm9,%ymm9
1239
1240 vpsrlq $26,%ymm4,%ymm10
1241 vpaddq %ymm10,%ymm5,%ymm5
1242 vpand vecmask26(%rip),%ymm4,%ymm4
1243
1244 vpsrlq $26,%ymm0,%ymm10
1245 vpaddq %ymm10,%ymm1,%ymm1
1246 vpand vecmask26(%rip),%ymm0,%ymm0
1247
1248 vpsrlq $25,%ymm5,%ymm10
1249 vpaddq %ymm10,%ymm6,%ymm6
1250 vpand vecmask25(%rip),%ymm5,%ymm5
1251
1252 vmovdqa %ymm0,2016(%rsp)
1253 vmovdqa %ymm1,2048(%rsp)
1254 vmovdqa %ymm2,2080(%rsp)
1255 vmovdqa %ymm3,2112(%rsp)
1256 vmovdqa %ymm4,2144(%rsp)
1257 vmovdqa %ymm5,2176(%rsp)
1258 vmovdqa %ymm6,2208(%rsp)
1259 vmovdqa %ymm7,2240(%rsp)
1260 vmovdqa %ymm8,2272(%rsp)
1261 vmovdqa %ymm9,2304(%rsp)
1262
1263 // T1 ← T1^2
1264 vmovdqa 1696(%rsp),%ymm0
1265 vmovdqa 1728(%rsp),%ymm3
1266 vmovdqa 1760(%rsp),%ymm12
1267 vmovdqa 1792(%rsp),%ymm13
1268 vmovdqa 1824(%rsp),%ymm7
1269 vmovdqa 1856(%rsp),%ymm9
1270 vmovdqa 1888(%rsp),%ymm5
1271 vmovdqa 1920(%rsp),%ymm14
1272 vmovdqa 1952(%rsp),%ymm6
1273 vmovdqa 1984(%rsp),%ymm8
1274
1275 vpmuludq vec19(%rip),%ymm5,%ymm2
1276 vpmuludq vec19(%rip),%ymm6,%ymm6
1277 vpmuludq vec38(%rip),%ymm9,%ymm1
1278 vpmuludq vec38(%rip),%ymm14,%ymm4
1279 vpmuludq vec38(%rip),%ymm8,%ymm8
1280
1281 vpaddq %ymm0,%ymm0,%ymm10
1282 vpaddq %ymm3,%ymm3,%ymm11
1283 vpaddq %ymm12,%ymm12,%ymm12
1284 vpaddq %ymm13,%ymm13,%ymm13
1285 vpaddq %ymm7,%ymm7,%ymm7
1286 vpaddq %ymm9,%ymm9,%ymm9
1287 vpaddq %ymm5,%ymm5,%ymm5
1288 vpaddq %ymm14,%ymm14,%ymm14
1289
1290 vpmuludq %ymm0,%ymm0,%ymm0
1291 vpmuludq %ymm11,%ymm8,%ymm15
1292 vpaddq %ymm15,%ymm0,%ymm0
1293 vpmuludq %ymm12,%ymm6,%ymm15
1294 vpaddq %ymm15,%ymm0,%ymm0
1295 vpmuludq %ymm13,%ymm4,%ymm15
1296 vpaddq %ymm15,%ymm0,%ymm0
1297 vpmuludq %ymm7,%ymm2,%ymm15
1298 vpaddq %ymm15,%ymm0,%ymm0
1299 vpmuludq 1856(%rsp),%ymm1,%ymm15
1300 vpaddq %ymm15,%ymm0,%ymm0
1301
1302 vpmuludq 1888(%rsp),%ymm1,%ymm1
1303 vpmuludq %ymm3,%ymm10,%ymm15
1304 vpaddq %ymm15,%ymm1,%ymm1
1305 vpmuludq 1760(%rsp),%ymm8,%ymm15
1306 vpaddq %ymm15,%ymm1,%ymm1
1307 vpmuludq %ymm13,%ymm6,%ymm15
1308 vpaddq %ymm15,%ymm1,%ymm1
1309 vpmuludq 1824(%rsp),%ymm4,%ymm15
1310 vpaddq %ymm15,%ymm1,%ymm1
1311
1312 vpmuludq 1888(%rsp),%ymm2,%ymm2
1313 vpmuludq 1760(%rsp),%ymm10,%ymm15
1314 vpaddq %ymm15,%ymm2,%ymm2
1315 vpmuludq %ymm3,%ymm11,%ymm15
1316 vpaddq %ymm15,%ymm2,%ymm2
1317 vpmuludq %ymm13,%ymm8,%ymm15
1318 vpaddq %ymm15,%ymm2,%ymm2
1319 vpmuludq %ymm7,%ymm6,%ymm15
1320 vpaddq %ymm15,%ymm2,%ymm2
1321 vpmuludq %ymm9,%ymm4,%ymm15
1322 vpaddq %ymm15,%ymm2,%ymm2
1323
1324 vpmuludq 1792(%rsp),%ymm10,%ymm3
1325 vpmuludq 1760(%rsp),%ymm11,%ymm15
1326 vpaddq %ymm15,%ymm3,%ymm3
1327 vpmuludq 1824(%rsp),%ymm8,%ymm15
1328 vpaddq %ymm15,%ymm3,%ymm3
1329 vpmuludq %ymm9,%ymm6,%ymm15
1330 vpaddq %ymm15,%ymm3,%ymm3
1331 vpmuludq 1888(%rsp),%ymm4,%ymm15
1332 vpaddq %ymm15,%ymm3,%ymm3
1333
1334 vpmuludq 1920(%rsp),%ymm4,%ymm4
1335 vpmuludq 1824(%rsp),%ymm10,%ymm15
1336 vpaddq %ymm15,%ymm4,%ymm4
1337 vpmuludq %ymm11,%ymm13,%ymm15
1338 vpaddq %ymm15,%ymm4,%ymm4
1339 vmovdqa 1760(%rsp),%ymm15
1340 vpmuludq %ymm15,%ymm15,%ymm15
1341 vpaddq %ymm15,%ymm4,%ymm4
1342 vpmuludq %ymm9,%ymm8,%ymm15
1343 vpaddq %ymm15,%ymm4,%ymm4
1344 vpmuludq %ymm5,%ymm6,%ymm15
1345 vpaddq %ymm15,%ymm4,%ymm4
1346
1347 vpmuludq 1856(%rsp),%ymm10,%ymm5
1348 vpmuludq 1824(%rsp),%ymm11,%ymm15
1349 vpaddq %ymm15,%ymm5,%ymm5
1350 vpmuludq 1792(%rsp),%ymm12,%ymm15
1351 vpaddq %ymm15,%ymm5,%ymm5
1352 vpmuludq 1888(%rsp),%ymm8,%ymm15
1353 vpaddq %ymm15,%ymm5,%ymm5
1354 vpmuludq %ymm6,%ymm14,%ymm15
1355 vpaddq %ymm15,%ymm5,%ymm5
1356
1357 vpmuludq 1952(%rsp),%ymm6,%ymm6
1358 vpmuludq 1888(%rsp),%ymm10,%ymm15
1359 vpaddq %ymm15,%ymm6,%ymm6
1360 vpmuludq %ymm11,%ymm9,%ymm15
1361 vpaddq %ymm15,%ymm6,%ymm6
1362 vpmuludq 1824(%rsp),%ymm12,%ymm15
1363 vpaddq %ymm15,%ymm6,%ymm6
1364 vpmuludq 1792(%rsp),%ymm13,%ymm15
1365 vpaddq %ymm15,%ymm6,%ymm6
1366 vpmuludq %ymm14,%ymm8,%ymm15
1367 vpaddq %ymm15,%ymm6,%ymm6
1368
1369 vpmuludq 1920(%rsp),%ymm10,%ymm7
1370 vpmuludq 1888(%rsp),%ymm11,%ymm15
1371 vpaddq %ymm15,%ymm7,%ymm7
1372 vpmuludq 1856(%rsp),%ymm12,%ymm15
1373 vpaddq %ymm15,%ymm7,%ymm7
1374 vpmuludq 1824(%rsp),%ymm13,%ymm15
1375 vpaddq %ymm15,%ymm7,%ymm7
1376 vpmuludq 1952(%rsp),%ymm8,%ymm15
1377 vpaddq %ymm15,%ymm7,%ymm7
1378
1379 vpmuludq 1984(%rsp),%ymm8,%ymm8
1380 vpmuludq 1952(%rsp),%ymm10,%ymm15
1381 vpaddq %ymm15,%ymm8,%ymm8
1382 vpmuludq %ymm11,%ymm14,%ymm15
1383 vpaddq %ymm15,%ymm8,%ymm8
1384 vpmuludq 1888(%rsp),%ymm12,%ymm15
1385 vpaddq %ymm15,%ymm8,%ymm8
1386 vpmuludq %ymm13,%ymm9,%ymm15
1387 vpaddq %ymm15,%ymm8,%ymm8
1388 vmovdqa 1824(%rsp),%ymm15
1389 vpmuludq %ymm15,%ymm15,%ymm15
1390 vpaddq %ymm15,%ymm8,%ymm8
1391
1392 vpmuludq 1824(%rsp),%ymm9,%ymm9
1393 vpmuludq 1984(%rsp),%ymm10,%ymm15
1394 vpaddq %ymm15,%ymm9,%ymm9
1395 vpmuludq 1952(%rsp),%ymm11,%ymm15
1396 vpaddq %ymm15,%ymm9,%ymm9
1397 vpmuludq 1920(%rsp),%ymm12,%ymm15
1398 vpaddq %ymm15,%ymm9,%ymm9
1399 vpmuludq 1888(%rsp),%ymm13,%ymm15
1400 vpaddq %ymm15,%ymm9,%ymm9
1401
1402 vpsrlq $25,%ymm5,%ymm10
1403 vpaddq %ymm10,%ymm6,%ymm6
1404 vpand vecmask25(%rip),%ymm5,%ymm5
1405
1406 vpsrlq $26,%ymm0,%ymm10
1407 vpaddq %ymm10,%ymm1,%ymm1
1408 vpand vecmask26(%rip),%ymm0,%ymm0
1409
1410 vpsrlq $26,%ymm6,%ymm10
1411 vpaddq %ymm10,%ymm7,%ymm7
1412 vpand vecmask26(%rip),%ymm6,%ymm6
1413
1414 vpsrlq $25,%ymm1,%ymm10
1415 vpaddq %ymm10,%ymm2,%ymm2
1416 vpand vecmask25(%rip),%ymm1,%ymm1
1417
1418 vpsrlq $25,%ymm7,%ymm10
1419 vpaddq %ymm10,%ymm8,%ymm8
1420 vpand vecmask25(%rip),%ymm7,%ymm7
1421
1422 vpsrlq $26,%ymm2,%ymm10
1423 vpaddq %ymm10,%ymm3,%ymm3
1424 vpand vecmask26(%rip),%ymm2,%ymm2
1425
1426 vpsrlq $26,%ymm8,%ymm10
1427 vpaddq %ymm10,%ymm9,%ymm9
1428 vpand vecmask26(%rip),%ymm8,%ymm8
1429
1430 vpsrlq $25,%ymm3,%ymm10
1431 vpaddq %ymm10,%ymm4,%ymm4
1432 vpand vecmask25(%rip),%ymm3,%ymm3
1433
1434 vpsrlq $25,%ymm9,%ymm10
1435 vpaddq %ymm10,%ymm0,%ymm0
1436 vpsllq $1,%ymm10,%ymm10
1437 vpaddq %ymm10,%ymm0,%ymm0
1438 vpsllq $3,%ymm10,%ymm10
1439 vpaddq %ymm10,%ymm0,%ymm0
1440 vpand vecmask25(%rip),%ymm9,%ymm9
1441
1442 vpsrlq $26,%ymm4,%ymm10
1443 vpaddq %ymm10,%ymm5,%ymm5
1444 vpand vecmask26(%rip),%ymm4,%ymm4
1445
1446 vpsrlq $26,%ymm0,%ymm10
1447 vpaddq %ymm10,%ymm1,%ymm1
1448 vpand vecmask26(%rip),%ymm0,%ymm0
1449
1450 vpsrlq $25,%ymm5,%ymm10
1451 vpaddq %ymm10,%ymm6,%ymm6
1452 vpand vecmask25(%rip),%ymm5,%ymm5
1453
1454 vmovdqa %ymm0,1696(%rsp)
1455 vmovdqa %ymm1,1728(%rsp)
1456 vmovdqa %ymm2,1760(%rsp)
1457 vmovdqa %ymm3,1792(%rsp)
1458 vmovdqa %ymm4,1824(%rsp)
1459 vmovdqa %ymm5,1856(%rsp)
1460 vmovdqa %ymm6,1888(%rsp)
1461 vmovdqa %ymm7,1920(%rsp)
1462 vmovdqa %ymm8,1952(%rsp)
1463 vmovdqa %ymm9,1984(%rsp)
1464
1465 // X3
1466 vmovdqa 1056(%rsp),%ymm1
1467 vmovdqa 1088(%rsp),%ymm2
1468 vmovdqa 1120(%rsp),%ymm4
1469 vmovdqa 1152(%rsp),%ymm10
1470 vmovdqa 1184(%rsp),%ymm11
1471 vmovdqa 1216(%rsp),%ymm15
1472 vmovdqa 1248(%rsp),%ymm5
1473 vmovdqa 1280(%rsp),%ymm14
1474 vmovdqa 1312(%rsp),%ymm6
1475 vmovdqa 1344(%rsp),%ymm8
1476
1477 // copy X3
1478 vmovdqa %ymm1,%ymm0
1479 vmovdqa %ymm2,%ymm3
1480 vmovdqa %ymm4,%ymm12
1481 vmovdqa %ymm10,%ymm13
1482 vmovdqa %ymm11,%ymm7
1483 vmovdqa %ymm15,%ymm9
1484
1485 // T3 ← X3 + Z3
1486 vpaddq 1376(%rsp),%ymm1,%ymm1
1487 vpaddq 1408(%rsp),%ymm2,%ymm2
1488 vpaddq 1440(%rsp),%ymm4,%ymm4
1489 vpaddq 1472(%rsp),%ymm10,%ymm10
1490 vpaddq 1504(%rsp),%ymm11,%ymm11
1491 vpaddq 1536(%rsp),%ymm15,%ymm15
1492 vpaddq 1568(%rsp),%ymm5,%ymm5
1493 vpaddq 1600(%rsp),%ymm14,%ymm14
1494 vpaddq 1632(%rsp),%ymm6,%ymm6
1495 vpaddq 1664(%rsp),%ymm8,%ymm8
1496
1497 vmovdqa %ymm1,2336(%rsp)
1498 vmovdqa %ymm2,2368(%rsp)
1499 vmovdqa %ymm4,2400(%rsp)
1500 vmovdqa %ymm10,2432(%rsp)
1501 vmovdqa %ymm11,2464(%rsp)
1502 vmovdqa %ymm15,2496(%rsp)
1503 vmovdqa %ymm5,2528(%rsp)
1504 vmovdqa %ymm14,2560(%rsp)
1505 vmovdqa %ymm6,2592(%rsp)
1506 vmovdqa %ymm8,2624(%rsp)
1507
1508 // remaining X3
1509 vmovdqa 1248(%rsp),%ymm5
1510 vmovdqa 1280(%rsp),%ymm14
1511 vmovdqa 1312(%rsp),%ymm6
1512 vmovdqa 1344(%rsp),%ymm8
1513
1514 // Z3 ← X3 - Z3
1515 vpaddq vec2p0(%rip),%ymm0,%ymm0
1516 vpaddq vec2p13579(%rip),%ymm3,%ymm3
1517 vpaddq vec2p2468(%rip),%ymm12,%ymm12
1518 vpaddq vec2p13579(%rip),%ymm13,%ymm13
1519 vpaddq vec2p2468(%rip),%ymm7,%ymm7
1520 vpaddq vec2p13579(%rip),%ymm9,%ymm9
1521 vpaddq vec2p2468(%rip),%ymm5,%ymm5
1522 vpaddq vec2p13579(%rip),%ymm14,%ymm14
1523 vpaddq vec2p2468(%rip),%ymm6,%ymm6
1524 vpaddq vec2p13579(%rip),%ymm8,%ymm8
1525
1526 vpsubq 1376(%rsp),%ymm0,%ymm0
1527 vpsubq 1408(%rsp),%ymm3,%ymm3
1528 vpsubq 1440(%rsp),%ymm12,%ymm12
1529 vpsubq 1472(%rsp),%ymm13,%ymm13
1530 vpsubq 1504(%rsp),%ymm7,%ymm7
1531 vpsubq 1536(%rsp),%ymm9,%ymm9
1532 vpsubq 1568(%rsp),%ymm5,%ymm5
1533 vpsubq 1600(%rsp),%ymm14,%ymm14
1534 vpsubq 1632(%rsp),%ymm6,%ymm6
1535 vpsubq 1664(%rsp),%ymm8,%ymm8
1536
1537 vmovdqa %ymm12,1440(%rsp)
1538 vmovdqa %ymm13,1472(%rsp)
1539 vmovdqa %ymm7,1504(%rsp)
1540 vmovdqa %ymm9,1536(%rsp)
1541 vmovdqa %ymm5,1568(%rsp)
1542 vmovdqa %ymm14,1600(%rsp)
1543 vmovdqa %ymm6,1632(%rsp)
1544 vmovdqa %ymm8,1664(%rsp)
1545
1546 // Z3 ← Z3^2
1547 vpmuludq vec19(%rip),%ymm5,%ymm2
1548 vpmuludq vec19(%rip),%ymm6,%ymm6
1549 vpmuludq vec38(%rip),%ymm9,%ymm1
1550 vpmuludq vec38(%rip),%ymm14,%ymm4
1551 vpmuludq vec38(%rip),%ymm8,%ymm8
1552
1553 vpaddq %ymm0,%ymm0,%ymm10
1554 vpaddq %ymm3,%ymm3,%ymm11
1555 vpaddq %ymm12,%ymm12,%ymm12
1556 vpaddq %ymm13,%ymm13,%ymm13
1557 vpaddq %ymm7,%ymm7,%ymm7
1558 vpaddq %ymm9,%ymm9,%ymm9
1559 vpaddq %ymm5,%ymm5,%ymm5
1560 vpaddq %ymm14,%ymm14,%ymm14
1561
1562 vpmuludq %ymm0,%ymm0,%ymm0
1563 vpmuludq %ymm11,%ymm8,%ymm15
1564 vpaddq %ymm15,%ymm0,%ymm0
1565 vpmuludq %ymm12,%ymm6,%ymm15
1566 vpaddq %ymm15,%ymm0,%ymm0
1567 vpmuludq %ymm13,%ymm4,%ymm15
1568 vpaddq %ymm15,%ymm0,%ymm0
1569 vpmuludq %ymm7,%ymm2,%ymm15
1570 vpaddq %ymm15,%ymm0,%ymm0
1571 vpmuludq 1536(%rsp),%ymm1,%ymm15
1572 vpaddq %ymm15,%ymm0,%ymm0
1573
1574 vpmuludq 1568(%rsp),%ymm1,%ymm1
1575 vpmuludq %ymm3,%ymm10,%ymm15
1576 vpaddq %ymm15,%ymm1,%ymm1
1577 vpmuludq 1440(%rsp),%ymm8,%ymm15
1578 vpaddq %ymm15,%ymm1,%ymm1
1579 vpmuludq %ymm13,%ymm6,%ymm15
1580 vpaddq %ymm15,%ymm1,%ymm1
1581 vpmuludq 1504(%rsp),%ymm4,%ymm15
1582 vpaddq %ymm15,%ymm1,%ymm1
1583
1584 vpmuludq 1568(%rsp),%ymm2,%ymm2
1585 vpmuludq 1440(%rsp),%ymm10,%ymm15
1586 vpaddq %ymm15,%ymm2,%ymm2
1587 vpmuludq %ymm3,%ymm11,%ymm15
1588 vpaddq %ymm15,%ymm2,%ymm2
1589 vpmuludq %ymm13,%ymm8,%ymm15
1590 vpaddq %ymm15,%ymm2,%ymm2
1591 vpmuludq %ymm7,%ymm6,%ymm15
1592 vpaddq %ymm15,%ymm2,%ymm2
1593 vpmuludq %ymm9,%ymm4,%ymm15
1594 vpaddq %ymm15,%ymm2,%ymm2
1595
1596 vpmuludq 1472(%rsp),%ymm10,%ymm3
1597 vpmuludq 1440(%rsp),%ymm11,%ymm15
1598 vpaddq %ymm15,%ymm3,%ymm3
1599 vpmuludq 1504(%rsp),%ymm8,%ymm15
1600 vpaddq %ymm15,%ymm3,%ymm3
1601 vpmuludq %ymm9,%ymm6,%ymm15
1602 vpaddq %ymm15,%ymm3,%ymm3
1603 vpmuludq 1568(%rsp),%ymm4,%ymm15
1604 vpaddq %ymm15,%ymm3,%ymm3
1605
1606 vpmuludq 1600(%rsp),%ymm4,%ymm4
1607 vpmuludq 1504(%rsp),%ymm10,%ymm15
1608 vpaddq %ymm15,%ymm4,%ymm4
1609 vpmuludq %ymm11,%ymm13,%ymm15
1610 vpaddq %ymm15,%ymm4,%ymm4
1611 vmovdqa 1440(%rsp),%ymm15
1612 vpmuludq %ymm15,%ymm15,%ymm15
1613 vpaddq %ymm15,%ymm4,%ymm4
1614 vpmuludq %ymm9,%ymm8,%ymm15
1615 vpaddq %ymm15,%ymm4,%ymm4
1616 vpmuludq %ymm5,%ymm6,%ymm15
1617 vpaddq %ymm15,%ymm4,%ymm4
1618
1619 vpmuludq 1536(%rsp),%ymm10,%ymm5
1620 vpmuludq 1504(%rsp),%ymm11,%ymm15
1621 vpaddq %ymm15,%ymm5,%ymm5
1622 vpmuludq 1472(%rsp),%ymm12,%ymm15
1623 vpaddq %ymm15,%ymm5,%ymm5
1624 vpmuludq 1568(%rsp),%ymm8,%ymm15
1625 vpaddq %ymm15,%ymm5,%ymm5
1626 vpmuludq %ymm6,%ymm14,%ymm15
1627 vpaddq %ymm15,%ymm5,%ymm5
1628
1629 vpmuludq 1632(%rsp),%ymm6,%ymm6
1630 vpmuludq 1568(%rsp),%ymm10,%ymm15
1631 vpaddq %ymm15,%ymm6,%ymm6
1632 vpmuludq %ymm11,%ymm9,%ymm15
1633 vpaddq %ymm15,%ymm6,%ymm6
1634 vpmuludq 1504(%rsp),%ymm12,%ymm15
1635 vpaddq %ymm15,%ymm6,%ymm6
1636 vpmuludq 1472(%rsp),%ymm13,%ymm15
1637 vpaddq %ymm15,%ymm6,%ymm6
1638 vpmuludq %ymm14,%ymm8,%ymm15
1639 vpaddq %ymm15,%ymm6,%ymm6
1640
1641 vpmuludq 1600(%rsp),%ymm10,%ymm7
1642 vpmuludq 1568(%rsp),%ymm11,%ymm15
1643 vpaddq %ymm15,%ymm7,%ymm7
1644 vpmuludq 1536(%rsp),%ymm12,%ymm15
1645 vpaddq %ymm15,%ymm7,%ymm7
1646 vpmuludq 1504(%rsp),%ymm13,%ymm15
1647 vpaddq %ymm15,%ymm7,%ymm7
1648 vpmuludq 1632(%rsp),%ymm8,%ymm15
1649 vpaddq %ymm15,%ymm7,%ymm7
1650
1651 vpmuludq 1664(%rsp),%ymm8,%ymm8
1652 vpmuludq 1632(%rsp),%ymm10,%ymm15
1653 vpaddq %ymm15,%ymm8,%ymm8
1654 vpmuludq %ymm11,%ymm14,%ymm15
1655 vpaddq %ymm15,%ymm8,%ymm8
1656 vpmuludq 1568(%rsp),%ymm12,%ymm15
1657 vpaddq %ymm15,%ymm8,%ymm8
1658 vpmuludq %ymm13,%ymm9,%ymm15
1659 vpaddq %ymm15,%ymm8,%ymm8
1660 vmovdqa 1504(%rsp),%ymm15
1661 vpmuludq %ymm15,%ymm15,%ymm15
1662 vpaddq %ymm15,%ymm8,%ymm8
1663
1664 vpmuludq 1504(%rsp),%ymm9,%ymm9
1665 vpmuludq 1664(%rsp),%ymm10,%ymm15
1666 vpaddq %ymm15,%ymm9,%ymm9
1667 vpmuludq 1632(%rsp),%ymm11,%ymm15
1668 vpaddq %ymm15,%ymm9,%ymm9
1669 vpmuludq 1600(%rsp),%ymm12,%ymm15
1670 vpaddq %ymm15,%ymm9,%ymm9
1671 vpmuludq 1568(%rsp),%ymm13,%ymm15
1672 vpaddq %ymm15,%ymm9,%ymm9
1673
1674 vpsrlq $25,%ymm5,%ymm10
1675 vpaddq %ymm10,%ymm6,%ymm6
1676 vpand vecmask25(%rip),%ymm5,%ymm5
1677
1678 vpsrlq $26,%ymm0,%ymm10
1679 vpaddq %ymm10,%ymm1,%ymm1
1680 vpand vecmask26(%rip),%ymm0,%ymm0
1681
1682 vpsrlq $26,%ymm6,%ymm10
1683 vpaddq %ymm10,%ymm7,%ymm7
1684 vpand vecmask26(%rip),%ymm6,%ymm6
1685
1686 vpsrlq $25,%ymm1,%ymm10
1687 vpaddq %ymm10,%ymm2,%ymm2
1688 vpand vecmask25(%rip),%ymm1,%ymm1
1689
1690 vpsrlq $25,%ymm7,%ymm10
1691 vpaddq %ymm10,%ymm8,%ymm8
1692 vpand vecmask25(%rip),%ymm7,%ymm7
1693
1694 vpsrlq $26,%ymm2,%ymm10
1695 vpaddq %ymm10,%ymm3,%ymm3
1696 vpand vecmask26(%rip),%ymm2,%ymm2
1697
1698 vpsrlq $26,%ymm8,%ymm10
1699 vpaddq %ymm10,%ymm9,%ymm9
1700 vpand vecmask26(%rip),%ymm8,%ymm8
1701
1702 vpsrlq $25,%ymm3,%ymm10
1703 vpaddq %ymm10,%ymm4,%ymm4
1704 vpand vecmask25(%rip),%ymm3,%ymm3
1705
1706 vpsrlq $25,%ymm9,%ymm10
1707 vpaddq %ymm10,%ymm0,%ymm0
1708 vpsllq $1,%ymm10,%ymm10
1709 vpaddq %ymm10,%ymm0,%ymm0
1710 vpsllq $3,%ymm10,%ymm10
1711 vpaddq %ymm10,%ymm0,%ymm0
1712 vpand vecmask25(%rip),%ymm9,%ymm9
1713
1714 vpsrlq $26,%ymm4,%ymm10
1715 vpaddq %ymm10,%ymm5,%ymm5
1716 vpand vecmask26(%rip),%ymm4,%ymm4
1717
1718 vpsrlq $26,%ymm0,%ymm10
1719 vpaddq %ymm10,%ymm1,%ymm1
1720 vpand vecmask26(%rip),%ymm0,%ymm0
1721
1722 vpsrlq $25,%ymm5,%ymm10
1723 vpaddq %ymm10,%ymm6,%ymm6
1724 vpand vecmask25(%rip),%ymm5,%ymm5
1725
1726 vmovdqa %ymm0,1376(%rsp)
1727 vmovdqa %ymm1,1408(%rsp)
1728 vmovdqa %ymm2,1440(%rsp)
1729 vmovdqa %ymm3,1472(%rsp)
1730 vmovdqa %ymm4,1504(%rsp)
1731 vmovdqa %ymm5,1536(%rsp)
1732 vmovdqa %ymm6,1568(%rsp)
1733 vmovdqa %ymm7,1600(%rsp)
1734 vmovdqa %ymm8,1632(%rsp)
1735 vmovdqa %ymm9,1664(%rsp)
1736
1737 // X3 ← T3^2
1738 vmovdqa 2336(%rsp),%ymm0
1739 vmovdqa 2368(%rsp),%ymm3
1740 vmovdqa 2400(%rsp),%ymm12
1741 vmovdqa 2432(%rsp),%ymm13
1742 vmovdqa 2464(%rsp),%ymm7
1743 vmovdqa 2496(%rsp),%ymm9
1744 vmovdqa 2528(%rsp),%ymm5
1745 vmovdqa 2560(%rsp),%ymm14
1746 vmovdqa 2592(%rsp),%ymm6
1747 vmovdqa 2624(%rsp),%ymm8
1748
1749 vpmuludq vec19(%rip),%ymm5,%ymm2
1750 vpmuludq vec19(%rip),%ymm6,%ymm6
1751 vpmuludq vec38(%rip),%ymm9,%ymm1
1752 vpmuludq vec38(%rip),%ymm14,%ymm4
1753 vpmuludq vec38(%rip),%ymm8,%ymm8
1754
1755 vpaddq %ymm0,%ymm0,%ymm10
1756 vpaddq %ymm3,%ymm3,%ymm11
1757 vpaddq %ymm12,%ymm12,%ymm12
1758 vpaddq %ymm13,%ymm13,%ymm13
1759 vpaddq %ymm7,%ymm7,%ymm7
1760 vpaddq %ymm9,%ymm9,%ymm9
1761 vpaddq %ymm5,%ymm5,%ymm5
1762 vpaddq %ymm14,%ymm14,%ymm14
1763
1764 vpmuludq %ymm0,%ymm0,%ymm0
1765 vpmuludq %ymm11,%ymm8,%ymm15
1766 vpaddq %ymm15,%ymm0,%ymm0
1767 vpmuludq %ymm12,%ymm6,%ymm15
1768 vpaddq %ymm15,%ymm0,%ymm0
1769 vpmuludq %ymm13,%ymm4,%ymm15
1770 vpaddq %ymm15,%ymm0,%ymm0
1771 vpmuludq %ymm7,%ymm2,%ymm15
1772 vpaddq %ymm15,%ymm0,%ymm0
1773 vpmuludq 2496(%rsp),%ymm1,%ymm15
1774 vpaddq %ymm15,%ymm0,%ymm0
1775
1776 vpmuludq 2528(%rsp),%ymm1,%ymm1
1777 vpmuludq %ymm3,%ymm10,%ymm15
1778 vpaddq %ymm15,%ymm1,%ymm1
1779 vpmuludq 2400(%rsp),%ymm8,%ymm15
1780 vpaddq %ymm15,%ymm1,%ymm1
1781 vpmuludq %ymm13,%ymm6,%ymm15
1782 vpaddq %ymm15,%ymm1,%ymm1
1783 vpmuludq 2464(%rsp),%ymm4,%ymm15
1784 vpaddq %ymm15,%ymm1,%ymm1
1785
1786 vpmuludq 2528(%rsp),%ymm2,%ymm2
1787 vpmuludq 2400(%rsp),%ymm10,%ymm15
1788 vpaddq %ymm15,%ymm2,%ymm2
1789 vpmuludq %ymm3,%ymm11,%ymm15
1790 vpaddq %ymm15,%ymm2,%ymm2
1791 vpmuludq %ymm13,%ymm8,%ymm15
1792 vpaddq %ymm15,%ymm2,%ymm2
1793 vpmuludq %ymm7,%ymm6,%ymm15
1794 vpaddq %ymm15,%ymm2,%ymm2
1795 vpmuludq %ymm9,%ymm4,%ymm15
1796 vpaddq %ymm15,%ymm2,%ymm2
1797
1798 vpmuludq 2432(%rsp),%ymm10,%ymm3
1799 vpmuludq 2400(%rsp),%ymm11,%ymm15
1800 vpaddq %ymm15,%ymm3,%ymm3
1801 vpmuludq 2464(%rsp),%ymm8,%ymm15
1802 vpaddq %ymm15,%ymm3,%ymm3
1803 vpmuludq %ymm9,%ymm6,%ymm15
1804 vpaddq %ymm15,%ymm3,%ymm3
1805 vpmuludq 2528(%rsp),%ymm4,%ymm15
1806 vpaddq %ymm15,%ymm3,%ymm3
1807
1808 vpmuludq 2560(%rsp),%ymm4,%ymm4
1809 vpmuludq 2464(%rsp),%ymm10,%ymm15
1810 vpaddq %ymm15,%ymm4,%ymm4
1811 vpmuludq %ymm11,%ymm13,%ymm15
1812 vpaddq %ymm15,%ymm4,%ymm4
1813 vmovdqa 2400(%rsp),%ymm15
1814 vpmuludq %ymm15,%ymm15,%ymm15
1815 vpaddq %ymm15,%ymm4,%ymm4
1816 vpmuludq %ymm9,%ymm8,%ymm15
1817 vpaddq %ymm15,%ymm4,%ymm4
1818 vpmuludq %ymm5,%ymm6,%ymm15
1819 vpaddq %ymm15,%ymm4,%ymm4
1820
1821 vpmuludq 2496(%rsp),%ymm10,%ymm5
1822 vpmuludq 2464(%rsp),%ymm11,%ymm15
1823 vpaddq %ymm15,%ymm5,%ymm5
1824 vpmuludq 2432(%rsp),%ymm12,%ymm15
1825 vpaddq %ymm15,%ymm5,%ymm5
1826 vpmuludq 2528(%rsp),%ymm8,%ymm15
1827 vpaddq %ymm15,%ymm5,%ymm5
1828 vpmuludq %ymm6,%ymm14,%ymm15
1829 vpaddq %ymm15,%ymm5,%ymm5
1830
1831 vpmuludq 2592(%rsp),%ymm6,%ymm6
1832 vpmuludq 2528(%rsp),%ymm10,%ymm15
1833 vpaddq %ymm15,%ymm6,%ymm6
1834 vpmuludq %ymm11,%ymm9,%ymm15
1835 vpaddq %ymm15,%ymm6,%ymm6
1836 vpmuludq 2464(%rsp),%ymm12,%ymm15
1837 vpaddq %ymm15,%ymm6,%ymm6
1838 vpmuludq 2432(%rsp),%ymm13,%ymm15
1839 vpaddq %ymm15,%ymm6,%ymm6
1840 vpmuludq %ymm14,%ymm8,%ymm15
1841 vpaddq %ymm15,%ymm6,%ymm6
1842
1843 vpmuludq 2560(%rsp),%ymm10,%ymm7
1844 vpmuludq 2528(%rsp),%ymm11,%ymm15
1845 vpaddq %ymm15,%ymm7,%ymm7
1846 vpmuludq 2496(%rsp),%ymm12,%ymm15
1847 vpaddq %ymm15,%ymm7,%ymm7
1848 vpmuludq 2464(%rsp),%ymm13,%ymm15
1849 vpaddq %ymm15,%ymm7,%ymm7
1850 vpmuludq 2592(%rsp),%ymm8,%ymm15
1851 vpaddq %ymm15,%ymm7,%ymm7
1852
1853 vpmuludq 2624(%rsp),%ymm8,%ymm8
1854 vpmuludq 2592(%rsp),%ymm10,%ymm15
1855 vpaddq %ymm15,%ymm8,%ymm8
1856 vpmuludq %ymm11,%ymm14,%ymm15
1857 vpaddq %ymm15,%ymm8,%ymm8
1858 vpmuludq 2528(%rsp),%ymm12,%ymm15
1859 vpaddq %ymm15,%ymm8,%ymm8
1860 vpmuludq %ymm13,%ymm9,%ymm15
1861 vpaddq %ymm15,%ymm8,%ymm8
1862 vmovdqa 2464(%rsp),%ymm15
1863 vpmuludq %ymm15,%ymm15,%ymm15
1864 vpaddq %ymm15,%ymm8,%ymm8
1865
1866 vpmuludq 2464(%rsp),%ymm9,%ymm9
1867 vpmuludq 2624(%rsp),%ymm10,%ymm15
1868 vpaddq %ymm15,%ymm9,%ymm9
1869 vpmuludq 2592(%rsp),%ymm11,%ymm15
1870 vpaddq %ymm15,%ymm9,%ymm9
1871 vpmuludq 2560(%rsp),%ymm12,%ymm15
1872 vpaddq %ymm15,%ymm9,%ymm9
1873 vpmuludq 2528(%rsp),%ymm13,%ymm15
1874 vpaddq %ymm15,%ymm9,%ymm9
1875
1876 vpsrlq $25,%ymm5,%ymm10
1877 vpaddq %ymm10,%ymm6,%ymm6
1878 vpand vecmask25(%rip),%ymm5,%ymm5
1879
1880 vpsrlq $26,%ymm0,%ymm10
1881 vpaddq %ymm10,%ymm1,%ymm1
1882 vpand vecmask26(%rip),%ymm0,%ymm0
1883
1884 vpsrlq $26,%ymm6,%ymm10
1885 vpaddq %ymm10,%ymm7,%ymm7
1886 vpand vecmask26(%rip),%ymm6,%ymm6
1887
1888 vpsrlq $25,%ymm1,%ymm10
1889 vpaddq %ymm10,%ymm2,%ymm2
1890 vpand vecmask25(%rip),%ymm1,%ymm1
1891
1892 vpsrlq $25,%ymm7,%ymm10
1893 vpaddq %ymm10,%ymm8,%ymm8
1894 vpand vecmask25(%rip),%ymm7,%ymm7
1895
1896 vpsrlq $26,%ymm2,%ymm10
1897 vpaddq %ymm10,%ymm3,%ymm3
1898 vpand vecmask26(%rip),%ymm2,%ymm2
1899
1900 vpsrlq $26,%ymm8,%ymm10
1901 vpaddq %ymm10,%ymm9,%ymm9
1902 vpand vecmask26(%rip),%ymm8,%ymm8
1903
1904 vpsrlq $25,%ymm3,%ymm10
1905 vpaddq %ymm10,%ymm4,%ymm4
1906 vpand vecmask25(%rip),%ymm3,%ymm3
1907
1908 vpsrlq $25,%ymm9,%ymm10
1909 vpaddq %ymm10,%ymm0,%ymm0
1910 vpsllq $1,%ymm10,%ymm10
1911 vpaddq %ymm10,%ymm0,%ymm0
1912 vpsllq $3,%ymm10,%ymm10
1913 vpaddq %ymm10,%ymm0,%ymm0
1914 vpand vecmask25(%rip),%ymm9,%ymm9
1915
1916 vpsrlq $26,%ymm4,%ymm10
1917 vpaddq %ymm10,%ymm5,%ymm5
1918 vpand vecmask26(%rip),%ymm4,%ymm4
1919
1920 vpsrlq $26,%ymm0,%ymm10
1921 vpaddq %ymm10,%ymm1,%ymm1
1922 vpand vecmask26(%rip),%ymm0,%ymm0
1923
1924 vpsrlq $25,%ymm5,%ymm10
1925 vpaddq %ymm10,%ymm6,%ymm6
1926 vpand vecmask25(%rip),%ymm5,%ymm5
1927
1928 vmovdqa %ymm0,1056(%rsp)
1929 vmovdqa %ymm1,1088(%rsp)
1930 vmovdqa %ymm2,1120(%rsp)
1931 vmovdqa %ymm3,1152(%rsp)
1932 vmovdqa %ymm4,1184(%rsp)
1933 vmovdqa %ymm5,1216(%rsp)
1934 vmovdqa %ymm6,1248(%rsp)
1935 vmovdqa %ymm7,1280(%rsp)
1936 vmovdqa %ymm8,1312(%rsp)
1937 vmovdqa %ymm9,1344(%rsp)
1938
1939 // T3 ← T1 - T2
1940 vmovdqa 1696(%rsp),%ymm0
1941 vmovdqa 1728(%rsp),%ymm1
1942 vmovdqa 1760(%rsp),%ymm2
1943 vmovdqa 1792(%rsp),%ymm3
1944 vmovdqa 1824(%rsp),%ymm4
1945 vmovdqa 1856(%rsp),%ymm5
1946 vmovdqa 1888(%rsp),%ymm6
1947 vmovdqa 1920(%rsp),%ymm7
1948 vmovdqa 1952(%rsp),%ymm8
1949 vmovdqa 1984(%rsp),%ymm9
1950
1951 vpaddq vec2p0(%rip),%ymm0,%ymm0
1952 vpaddq vec2p13579(%rip),%ymm1,%ymm1
1953 vpaddq vec2p2468(%rip),%ymm2,%ymm2
1954 vpaddq vec2p13579(%rip),%ymm3,%ymm3
1955 vpaddq vec2p2468(%rip),%ymm4,%ymm4
1956 vpaddq vec2p13579(%rip),%ymm5,%ymm5
1957 vpaddq vec2p2468(%rip),%ymm6,%ymm6
1958 vpaddq vec2p13579(%rip),%ymm7,%ymm7
1959 vpaddq vec2p2468(%rip),%ymm8,%ymm8
1960 vpaddq vec2p13579(%rip),%ymm9,%ymm9
1961
1962 vpsubq 2016(%rsp),%ymm0,%ymm0
1963 vpsubq 2048(%rsp),%ymm1,%ymm1
1964 vpsubq 2080(%rsp),%ymm2,%ymm2
1965 vpsubq 2112(%rsp),%ymm3,%ymm3
1966 vpsubq 2144(%rsp),%ymm4,%ymm4
1967 vpsubq 2176(%rsp),%ymm5,%ymm5
1968 vpsubq 2208(%rsp),%ymm6,%ymm6
1969 vpsubq 2240(%rsp),%ymm7,%ymm7
1970 vpsubq 2272(%rsp),%ymm8,%ymm8
1971 vpsubq 2304(%rsp),%ymm9,%ymm9
1972
1973 vmovdqa %ymm0,2336(%rsp)
1974 vmovdqa %ymm1,2368(%rsp)
1975 vmovdqa %ymm2,2400(%rsp)
1976 vmovdqa %ymm3,2432(%rsp)
1977 vmovdqa %ymm4,2464(%rsp)
1978 vmovdqa %ymm5,2496(%rsp)
1979 vmovdqa %ymm6,2528(%rsp)
1980 vmovdqa %ymm7,2560(%rsp)
1981 vmovdqa %ymm8,2592(%rsp)
1982 vmovdqa %ymm9,2624(%rsp)
1983
1984 // T4 ← ((A2)/4) · T3
1985 vpmuludq veca24(%rip),%ymm0,%ymm0
1986 vpmuludq veca24(%rip),%ymm1,%ymm1
1987 vpmuludq veca24(%rip),%ymm2,%ymm2
1988 vpmuludq veca24(%rip),%ymm3,%ymm3
1989 vpmuludq veca24(%rip),%ymm4,%ymm4
1990 vpmuludq veca24(%rip),%ymm5,%ymm5
1991 vpmuludq veca24(%rip),%ymm6,%ymm6
1992 vpmuludq veca24(%rip),%ymm7,%ymm7
1993 vpmuludq veca24(%rip),%ymm8,%ymm8
1994 vpmuludq veca24(%rip),%ymm9,%ymm9
1995
1996 // T4 ← T4 + T2
1997 vpaddq 2016(%rsp),%ymm0,%ymm0
1998 vpaddq 2048(%rsp),%ymm1,%ymm1
1999 vpaddq 2080(%rsp),%ymm2,%ymm2
2000 vpaddq 2112(%rsp),%ymm3,%ymm3
2001 vpaddq 2144(%rsp),%ymm4,%ymm4
2002 vpaddq 2176(%rsp),%ymm5,%ymm5
2003 vpaddq 2208(%rsp),%ymm6,%ymm6
2004 vpaddq 2240(%rsp),%ymm7,%ymm7
2005 vpaddq 2272(%rsp),%ymm8,%ymm8
2006 vpaddq 2304(%rsp),%ymm9,%ymm9
2007
2008 vpsrlq $25,%ymm5,%ymm10
2009 vpaddq %ymm10,%ymm6,%ymm6
2010 vpand vecmask25(%rip),%ymm5,%ymm5
2011
2012 vpsrlq $26,%ymm0,%ymm10
2013 vpaddq %ymm10,%ymm1,%ymm1
2014 vpand vecmask26(%rip),%ymm0,%ymm0
2015
2016 vpsrlq $26,%ymm6,%ymm10
2017 vpaddq %ymm10,%ymm7,%ymm7
2018 vpand vecmask26(%rip),%ymm6,%ymm6
2019
2020 vpsrlq $25,%ymm1,%ymm10
2021 vpaddq %ymm10,%ymm2,%ymm2
2022 vpand vecmask25(%rip),%ymm1,%ymm1
2023
2024 vpsrlq $25,%ymm7,%ymm10
2025 vpaddq %ymm10,%ymm8,%ymm8
2026 vpand vecmask25(%rip),%ymm7,%ymm7
2027
2028 vpsrlq $26,%ymm2,%ymm10
2029 vpaddq %ymm10,%ymm3,%ymm3
2030 vpand vecmask26(%rip),%ymm2,%ymm2
2031
2032 vpsrlq $26,%ymm8,%ymm10
2033 vpaddq %ymm10,%ymm9,%ymm9
2034 vpand vecmask26(%rip),%ymm8,%ymm8
2035
2036 vpsrlq $25,%ymm3,%ymm10
2037 vpaddq %ymm10,%ymm4,%ymm4
2038 vpand vecmask25(%rip),%ymm3,%ymm3
2039
2040 vpsrlq $25,%ymm9,%ymm10
2041 vpaddq %ymm10,%ymm0,%ymm0
2042 vpsllq $1,%ymm10,%ymm10
2043 vpaddq %ymm10,%ymm0,%ymm0
2044 vpsllq $3,%ymm10,%ymm10
2045 vpaddq %ymm10,%ymm0,%ymm0
2046 vpand vecmask25(%rip),%ymm9,%ymm9
2047
2048 vpsrlq $26,%ymm4,%ymm10
2049 vpaddq %ymm10,%ymm5,%ymm5
2050 vpand vecmask26(%rip),%ymm4,%ymm4
2051
2052 vpsrlq $26,%ymm0,%ymm10
2053 vpaddq %ymm10,%ymm1,%ymm1
2054 vpand vecmask26(%rip),%ymm0,%ymm0
2055
2056 vpsrlq $25,%ymm5,%ymm10
2057 vpaddq %ymm10,%ymm6,%ymm6
2058 vpand vecmask25(%rip),%ymm5,%ymm5
2059
2060 vmovdqa %ymm0,2656(%rsp)
2061 vmovdqa %ymm1,2688(%rsp)
2062 vmovdqa %ymm2,2720(%rsp)
2063 vmovdqa %ymm3,2752(%rsp)
2064 vmovdqa %ymm4,2784(%rsp)
2065 vmovdqa %ymm5,2816(%rsp)
2066 vmovdqa %ymm6,2848(%rsp)
2067 vmovdqa %ymm7,2880(%rsp)
2068 vmovdqa %ymm8,2912(%rsp)
2069 vmovdqa %ymm9,2944(%rsp)
2070
2071 // Z2 ← T3 · T4
2072 vmovdqa 2368(%rsp),%ymm11
2073 vmovdqa 2432(%rsp),%ymm12
2074 vmovdqa 2496(%rsp),%ymm13
2075 vmovdqa 2560(%rsp),%ymm14
2076 vmovdqa 2624(%rsp),%ymm15
2077
2078 vpaddq %ymm11,%ymm11,%ymm11
2079 vpaddq %ymm12,%ymm12,%ymm12
2080 vpaddq %ymm13,%ymm13,%ymm13
2081 vpaddq %ymm14,%ymm14,%ymm14
2082 vpaddq %ymm15,%ymm15,%ymm15
2083
2084 vpmuludq vec19(%rip),%ymm1,%ymm1
2085 vpmuludq vec19(%rip),%ymm2,%ymm2
2086 vpmuludq vec19(%rip),%ymm3,%ymm3
2087 vpmuludq vec19(%rip),%ymm4,%ymm4
2088 vpmuludq vec19(%rip),%ymm5,%ymm5
2089 vpmuludq vec19(%rip),%ymm6,%ymm6
2090 vpmuludq vec19(%rip),%ymm7,%ymm7
2091 vpmuludq vec19(%rip),%ymm8,%ymm8
2092 vpmuludq vec19(%rip),%ymm9,%ymm9
2093
2094 vpmuludq %ymm15,%ymm1,%ymm0
2095 vpmuludq %ymm14,%ymm3,%ymm10
2096 vpaddq %ymm10,%ymm0,%ymm0
2097 vpmuludq %ymm13,%ymm5,%ymm10
2098 vpaddq %ymm10,%ymm0,%ymm0
2099 vpmuludq %ymm12,%ymm7,%ymm10
2100 vpaddq %ymm10,%ymm0,%ymm0
2101 vpmuludq %ymm11,%ymm9,%ymm10
2102 vpaddq %ymm10,%ymm0,%ymm0
2103 vpmuludq 2592(%rsp),%ymm2,%ymm10
2104 vpaddq %ymm10,%ymm0,%ymm0
2105 vpmuludq 2528(%rsp),%ymm4,%ymm10
2106 vpaddq %ymm10,%ymm0,%ymm0
2107 vpmuludq 2464(%rsp),%ymm6,%ymm10
2108 vpaddq %ymm10,%ymm0,%ymm0
2109 vpmuludq 2400(%rsp),%ymm8,%ymm10
2110 vpaddq %ymm10,%ymm0,%ymm0
2111
2112 vpmuludq 2624(%rsp),%ymm2,%ymm1
2113 vpmuludq 2592(%rsp),%ymm3,%ymm10
2114 vpaddq %ymm10,%ymm1,%ymm1
2115 vpmuludq 2560(%rsp),%ymm4,%ymm10
2116 vpaddq %ymm10,%ymm1,%ymm1
2117 vpmuludq 2528(%rsp),%ymm5,%ymm10
2118 vpaddq %ymm10,%ymm1,%ymm1
2119 vpmuludq 2496(%rsp),%ymm6,%ymm10
2120 vpaddq %ymm10,%ymm1,%ymm1
2121 vpmuludq 2464(%rsp),%ymm7,%ymm10
2122 vpaddq %ymm10,%ymm1,%ymm1
2123 vpmuludq 2432(%rsp),%ymm8,%ymm10
2124 vpaddq %ymm10,%ymm1,%ymm1
2125 vpmuludq 2400(%rsp),%ymm9,%ymm10
2126 vpaddq %ymm10,%ymm1,%ymm1
2127
2128 vpmuludq %ymm15,%ymm3,%ymm2
2129 vpmuludq %ymm14,%ymm5,%ymm10
2130 vpaddq %ymm10,%ymm2,%ymm2
2131 vpmuludq %ymm13,%ymm7,%ymm10
2132 vpaddq %ymm10,%ymm2,%ymm2
2133 vpmuludq %ymm12,%ymm9,%ymm10
2134 vpaddq %ymm10,%ymm2,%ymm2
2135 vpmuludq 2592(%rsp),%ymm4,%ymm10
2136 vpaddq %ymm10,%ymm2,%ymm2
2137 vpmuludq 2528(%rsp),%ymm6,%ymm10
2138 vpaddq %ymm10,%ymm2,%ymm2
2139 vpmuludq 2464(%rsp),%ymm8,%ymm10
2140 vpaddq %ymm10,%ymm2,%ymm2
2141 vpmuludq 2688(%rsp),%ymm11,%ymm10
2142 vpaddq %ymm10,%ymm2,%ymm2
2143
2144 vpmuludq 2624(%rsp),%ymm4,%ymm3
2145 vpmuludq 2592(%rsp),%ymm5,%ymm10
2146 vpaddq %ymm10,%ymm3,%ymm3
2147 vpmuludq 2560(%rsp),%ymm6,%ymm10
2148 vpaddq %ymm10,%ymm3,%ymm3
2149 vpmuludq 2528(%rsp),%ymm7,%ymm10
2150 vpaddq %ymm10,%ymm3,%ymm3
2151 vpmuludq 2496(%rsp),%ymm8,%ymm10
2152 vpaddq %ymm10,%ymm3,%ymm3
2153 vpmuludq 2464(%rsp),%ymm9,%ymm10
2154 vpaddq %ymm10,%ymm3,%ymm3
2155
2156 vpmuludq %ymm15,%ymm5,%ymm4
2157 vpmuludq %ymm14,%ymm7,%ymm10
2158 vpaddq %ymm10,%ymm4,%ymm4
2159 vpmuludq %ymm13,%ymm9,%ymm10
2160 vpaddq %ymm10,%ymm4,%ymm4
2161 vpmuludq 2592(%rsp),%ymm6,%ymm10
2162 vpaddq %ymm10,%ymm4,%ymm4
2163 vpmuludq 2528(%rsp),%ymm8,%ymm10
2164 vpaddq %ymm10,%ymm4,%ymm4
2165 vpmuludq 2688(%rsp),%ymm12,%ymm10
2166 vpaddq %ymm10,%ymm4,%ymm4
2167 vpmuludq 2752(%rsp),%ymm11,%ymm10
2168 vpaddq %ymm10,%ymm4,%ymm4
2169
2170 vpmuludq 2624(%rsp),%ymm6,%ymm5
2171 vpmuludq 2592(%rsp),%ymm7,%ymm10
2172 vpaddq %ymm10,%ymm5,%ymm5
2173 vpmuludq 2560(%rsp),%ymm8,%ymm10
2174 vpaddq %ymm10,%ymm5,%ymm5
2175 vpmuludq 2528(%rsp),%ymm9,%ymm10
2176 vpaddq %ymm10,%ymm5,%ymm5
2177
2178 vpmuludq %ymm15,%ymm7,%ymm6
2179 vpmuludq %ymm14,%ymm9,%ymm10
2180 vpaddq %ymm10,%ymm6,%ymm6
2181 vpmuludq 2592(%rsp),%ymm8,%ymm10
2182 vpaddq %ymm10,%ymm6,%ymm6
2183 vpmuludq 2688(%rsp),%ymm13,%ymm10
2184 vpaddq %ymm10,%ymm6,%ymm6
2185 vpmuludq 2752(%rsp),%ymm12,%ymm10
2186 vpaddq %ymm10,%ymm6,%ymm6
2187 vpmuludq 2816(%rsp),%ymm11,%ymm10
2188 vpaddq %ymm10,%ymm6,%ymm6
2189
2190 vpmuludq 2624(%rsp),%ymm8,%ymm7
2191 vpmuludq 2592(%rsp),%ymm9,%ymm10
2192 vpaddq %ymm10,%ymm7,%ymm7
2193
2194 vpmuludq %ymm15,%ymm9,%ymm8
2195 vpmuludq 2688(%rsp),%ymm14,%ymm10
2196 vpaddq %ymm10,%ymm8,%ymm8
2197 vpmuludq 2752(%rsp),%ymm13,%ymm10
2198 vpaddq %ymm10,%ymm8,%ymm8
2199 vpmuludq 2816(%rsp),%ymm12,%ymm10
2200 vpaddq %ymm10,%ymm8,%ymm8
2201 vpmuludq 2880(%rsp),%ymm11,%ymm10
2202 vpaddq %ymm10,%ymm8,%ymm8
2203
2204 vmovdqa 2336(%rsp),%ymm11
2205 vmovdqa 2368(%rsp),%ymm12
2206 vmovdqa 2400(%rsp),%ymm13
2207 vmovdqa 2432(%rsp),%ymm14
2208 vmovdqa 2464(%rsp),%ymm15
2209 vmovdqa 2496(%rsp),%ymm9
2210
2211 vpmuludq 2656(%rsp),%ymm11,%ymm10
2212 vpaddq %ymm10,%ymm0,%ymm0
2213
2214 vpmuludq 2720(%rsp),%ymm11,%ymm10
2215 vpaddq %ymm10,%ymm2,%ymm2
2216 vpmuludq 2656(%rsp),%ymm13,%ymm10
2217 vpaddq %ymm10,%ymm2,%ymm2
2218
2219 vpmuludq 2752(%rsp),%ymm11,%ymm10
2220 vpaddq %ymm10,%ymm3,%ymm3
2221 vpmuludq 2720(%rsp),%ymm12,%ymm10
2222 vpaddq %ymm10,%ymm3,%ymm3
2223 vpmuludq 2688(%rsp),%ymm13,%ymm10
2224 vpaddq %ymm10,%ymm3,%ymm3
2225 vpmuludq 2656(%rsp),%ymm14,%ymm10
2226 vpaddq %ymm10,%ymm3,%ymm3
2227
2228 vpmuludq 2688(%rsp),%ymm11,%ymm10
2229 vpaddq %ymm10,%ymm1,%ymm1
2230 vpmuludq 2656(%rsp),%ymm12,%ymm10
2231 vpaddq %ymm10,%ymm1,%ymm1
2232
2233 vpmuludq 2784(%rsp),%ymm11,%ymm10
2234 vpaddq %ymm10,%ymm4,%ymm4
2235 vpmuludq 2720(%rsp),%ymm13,%ymm10
2236 vpaddq %ymm10,%ymm4,%ymm4
2237 vpmuludq 2656(%rsp),%ymm15,%ymm10
2238 vpaddq %ymm10,%ymm4,%ymm4
2239
2240 vpmuludq 2816(%rsp),%ymm11,%ymm10
2241 vpaddq %ymm10,%ymm5,%ymm5
2242 vpmuludq 2784(%rsp),%ymm12,%ymm10
2243 vpaddq %ymm10,%ymm5,%ymm5
2244 vpmuludq 2752(%rsp),%ymm13,%ymm10
2245 vpaddq %ymm10,%ymm5,%ymm5
2246 vpmuludq 2720(%rsp),%ymm14,%ymm10
2247 vpaddq %ymm10,%ymm5,%ymm5
2248 vpmuludq 2688(%rsp),%ymm15,%ymm10
2249 vpaddq %ymm10,%ymm5,%ymm5
2250 vpmuludq 2656(%rsp),%ymm9,%ymm10
2251 vpaddq %ymm10,%ymm5,%ymm5
2252
2253 vpmuludq 2848(%rsp),%ymm11,%ymm10
2254 vpaddq %ymm10,%ymm6,%ymm6
2255 vpmuludq 2784(%rsp),%ymm13,%ymm10
2256 vpaddq %ymm10,%ymm6,%ymm6
2257 vpmuludq 2720(%rsp),%ymm15,%ymm10
2258 vpaddq %ymm10,%ymm6,%ymm6
2259
2260 vpmuludq 2880(%rsp),%ymm11,%ymm10
2261 vpaddq %ymm10,%ymm7,%ymm7
2262 vpmuludq 2848(%rsp),%ymm12,%ymm10
2263 vpaddq %ymm10,%ymm7,%ymm7
2264 vpmuludq 2816(%rsp),%ymm13,%ymm10
2265 vpaddq %ymm10,%ymm7,%ymm7
2266 vpmuludq 2784(%rsp),%ymm14,%ymm10
2267 vpaddq %ymm10,%ymm7,%ymm7
2268 vpmuludq 2752(%rsp),%ymm15,%ymm10
2269 vpaddq %ymm10,%ymm7,%ymm7
2270 vpmuludq 2720(%rsp),%ymm9,%ymm10
2271 vpaddq %ymm10,%ymm7,%ymm7
2272
2273 vpmuludq 2912(%rsp),%ymm11,%ymm10
2274 vpaddq %ymm10,%ymm8,%ymm8
2275 vpmuludq 2848(%rsp),%ymm13,%ymm10
2276 vpaddq %ymm10,%ymm8,%ymm8
2277 vpmuludq 2784(%rsp),%ymm15,%ymm10
2278 vpaddq %ymm10,%ymm8,%ymm8
2279
2280 vpmuludq 2784(%rsp),%ymm9,%ymm9
2281 vpmuludq 2944(%rsp),%ymm11,%ymm10
2282 vpaddq %ymm10,%ymm9,%ymm9
2283 vpmuludq 2912(%rsp),%ymm12,%ymm10
2284 vpaddq %ymm10,%ymm9,%ymm9
2285 vpmuludq 2880(%rsp),%ymm13,%ymm10
2286 vpaddq %ymm10,%ymm9,%ymm9
2287 vpmuludq 2848(%rsp),%ymm14,%ymm10
2288 vpaddq %ymm10,%ymm9,%ymm9
2289 vpmuludq 2816(%rsp),%ymm15,%ymm10
2290 vpaddq %ymm10,%ymm9,%ymm9
2291
2292 vmovdqa 2528(%rsp),%ymm11
2293 vmovdqa 2560(%rsp),%ymm12
2294 vmovdqa 2592(%rsp),%ymm13
2295 vmovdqa 2624(%rsp),%ymm14
2296
2297 vpmuludq 2656(%rsp),%ymm11,%ymm10
2298 vpaddq %ymm10,%ymm6,%ymm6
2299
2300 vpmuludq 2688(%rsp),%ymm11,%ymm10
2301 vpaddq %ymm10,%ymm7,%ymm7
2302 vpmuludq 2656(%rsp),%ymm12,%ymm10
2303 vpaddq %ymm10,%ymm7,%ymm7
2304
2305 vpmuludq 2720(%rsp),%ymm11,%ymm10
2306 vpaddq %ymm10,%ymm8,%ymm8
2307 vpmuludq 2656(%rsp),%ymm13,%ymm10
2308 vpaddq %ymm10,%ymm8,%ymm8
2309
2310 vpmuludq 2752(%rsp),%ymm11,%ymm10
2311 vpaddq %ymm10,%ymm9,%ymm9
2312 vpmuludq 2720(%rsp),%ymm12,%ymm10
2313 vpaddq %ymm10,%ymm9,%ymm9
2314 vpmuludq 2688(%rsp),%ymm13,%ymm10
2315 vpaddq %ymm10,%ymm9,%ymm9
2316 vpmuludq 2656(%rsp),%ymm14,%ymm10
2317 vpaddq %ymm10,%ymm9,%ymm9
2318
2319 vpsrlq $25,%ymm5,%ymm10
2320 vpaddq %ymm10,%ymm6,%ymm6
2321 vpand vecmask25(%rip),%ymm5,%ymm15
2322
2323 vpsrlq $26,%ymm0,%ymm10
2324 vpaddq %ymm10,%ymm1,%ymm1
2325 vpand vecmask26(%rip),%ymm0,%ymm0
2326
2327 vpsrlq $26,%ymm6,%ymm10
2328 vpaddq %ymm10,%ymm7,%ymm7
2329 vpand vecmask26(%rip),%ymm6,%ymm11
2330
2331 vpsrlq $25,%ymm1,%ymm10
2332 vpaddq %ymm10,%ymm2,%ymm2
2333 vpand vecmask25(%rip),%ymm1,%ymm1
2334
2335 vpsrlq $25,%ymm7,%ymm10
2336 vpaddq %ymm10,%ymm8,%ymm8
2337 vpand vecmask25(%rip),%ymm7,%ymm14
2338
2339 vpsrlq $26,%ymm2,%ymm10
2340 vpaddq %ymm10,%ymm3,%ymm3
2341 vpand vecmask26(%rip),%ymm2,%ymm12
2342
2343 vpsrlq $26,%ymm8,%ymm10
2344 vpaddq %ymm10,%ymm9,%ymm9
2345 vpand vecmask26(%rip),%ymm8,%ymm6
2346
2347 vpsrlq $25,%ymm3,%ymm10
2348 vpaddq %ymm10,%ymm4,%ymm4
2349 vpand vecmask25(%rip),%ymm3,%ymm13
2350
2351 vpsrlq $25,%ymm9,%ymm10
2352 vpaddq %ymm10,%ymm0,%ymm0
2353 vpsllq $1,%ymm10,%ymm10
2354 vpaddq %ymm10,%ymm0,%ymm0
2355 vpsllq $3,%ymm10,%ymm10
2356 vpaddq %ymm10,%ymm0,%ymm0
2357 vpand vecmask25(%rip),%ymm9,%ymm8
2358
2359 vpsrlq $26,%ymm4,%ymm10
2360 vpaddq %ymm10,%ymm15,%ymm15
2361 vpand vecmask26(%rip),%ymm4,%ymm7
2362
2363 vpsrlq $26,%ymm0,%ymm10
2364 vpaddq %ymm10,%ymm1,%ymm3
2365 vpand vecmask26(%rip),%ymm0,%ymm0
2366
2367 vpsrlq $25,%ymm15,%ymm10
2368 vpaddq %ymm10,%ymm11,%ymm5
2369 vpand vecmask25(%rip),%ymm15,%ymm9
2370
2371 vmovdqa %ymm0,736(%rsp)
2372 vmovdqa %ymm3,768(%rsp)
2373 vmovdqa %ymm12,800(%rsp)
2374 vmovdqa %ymm13,832(%rsp)
2375 vmovdqa %ymm7,864(%rsp)
2376 vmovdqa %ymm9,896(%rsp)
2377 vmovdqa %ymm5,928(%rsp)
2378 vmovdqa %ymm14,960(%rsp)
2379 vmovdqa %ymm6,992(%rsp)
2380 vmovdqa %ymm8,1024(%rsp)
2381
2382 // X2 ← T1 · T2
2383 vmovdqa 2016(%rsp),%ymm0
2384 vmovdqa 2048(%rsp),%ymm1
2385 vmovdqa 2080(%rsp),%ymm2
2386 vmovdqa 2112(%rsp),%ymm3
2387 vmovdqa 2144(%rsp),%ymm4
2388 vmovdqa 2176(%rsp),%ymm5
2389 vmovdqa 2208(%rsp),%ymm6
2390 vmovdqa 2240(%rsp),%ymm7
2391 vmovdqa 2272(%rsp),%ymm8
2392 vmovdqa 2304(%rsp),%ymm9
2393
2394 vmovdqa 1728(%rsp),%ymm11
2395 vmovdqa 1792(%rsp),%ymm12
2396 vmovdqa 1856(%rsp),%ymm13
2397 vmovdqa 1920(%rsp),%ymm14
2398 vmovdqa 1984(%rsp),%ymm15
2399
2400 vpaddq %ymm11,%ymm11,%ymm11
2401 vpaddq %ymm12,%ymm12,%ymm12
2402 vpaddq %ymm13,%ymm13,%ymm13
2403 vpaddq %ymm14,%ymm14,%ymm14
2404 vpaddq %ymm15,%ymm15,%ymm15
2405
2406 vpmuludq vec19(%rip),%ymm1,%ymm1
2407 vpmuludq vec19(%rip),%ymm2,%ymm2
2408 vpmuludq vec19(%rip),%ymm3,%ymm3
2409 vpmuludq vec19(%rip),%ymm4,%ymm4
2410 vpmuludq vec19(%rip),%ymm5,%ymm5
2411 vpmuludq vec19(%rip),%ymm6,%ymm6
2412 vpmuludq vec19(%rip),%ymm7,%ymm7
2413 vpmuludq vec19(%rip),%ymm8,%ymm8
2414 vpmuludq vec19(%rip),%ymm9,%ymm9
2415
2416 vpmuludq %ymm15,%ymm1,%ymm0
2417 vpmuludq %ymm14,%ymm3,%ymm10
2418 vpaddq %ymm10,%ymm0,%ymm0
2419 vpmuludq %ymm13,%ymm5,%ymm10
2420 vpaddq %ymm10,%ymm0,%ymm0
2421 vpmuludq %ymm12,%ymm7,%ymm10
2422 vpaddq %ymm10,%ymm0,%ymm0
2423 vpmuludq %ymm11,%ymm9,%ymm10
2424 vpaddq %ymm10,%ymm0,%ymm0
2425 vpmuludq 1952(%rsp),%ymm2,%ymm10
2426 vpaddq %ymm10,%ymm0,%ymm0
2427 vpmuludq 1888(%rsp),%ymm4,%ymm10
2428 vpaddq %ymm10,%ymm0,%ymm0
2429 vpmuludq 1824(%rsp),%ymm6,%ymm10
2430 vpaddq %ymm10,%ymm0,%ymm0
2431 vpmuludq 1760(%rsp),%ymm8,%ymm10
2432 vpaddq %ymm10,%ymm0,%ymm0
2433
2434 vpmuludq 1984(%rsp),%ymm2,%ymm1
2435 vpmuludq 1952(%rsp),%ymm3,%ymm10
2436 vpaddq %ymm10,%ymm1,%ymm1
2437 vpmuludq 1920(%rsp),%ymm4,%ymm10
2438 vpaddq %ymm10,%ymm1,%ymm1
2439 vpmuludq 1888(%rsp),%ymm5,%ymm10
2440 vpaddq %ymm10,%ymm1,%ymm1
2441 vpmuludq 1856(%rsp),%ymm6,%ymm10
2442 vpaddq %ymm10,%ymm1,%ymm1
2443 vpmuludq 1824(%rsp),%ymm7,%ymm10
2444 vpaddq %ymm10,%ymm1,%ymm1
2445 vpmuludq 1792(%rsp),%ymm8,%ymm10
2446 vpaddq %ymm10,%ymm1,%ymm1
2447 vpmuludq 1760(%rsp),%ymm9,%ymm10
2448 vpaddq %ymm10,%ymm1,%ymm1
2449
2450 vpmuludq %ymm15,%ymm3,%ymm2
2451 vpmuludq %ymm14,%ymm5,%ymm10
2452 vpaddq %ymm10,%ymm2,%ymm2
2453 vpmuludq %ymm13,%ymm7,%ymm10
2454 vpaddq %ymm10,%ymm2,%ymm2
2455 vpmuludq %ymm12,%ymm9,%ymm10
2456 vpaddq %ymm10,%ymm2,%ymm2
2457 vpmuludq 1952(%rsp),%ymm4,%ymm10
2458 vpaddq %ymm10,%ymm2,%ymm2
2459 vpmuludq 1888(%rsp),%ymm6,%ymm10
2460 vpaddq %ymm10,%ymm2,%ymm2
2461 vpmuludq 1824(%rsp),%ymm8,%ymm10
2462 vpaddq %ymm10,%ymm2,%ymm2
2463 vpmuludq 2048(%rsp),%ymm11,%ymm10
2464 vpaddq %ymm10,%ymm2,%ymm2
2465
2466 vpmuludq 1984(%rsp),%ymm4,%ymm3
2467 vpmuludq 1952(%rsp),%ymm5,%ymm10
2468 vpaddq %ymm10,%ymm3,%ymm3
2469 vpmuludq 1920(%rsp),%ymm6,%ymm10
2470 vpaddq %ymm10,%ymm3,%ymm3
2471 vpmuludq 1888(%rsp),%ymm7,%ymm10
2472 vpaddq %ymm10,%ymm3,%ymm3
2473 vpmuludq 1856(%rsp),%ymm8,%ymm10
2474 vpaddq %ymm10,%ymm3,%ymm3
2475 vpmuludq 1824(%rsp),%ymm9,%ymm10
2476 vpaddq %ymm10,%ymm3,%ymm3
2477
2478 vpmuludq %ymm15,%ymm5,%ymm4
2479 vpmuludq %ymm14,%ymm7,%ymm10
2480 vpaddq %ymm10,%ymm4,%ymm4
2481 vpmuludq %ymm13,%ymm9,%ymm10
2482 vpaddq %ymm10,%ymm4,%ymm4
2483 vpmuludq 1952(%rsp),%ymm6,%ymm10
2484 vpaddq %ymm10,%ymm4,%ymm4
2485 vpmuludq 1888(%rsp),%ymm8,%ymm10
2486 vpaddq %ymm10,%ymm4,%ymm4
2487 vpmuludq 2048(%rsp),%ymm12,%ymm10
2488 vpaddq %ymm10,%ymm4,%ymm4
2489 vpmuludq 2112(%rsp),%ymm11,%ymm10
2490 vpaddq %ymm10,%ymm4,%ymm4
2491
2492 vpmuludq 1984(%rsp),%ymm6,%ymm5
2493 vpmuludq 1952(%rsp),%ymm7,%ymm10
2494 vpaddq %ymm10,%ymm5,%ymm5
2495 vpmuludq 1920(%rsp),%ymm8,%ymm10
2496 vpaddq %ymm10,%ymm5,%ymm5
2497 vpmuludq 1888(%rsp),%ymm9,%ymm10
2498 vpaddq %ymm10,%ymm5,%ymm5
2499
2500 vpmuludq %ymm15,%ymm7,%ymm6
2501 vpmuludq %ymm14,%ymm9,%ymm10
2502 vpaddq %ymm10,%ymm6,%ymm6
2503 vpmuludq 1952(%rsp),%ymm8,%ymm10
2504 vpaddq %ymm10,%ymm6,%ymm6
2505 vpmuludq 2048(%rsp),%ymm13,%ymm10
2506 vpaddq %ymm10,%ymm6,%ymm6
2507 vpmuludq 2112(%rsp),%ymm12,%ymm10
2508 vpaddq %ymm10,%ymm6,%ymm6
2509 vpmuludq 2176(%rsp),%ymm11,%ymm10
2510 vpaddq %ymm10,%ymm6,%ymm6
2511
2512 vpmuludq 1984(%rsp),%ymm8,%ymm7
2513 vpmuludq 1952(%rsp),%ymm9,%ymm10
2514 vpaddq %ymm10,%ymm7,%ymm7
2515
2516 vpmuludq %ymm15,%ymm9,%ymm8
2517 vpmuludq 2048(%rsp),%ymm14,%ymm10
2518 vpaddq %ymm10,%ymm8,%ymm8
2519 vpmuludq 2112(%rsp),%ymm13,%ymm10
2520 vpaddq %ymm10,%ymm8,%ymm8
2521 vpmuludq 2176(%rsp),%ymm12,%ymm10
2522 vpaddq %ymm10,%ymm8,%ymm8
2523 vpmuludq 2240(%rsp),%ymm11,%ymm10
2524 vpaddq %ymm10,%ymm8,%ymm8
2525
2526 vmovdqa 1696(%rsp),%ymm11
2527 vmovdqa 1728(%rsp),%ymm12
2528 vmovdqa 1760(%rsp),%ymm13
2529 vmovdqa 1792(%rsp),%ymm14
2530 vmovdqa 1824(%rsp),%ymm15
2531 vmovdqa 1856(%rsp),%ymm9
2532
2533 vpmuludq 2016(%rsp),%ymm11,%ymm10
2534 vpaddq %ymm10,%ymm0,%ymm0
2535
2536 vpmuludq 2080(%rsp),%ymm11,%ymm10
2537 vpaddq %ymm10,%ymm2,%ymm2
2538 vpmuludq 2016(%rsp),%ymm13,%ymm10
2539 vpaddq %ymm10,%ymm2,%ymm2
2540
2541 vpmuludq 2112(%rsp),%ymm11,%ymm10
2542 vpaddq %ymm10,%ymm3,%ymm3
2543 vpmuludq 2080(%rsp),%ymm12,%ymm10
2544 vpaddq %ymm10,%ymm3,%ymm3
2545 vpmuludq 2048(%rsp),%ymm13,%ymm10
2546 vpaddq %ymm10,%ymm3,%ymm3
2547 vpmuludq 2016(%rsp),%ymm14,%ymm10
2548 vpaddq %ymm10,%ymm3,%ymm3
2549
2550 vpmuludq 2048(%rsp),%ymm11,%ymm10
2551 vpaddq %ymm10,%ymm1,%ymm1
2552 vpmuludq 2016(%rsp),%ymm12,%ymm10
2553 vpaddq %ymm10,%ymm1,%ymm1
2554
2555 vpmuludq 2144(%rsp),%ymm11,%ymm10
2556 vpaddq %ymm10,%ymm4,%ymm4
2557 vpmuludq 2080(%rsp),%ymm13,%ymm10
2558 vpaddq %ymm10,%ymm4,%ymm4
2559 vpmuludq 2016(%rsp),%ymm15,%ymm10
2560 vpaddq %ymm10,%ymm4,%ymm4
2561
2562 vpmuludq 2176(%rsp),%ymm11,%ymm10
2563 vpaddq %ymm10,%ymm5,%ymm5
2564 vpmuludq 2144(%rsp),%ymm12,%ymm10
2565 vpaddq %ymm10,%ymm5,%ymm5
2566 vpmuludq 2112(%rsp),%ymm13,%ymm10
2567 vpaddq %ymm10,%ymm5,%ymm5
2568 vpmuludq 2080(%rsp),%ymm14,%ymm10
2569 vpaddq %ymm10,%ymm5,%ymm5
2570 vpmuludq 2048(%rsp),%ymm15,%ymm10
2571 vpaddq %ymm10,%ymm5,%ymm5
2572 vpmuludq 2016(%rsp),%ymm9,%ymm10
2573 vpaddq %ymm10,%ymm5,%ymm5
2574
2575 vpmuludq 2208(%rsp),%ymm11,%ymm10
2576 vpaddq %ymm10,%ymm6,%ymm6
2577 vpmuludq 2144(%rsp),%ymm13,%ymm10
2578 vpaddq %ymm10,%ymm6,%ymm6
2579 vpmuludq 2080(%rsp),%ymm15,%ymm10
2580 vpaddq %ymm10,%ymm6,%ymm6
2581
2582 vpmuludq 2240(%rsp),%ymm11,%ymm10
2583 vpaddq %ymm10,%ymm7,%ymm7
2584 vpmuludq 2208(%rsp),%ymm12,%ymm10
2585 vpaddq %ymm10,%ymm7,%ymm7
2586 vpmuludq 2176(%rsp),%ymm13,%ymm10
2587 vpaddq %ymm10,%ymm7,%ymm7
2588 vpmuludq 2144(%rsp),%ymm14,%ymm10
2589 vpaddq %ymm10,%ymm7,%ymm7
2590 vpmuludq 2112(%rsp),%ymm15,%ymm10
2591 vpaddq %ymm10,%ymm7,%ymm7
2592 vpmuludq 2080(%rsp),%ymm9,%ymm10
2593 vpaddq %ymm10,%ymm7,%ymm7
2594
2595 vpmuludq 2272(%rsp),%ymm11,%ymm10
2596 vpaddq %ymm10,%ymm8,%ymm8
2597 vpmuludq 2208(%rsp),%ymm13,%ymm10
2598 vpaddq %ymm10,%ymm8,%ymm8
2599 vpmuludq 2144(%rsp),%ymm15,%ymm10
2600 vpaddq %ymm10,%ymm8,%ymm8
2601
2602 vpmuludq 2144(%rsp),%ymm9,%ymm9
2603 vpmuludq 2304(%rsp),%ymm11,%ymm10
2604 vpaddq %ymm10,%ymm9,%ymm9
2605 vpmuludq 2272(%rsp),%ymm12,%ymm10
2606 vpaddq %ymm10,%ymm9,%ymm9
2607 vpmuludq 2240(%rsp),%ymm13,%ymm10
2608 vpaddq %ymm10,%ymm9,%ymm9
2609 vpmuludq 2208(%rsp),%ymm14,%ymm10
2610 vpaddq %ymm10,%ymm9,%ymm9
2611 vpmuludq 2176(%rsp),%ymm15,%ymm10
2612 vpaddq %ymm10,%ymm9,%ymm9
2613
2614 vmovdqa 1888(%rsp),%ymm11
2615 vmovdqa 1920(%rsp),%ymm12
2616 vmovdqa 1952(%rsp),%ymm13
2617 vmovdqa 1984(%rsp),%ymm14
2618
2619 vpmuludq 2016(%rsp),%ymm11,%ymm10
2620 vpaddq %ymm10,%ymm6,%ymm6
2621
2622 vpmuludq 2048(%rsp),%ymm11,%ymm10
2623 vpaddq %ymm10,%ymm7,%ymm7
2624 vpmuludq 2016(%rsp),%ymm12,%ymm10
2625 vpaddq %ymm10,%ymm7,%ymm7
2626
2627 vpmuludq 2080(%rsp),%ymm11,%ymm10
2628 vpaddq %ymm10,%ymm8,%ymm8
2629 vpmuludq 2016(%rsp),%ymm13,%ymm10
2630 vpaddq %ymm10,%ymm8,%ymm8
2631
2632 vpmuludq 2112(%rsp),%ymm11,%ymm10
2633 vpaddq %ymm10,%ymm9,%ymm9
2634 vpmuludq 2080(%rsp),%ymm12,%ymm10
2635 vpaddq %ymm10,%ymm9,%ymm9
2636 vpmuludq 2048(%rsp),%ymm13,%ymm10
2637 vpaddq %ymm10,%ymm9,%ymm9
2638 vpmuludq 2016(%rsp),%ymm14,%ymm10
2639 vpaddq %ymm10,%ymm9,%ymm9
2640
2641 vpsrlq $25,%ymm5,%ymm10
2642 vpaddq %ymm10,%ymm6,%ymm6
2643 vpand vecmask25(%rip),%ymm5,%ymm15
2644
2645 vpsrlq $26,%ymm0,%ymm10
2646 vpaddq %ymm10,%ymm1,%ymm1
2647 vpand vecmask26(%rip),%ymm0,%ymm0
2648
2649 vpsrlq $26,%ymm6,%ymm10
2650 vpaddq %ymm10,%ymm7,%ymm7
2651 vpand vecmask26(%rip),%ymm6,%ymm11
2652
2653 vpsrlq $25,%ymm1,%ymm10
2654 vpaddq %ymm10,%ymm2,%ymm2
2655 vpand vecmask25(%rip),%ymm1,%ymm1
2656
2657 vpsrlq $25,%ymm7,%ymm10
2658 vpaddq %ymm10,%ymm8,%ymm8
2659 vpand vecmask25(%rip),%ymm7,%ymm14
2660
2661 vpsrlq $26,%ymm2,%ymm10
2662 vpaddq %ymm10,%ymm3,%ymm3
2663 vpand vecmask26(%rip),%ymm2,%ymm12
2664
2665 vpsrlq $26,%ymm8,%ymm10
2666 vpaddq %ymm10,%ymm9,%ymm9
2667 vpand vecmask26(%rip),%ymm8,%ymm6
2668
2669 vpsrlq $25,%ymm3,%ymm10
2670 vpaddq %ymm10,%ymm4,%ymm4
2671 vpand vecmask25(%rip),%ymm3,%ymm13
2672
2673 vpsrlq $25,%ymm9,%ymm10
2674 vpaddq %ymm10,%ymm0,%ymm0
2675 vpsllq $1,%ymm10,%ymm10
2676 vpaddq %ymm10,%ymm0,%ymm0
2677 vpsllq $3,%ymm10,%ymm10
2678 vpaddq %ymm10,%ymm0,%ymm0
2679 vpand vecmask25(%rip),%ymm9,%ymm8
2680
2681 vpsrlq $26,%ymm4,%ymm10
2682 vpaddq %ymm10,%ymm15,%ymm15
2683 vpand vecmask26(%rip),%ymm4,%ymm7
2684
2685 vpsrlq $26,%ymm0,%ymm10
2686 vpaddq %ymm10,%ymm1,%ymm3
2687 vpand vecmask26(%rip),%ymm0,%ymm0
2688
2689 vpsrlq $25,%ymm15,%ymm10
2690 vpaddq %ymm10,%ymm11,%ymm5
2691 vpand vecmask25(%rip),%ymm15,%ymm9
2692
2693 vmovdqa %ymm0,416(%rsp)
2694 vmovdqa %ymm3,448(%rsp)
2695 vmovdqa %ymm12,480(%rsp)
2696 vmovdqa %ymm13,512(%rsp)
2697 vmovdqa %ymm7,544(%rsp)
2698 vmovdqa %ymm9,576(%rsp)
2699 vmovdqa %ymm5,608(%rsp)
2700 vmovdqa %ymm14,640(%rsp)
2701 vmovdqa %ymm6,672(%rsp)
2702 vmovdqa %ymm8,704(%rsp)
2703
2704 // Z3 ← Z3 · X1
2705 vmovdqa 1376(%rsp),%ymm0
2706 vmovdqa 1408(%rsp),%ymm1
2707 vmovdqa 1440(%rsp),%ymm2
2708 vmovdqa 1472(%rsp),%ymm3
2709 vmovdqa 1504(%rsp),%ymm4
2710 vmovdqa 1536(%rsp),%ymm5
2711 vmovdqa 1568(%rsp),%ymm6
2712 vmovdqa 1600(%rsp),%ymm7
2713 vmovdqa 1632(%rsp),%ymm8
2714 vmovdqa 1664(%rsp),%ymm9
2715
2716 vmovdqa 128(%rsp),%ymm11
2717 vmovdqa 192(%rsp),%ymm12
2718 vmovdqa 256(%rsp),%ymm13
2719 vmovdqa 320(%rsp),%ymm14
2720 vmovdqa 384(%rsp),%ymm15
2721
2722 vpaddq %ymm11,%ymm11,%ymm11
2723 vpaddq %ymm12,%ymm12,%ymm12
2724 vpaddq %ymm13,%ymm13,%ymm13
2725 vpaddq %ymm14,%ymm14,%ymm14
2726 vpaddq %ymm15,%ymm15,%ymm15
2727
2728 vpmuludq vec19(%rip),%ymm1,%ymm1
2729 vpmuludq vec19(%rip),%ymm2,%ymm2
2730 vpmuludq vec19(%rip),%ymm3,%ymm3
2731 vpmuludq vec19(%rip),%ymm4,%ymm4
2732 vpmuludq vec19(%rip),%ymm5,%ymm5
2733 vpmuludq vec19(%rip),%ymm6,%ymm6
2734 vpmuludq vec19(%rip),%ymm7,%ymm7
2735 vpmuludq vec19(%rip),%ymm8,%ymm8
2736 vpmuludq vec19(%rip),%ymm9,%ymm9
2737
2738 vpmuludq %ymm15,%ymm1,%ymm0
2739 vpmuludq %ymm14,%ymm3,%ymm10
2740 vpaddq %ymm10,%ymm0,%ymm0
2741 vpmuludq %ymm13,%ymm5,%ymm10
2742 vpaddq %ymm10,%ymm0,%ymm0
2743 vpmuludq %ymm12,%ymm7,%ymm10
2744 vpaddq %ymm10,%ymm0,%ymm0
2745 vpmuludq %ymm11,%ymm9,%ymm10
2746 vpaddq %ymm10,%ymm0,%ymm0
2747 vpmuludq 352(%rsp),%ymm2,%ymm10
2748 vpaddq %ymm10,%ymm0,%ymm0
2749 vpmuludq 288(%rsp),%ymm4,%ymm10
2750 vpaddq %ymm10,%ymm0,%ymm0
2751 vpmuludq 224(%rsp),%ymm6,%ymm10
2752 vpaddq %ymm10,%ymm0,%ymm0
2753 vpmuludq 160(%rsp),%ymm8,%ymm10
2754 vpaddq %ymm10,%ymm0,%ymm0
2755
2756 vpmuludq 384(%rsp),%ymm2,%ymm1
2757 vpmuludq 352(%rsp),%ymm3,%ymm10
2758 vpaddq %ymm10,%ymm1,%ymm1
2759 vpmuludq 320(%rsp),%ymm4,%ymm10
2760 vpaddq %ymm10,%ymm1,%ymm1
2761 vpmuludq 288(%rsp),%ymm5,%ymm10
2762 vpaddq %ymm10,%ymm1,%ymm1
2763 vpmuludq 256(%rsp),%ymm6,%ymm10
2764 vpaddq %ymm10,%ymm1,%ymm1
2765 vpmuludq 224(%rsp),%ymm7,%ymm10
2766 vpaddq %ymm10,%ymm1,%ymm1
2767 vpmuludq 192(%rsp),%ymm8,%ymm10
2768 vpaddq %ymm10,%ymm1,%ymm1
2769 vpmuludq 160(%rsp),%ymm9,%ymm10
2770 vpaddq %ymm10,%ymm1,%ymm1
2771
2772 vpmuludq %ymm15,%ymm3,%ymm2
2773 vpmuludq %ymm14,%ymm5,%ymm10
2774 vpaddq %ymm10,%ymm2,%ymm2
2775 vpmuludq %ymm13,%ymm7,%ymm10
2776 vpaddq %ymm10,%ymm2,%ymm2
2777 vpmuludq %ymm12,%ymm9,%ymm10
2778 vpaddq %ymm10,%ymm2,%ymm2
2779 vpmuludq 352(%rsp),%ymm4,%ymm10
2780 vpaddq %ymm10,%ymm2,%ymm2
2781 vpmuludq 288(%rsp),%ymm6,%ymm10
2782 vpaddq %ymm10,%ymm2,%ymm2
2783 vpmuludq 224(%rsp),%ymm8,%ymm10
2784 vpaddq %ymm10,%ymm2,%ymm2
2785 vpmuludq 1408(%rsp),%ymm11,%ymm10
2786 vpaddq %ymm10,%ymm2,%ymm2
2787
2788 vpmuludq 384(%rsp),%ymm4,%ymm3
2789 vpmuludq 352(%rsp),%ymm5,%ymm10
2790 vpaddq %ymm10,%ymm3,%ymm3
2791 vpmuludq 320(%rsp),%ymm6,%ymm10
2792 vpaddq %ymm10,%ymm3,%ymm3
2793 vpmuludq 288(%rsp),%ymm7,%ymm10
2794 vpaddq %ymm10,%ymm3,%ymm3
2795 vpmuludq 256(%rsp),%ymm8,%ymm10
2796 vpaddq %ymm10,%ymm3,%ymm3
2797 vpmuludq 224(%rsp),%ymm9,%ymm10
2798 vpaddq %ymm10,%ymm3,%ymm3
2799
2800 vpmuludq %ymm15,%ymm5,%ymm4
2801 vpmuludq %ymm14,%ymm7,%ymm10
2802 vpaddq %ymm10,%ymm4,%ymm4
2803 vpmuludq %ymm13,%ymm9,%ymm10
2804 vpaddq %ymm10,%ymm4,%ymm4
2805 vpmuludq 352(%rsp),%ymm6,%ymm10
2806 vpaddq %ymm10,%ymm4,%ymm4
2807 vpmuludq 288(%rsp),%ymm8,%ymm10
2808 vpaddq %ymm10,%ymm4,%ymm4
2809 vpmuludq 1408(%rsp),%ymm12,%ymm10
2810 vpaddq %ymm10,%ymm4,%ymm4
2811 vpmuludq 1472(%rsp),%ymm11,%ymm10
2812 vpaddq %ymm10,%ymm4,%ymm4
2813
2814 vpmuludq 384(%rsp),%ymm6,%ymm5
2815 vpmuludq 352(%rsp),%ymm7,%ymm10
2816 vpaddq %ymm10,%ymm5,%ymm5
2817 vpmuludq 320(%rsp),%ymm8,%ymm10
2818 vpaddq %ymm10,%ymm5,%ymm5
2819 vpmuludq 288(%rsp),%ymm9,%ymm10
2820 vpaddq %ymm10,%ymm5,%ymm5
2821
2822 vpmuludq %ymm15,%ymm7,%ymm6
2823 vpmuludq %ymm14,%ymm9,%ymm10
2824 vpaddq %ymm10,%ymm6,%ymm6
2825 vpmuludq 352(%rsp),%ymm8,%ymm10
2826 vpaddq %ymm10,%ymm6,%ymm6
2827 vpmuludq 1408(%rsp),%ymm13,%ymm10
2828 vpaddq %ymm10,%ymm6,%ymm6
2829 vpmuludq 1472(%rsp),%ymm12,%ymm10
2830 vpaddq %ymm10,%ymm6,%ymm6
2831 vpmuludq 1536(%rsp),%ymm11,%ymm10
2832 vpaddq %ymm10,%ymm6,%ymm6
2833
2834 vpmuludq 384(%rsp),%ymm8,%ymm7
2835 vpmuludq 352(%rsp),%ymm9,%ymm10
2836 vpaddq %ymm10,%ymm7,%ymm7
2837
2838 vpmuludq %ymm15,%ymm9,%ymm8
2839 vpmuludq 1408(%rsp),%ymm14,%ymm10
2840 vpaddq %ymm10,%ymm8,%ymm8
2841 vpmuludq 1472(%rsp),%ymm13,%ymm10
2842 vpaddq %ymm10,%ymm8,%ymm8
2843 vpmuludq 1536(%rsp),%ymm12,%ymm10
2844 vpaddq %ymm10,%ymm8,%ymm8
2845 vpmuludq 1600(%rsp),%ymm11,%ymm10
2846 vpaddq %ymm10,%ymm8,%ymm8
2847
2848 vmovdqa 96(%rsp),%ymm11
2849 vmovdqa 128(%rsp),%ymm12
2850 vmovdqa 160(%rsp),%ymm13
2851 vmovdqa 192(%rsp),%ymm14
2852 vmovdqa 224(%rsp),%ymm15
2853 vmovdqa 256(%rsp),%ymm9
2854
2855 vpmuludq 1376(%rsp),%ymm11,%ymm10
2856 vpaddq %ymm10,%ymm0,%ymm0
2857
2858 vpmuludq 1440(%rsp),%ymm11,%ymm10
2859 vpaddq %ymm10,%ymm2,%ymm2
2860 vpmuludq 1376(%rsp),%ymm13,%ymm10
2861 vpaddq %ymm10,%ymm2,%ymm2
2862
2863 vpmuludq 1472(%rsp),%ymm11,%ymm10
2864 vpaddq %ymm10,%ymm3,%ymm3
2865 vpmuludq 1440(%rsp),%ymm12,%ymm10
2866 vpaddq %ymm10,%ymm3,%ymm3
2867 vpmuludq 1408(%rsp),%ymm13,%ymm10
2868 vpaddq %ymm10,%ymm3,%ymm3
2869 vpmuludq 1376(%rsp),%ymm14,%ymm10
2870 vpaddq %ymm10,%ymm3,%ymm3
2871
2872 vpmuludq 1408(%rsp),%ymm11,%ymm10
2873 vpaddq %ymm10,%ymm1,%ymm1
2874 vpmuludq 1376(%rsp),%ymm12,%ymm10
2875 vpaddq %ymm10,%ymm1,%ymm1
2876
2877 vpmuludq 1504(%rsp),%ymm11,%ymm10
2878 vpaddq %ymm10,%ymm4,%ymm4
2879 vpmuludq 1440(%rsp),%ymm13,%ymm10
2880 vpaddq %ymm10,%ymm4,%ymm4
2881 vpmuludq 1376(%rsp),%ymm15,%ymm10
2882 vpaddq %ymm10,%ymm4,%ymm4
2883
2884 vpmuludq 1536(%rsp),%ymm11,%ymm10
2885 vpaddq %ymm10,%ymm5,%ymm5
2886 vpmuludq 1504(%rsp),%ymm12,%ymm10
2887 vpaddq %ymm10,%ymm5,%ymm5
2888 vpmuludq 1472(%rsp),%ymm13,%ymm10
2889 vpaddq %ymm10,%ymm5,%ymm5
2890 vpmuludq 1440(%rsp),%ymm14,%ymm10
2891 vpaddq %ymm10,%ymm5,%ymm5
2892 vpmuludq 1408(%rsp),%ymm15,%ymm10
2893 vpaddq %ymm10,%ymm5,%ymm5
2894 vpmuludq 1376(%rsp),%ymm9,%ymm10
2895 vpaddq %ymm10,%ymm5,%ymm5
2896
2897 vpmuludq 1568(%rsp),%ymm11,%ymm10
2898 vpaddq %ymm10,%ymm6,%ymm6
2899 vpmuludq 1504(%rsp),%ymm13,%ymm10
2900 vpaddq %ymm10,%ymm6,%ymm6
2901 vpmuludq 1440(%rsp),%ymm15,%ymm10
2902 vpaddq %ymm10,%ymm6,%ymm6
2903
2904 vpmuludq 1600(%rsp),%ymm11,%ymm10
2905 vpaddq %ymm10,%ymm7,%ymm7
2906 vpmuludq 1568(%rsp),%ymm12,%ymm10
2907 vpaddq %ymm10,%ymm7,%ymm7
2908 vpmuludq 1536(%rsp),%ymm13,%ymm10
2909 vpaddq %ymm10,%ymm7,%ymm7
2910 vpmuludq 1504(%rsp),%ymm14,%ymm10
2911 vpaddq %ymm10,%ymm7,%ymm7
2912 vpmuludq 1472(%rsp),%ymm15,%ymm10
2913 vpaddq %ymm10,%ymm7,%ymm7
2914 vpmuludq 1440(%rsp),%ymm9,%ymm10
2915 vpaddq %ymm10,%ymm7,%ymm7
2916
2917 vpmuludq 1632(%rsp),%ymm11,%ymm10
2918 vpaddq %ymm10,%ymm8,%ymm8
2919 vpmuludq 1568(%rsp),%ymm13,%ymm10
2920 vpaddq %ymm10,%ymm8,%ymm8
2921 vpmuludq 1504(%rsp),%ymm15,%ymm10
2922 vpaddq %ymm10,%ymm8,%ymm8
2923
2924 vpmuludq 1504(%rsp),%ymm9,%ymm9
2925 vpmuludq 1664(%rsp),%ymm11,%ymm10
2926 vpaddq %ymm10,%ymm9,%ymm9
2927 vpmuludq 1632(%rsp),%ymm12,%ymm10
2928 vpaddq %ymm10,%ymm9,%ymm9
2929 vpmuludq 1600(%rsp),%ymm13,%ymm10
2930 vpaddq %ymm10,%ymm9,%ymm9
2931 vpmuludq 1568(%rsp),%ymm14,%ymm10
2932 vpaddq %ymm10,%ymm9,%ymm9
2933 vpmuludq 1536(%rsp),%ymm15,%ymm10
2934 vpaddq %ymm10,%ymm9,%ymm9
2935
2936 vmovdqa 288(%rsp),%ymm11
2937 vmovdqa 320(%rsp),%ymm12
2938 vmovdqa 352(%rsp),%ymm13
2939 vmovdqa 384(%rsp),%ymm14
2940
2941 vpmuludq 1376(%rsp),%ymm11,%ymm10
2942 vpaddq %ymm10,%ymm6,%ymm6
2943
2944 vpmuludq 1408(%rsp),%ymm11,%ymm10
2945 vpaddq %ymm10,%ymm7,%ymm7
2946 vpmuludq 1376(%rsp),%ymm12,%ymm10
2947 vpaddq %ymm10,%ymm7,%ymm7
2948
2949 vpmuludq 1440(%rsp),%ymm11,%ymm10
2950 vpaddq %ymm10,%ymm8,%ymm8
2951 vpmuludq 1376(%rsp),%ymm13,%ymm10
2952 vpaddq %ymm10,%ymm8,%ymm8
2953
2954 vpmuludq 1472(%rsp),%ymm11,%ymm10
2955 vpaddq %ymm10,%ymm9,%ymm9
2956 vpmuludq 1440(%rsp),%ymm12,%ymm10
2957 vpaddq %ymm10,%ymm9,%ymm9
2958 vpmuludq 1408(%rsp),%ymm13,%ymm10
2959 vpaddq %ymm10,%ymm9,%ymm9
2960 vpmuludq 1376(%rsp),%ymm14,%ymm10
2961 vpaddq %ymm10,%ymm9,%ymm9
2962
2963 vpsrlq $25,%ymm5,%ymm10
2964 vpaddq %ymm10,%ymm6,%ymm6
2965 vpand vecmask25(%rip),%ymm5,%ymm15
2966
2967 vpsrlq $26,%ymm0,%ymm10
2968 vpaddq %ymm10,%ymm1,%ymm1
2969 vpand vecmask26(%rip),%ymm0,%ymm0
2970
2971 vpsrlq $26,%ymm6,%ymm10
2972 vpaddq %ymm10,%ymm7,%ymm7
2973 vpand vecmask26(%rip),%ymm6,%ymm11
2974
2975 vpsrlq $25,%ymm1,%ymm10
2976 vpaddq %ymm10,%ymm2,%ymm2
2977 vpand vecmask25(%rip),%ymm1,%ymm1
2978
2979 vpsrlq $25,%ymm7,%ymm10
2980 vpaddq %ymm10,%ymm8,%ymm8
2981 vpand vecmask25(%rip),%ymm7,%ymm14
2982
2983 vpsrlq $26,%ymm2,%ymm10
2984 vpaddq %ymm10,%ymm3,%ymm3
2985 vpand vecmask26(%rip),%ymm2,%ymm12
2986
2987 vpsrlq $26,%ymm8,%ymm10
2988 vpaddq %ymm10,%ymm9,%ymm9
2989 vpand vecmask26(%rip),%ymm8,%ymm6
2990
2991 vpsrlq $25,%ymm3,%ymm10
2992 vpaddq %ymm10,%ymm4,%ymm4
2993 vpand vecmask25(%rip),%ymm3,%ymm13
2994
2995 vpsrlq $25,%ymm9,%ymm10
2996 vpaddq %ymm10,%ymm0,%ymm0
2997 vpsllq $1,%ymm10,%ymm10
2998 vpaddq %ymm10,%ymm0,%ymm0
2999 vpsllq $3,%ymm10,%ymm10
3000 vpaddq %ymm10,%ymm0,%ymm0
3001 vpand vecmask25(%rip),%ymm9,%ymm8
3002
3003 vpsrlq $26,%ymm4,%ymm10
3004 vpaddq %ymm10,%ymm15,%ymm15
3005 vpand vecmask26(%rip),%ymm4,%ymm7
3006
3007 vpsrlq $26,%ymm0,%ymm10
3008 vpaddq %ymm10,%ymm1,%ymm3
3009 vpand vecmask26(%rip),%ymm0,%ymm0
3010
3011 vpsrlq $25,%ymm15,%ymm10
3012 vpaddq %ymm10,%ymm11,%ymm5
3013 vpand vecmask25(%rip),%ymm15,%ymm9
3014
3015 vmovdqa %ymm0,1376(%rsp)
3016 vmovdqa %ymm3,1408(%rsp)
3017 vmovdqa %ymm12,1440(%rsp)
3018 vmovdqa %ymm13,1472(%rsp)
3019 vmovdqa %ymm7,1504(%rsp)
3020 vmovdqa %ymm9,1536(%rsp)
3021 vmovdqa %ymm5,1568(%rsp)
3022 vmovdqa %ymm14,1600(%rsp)
3023 vmovdqa %ymm6,1632(%rsp)
3024 vmovdqa %ymm8,1664(%rsp)
3025
3026 subb $1,%cl
3027 cmpb $0,%cl
3028 jge .L2
3029
3030 vmovdqa sixtythree(%rip),%ymm0
3031 vmovdqa %ymm0,0(%rsp)
3032 movb $63,%cl
3033 subq $32,%r9
3034 cmpq $0,%r9
3035 jge .L1
3036
3037 // reduce X2
3038 vmovdqa 416(%rsp),%ymm0
3039 vmovdqa 448(%rsp),%ymm1
3040 vmovdqa 480(%rsp),%ymm2
3041 vmovdqa 512(%rsp),%ymm3
3042 vmovdqa 544(%rsp),%ymm4
3043 vmovdqa 576(%rsp),%ymm5
3044 vmovdqa 608(%rsp),%ymm6
3045 vmovdqa 640(%rsp),%ymm7
3046 vmovdqa 672(%rsp),%ymm8
3047 vmovdqa 704(%rsp),%ymm9
3048
3049 vpsrlq $26,%ymm0,%ymm10
3050 vpaddq %ymm10,%ymm1,%ymm1
3051 vpand vecmask26(%rip),%ymm0,%ymm0
3052
3053 vpsrlq $25,%ymm1,%ymm10
3054 vpaddq %ymm10,%ymm2,%ymm2
3055 vpand vecmask25(%rip),%ymm1,%ymm1
3056
3057 vpsrlq $26,%ymm2,%ymm10
3058 vpaddq %ymm10,%ymm3,%ymm3
3059 vpand vecmask26(%rip),%ymm2,%ymm2
3060
3061 vpsrlq $25,%ymm3,%ymm10
3062 vpaddq %ymm10,%ymm4,%ymm4
3063 vpand vecmask25(%rip),%ymm3,%ymm3
3064
3065 vpsrlq $26,%ymm4,%ymm10
3066 vpaddq %ymm10,%ymm5,%ymm5
3067 vpand vecmask26(%rip),%ymm4,%ymm4
3068
3069 vpsrlq $25,%ymm5,%ymm10
3070 vpaddq %ymm10,%ymm6,%ymm6
3071 vpand vecmask25(%rip),%ymm5,%ymm5
3072
3073 vpsrlq $26,%ymm6,%ymm10
3074 vpaddq %ymm10,%ymm7,%ymm7
3075 vpand vecmask26(%rip),%ymm6,%ymm6
3076
3077 vpsrlq $25,%ymm7,%ymm10
3078 vpaddq %ymm10,%ymm8,%ymm8
3079 vpand vecmask25(%rip),%ymm7,%ymm7
3080
3081 vpsrlq $26,%ymm8,%ymm10
3082 vpaddq %ymm10,%ymm9,%ymm9
3083 vpand vecmask26(%rip),%ymm8,%ymm8
3084
3085 vpsrlq $25,%ymm9,%ymm10
3086 vpmuludq vec19(%rip),%ymm10,%ymm10
3087 vpaddq %ymm10,%ymm0,%ymm0
3088 vpand vecmask25(%rip),%ymm9,%ymm9
3089
3090 vpsrlq $26,%ymm0,%ymm10
3091 vpaddq %ymm10,%ymm1,%ymm1
3092 vpand vecmask26(%rip),%ymm0,%ymm0
3093
3094 // store X2
3095 vmovdqa %ymm0,0(%rdi)
3096 vmovdqa %ymm1,32(%rdi)
3097 vmovdqa %ymm2,64(%rdi)
3098 vmovdqa %ymm3,96(%rdi)
3099 vmovdqa %ymm4,128(%rdi)
3100 vmovdqa %ymm5,160(%rdi)
3101 vmovdqa %ymm6,192(%rdi)
3102 vmovdqa %ymm7,224(%rdi)
3103 vmovdqa %ymm8,256(%rdi)
3104 vmovdqa %ymm9,288(%rdi)
3105
3106 // reduce Z2
3107 vmovdqa 736(%rsp),%ymm0
3108 vmovdqa 768(%rsp),%ymm1
3109 vmovdqa 800(%rsp),%ymm2
3110 vmovdqa 832(%rsp),%ymm3
3111 vmovdqa 864(%rsp),%ymm4
3112 vmovdqa 896(%rsp),%ymm5
3113 vmovdqa 928(%rsp),%ymm6
3114 vmovdqa 960(%rsp),%ymm7
3115 vmovdqa 992(%rsp),%ymm8
3116 vmovdqa 1024(%rsp),%ymm9
3117
3118 vpsrlq $26,%ymm0,%ymm10
3119 vpaddq %ymm10,%ymm1,%ymm1
3120 vpand vecmask26(%rip),%ymm0,%ymm0
3121
3122 vpsrlq $25,%ymm1,%ymm10
3123 vpaddq %ymm10,%ymm2,%ymm2
3124 vpand vecmask25(%rip),%ymm1,%ymm1
3125
3126 vpsrlq $26,%ymm2,%ymm10
3127 vpaddq %ymm10,%ymm3,%ymm3
3128 vpand vecmask26(%rip),%ymm2,%ymm2
3129
3130 vpsrlq $25,%ymm3,%ymm10
3131 vpaddq %ymm10,%ymm4,%ymm4
3132 vpand vecmask25(%rip),%ymm3,%ymm3
3133
3134 vpsrlq $26,%ymm4,%ymm10
3135 vpaddq %ymm10,%ymm5,%ymm5
3136 vpand vecmask26(%rip),%ymm4,%ymm4
3137
3138 vpsrlq $25,%ymm5,%ymm10
3139 vpaddq %ymm10,%ymm6,%ymm6
3140 vpand vecmask25(%rip),%ymm5,%ymm5
3141
3142 vpsrlq $26,%ymm6,%ymm10
3143 vpaddq %ymm10,%ymm7,%ymm7
3144 vpand vecmask26(%rip),%ymm6,%ymm6
3145
3146 vpsrlq $25,%ymm7,%ymm10
3147 vpaddq %ymm10,%ymm8,%ymm8
3148 vpand vecmask25(%rip),%ymm7,%ymm7
3149
3150 vpsrlq $26,%ymm8,%ymm10
3151 vpaddq %ymm10,%ymm9,%ymm9
3152 vpand vecmask26(%rip),%ymm8,%ymm8
3153
3154 vpsrlq $25,%ymm9,%ymm10
3155 vpmuludq vec19(%rip),%ymm10,%ymm10
3156 vpaddq %ymm10,%ymm0,%ymm0
3157 vpand vecmask25(%rip),%ymm9,%ymm9
3158
3159 vpsrlq $26,%ymm0,%ymm10
3160 vpaddq %ymm10,%ymm1,%ymm1
3161 vpand vecmask26(%rip),%ymm0,%ymm0
3162
3163 // store Z2
3164 vmovdqa %ymm0,320(%rdi)
3165 vmovdqa %ymm1,352(%rdi)
3166 vmovdqa %ymm2,384(%rdi)
3167 vmovdqa %ymm3,416(%rdi)
3168 vmovdqa %ymm4,448(%rdi)
3169 vmovdqa %ymm5,480(%rdi)
3170 vmovdqa %ymm6,512(%rdi)
3171 vmovdqa %ymm7,544(%rdi)
3172 vmovdqa %ymm8,576(%rdi)
3173 vmovdqa %ymm9,608(%rdi)
3174
3175 movq %r8,%rsp
3176
3177 ret
3178 .section .note.GNU-stack,"",@progbits