crypto/external/bsd/openssl/lib/libcrypto/arch/x86_64/vpaes-x86_64.S

   1 #include <machine/asm.h>
   2 .text
   3
   4
   5
   6
   7
   8
   9
  10
  11
  12
  13
  14
  15
  16
  17
  18
  19 .type   _vpaes_encrypt_core,@function
  20 .align  16
  21 _vpaes_encrypt_core:
  22         movq    %rdx,%r9
  23         movq    $16,%r11
  24         movl    240(%rdx),%eax
  25         movdqa  %xmm9,%xmm1
  26         movdqa  .Lk_ipt(%rip),%xmm2
  27         pandn   %xmm0,%xmm1
  28         movdqu  (%r9),%xmm5
  29         psrld   $4,%xmm1
  30         pand    %xmm9,%xmm0
  31 .byte   102,15,56,0,208
  32         movdqa  .Lk_ipt+16(%rip),%xmm0
  33 .byte   102,15,56,0,193
  34         pxor    %xmm5,%xmm2
  35         pxor    %xmm2,%xmm0
  36         addq    $16,%r9
  37         leaq    .Lk_mc_backward(%rip),%r10
  38         jmp     .Lenc_entry
  39
  40 .align  16
  41 .Lenc_loop:
  42
  43         movdqa  %xmm13,%xmm4
  44 .byte   102,15,56,0,226
  45         pxor    %xmm5,%xmm4
  46         movdqa  %xmm12,%xmm0
  47 .byte   102,15,56,0,195
  48         pxor    %xmm4,%xmm0
  49         movdqa  %xmm15,%xmm5
  50 .byte   102,15,56,0,234
  51         movdqa  -64(%r11,%r10,1),%xmm1
  52         movdqa  %xmm14,%xmm2
  53 .byte   102,15,56,0,211
  54         pxor    %xmm5,%xmm2
  55         movdqa  (%r11,%r10,1),%xmm4
  56         movdqa  %xmm0,%xmm3
  57 .byte   102,15,56,0,193
  58         addq    $16,%r9
  59         pxor    %xmm2,%xmm0
  60 .byte   102,15,56,0,220
  61         addq    $16,%r11
  62         pxor    %xmm0,%xmm3
  63 .byte   102,15,56,0,193
  64         andq    $48,%r11
  65         pxor    %xmm3,%xmm0
  66         subq    $1,%rax
  67
  68 .Lenc_entry:
  69
  70         movdqa  %xmm9,%xmm1
  71         pandn   %xmm0,%xmm1
  72         psrld   $4,%xmm1
  73         pand    %xmm9,%xmm0
  74         movdqa  %xmm11,%xmm5
  75 .byte   102,15,56,0,232
  76         pxor    %xmm1,%xmm0
  77         movdqa  %xmm10,%xmm3
  78 .byte   102,15,56,0,217
  79         pxor    %xmm5,%xmm3
  80         movdqa  %xmm10,%xmm4
  81 .byte   102,15,56,0,224
  82         pxor    %xmm5,%xmm4
  83         movdqa  %xmm10,%xmm2
  84 .byte   102,15,56,0,211
  85         pxor    %xmm0,%xmm2
  86         movdqa  %xmm10,%xmm3
  87         movdqu  (%r9),%xmm5
  88 .byte   102,15,56,0,220
  89         pxor    %xmm1,%xmm3
  90         jnz     .Lenc_loop
  91
  92
  93         movdqa  -96(%r10),%xmm4
  94         movdqa  -80(%r10),%xmm0
  95 .byte   102,15,56,0,226
  96         pxor    %xmm5,%xmm4
  97 .byte   102,15,56,0,195
  98         movdqa  64(%r11,%r10,1),%xmm1
  99         pxor    %xmm4,%xmm0
 100 .byte   102,15,56,0,193
 101         .byte   0xf3,0xc3
 102 .size   _vpaes_encrypt_core,.-_vpaes_encrypt_core
 103
 104
 105
 106
 107
 108
 109 .type   _vpaes_decrypt_core,@function
 110 .align  16
 111 _vpaes_decrypt_core:
 112         movq    %rdx,%r9
 113         movl    240(%rdx),%eax
 114         movdqa  %xmm9,%xmm1
 115         movdqa  .Lk_dipt(%rip),%xmm2
 116         pandn   %xmm0,%xmm1
 117         movq    %rax,%r11
 118         psrld   $4,%xmm1
 119         movdqu  (%r9),%xmm5
 120         shlq    $4,%r11
 121         pand    %xmm9,%xmm0
 122 .byte   102,15,56,0,208
 123         movdqa  .Lk_dipt+16(%rip),%xmm0
 124         xorq    $48,%r11
 125         leaq    .Lk_dsbd(%rip),%r10
 126 .byte   102,15,56,0,193
 127         andq    $48,%r11
 128         pxor    %xmm5,%xmm2
 129         movdqa  .Lk_mc_forward+48(%rip),%xmm5
 130         pxor    %xmm2,%xmm0
 131         addq    $16,%r9
 132         addq    %r10,%r11
 133         jmp     .Ldec_entry
 134
 135 .align  16
 136 .Ldec_loop:
 137
 138
 139
 140         movdqa  -32(%r10),%xmm4
 141 .byte   102,15,56,0,226
 142         pxor    %xmm0,%xmm4
 143         movdqa  -16(%r10),%xmm0
 144 .byte   102,15,56,0,195
 145         pxor    %xmm4,%xmm0
 146         addq    $16,%r9
 147
 148 .byte   102,15,56,0,197
 149         movdqa  0(%r10),%xmm4
 150 .byte   102,15,56,0,226
 151         pxor    %xmm0,%xmm4
 152         movdqa  16(%r10),%xmm0
 153 .byte   102,15,56,0,195
 154         pxor    %xmm4,%xmm0
 155         subq    $1,%rax
 156
 157 .byte   102,15,56,0,197
 158         movdqa  32(%r10),%xmm4
 159 .byte   102,15,56,0,226
 160         pxor    %xmm0,%xmm4
 161         movdqa  48(%r10),%xmm0
 162 .byte   102,15,56,0,195
 163         pxor    %xmm4,%xmm0
 164
 165 .byte   102,15,56,0,197
 166         movdqa  64(%r10),%xmm4
 167 .byte   102,15,56,0,226
 168         pxor    %xmm0,%xmm4
 169         movdqa  80(%r10),%xmm0
 170 .byte   102,15,56,0,195
 171         pxor    %xmm4,%xmm0
 172
 173 .byte   102,15,58,15,237,12
 174
 175 .Ldec_entry:
 176
 177         movdqa  %xmm9,%xmm1
 178         pandn   %xmm0,%xmm1
 179         psrld   $4,%xmm1
 180         pand    %xmm9,%xmm0
 181         movdqa  %xmm11,%xmm2
 182 .byte   102,15,56,0,208
 183         pxor    %xmm1,%xmm0
 184         movdqa  %xmm10,%xmm3
 185 .byte   102,15,56,0,217
 186         pxor    %xmm2,%xmm3
 187         movdqa  %xmm10,%xmm4
 188 .byte   102,15,56,0,224
 189         pxor    %xmm2,%xmm4
 190         movdqa  %xmm10,%xmm2
 191 .byte   102,15,56,0,211
 192         pxor    %xmm0,%xmm2
 193         movdqa  %xmm10,%xmm3
 194 .byte   102,15,56,0,220
 195         pxor    %xmm1,%xmm3
 196         movdqu  (%r9),%xmm0
 197         jnz     .Ldec_loop
 198
 199
 200         movdqa  96(%r10),%xmm4
 201 .byte   102,15,56,0,226
 202         pxor    %xmm0,%xmm4
 203         movdqa  112(%r10),%xmm0
 204         movdqa  -352(%r11),%xmm2
 205 .byte   102,15,56,0,195
 206         pxor    %xmm4,%xmm0
 207 .byte   102,15,56,0,194
 208         .byte   0xf3,0xc3
 209 .size   _vpaes_decrypt_core,.-_vpaes_decrypt_core
 210
 211
 212
 213
 214
 215
 216 .type   _vpaes_schedule_core,@function
 217 .align  16
 218 _vpaes_schedule_core:
 219
 220
 221
 222
 223
 224         call    _vpaes_preheat
 225         movdqa  .Lk_rcon(%rip),%xmm8
 226         movdqu  (%rdi),%xmm0
 227
 228
 229         movdqa  %xmm0,%xmm3
 230         leaq    .Lk_ipt(%rip),%r11
 231         call    _vpaes_schedule_transform
 232         movdqa  %xmm0,%xmm7
 233
 234         leaq    .Lk_sr(%rip),%r10
 235         testq   %rcx,%rcx
 236         jnz     .Lschedule_am_decrypting
 237
 238
 239         movdqu  %xmm0,(%rdx)
 240         jmp     .Lschedule_go
 241
 242 .Lschedule_am_decrypting:
 243
 244         movdqa  (%r8,%r10,1),%xmm1
 245 .byte   102,15,56,0,217
 246         movdqu  %xmm3,(%rdx)
 247         xorq    $48,%r8
 248
 249 .Lschedule_go:
 250         cmpl    $192,%esi
 251         ja      .Lschedule_256
 252         je      .Lschedule_192
 253
 254
 255
 256
 257
 258
 259
 260
 261
 262
 263 .Lschedule_128:
 264         movl    $10,%esi
 265
 266 .Loop_schedule_128:
 267         call    _vpaes_schedule_round
 268         decq    %rsi
 269         jz      .Lschedule_mangle_last
 270         call    _vpaes_schedule_mangle
 271         jmp     .Loop_schedule_128
 272
 273
 274
 275
 276
 277
 278
 279
 280
 281
 282
 283
 284
 285
 286
 287
 288 .align  16
 289 .Lschedule_192:
 290         movdqu  8(%rdi),%xmm0
 291         call    _vpaes_schedule_transform
 292         movdqa  %xmm0,%xmm6
 293         pxor    %xmm4,%xmm4
 294         movhlps %xmm4,%xmm6
 295         movl    $4,%esi
 296
 297 .Loop_schedule_192:
 298         call    _vpaes_schedule_round
 299 .byte   102,15,58,15,198,8
 300         call    _vpaes_schedule_mangle
 301         call    _vpaes_schedule_192_smear
 302         call    _vpaes_schedule_mangle
 303         call    _vpaes_schedule_round
 304         decq    %rsi
 305         jz      .Lschedule_mangle_last
 306         call    _vpaes_schedule_mangle
 307         call    _vpaes_schedule_192_smear
 308         jmp     .Loop_schedule_192
 309
 310
 311
 312
 313
 314
 315
 316
 317
 318
 319
 320 .align  16
 321 .Lschedule_256:
 322         movdqu  16(%rdi),%xmm0
 323         call    _vpaes_schedule_transform
 324         movl    $7,%esi
 325
 326 .Loop_schedule_256:
 327         call    _vpaes_schedule_mangle
 328         movdqa  %xmm0,%xmm6
 329
 330
 331         call    _vpaes_schedule_round
 332         decq    %rsi
 333         jz      .Lschedule_mangle_last
 334         call    _vpaes_schedule_mangle
 335
 336
 337         pshufd  $255,%xmm0,%xmm0
 338         movdqa  %xmm7,%xmm5
 339         movdqa  %xmm6,%xmm7
 340         call    _vpaes_schedule_low_round
 341         movdqa  %xmm5,%xmm7
 342
 343         jmp     .Loop_schedule_256
 344
 345
 346
 347
 348
 349
 350
 351
 352
 353
 354
 355
 356 .align  16
 357 .Lschedule_mangle_last:
 358
 359         leaq    .Lk_deskew(%rip),%r11
 360         testq   %rcx,%rcx
 361         jnz     .Lschedule_mangle_last_dec
 362
 363
 364         movdqa  (%r8,%r10,1),%xmm1
 365 .byte   102,15,56,0,193
 366         leaq    .Lk_opt(%rip),%r11
 367         addq    $32,%rdx
 368
 369 .Lschedule_mangle_last_dec:
 370         addq    $-16,%rdx
 371         pxor    .Lk_s63(%rip),%xmm0
 372         call    _vpaes_schedule_transform
 373         movdqu  %xmm0,(%rdx)
 374
 375
 376         pxor    %xmm0,%xmm0
 377         pxor    %xmm1,%xmm1
 378         pxor    %xmm2,%xmm2
 379         pxor    %xmm3,%xmm3
 380         pxor    %xmm4,%xmm4
 381         pxor    %xmm5,%xmm5
 382         pxor    %xmm6,%xmm6
 383         pxor    %xmm7,%xmm7
 384         .byte   0xf3,0xc3
 385 .size   _vpaes_schedule_core,.-_vpaes_schedule_core
 386
 387
 388
 389
 390
 391
 392
 393
 394
 395
 396
 397
 398
 399
 400
 401 .type   _vpaes_schedule_192_smear,@function
 402 .align  16
 403 _vpaes_schedule_192_smear:
 404         pshufd  $128,%xmm6,%xmm0
 405         pxor    %xmm0,%xmm6
 406         pshufd  $254,%xmm7,%xmm0
 407         pxor    %xmm0,%xmm6
 408         movdqa  %xmm6,%xmm0
 409         pxor    %xmm1,%xmm1
 410         movhlps %xmm1,%xmm6
 411         .byte   0xf3,0xc3
 412 .size   _vpaes_schedule_192_smear,.-_vpaes_schedule_192_smear
 413
 414
 415
 416
 417
 418
 419
 420
 421
 422
 423
 424
 425
 426
 427
 428
 429
 430
 431
 432 .type   _vpaes_schedule_round,@function
 433 .align  16
 434 _vpaes_schedule_round:
 435
 436         pxor    %xmm1,%xmm1
 437 .byte   102,65,15,58,15,200,15
 438 .byte   102,69,15,58,15,192,15
 439         pxor    %xmm1,%xmm7
 440
 441
 442         pshufd  $255,%xmm0,%xmm0
 443 .byte   102,15,58,15,192,1
 444
 445
 446
 447
 448 _vpaes_schedule_low_round:
 449
 450         movdqa  %xmm7,%xmm1
 451         pslldq  $4,%xmm7
 452         pxor    %xmm1,%xmm7
 453         movdqa  %xmm7,%xmm1
 454         pslldq  $8,%xmm7
 455         pxor    %xmm1,%xmm7
 456         pxor    .Lk_s63(%rip),%xmm7
 457
 458
 459         movdqa  %xmm9,%xmm1
 460         pandn   %xmm0,%xmm1
 461         psrld   $4,%xmm1
 462         pand    %xmm9,%xmm0
 463         movdqa  %xmm11,%xmm2
 464 .byte   102,15,56,0,208
 465         pxor    %xmm1,%xmm0
 466         movdqa  %xmm10,%xmm3
 467 .byte   102,15,56,0,217
 468         pxor    %xmm2,%xmm3
 469         movdqa  %xmm10,%xmm4
 470 .byte   102,15,56,0,224
 471         pxor    %xmm2,%xmm4
 472         movdqa  %xmm10,%xmm2
 473 .byte   102,15,56,0,211
 474         pxor    %xmm0,%xmm2
 475         movdqa  %xmm10,%xmm3
 476 .byte   102,15,56,0,220
 477         pxor    %xmm1,%xmm3
 478         movdqa  %xmm13,%xmm4
 479 .byte   102,15,56,0,226
 480         movdqa  %xmm12,%xmm0
 481 .byte   102,15,56,0,195
 482         pxor    %xmm4,%xmm0
 483
 484
 485         pxor    %xmm7,%xmm0
 486         movdqa  %xmm0,%xmm7
 487         .byte   0xf3,0xc3
 488 .size   _vpaes_schedule_round,.-_vpaes_schedule_round
 489
 490
 491
 492
 493
 494
 495
 496
 497
 498
 499 .type   _vpaes_schedule_transform,@function
 500 .align  16
 501 _vpaes_schedule_transform:
 502         movdqa  %xmm9,%xmm1
 503         pandn   %xmm0,%xmm1
 504         psrld   $4,%xmm1
 505         pand    %xmm9,%xmm0
 506         movdqa  (%r11),%xmm2
 507 .byte   102,15,56,0,208
 508         movdqa  16(%r11),%xmm0
 509 .byte   102,15,56,0,193
 510         pxor    %xmm2,%xmm0
 511         .byte   0xf3,0xc3
 512 .size   _vpaes_schedule_transform,.-_vpaes_schedule_transform
 513
 514
 515
 516
 517
 518
 519
 520
 521
 522
 523
 524
 525
 526
 527
 528
 529
 530
 531
 532
 533
 534
 535
 536
 537 .type   _vpaes_schedule_mangle,@function
 538 .align  16
 539 _vpaes_schedule_mangle:
 540         movdqa  %xmm0,%xmm4
 541         movdqa  .Lk_mc_forward(%rip),%xmm5
 542         testq   %rcx,%rcx
 543         jnz     .Lschedule_mangle_dec
 544
 545
 546         addq    $16,%rdx
 547         pxor    .Lk_s63(%rip),%xmm4
 548 .byte   102,15,56,0,229
 549         movdqa  %xmm4,%xmm3
 550 .byte   102,15,56,0,229
 551         pxor    %xmm4,%xmm3
 552 .byte   102,15,56,0,229
 553         pxor    %xmm4,%xmm3
 554
 555         jmp     .Lschedule_mangle_both
 556 .align  16
 557 .Lschedule_mangle_dec:
 558
 559         leaq    .Lk_dksd(%rip),%r11
 560         movdqa  %xmm9,%xmm1
 561         pandn   %xmm4,%xmm1
 562         psrld   $4,%xmm1
 563         pand    %xmm9,%xmm4
 564
 565         movdqa  0(%r11),%xmm2
 566 .byte   102,15,56,0,212
 567         movdqa  16(%r11),%xmm3
 568 .byte   102,15,56,0,217
 569         pxor    %xmm2,%xmm3
 570 .byte   102,15,56,0,221
 571
 572         movdqa  32(%r11),%xmm2
 573 .byte   102,15,56,0,212
 574         pxor    %xmm3,%xmm2
 575         movdqa  48(%r11),%xmm3
 576 .byte   102,15,56,0,217
 577         pxor    %xmm2,%xmm3
 578 .byte   102,15,56,0,221
 579
 580         movdqa  64(%r11),%xmm2
 581 .byte   102,15,56,0,212
 582         pxor    %xmm3,%xmm2
 583         movdqa  80(%r11),%xmm3
 584 .byte   102,15,56,0,217
 585         pxor    %xmm2,%xmm3
 586 .byte   102,15,56,0,221
 587
 588         movdqa  96(%r11),%xmm2
 589 .byte   102,15,56,0,212
 590         pxor    %xmm3,%xmm2
 591         movdqa  112(%r11),%xmm3
 592 .byte   102,15,56,0,217
 593         pxor    %xmm2,%xmm3
 594
 595         addq    $-16,%rdx
 596
 597 .Lschedule_mangle_both:
 598         movdqa  (%r8,%r10,1),%xmm1
 599 .byte   102,15,56,0,217
 600         addq    $-16,%r8
 601         andq    $48,%r8
 602         movdqu  %xmm3,(%rdx)
 603         .byte   0xf3,0xc3
 604 .size   _vpaes_schedule_mangle,.-_vpaes_schedule_mangle
 605
 606
 607
 608
 609 .globl  vpaes_set_encrypt_key
 610 .type   vpaes_set_encrypt_key,@function
 611 .align  16
 612 vpaes_set_encrypt_key:
 613         movl    %esi,%eax
 614         shrl    $5,%eax
 615         addl    $5,%eax
 616         movl    %eax,240(%rdx)
 617
 618         movl    $0,%ecx
 619         movl    $48,%r8d
 620         call    _vpaes_schedule_core
 621         xorl    %eax,%eax
 622         .byte   0xf3,0xc3
 623 .size   vpaes_set_encrypt_key,.-vpaes_set_encrypt_key
 624
 625 .globl  vpaes_set_decrypt_key
 626 .type   vpaes_set_decrypt_key,@function
 627 .align  16
 628 vpaes_set_decrypt_key:
 629         movl    %esi,%eax
 630         shrl    $5,%eax
 631         addl    $5,%eax
 632         movl    %eax,240(%rdx)
 633         shll    $4,%eax
 634         leaq    16(%rdx,%rax,1),%rdx
 635
 636         movl    $1,%ecx
 637         movl    %esi,%r8d
 638         shrl    $1,%r8d
 639         andl    $32,%r8d
 640         xorl    $32,%r8d
 641         call    _vpaes_schedule_core
 642         xorl    %eax,%eax
 643         .byte   0xf3,0xc3
 644 .size   vpaes_set_decrypt_key,.-vpaes_set_decrypt_key
 645
 646 .globl  vpaes_encrypt
 647 .type   vpaes_encrypt,@function
 648 .align  16
 649 vpaes_encrypt:
 650         movdqu  (%rdi),%xmm0
 651         call    _vpaes_preheat
 652         call    _vpaes_encrypt_core
 653         movdqu  %xmm0,(%rsi)
 654         .byte   0xf3,0xc3
 655 .size   vpaes_encrypt,.-vpaes_encrypt
 656
 657 .globl  vpaes_decrypt
 658 .type   vpaes_decrypt,@function
 659 .align  16
 660 vpaes_decrypt:
 661         movdqu  (%rdi),%xmm0
 662         call    _vpaes_preheat
 663         call    _vpaes_decrypt_core
 664         movdqu  %xmm0,(%rsi)
 665         .byte   0xf3,0xc3
 666 .size   vpaes_decrypt,.-vpaes_decrypt
 667 .globl  vpaes_cbc_encrypt
 668 .type   vpaes_cbc_encrypt,@function
 669 .align  16
 670 vpaes_cbc_encrypt:
 671         xchgq   %rcx,%rdx
 672         subq    $16,%rcx
 673         jc      .Lcbc_abort
 674         movdqu  (%r8),%xmm6
 675         subq    %rdi,%rsi
 676         call    _vpaes_preheat
 677         cmpl    $0,%r9d
 678         je      .Lcbc_dec_loop
 679         jmp     .Lcbc_enc_loop
 680 .align  16
 681 .Lcbc_enc_loop:
 682         movdqu  (%rdi),%xmm0
 683         pxor    %xmm6,%xmm0
 684         call    _vpaes_encrypt_core
 685         movdqa  %xmm0,%xmm6
 686         movdqu  %xmm0,(%rsi,%rdi,1)
 687         leaq    16(%rdi),%rdi
 688         subq    $16,%rcx
 689         jnc     .Lcbc_enc_loop
 690         jmp     .Lcbc_done
 691 .align  16
 692 .Lcbc_dec_loop:
 693         movdqu  (%rdi),%xmm0
 694         movdqa  %xmm0,%xmm7
 695         call    _vpaes_decrypt_core
 696         pxor    %xmm6,%xmm0
 697         movdqa  %xmm7,%xmm6
 698         movdqu  %xmm0,(%rsi,%rdi,1)
 699         leaq    16(%rdi),%rdi
 700         subq    $16,%rcx
 701         jnc     .Lcbc_dec_loop
 702 .Lcbc_done:
 703         movdqu  %xmm6,(%r8)
 704 .Lcbc_abort:
 705         .byte   0xf3,0xc3
 706 .size   vpaes_cbc_encrypt,.-vpaes_cbc_encrypt
 707
 708
 709
 710
 711
 712
 713 .type   _vpaes_preheat,@function
 714 .align  16
 715 _vpaes_preheat:
 716         leaq    .Lk_s0F(%rip),%r10
 717         movdqa  -32(%r10),%xmm10
 718         movdqa  -16(%r10),%xmm11
 719         movdqa  0(%r10),%xmm9
 720         movdqa  48(%r10),%xmm13
 721         movdqa  64(%r10),%xmm12
 722         movdqa  80(%r10),%xmm15
 723         movdqa  96(%r10),%xmm14
 724         .byte   0xf3,0xc3
 725 .size   _vpaes_preheat,.-_vpaes_preheat
 726
 727
 728
 729
 730
 731 .type   _vpaes_consts,@object
 732 .align  64
 733 _vpaes_consts:
 734 .Lk_inv:
 735 .quad   0x0E05060F0D080180, 0x040703090A0B0C02
 736 .quad   0x01040A060F0B0780, 0x030D0E0C02050809
 737
 738 .Lk_s0F:
 739 .quad   0x0F0F0F0F0F0F0F0F, 0x0F0F0F0F0F0F0F0F
 740
 741 .Lk_ipt:
 742 .quad   0xC2B2E8985A2A7000, 0xCABAE09052227808
 743 .quad   0x4C01307D317C4D00, 0xCD80B1FCB0FDCC81
 744
 745 .Lk_sb1:
 746 .quad   0xB19BE18FCB503E00, 0xA5DF7A6E142AF544
 747 .quad   0x3618D415FAE22300, 0x3BF7CCC10D2ED9EF
 748 .Lk_sb2:
 749 .quad   0xE27A93C60B712400, 0x5EB7E955BC982FCD
 750 .quad   0x69EB88400AE12900, 0xC2A163C8AB82234A
 751 .Lk_sbo:
 752 .quad   0xD0D26D176FBDC700, 0x15AABF7AC502A878
 753 .quad   0xCFE474A55FBB6A00, 0x8E1E90D1412B35FA
 754
 755 .Lk_mc_forward:
 756 .quad   0x0407060500030201, 0x0C0F0E0D080B0A09
 757 .quad   0x080B0A0904070605, 0x000302010C0F0E0D
 758 .quad   0x0C0F0E0D080B0A09, 0x0407060500030201
 759 .quad   0x000302010C0F0E0D, 0x080B0A0904070605
 760
 761 .Lk_mc_backward:
 762 .quad   0x0605040702010003, 0x0E0D0C0F0A09080B
 763 .quad   0x020100030E0D0C0F, 0x0A09080B06050407
 764 .quad   0x0E0D0C0F0A09080B, 0x0605040702010003
 765 .quad   0x0A09080B06050407, 0x020100030E0D0C0F
 766
 767 .Lk_sr:
 768 .quad   0x0706050403020100, 0x0F0E0D0C0B0A0908
 769 .quad   0x030E09040F0A0500, 0x0B06010C07020D08
 770 .quad   0x0F060D040B020900, 0x070E050C030A0108
 771 .quad   0x0B0E0104070A0D00, 0x0306090C0F020508
 772
 773 .Lk_rcon:
 774 .quad   0x1F8391B9AF9DEEB6, 0x702A98084D7C7D81
 775
 776 .Lk_s63:
 777 .quad   0x5B5B5B5B5B5B5B5B, 0x5B5B5B5B5B5B5B5B
 778
 779 .Lk_opt:
 780 .quad   0xFF9F4929D6B66000, 0xF7974121DEBE6808
 781 .quad   0x01EDBD5150BCEC00, 0xE10D5DB1B05C0CE0
 782
 783 .Lk_deskew:
 784 .quad   0x07E4A34047A4E300, 0x1DFEB95A5DBEF91A
 785 .quad   0x5F36B5DC83EA6900, 0x2841C2ABF49D1E77
 786
 787
 788
 789
 790
 791 .Lk_dksd:
 792 .quad   0xFEB91A5DA3E44700, 0x0740E3A45A1DBEF9
 793 .quad   0x41C277F4B5368300, 0x5FDC69EAAB289D1E
 794 .Lk_dksb:
 795 .quad   0x9A4FCA1F8550D500, 0x03D653861CC94C99
 796 .quad   0x115BEDA7B6FC4A00, 0xD993256F7E3482C8
 797 .Lk_dkse:
 798 .quad   0xD5031CCA1FC9D600, 0x53859A4C994F5086
 799 .quad   0xA23196054FDC7BE8, 0xCD5EF96A20B31487
 800 .Lk_dks9:
 801 .quad   0xB6116FC87ED9A700, 0x4AED933482255BFC
 802 .quad   0x4576516227143300, 0x8BB89FACE9DAFDCE
 803
 804
 805
 806
 807
 808 .Lk_dipt:
 809 .quad   0x0F505B040B545F00, 0x154A411E114E451A
 810 .quad   0x86E383E660056500, 0x12771772F491F194
 811
 812 .Lk_dsb9:
 813 .quad   0x851C03539A86D600, 0xCAD51F504F994CC9
 814 .quad   0xC03B1789ECD74900, 0x725E2C9EB2FBA565
 815 .Lk_dsbd:
 816 .quad   0x7D57CCDFE6B1A200, 0xF56E9B13882A4439
 817 .quad   0x3CE2FAF724C6CB00, 0x2931180D15DEEFD3
 818 .Lk_dsbb:
 819 .quad   0xD022649296B44200, 0x602646F6B0F2D404
 820 .quad   0xC19498A6CD596700, 0xF3FF0C3E3255AA6B
 821 .Lk_dsbe:
 822 .quad   0x46F2929626D4D000, 0x2242600464B4F6B0
 823 .quad   0x0C55A6CDFFAAC100, 0x9467F36B98593E32
 824 .Lk_dsbo:
 825 .quad   0x1387EA537EF94000, 0xC7AA6DB9D4943E2D
 826 .quad   0x12D7560F93441D00, 0xCA4B8159D8C58E9C
 827 .byte   86,101,99,116,111,114,32,80,101,114,109,117,116,97,116,105,111,110,32,65,69,83,32,102,111,114,32,120,56,54,95,54,52,47,83,83,83,69,51,44,32,77,105,107,101,32,72,97,109,98,117,114,103,32,40,83,116,97,110,102,111,114,100,32,85,110,105,118,101,114,115,105,116,121,41,0
 828 .align  64
 829 .size   _vpaes_consts,.-_vpaes_consts