module/icp/asm-aarch64/sha2/sha256-armv8.S

   1 /*
   2  * Copyright 2004-2022 The OpenSSL Project Authors. All Rights Reserved.
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *     https://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 /*
  18  * Portions Copyright (c) 2022 Tino Reichardt <milky-zfs@mcmilk.de>
  19  * - modified assembly to fit into OpenZFS
  20  */
  21
  22 #if defined(__aarch64__)
  23
  24         .section        .note.gnu.property,"a",@note
  25         .p2align        3
  26         .word   4
  27         .word   16
  28         .word   5
  29         .asciz  "GNU"
  30         .word   3221225472
  31         .word   4
  32         .word   3
  33         .word   0
  34 .text
  35
  36 .align  6
  37 .type   .LK256,%object
  38 .LK256:
  39         .long   0x428a2f98,0x71374491,0xb5c0fbcf,0xe9b5dba5
  40         .long   0x3956c25b,0x59f111f1,0x923f82a4,0xab1c5ed5
  41         .long   0xd807aa98,0x12835b01,0x243185be,0x550c7dc3
  42         .long   0x72be5d74,0x80deb1fe,0x9bdc06a7,0xc19bf174
  43         .long   0xe49b69c1,0xefbe4786,0x0fc19dc6,0x240ca1cc
  44         .long   0x2de92c6f,0x4a7484aa,0x5cb0a9dc,0x76f988da
  45         .long   0x983e5152,0xa831c66d,0xb00327c8,0xbf597fc7
  46         .long   0xc6e00bf3,0xd5a79147,0x06ca6351,0x14292967
  47         .long   0x27b70a85,0x2e1b2138,0x4d2c6dfc,0x53380d13
  48         .long   0x650a7354,0x766a0abb,0x81c2c92e,0x92722c85
  49         .long   0xa2bfe8a1,0xa81a664b,0xc24b8b70,0xc76c51a3
  50         .long   0xd192e819,0xd6990624,0xf40e3585,0x106aa070
  51         .long   0x19a4c116,0x1e376c08,0x2748774c,0x34b0bcb5
  52         .long   0x391c0cb3,0x4ed8aa4a,0x5b9cca4f,0x682e6ff3
  53         .long   0x748f82ee,0x78a5636f,0x84c87814,0x8cc70208
  54         .long   0x90befffa,0xa4506ceb,0xbef9a3f7,0xc67178f2
  55         .long   0       //terminator
  56 .size   .LK256,.-.LK256
  57
  58 .globl  zfs_sha256_block_armv7
  59 .type   zfs_sha256_block_armv7,%function
  60 .align  6
  61 zfs_sha256_block_armv7:
  62         hint    #34                                     // bti c
  63         stp     x29,x30,[sp,#-128]!
  64         add     x29,sp,#0
  65
  66         stp     x19,x20,[sp,#16]
  67         stp     x21,x22,[sp,#32]
  68         stp     x23,x24,[sp,#48]
  69         stp     x25,x26,[sp,#64]
  70         stp     x27,x28,[sp,#80]
  71         sub     sp,sp,#4*4
  72
  73         ldp     w20,w21,[x0]                            // load context
  74         ldp     w22,w23,[x0,#2*4]
  75         ldp     w24,w25,[x0,#4*4]
  76         add     x2,x1,x2,lsl#6  // end of input
  77         ldp     w26,w27,[x0,#6*4]
  78         adr     x30,.LK256
  79         stp     x0,x2,[x29,#96]
  80
  81 .Loop:
  82         ldp     w3,w4,[x1],#2*4
  83         ldr     w19,[x30],#4                    // *K++
  84         eor     w28,w21,w22                             // magic seed
  85         str     x1,[x29,#112]
  86 #ifndef __AARCH64EB__
  87         rev     w3,w3                   // 0
  88 #endif
  89         ror     w16,w24,#6
  90         add     w27,w27,w19                     // h+=K[i]
  91         eor     w6,w24,w24,ror#14
  92         and     w17,w25,w24
  93         bic     w19,w26,w24
  94         add     w27,w27,w3                      // h+=X[i]
  95         orr     w17,w17,w19                     // Ch(e,f,g)
  96         eor     w19,w20,w21                     // a^b, b^c in next round
  97         eor     w16,w16,w6,ror#11       // Sigma1(e)
  98         ror     w6,w20,#2
  99         add     w27,w27,w17                     // h+=Ch(e,f,g)
 100         eor     w17,w20,w20,ror#9
 101         add     w27,w27,w16                     // h+=Sigma1(e)
 102         and     w28,w28,w19                     // (b^c)&=(a^b)
 103         add     w23,w23,w27                     // d+=h
 104         eor     w28,w28,w21                     // Maj(a,b,c)
 105         eor     w17,w6,w17,ror#13       // Sigma0(a)
 106         add     w27,w27,w28                     // h+=Maj(a,b,c)
 107         ldr     w28,[x30],#4            // *K++, w19 in next round
 108         //add   w27,w27,w17                     // h+=Sigma0(a)
 109 #ifndef __AARCH64EB__
 110         rev     w4,w4                   // 1
 111 #endif
 112         ldp     w5,w6,[x1],#2*4
 113         add     w27,w27,w17                     // h+=Sigma0(a)
 114         ror     w16,w23,#6
 115         add     w26,w26,w28                     // h+=K[i]
 116         eor     w7,w23,w23,ror#14
 117         and     w17,w24,w23
 118         bic     w28,w25,w23
 119         add     w26,w26,w4                      // h+=X[i]
 120         orr     w17,w17,w28                     // Ch(e,f,g)
 121         eor     w28,w27,w20                     // a^b, b^c in next round
 122         eor     w16,w16,w7,ror#11       // Sigma1(e)
 123         ror     w7,w27,#2
 124         add     w26,w26,w17                     // h+=Ch(e,f,g)
 125         eor     w17,w27,w27,ror#9
 126         add     w26,w26,w16                     // h+=Sigma1(e)
 127         and     w19,w19,w28                     // (b^c)&=(a^b)
 128         add     w22,w22,w26                     // d+=h
 129         eor     w19,w19,w20                     // Maj(a,b,c)
 130         eor     w17,w7,w17,ror#13       // Sigma0(a)
 131         add     w26,w26,w19                     // h+=Maj(a,b,c)
 132         ldr     w19,[x30],#4            // *K++, w28 in next round
 133         //add   w26,w26,w17                     // h+=Sigma0(a)
 134 #ifndef __AARCH64EB__
 135         rev     w5,w5                   // 2
 136 #endif
 137         add     w26,w26,w17                     // h+=Sigma0(a)
 138         ror     w16,w22,#6
 139         add     w25,w25,w19                     // h+=K[i]
 140         eor     w8,w22,w22,ror#14
 141         and     w17,w23,w22
 142         bic     w19,w24,w22
 143         add     w25,w25,w5                      // h+=X[i]
 144         orr     w17,w17,w19                     // Ch(e,f,g)
 145         eor     w19,w26,w27                     // a^b, b^c in next round
 146         eor     w16,w16,w8,ror#11       // Sigma1(e)
 147         ror     w8,w26,#2
 148         add     w25,w25,w17                     // h+=Ch(e,f,g)
 149         eor     w17,w26,w26,ror#9
 150         add     w25,w25,w16                     // h+=Sigma1(e)
 151         and     w28,w28,w19                     // (b^c)&=(a^b)
 152         add     w21,w21,w25                     // d+=h
 153         eor     w28,w28,w27                     // Maj(a,b,c)
 154         eor     w17,w8,w17,ror#13       // Sigma0(a)
 155         add     w25,w25,w28                     // h+=Maj(a,b,c)
 156         ldr     w28,[x30],#4            // *K++, w19 in next round
 157         //add   w25,w25,w17                     // h+=Sigma0(a)
 158 #ifndef __AARCH64EB__
 159         rev     w6,w6                   // 3
 160 #endif
 161         ldp     w7,w8,[x1],#2*4
 162         add     w25,w25,w17                     // h+=Sigma0(a)
 163         ror     w16,w21,#6
 164         add     w24,w24,w28                     // h+=K[i]
 165         eor     w9,w21,w21,ror#14
 166         and     w17,w22,w21
 167         bic     w28,w23,w21
 168         add     w24,w24,w6                      // h+=X[i]
 169         orr     w17,w17,w28                     // Ch(e,f,g)
 170         eor     w28,w25,w26                     // a^b, b^c in next round
 171         eor     w16,w16,w9,ror#11       // Sigma1(e)
 172         ror     w9,w25,#2
 173         add     w24,w24,w17                     // h+=Ch(e,f,g)
 174         eor     w17,w25,w25,ror#9
 175         add     w24,w24,w16                     // h+=Sigma1(e)
 176         and     w19,w19,w28                     // (b^c)&=(a^b)
 177         add     w20,w20,w24                     // d+=h
 178         eor     w19,w19,w26                     // Maj(a,b,c)
 179         eor     w17,w9,w17,ror#13       // Sigma0(a)
 180         add     w24,w24,w19                     // h+=Maj(a,b,c)
 181         ldr     w19,[x30],#4            // *K++, w28 in next round
 182         //add   w24,w24,w17                     // h+=Sigma0(a)
 183 #ifndef __AARCH64EB__
 184         rev     w7,w7                   // 4
 185 #endif
 186         add     w24,w24,w17                     // h+=Sigma0(a)
 187         ror     w16,w20,#6
 188         add     w23,w23,w19                     // h+=K[i]
 189         eor     w10,w20,w20,ror#14
 190         and     w17,w21,w20
 191         bic     w19,w22,w20
 192         add     w23,w23,w7                      // h+=X[i]
 193         orr     w17,w17,w19                     // Ch(e,f,g)
 194         eor     w19,w24,w25                     // a^b, b^c in next round
 195         eor     w16,w16,w10,ror#11      // Sigma1(e)
 196         ror     w10,w24,#2
 197         add     w23,w23,w17                     // h+=Ch(e,f,g)
 198         eor     w17,w24,w24,ror#9
 199         add     w23,w23,w16                     // h+=Sigma1(e)
 200         and     w28,w28,w19                     // (b^c)&=(a^b)
 201         add     w27,w27,w23                     // d+=h
 202         eor     w28,w28,w25                     // Maj(a,b,c)
 203         eor     w17,w10,w17,ror#13      // Sigma0(a)
 204         add     w23,w23,w28                     // h+=Maj(a,b,c)
 205         ldr     w28,[x30],#4            // *K++, w19 in next round
 206         //add   w23,w23,w17                     // h+=Sigma0(a)
 207 #ifndef __AARCH64EB__
 208         rev     w8,w8                   // 5
 209 #endif
 210         ldp     w9,w10,[x1],#2*4
 211         add     w23,w23,w17                     // h+=Sigma0(a)
 212         ror     w16,w27,#6
 213         add     w22,w22,w28                     // h+=K[i]
 214         eor     w11,w27,w27,ror#14
 215         and     w17,w20,w27
 216         bic     w28,w21,w27
 217         add     w22,w22,w8                      // h+=X[i]
 218         orr     w17,w17,w28                     // Ch(e,f,g)
 219         eor     w28,w23,w24                     // a^b, b^c in next round
 220         eor     w16,w16,w11,ror#11      // Sigma1(e)
 221         ror     w11,w23,#2
 222         add     w22,w22,w17                     // h+=Ch(e,f,g)
 223         eor     w17,w23,w23,ror#9
 224         add     w22,w22,w16                     // h+=Sigma1(e)
 225         and     w19,w19,w28                     // (b^c)&=(a^b)
 226         add     w26,w26,w22                     // d+=h
 227         eor     w19,w19,w24                     // Maj(a,b,c)
 228         eor     w17,w11,w17,ror#13      // Sigma0(a)
 229         add     w22,w22,w19                     // h+=Maj(a,b,c)
 230         ldr     w19,[x30],#4            // *K++, w28 in next round
 231         //add   w22,w22,w17                     // h+=Sigma0(a)
 232 #ifndef __AARCH64EB__
 233         rev     w9,w9                   // 6
 234 #endif
 235         add     w22,w22,w17                     // h+=Sigma0(a)
 236         ror     w16,w26,#6
 237         add     w21,w21,w19                     // h+=K[i]
 238         eor     w12,w26,w26,ror#14
 239         and     w17,w27,w26
 240         bic     w19,w20,w26
 241         add     w21,w21,w9                      // h+=X[i]
 242         orr     w17,w17,w19                     // Ch(e,f,g)
 243         eor     w19,w22,w23                     // a^b, b^c in next round
 244         eor     w16,w16,w12,ror#11      // Sigma1(e)
 245         ror     w12,w22,#2
 246         add     w21,w21,w17                     // h+=Ch(e,f,g)
 247         eor     w17,w22,w22,ror#9
 248         add     w21,w21,w16                     // h+=Sigma1(e)
 249         and     w28,w28,w19                     // (b^c)&=(a^b)
 250         add     w25,w25,w21                     // d+=h
 251         eor     w28,w28,w23                     // Maj(a,b,c)
 252         eor     w17,w12,w17,ror#13      // Sigma0(a)
 253         add     w21,w21,w28                     // h+=Maj(a,b,c)
 254         ldr     w28,[x30],#4            // *K++, w19 in next round
 255         //add   w21,w21,w17                     // h+=Sigma0(a)
 256 #ifndef __AARCH64EB__
 257         rev     w10,w10                 // 7
 258 #endif
 259         ldp     w11,w12,[x1],#2*4
 260         add     w21,w21,w17                     // h+=Sigma0(a)
 261         ror     w16,w25,#6
 262         add     w20,w20,w28                     // h+=K[i]
 263         eor     w13,w25,w25,ror#14
 264         and     w17,w26,w25
 265         bic     w28,w27,w25
 266         add     w20,w20,w10                     // h+=X[i]
 267         orr     w17,w17,w28                     // Ch(e,f,g)
 268         eor     w28,w21,w22                     // a^b, b^c in next round
 269         eor     w16,w16,w13,ror#11      // Sigma1(e)
 270         ror     w13,w21,#2
 271         add     w20,w20,w17                     // h+=Ch(e,f,g)
 272         eor     w17,w21,w21,ror#9
 273         add     w20,w20,w16                     // h+=Sigma1(e)
 274         and     w19,w19,w28                     // (b^c)&=(a^b)
 275         add     w24,w24,w20                     // d+=h
 276         eor     w19,w19,w22                     // Maj(a,b,c)
 277         eor     w17,w13,w17,ror#13      // Sigma0(a)
 278         add     w20,w20,w19                     // h+=Maj(a,b,c)
 279         ldr     w19,[x30],#4            // *K++, w28 in next round
 280         //add   w20,w20,w17                     // h+=Sigma0(a)
 281 #ifndef __AARCH64EB__
 282         rev     w11,w11                 // 8
 283 #endif
 284         add     w20,w20,w17                     // h+=Sigma0(a)
 285         ror     w16,w24,#6
 286         add     w27,w27,w19                     // h+=K[i]
 287         eor     w14,w24,w24,ror#14
 288         and     w17,w25,w24
 289         bic     w19,w26,w24
 290         add     w27,w27,w11                     // h+=X[i]
 291         orr     w17,w17,w19                     // Ch(e,f,g)
 292         eor     w19,w20,w21                     // a^b, b^c in next round
 293         eor     w16,w16,w14,ror#11      // Sigma1(e)
 294         ror     w14,w20,#2
 295         add     w27,w27,w17                     // h+=Ch(e,f,g)
 296         eor     w17,w20,w20,ror#9
 297         add     w27,w27,w16                     // h+=Sigma1(e)
 298         and     w28,w28,w19                     // (b^c)&=(a^b)
 299         add     w23,w23,w27                     // d+=h
 300         eor     w28,w28,w21                     // Maj(a,b,c)
 301         eor     w17,w14,w17,ror#13      // Sigma0(a)
 302         add     w27,w27,w28                     // h+=Maj(a,b,c)
 303         ldr     w28,[x30],#4            // *K++, w19 in next round
 304         //add   w27,w27,w17                     // h+=Sigma0(a)
 305 #ifndef __AARCH64EB__
 306         rev     w12,w12                 // 9
 307 #endif
 308         ldp     w13,w14,[x1],#2*4
 309         add     w27,w27,w17                     // h+=Sigma0(a)
 310         ror     w16,w23,#6
 311         add     w26,w26,w28                     // h+=K[i]
 312         eor     w15,w23,w23,ror#14
 313         and     w17,w24,w23
 314         bic     w28,w25,w23
 315         add     w26,w26,w12                     // h+=X[i]
 316         orr     w17,w17,w28                     // Ch(e,f,g)
 317         eor     w28,w27,w20                     // a^b, b^c in next round
 318         eor     w16,w16,w15,ror#11      // Sigma1(e)
 319         ror     w15,w27,#2
 320         add     w26,w26,w17                     // h+=Ch(e,f,g)
 321         eor     w17,w27,w27,ror#9
 322         add     w26,w26,w16                     // h+=Sigma1(e)
 323         and     w19,w19,w28                     // (b^c)&=(a^b)
 324         add     w22,w22,w26                     // d+=h
 325         eor     w19,w19,w20                     // Maj(a,b,c)
 326         eor     w17,w15,w17,ror#13      // Sigma0(a)
 327         add     w26,w26,w19                     // h+=Maj(a,b,c)
 328         ldr     w19,[x30],#4            // *K++, w28 in next round
 329         //add   w26,w26,w17                     // h+=Sigma0(a)
 330 #ifndef __AARCH64EB__
 331         rev     w13,w13                 // 10
 332 #endif
 333         add     w26,w26,w17                     // h+=Sigma0(a)
 334         ror     w16,w22,#6
 335         add     w25,w25,w19                     // h+=K[i]
 336         eor     w0,w22,w22,ror#14
 337         and     w17,w23,w22
 338         bic     w19,w24,w22
 339         add     w25,w25,w13                     // h+=X[i]
 340         orr     w17,w17,w19                     // Ch(e,f,g)
 341         eor     w19,w26,w27                     // a^b, b^c in next round
 342         eor     w16,w16,w0,ror#11       // Sigma1(e)
 343         ror     w0,w26,#2
 344         add     w25,w25,w17                     // h+=Ch(e,f,g)
 345         eor     w17,w26,w26,ror#9
 346         add     w25,w25,w16                     // h+=Sigma1(e)
 347         and     w28,w28,w19                     // (b^c)&=(a^b)
 348         add     w21,w21,w25                     // d+=h
 349         eor     w28,w28,w27                     // Maj(a,b,c)
 350         eor     w17,w0,w17,ror#13       // Sigma0(a)
 351         add     w25,w25,w28                     // h+=Maj(a,b,c)
 352         ldr     w28,[x30],#4            // *K++, w19 in next round
 353         //add   w25,w25,w17                     // h+=Sigma0(a)
 354 #ifndef __AARCH64EB__
 355         rev     w14,w14                 // 11
 356 #endif
 357         ldp     w15,w0,[x1],#2*4
 358         add     w25,w25,w17                     // h+=Sigma0(a)
 359         str     w6,[sp,#12]
 360         ror     w16,w21,#6
 361         add     w24,w24,w28                     // h+=K[i]
 362         eor     w6,w21,w21,ror#14
 363         and     w17,w22,w21
 364         bic     w28,w23,w21
 365         add     w24,w24,w14                     // h+=X[i]
 366         orr     w17,w17,w28                     // Ch(e,f,g)
 367         eor     w28,w25,w26                     // a^b, b^c in next round
 368         eor     w16,w16,w6,ror#11       // Sigma1(e)
 369         ror     w6,w25,#2
 370         add     w24,w24,w17                     // h+=Ch(e,f,g)
 371         eor     w17,w25,w25,ror#9
 372         add     w24,w24,w16                     // h+=Sigma1(e)
 373         and     w19,w19,w28                     // (b^c)&=(a^b)
 374         add     w20,w20,w24                     // d+=h
 375         eor     w19,w19,w26                     // Maj(a,b,c)
 376         eor     w17,w6,w17,ror#13       // Sigma0(a)
 377         add     w24,w24,w19                     // h+=Maj(a,b,c)
 378         ldr     w19,[x30],#4            // *K++, w28 in next round
 379         //add   w24,w24,w17                     // h+=Sigma0(a)
 380 #ifndef __AARCH64EB__
 381         rev     w15,w15                 // 12
 382 #endif
 383         add     w24,w24,w17                     // h+=Sigma0(a)
 384         str     w7,[sp,#0]
 385         ror     w16,w20,#6
 386         add     w23,w23,w19                     // h+=K[i]
 387         eor     w7,w20,w20,ror#14
 388         and     w17,w21,w20
 389         bic     w19,w22,w20
 390         add     w23,w23,w15                     // h+=X[i]
 391         orr     w17,w17,w19                     // Ch(e,f,g)
 392         eor     w19,w24,w25                     // a^b, b^c in next round
 393         eor     w16,w16,w7,ror#11       // Sigma1(e)
 394         ror     w7,w24,#2
 395         add     w23,w23,w17                     // h+=Ch(e,f,g)
 396         eor     w17,w24,w24,ror#9
 397         add     w23,w23,w16                     // h+=Sigma1(e)
 398         and     w28,w28,w19                     // (b^c)&=(a^b)
 399         add     w27,w27,w23                     // d+=h
 400         eor     w28,w28,w25                     // Maj(a,b,c)
 401         eor     w17,w7,w17,ror#13       // Sigma0(a)
 402         add     w23,w23,w28                     // h+=Maj(a,b,c)
 403         ldr     w28,[x30],#4            // *K++, w19 in next round
 404         //add   w23,w23,w17                     // h+=Sigma0(a)
 405 #ifndef __AARCH64EB__
 406         rev     w0,w0                   // 13
 407 #endif
 408         ldp     w1,w2,[x1]
 409         add     w23,w23,w17                     // h+=Sigma0(a)
 410         str     w8,[sp,#4]
 411         ror     w16,w27,#6
 412         add     w22,w22,w28                     // h+=K[i]
 413         eor     w8,w27,w27,ror#14
 414         and     w17,w20,w27
 415         bic     w28,w21,w27
 416         add     w22,w22,w0                      // h+=X[i]
 417         orr     w17,w17,w28                     // Ch(e,f,g)
 418         eor     w28,w23,w24                     // a^b, b^c in next round
 419         eor     w16,w16,w8,ror#11       // Sigma1(e)
 420         ror     w8,w23,#2
 421         add     w22,w22,w17                     // h+=Ch(e,f,g)
 422         eor     w17,w23,w23,ror#9
 423         add     w22,w22,w16                     // h+=Sigma1(e)
 424         and     w19,w19,w28                     // (b^c)&=(a^b)
 425         add     w26,w26,w22                     // d+=h
 426         eor     w19,w19,w24                     // Maj(a,b,c)
 427         eor     w17,w8,w17,ror#13       // Sigma0(a)
 428         add     w22,w22,w19                     // h+=Maj(a,b,c)
 429         ldr     w19,[x30],#4            // *K++, w28 in next round
 430         //add   w22,w22,w17                     // h+=Sigma0(a)
 431 #ifndef __AARCH64EB__
 432         rev     w1,w1                   // 14
 433 #endif
 434         ldr     w6,[sp,#12]
 435         add     w22,w22,w17                     // h+=Sigma0(a)
 436         str     w9,[sp,#8]
 437         ror     w16,w26,#6
 438         add     w21,w21,w19                     // h+=K[i]
 439         eor     w9,w26,w26,ror#14
 440         and     w17,w27,w26
 441         bic     w19,w20,w26
 442         add     w21,w21,w1                      // h+=X[i]
 443         orr     w17,w17,w19                     // Ch(e,f,g)
 444         eor     w19,w22,w23                     // a^b, b^c in next round
 445         eor     w16,w16,w9,ror#11       // Sigma1(e)
 446         ror     w9,w22,#2
 447         add     w21,w21,w17                     // h+=Ch(e,f,g)
 448         eor     w17,w22,w22,ror#9
 449         add     w21,w21,w16                     // h+=Sigma1(e)
 450         and     w28,w28,w19                     // (b^c)&=(a^b)
 451         add     w25,w25,w21                     // d+=h
 452         eor     w28,w28,w23                     // Maj(a,b,c)
 453         eor     w17,w9,w17,ror#13       // Sigma0(a)
 454         add     w21,w21,w28                     // h+=Maj(a,b,c)
 455         ldr     w28,[x30],#4            // *K++, w19 in next round
 456         //add   w21,w21,w17                     // h+=Sigma0(a)
 457 #ifndef __AARCH64EB__
 458         rev     w2,w2                   // 15
 459 #endif
 460         ldr     w7,[sp,#0]
 461         add     w21,w21,w17                     // h+=Sigma0(a)
 462         str     w10,[sp,#12]
 463         ror     w16,w25,#6
 464         add     w20,w20,w28                     // h+=K[i]
 465         ror     w9,w4,#7
 466         and     w17,w26,w25
 467         ror     w8,w1,#17
 468         bic     w28,w27,w25
 469         ror     w10,w21,#2
 470         add     w20,w20,w2                      // h+=X[i]
 471         eor     w16,w16,w25,ror#11
 472         eor     w9,w9,w4,ror#18
 473         orr     w17,w17,w28                     // Ch(e,f,g)
 474         eor     w28,w21,w22                     // a^b, b^c in next round
 475         eor     w16,w16,w25,ror#25      // Sigma1(e)
 476         eor     w10,w10,w21,ror#13
 477         add     w20,w20,w17                     // h+=Ch(e,f,g)
 478         and     w19,w19,w28                     // (b^c)&=(a^b)
 479         eor     w8,w8,w1,ror#19
 480         eor     w9,w9,w4,lsr#3  // sigma0(X[i+1])
 481         add     w20,w20,w16                     // h+=Sigma1(e)
 482         eor     w19,w19,w22                     // Maj(a,b,c)
 483         eor     w17,w10,w21,ror#22      // Sigma0(a)
 484         eor     w8,w8,w1,lsr#10 // sigma1(X[i+14])
 485         add     w3,w3,w12
 486         add     w24,w24,w20                     // d+=h
 487         add     w20,w20,w19                     // h+=Maj(a,b,c)
 488         ldr     w19,[x30],#4            // *K++, w28 in next round
 489         add     w3,w3,w9
 490         add     w20,w20,w17                     // h+=Sigma0(a)
 491         add     w3,w3,w8
 492 .Loop_16_xx:
 493         ldr     w8,[sp,#4]
 494         str     w11,[sp,#0]
 495         ror     w16,w24,#6
 496         add     w27,w27,w19                     // h+=K[i]
 497         ror     w10,w5,#7
 498         and     w17,w25,w24
 499         ror     w9,w2,#17
 500         bic     w19,w26,w24
 501         ror     w11,w20,#2
 502         add     w27,w27,w3                      // h+=X[i]
 503         eor     w16,w16,w24,ror#11
 504         eor     w10,w10,w5,ror#18
 505         orr     w17,w17,w19                     // Ch(e,f,g)
 506         eor     w19,w20,w21                     // a^b, b^c in next round
 507         eor     w16,w16,w24,ror#25      // Sigma1(e)
 508         eor     w11,w11,w20,ror#13
 509         add     w27,w27,w17                     // h+=Ch(e,f,g)
 510         and     w28,w28,w19                     // (b^c)&=(a^b)
 511         eor     w9,w9,w2,ror#19
 512         eor     w10,w10,w5,lsr#3        // sigma0(X[i+1])
 513         add     w27,w27,w16                     // h+=Sigma1(e)
 514         eor     w28,w28,w21                     // Maj(a,b,c)
 515         eor     w17,w11,w20,ror#22      // Sigma0(a)
 516         eor     w9,w9,w2,lsr#10 // sigma1(X[i+14])
 517         add     w4,w4,w13
 518         add     w23,w23,w27                     // d+=h
 519         add     w27,w27,w28                     // h+=Maj(a,b,c)
 520         ldr     w28,[x30],#4            // *K++, w19 in next round
 521         add     w4,w4,w10
 522         add     w27,w27,w17                     // h+=Sigma0(a)
 523         add     w4,w4,w9
 524         ldr     w9,[sp,#8]
 525         str     w12,[sp,#4]
 526         ror     w16,w23,#6
 527         add     w26,w26,w28                     // h+=K[i]
 528         ror     w11,w6,#7
 529         and     w17,w24,w23
 530         ror     w10,w3,#17
 531         bic     w28,w25,w23
 532         ror     w12,w27,#2
 533         add     w26,w26,w4                      // h+=X[i]
 534         eor     w16,w16,w23,ror#11
 535         eor     w11,w11,w6,ror#18
 536         orr     w17,w17,w28                     // Ch(e,f,g)
 537         eor     w28,w27,w20                     // a^b, b^c in next round
 538         eor     w16,w16,w23,ror#25      // Sigma1(e)
 539         eor     w12,w12,w27,ror#13
 540         add     w26,w26,w17                     // h+=Ch(e,f,g)
 541         and     w19,w19,w28                     // (b^c)&=(a^b)
 542         eor     w10,w10,w3,ror#19
 543         eor     w11,w11,w6,lsr#3        // sigma0(X[i+1])
 544         add     w26,w26,w16                     // h+=Sigma1(e)
 545         eor     w19,w19,w20                     // Maj(a,b,c)
 546         eor     w17,w12,w27,ror#22      // Sigma0(a)
 547         eor     w10,w10,w3,lsr#10       // sigma1(X[i+14])
 548         add     w5,w5,w14
 549         add     w22,w22,w26                     // d+=h
 550         add     w26,w26,w19                     // h+=Maj(a,b,c)
 551         ldr     w19,[x30],#4            // *K++, w28 in next round
 552         add     w5,w5,w11
 553         add     w26,w26,w17                     // h+=Sigma0(a)
 554         add     w5,w5,w10
 555         ldr     w10,[sp,#12]
 556         str     w13,[sp,#8]
 557         ror     w16,w22,#6
 558         add     w25,w25,w19                     // h+=K[i]
 559         ror     w12,w7,#7
 560         and     w17,w23,w22
 561         ror     w11,w4,#17
 562         bic     w19,w24,w22
 563         ror     w13,w26,#2
 564         add     w25,w25,w5                      // h+=X[i]
 565         eor     w16,w16,w22,ror#11
 566         eor     w12,w12,w7,ror#18
 567         orr     w17,w17,w19                     // Ch(e,f,g)
 568         eor     w19,w26,w27                     // a^b, b^c in next round
 569         eor     w16,w16,w22,ror#25      // Sigma1(e)
 570         eor     w13,w13,w26,ror#13
 571         add     w25,w25,w17                     // h+=Ch(e,f,g)
 572         and     w28,w28,w19                     // (b^c)&=(a^b)
 573         eor     w11,w11,w4,ror#19
 574         eor     w12,w12,w7,lsr#3        // sigma0(X[i+1])
 575         add     w25,w25,w16                     // h+=Sigma1(e)
 576         eor     w28,w28,w27                     // Maj(a,b,c)
 577         eor     w17,w13,w26,ror#22      // Sigma0(a)
 578         eor     w11,w11,w4,lsr#10       // sigma1(X[i+14])
 579         add     w6,w6,w15
 580         add     w21,w21,w25                     // d+=h
 581         add     w25,w25,w28                     // h+=Maj(a,b,c)
 582         ldr     w28,[x30],#4            // *K++, w19 in next round
 583         add     w6,w6,w12
 584         add     w25,w25,w17                     // h+=Sigma0(a)
 585         add     w6,w6,w11
 586         ldr     w11,[sp,#0]
 587         str     w14,[sp,#12]
 588         ror     w16,w21,#6
 589         add     w24,w24,w28                     // h+=K[i]
 590         ror     w13,w8,#7
 591         and     w17,w22,w21
 592         ror     w12,w5,#17
 593         bic     w28,w23,w21
 594         ror     w14,w25,#2
 595         add     w24,w24,w6                      // h+=X[i]
 596         eor     w16,w16,w21,ror#11
 597         eor     w13,w13,w8,ror#18
 598         orr     w17,w17,w28                     // Ch(e,f,g)
 599         eor     w28,w25,w26                     // a^b, b^c in next round
 600         eor     w16,w16,w21,ror#25      // Sigma1(e)
 601         eor     w14,w14,w25,ror#13
 602         add     w24,w24,w17                     // h+=Ch(e,f,g)
 603         and     w19,w19,w28                     // (b^c)&=(a^b)
 604         eor     w12,w12,w5,ror#19
 605         eor     w13,w13,w8,lsr#3        // sigma0(X[i+1])
 606         add     w24,w24,w16                     // h+=Sigma1(e)
 607         eor     w19,w19,w26                     // Maj(a,b,c)
 608         eor     w17,w14,w25,ror#22      // Sigma0(a)
 609         eor     w12,w12,w5,lsr#10       // sigma1(X[i+14])
 610         add     w7,w7,w0
 611         add     w20,w20,w24                     // d+=h
 612         add     w24,w24,w19                     // h+=Maj(a,b,c)
 613         ldr     w19,[x30],#4            // *K++, w28 in next round
 614         add     w7,w7,w13
 615         add     w24,w24,w17                     // h+=Sigma0(a)
 616         add     w7,w7,w12
 617         ldr     w12,[sp,#4]
 618         str     w15,[sp,#0]
 619         ror     w16,w20,#6
 620         add     w23,w23,w19                     // h+=K[i]
 621         ror     w14,w9,#7
 622         and     w17,w21,w20
 623         ror     w13,w6,#17
 624         bic     w19,w22,w20
 625         ror     w15,w24,#2
 626         add     w23,w23,w7                      // h+=X[i]
 627         eor     w16,w16,w20,ror#11
 628         eor     w14,w14,w9,ror#18
 629         orr     w17,w17,w19                     // Ch(e,f,g)
 630         eor     w19,w24,w25                     // a^b, b^c in next round
 631         eor     w16,w16,w20,ror#25      // Sigma1(e)
 632         eor     w15,w15,w24,ror#13
 633         add     w23,w23,w17                     // h+=Ch(e,f,g)
 634         and     w28,w28,w19                     // (b^c)&=(a^b)
 635         eor     w13,w13,w6,ror#19
 636         eor     w14,w14,w9,lsr#3        // sigma0(X[i+1])
 637         add     w23,w23,w16                     // h+=Sigma1(e)
 638         eor     w28,w28,w25                     // Maj(a,b,c)
 639         eor     w17,w15,w24,ror#22      // Sigma0(a)
 640         eor     w13,w13,w6,lsr#10       // sigma1(X[i+14])
 641         add     w8,w8,w1
 642         add     w27,w27,w23                     // d+=h
 643         add     w23,w23,w28                     // h+=Maj(a,b,c)
 644         ldr     w28,[x30],#4            // *K++, w19 in next round
 645         add     w8,w8,w14
 646         add     w23,w23,w17                     // h+=Sigma0(a)
 647         add     w8,w8,w13
 648         ldr     w13,[sp,#8]
 649         str     w0,[sp,#4]
 650         ror     w16,w27,#6
 651         add     w22,w22,w28                     // h+=K[i]
 652         ror     w15,w10,#7
 653         and     w17,w20,w27
 654         ror     w14,w7,#17
 655         bic     w28,w21,w27
 656         ror     w0,w23,#2
 657         add     w22,w22,w8                      // h+=X[i]
 658         eor     w16,w16,w27,ror#11
 659         eor     w15,w15,w10,ror#18
 660         orr     w17,w17,w28                     // Ch(e,f,g)
 661         eor     w28,w23,w24                     // a^b, b^c in next round
 662         eor     w16,w16,w27,ror#25      // Sigma1(e)
 663         eor     w0,w0,w23,ror#13
 664         add     w22,w22,w17                     // h+=Ch(e,f,g)
 665         and     w19,w19,w28                     // (b^c)&=(a^b)
 666         eor     w14,w14,w7,ror#19
 667         eor     w15,w15,w10,lsr#3       // sigma0(X[i+1])
 668         add     w22,w22,w16                     // h+=Sigma1(e)
 669         eor     w19,w19,w24                     // Maj(a,b,c)
 670         eor     w17,w0,w23,ror#22       // Sigma0(a)
 671         eor     w14,w14,w7,lsr#10       // sigma1(X[i+14])
 672         add     w9,w9,w2
 673         add     w26,w26,w22                     // d+=h
 674         add     w22,w22,w19                     // h+=Maj(a,b,c)
 675         ldr     w19,[x30],#4            // *K++, w28 in next round
 676         add     w9,w9,w15
 677         add     w22,w22,w17                     // h+=Sigma0(a)
 678         add     w9,w9,w14
 679         ldr     w14,[sp,#12]
 680         str     w1,[sp,#8]
 681         ror     w16,w26,#6
 682         add     w21,w21,w19                     // h+=K[i]
 683         ror     w0,w11,#7
 684         and     w17,w27,w26
 685         ror     w15,w8,#17
 686         bic     w19,w20,w26
 687         ror     w1,w22,#2
 688         add     w21,w21,w9                      // h+=X[i]
 689         eor     w16,w16,w26,ror#11
 690         eor     w0,w0,w11,ror#18
 691         orr     w17,w17,w19                     // Ch(e,f,g)
 692         eor     w19,w22,w23                     // a^b, b^c in next round
 693         eor     w16,w16,w26,ror#25      // Sigma1(e)
 694         eor     w1,w1,w22,ror#13
 695         add     w21,w21,w17                     // h+=Ch(e,f,g)
 696         and     w28,w28,w19                     // (b^c)&=(a^b)
 697         eor     w15,w15,w8,ror#19
 698         eor     w0,w0,w11,lsr#3 // sigma0(X[i+1])
 699         add     w21,w21,w16                     // h+=Sigma1(e)
 700         eor     w28,w28,w23                     // Maj(a,b,c)
 701         eor     w17,w1,w22,ror#22       // Sigma0(a)
 702         eor     w15,w15,w8,lsr#10       // sigma1(X[i+14])
 703         add     w10,w10,w3
 704         add     w25,w25,w21                     // d+=h
 705         add     w21,w21,w28                     // h+=Maj(a,b,c)
 706         ldr     w28,[x30],#4            // *K++, w19 in next round
 707         add     w10,w10,w0
 708         add     w21,w21,w17                     // h+=Sigma0(a)
 709         add     w10,w10,w15
 710         ldr     w15,[sp,#0]
 711         str     w2,[sp,#12]
 712         ror     w16,w25,#6
 713         add     w20,w20,w28                     // h+=K[i]
 714         ror     w1,w12,#7
 715         and     w17,w26,w25
 716         ror     w0,w9,#17
 717         bic     w28,w27,w25
 718         ror     w2,w21,#2
 719         add     w20,w20,w10                     // h+=X[i]
 720         eor     w16,w16,w25,ror#11
 721         eor     w1,w1,w12,ror#18
 722         orr     w17,w17,w28                     // Ch(e,f,g)
 723         eor     w28,w21,w22                     // a^b, b^c in next round
 724         eor     w16,w16,w25,ror#25      // Sigma1(e)
 725         eor     w2,w2,w21,ror#13
 726         add     w20,w20,w17                     // h+=Ch(e,f,g)
 727         and     w19,w19,w28                     // (b^c)&=(a^b)
 728         eor     w0,w0,w9,ror#19
 729         eor     w1,w1,w12,lsr#3 // sigma0(X[i+1])
 730         add     w20,w20,w16                     // h+=Sigma1(e)
 731         eor     w19,w19,w22                     // Maj(a,b,c)
 732         eor     w17,w2,w21,ror#22       // Sigma0(a)
 733         eor     w0,w0,w9,lsr#10 // sigma1(X[i+14])
 734         add     w11,w11,w4
 735         add     w24,w24,w20                     // d+=h
 736         add     w20,w20,w19                     // h+=Maj(a,b,c)
 737         ldr     w19,[x30],#4            // *K++, w28 in next round
 738         add     w11,w11,w1
 739         add     w20,w20,w17                     // h+=Sigma0(a)
 740         add     w11,w11,w0
 741         ldr     w0,[sp,#4]
 742         str     w3,[sp,#0]
 743         ror     w16,w24,#6
 744         add     w27,w27,w19                     // h+=K[i]
 745         ror     w2,w13,#7
 746         and     w17,w25,w24
 747         ror     w1,w10,#17
 748         bic     w19,w26,w24
 749         ror     w3,w20,#2
 750         add     w27,w27,w11                     // h+=X[i]
 751         eor     w16,w16,w24,ror#11
 752         eor     w2,w2,w13,ror#18
 753         orr     w17,w17,w19                     // Ch(e,f,g)
 754         eor     w19,w20,w21                     // a^b, b^c in next round
 755         eor     w16,w16,w24,ror#25      // Sigma1(e)
 756         eor     w3,w3,w20,ror#13
 757         add     w27,w27,w17                     // h+=Ch(e,f,g)
 758         and     w28,w28,w19                     // (b^c)&=(a^b)
 759         eor     w1,w1,w10,ror#19
 760         eor     w2,w2,w13,lsr#3 // sigma0(X[i+1])
 761         add     w27,w27,w16                     // h+=Sigma1(e)
 762         eor     w28,w28,w21                     // Maj(a,b,c)
 763         eor     w17,w3,w20,ror#22       // Sigma0(a)
 764         eor     w1,w1,w10,lsr#10        // sigma1(X[i+14])
 765         add     w12,w12,w5
 766         add     w23,w23,w27                     // d+=h
 767         add     w27,w27,w28                     // h+=Maj(a,b,c)
 768         ldr     w28,[x30],#4            // *K++, w19 in next round
 769         add     w12,w12,w2
 770         add     w27,w27,w17                     // h+=Sigma0(a)
 771         add     w12,w12,w1
 772         ldr     w1,[sp,#8]
 773         str     w4,[sp,#4]
 774         ror     w16,w23,#6
 775         add     w26,w26,w28                     // h+=K[i]
 776         ror     w3,w14,#7
 777         and     w17,w24,w23
 778         ror     w2,w11,#17
 779         bic     w28,w25,w23
 780         ror     w4,w27,#2
 781         add     w26,w26,w12                     // h+=X[i]
 782         eor     w16,w16,w23,ror#11
 783         eor     w3,w3,w14,ror#18
 784         orr     w17,w17,w28                     // Ch(e,f,g)
 785         eor     w28,w27,w20                     // a^b, b^c in next round
 786         eor     w16,w16,w23,ror#25      // Sigma1(e)
 787         eor     w4,w4,w27,ror#13
 788         add     w26,w26,w17                     // h+=Ch(e,f,g)
 789         and     w19,w19,w28                     // (b^c)&=(a^b)
 790         eor     w2,w2,w11,ror#19
 791         eor     w3,w3,w14,lsr#3 // sigma0(X[i+1])
 792         add     w26,w26,w16                     // h+=Sigma1(e)
 793         eor     w19,w19,w20                     // Maj(a,b,c)
 794         eor     w17,w4,w27,ror#22       // Sigma0(a)
 795         eor     w2,w2,w11,lsr#10        // sigma1(X[i+14])
 796         add     w13,w13,w6
 797         add     w22,w22,w26                     // d+=h
 798         add     w26,w26,w19                     // h+=Maj(a,b,c)
 799         ldr     w19,[x30],#4            // *K++, w28 in next round
 800         add     w13,w13,w3
 801         add     w26,w26,w17                     // h+=Sigma0(a)
 802         add     w13,w13,w2
 803         ldr     w2,[sp,#12]
 804         str     w5,[sp,#8]
 805         ror     w16,w22,#6
 806         add     w25,w25,w19                     // h+=K[i]
 807         ror     w4,w15,#7
 808         and     w17,w23,w22
 809         ror     w3,w12,#17
 810         bic     w19,w24,w22
 811         ror     w5,w26,#2
 812         add     w25,w25,w13                     // h+=X[i]
 813         eor     w16,w16,w22,ror#11
 814         eor     w4,w4,w15,ror#18
 815         orr     w17,w17,w19                     // Ch(e,f,g)
 816         eor     w19,w26,w27                     // a^b, b^c in next round
 817         eor     w16,w16,w22,ror#25      // Sigma1(e)
 818         eor     w5,w5,w26,ror#13
 819         add     w25,w25,w17                     // h+=Ch(e,f,g)
 820         and     w28,w28,w19                     // (b^c)&=(a^b)
 821         eor     w3,w3,w12,ror#19
 822         eor     w4,w4,w15,lsr#3 // sigma0(X[i+1])
 823         add     w25,w25,w16                     // h+=Sigma1(e)
 824         eor     w28,w28,w27                     // Maj(a,b,c)
 825         eor     w17,w5,w26,ror#22       // Sigma0(a)
 826         eor     w3,w3,w12,lsr#10        // sigma1(X[i+14])
 827         add     w14,w14,w7
 828         add     w21,w21,w25                     // d+=h
 829         add     w25,w25,w28                     // h+=Maj(a,b,c)
 830         ldr     w28,[x30],#4            // *K++, w19 in next round
 831         add     w14,w14,w4
 832         add     w25,w25,w17                     // h+=Sigma0(a)
 833         add     w14,w14,w3
 834         ldr     w3,[sp,#0]
 835         str     w6,[sp,#12]
 836         ror     w16,w21,#6
 837         add     w24,w24,w28                     // h+=K[i]
 838         ror     w5,w0,#7
 839         and     w17,w22,w21
 840         ror     w4,w13,#17
 841         bic     w28,w23,w21
 842         ror     w6,w25,#2
 843         add     w24,w24,w14                     // h+=X[i]
 844         eor     w16,w16,w21,ror#11
 845         eor     w5,w5,w0,ror#18
 846         orr     w17,w17,w28                     // Ch(e,f,g)
 847         eor     w28,w25,w26                     // a^b, b^c in next round
 848         eor     w16,w16,w21,ror#25      // Sigma1(e)
 849         eor     w6,w6,w25,ror#13
 850         add     w24,w24,w17                     // h+=Ch(e,f,g)
 851         and     w19,w19,w28                     // (b^c)&=(a^b)
 852         eor     w4,w4,w13,ror#19
 853         eor     w5,w5,w0,lsr#3  // sigma0(X[i+1])
 854         add     w24,w24,w16                     // h+=Sigma1(e)
 855         eor     w19,w19,w26                     // Maj(a,b,c)
 856         eor     w17,w6,w25,ror#22       // Sigma0(a)
 857         eor     w4,w4,w13,lsr#10        // sigma1(X[i+14])
 858         add     w15,w15,w8
 859         add     w20,w20,w24                     // d+=h
 860         add     w24,w24,w19                     // h+=Maj(a,b,c)
 861         ldr     w19,[x30],#4            // *K++, w28 in next round
 862         add     w15,w15,w5
 863         add     w24,w24,w17                     // h+=Sigma0(a)
 864         add     w15,w15,w4
 865         ldr     w4,[sp,#4]
 866         str     w7,[sp,#0]
 867         ror     w16,w20,#6
 868         add     w23,w23,w19                     // h+=K[i]
 869         ror     w6,w1,#7
 870         and     w17,w21,w20
 871         ror     w5,w14,#17
 872         bic     w19,w22,w20
 873         ror     w7,w24,#2
 874         add     w23,w23,w15                     // h+=X[i]
 875         eor     w16,w16,w20,ror#11
 876         eor     w6,w6,w1,ror#18
 877         orr     w17,w17,w19                     // Ch(e,f,g)
 878         eor     w19,w24,w25                     // a^b, b^c in next round
 879         eor     w16,w16,w20,ror#25      // Sigma1(e)
 880         eor     w7,w7,w24,ror#13
 881         add     w23,w23,w17                     // h+=Ch(e,f,g)
 882         and     w28,w28,w19                     // (b^c)&=(a^b)
 883         eor     w5,w5,w14,ror#19
 884         eor     w6,w6,w1,lsr#3  // sigma0(X[i+1])
 885         add     w23,w23,w16                     // h+=Sigma1(e)
 886         eor     w28,w28,w25                     // Maj(a,b,c)
 887         eor     w17,w7,w24,ror#22       // Sigma0(a)
 888         eor     w5,w5,w14,lsr#10        // sigma1(X[i+14])
 889         add     w0,w0,w9
 890         add     w27,w27,w23                     // d+=h
 891         add     w23,w23,w28                     // h+=Maj(a,b,c)
 892         ldr     w28,[x30],#4            // *K++, w19 in next round
 893         add     w0,w0,w6
 894         add     w23,w23,w17                     // h+=Sigma0(a)
 895         add     w0,w0,w5
 896         ldr     w5,[sp,#8]
 897         str     w8,[sp,#4]
 898         ror     w16,w27,#6
 899         add     w22,w22,w28                     // h+=K[i]
 900         ror     w7,w2,#7
 901         and     w17,w20,w27
 902         ror     w6,w15,#17
 903         bic     w28,w21,w27
 904         ror     w8,w23,#2
 905         add     w22,w22,w0                      // h+=X[i]
 906         eor     w16,w16,w27,ror#11
 907         eor     w7,w7,w2,ror#18
 908         orr     w17,w17,w28                     // Ch(e,f,g)
 909         eor     w28,w23,w24                     // a^b, b^c in next round
 910         eor     w16,w16,w27,ror#25      // Sigma1(e)
 911         eor     w8,w8,w23,ror#13
 912         add     w22,w22,w17                     // h+=Ch(e,f,g)
 913         and     w19,w19,w28                     // (b^c)&=(a^b)
 914         eor     w6,w6,w15,ror#19
 915         eor     w7,w7,w2,lsr#3  // sigma0(X[i+1])
 916         add     w22,w22,w16                     // h+=Sigma1(e)
 917         eor     w19,w19,w24                     // Maj(a,b,c)
 918         eor     w17,w8,w23,ror#22       // Sigma0(a)
 919         eor     w6,w6,w15,lsr#10        // sigma1(X[i+14])
 920         add     w1,w1,w10
 921         add     w26,w26,w22                     // d+=h
 922         add     w22,w22,w19                     // h+=Maj(a,b,c)
 923         ldr     w19,[x30],#4            // *K++, w28 in next round
 924         add     w1,w1,w7
 925         add     w22,w22,w17                     // h+=Sigma0(a)
 926         add     w1,w1,w6
 927         ldr     w6,[sp,#12]
 928         str     w9,[sp,#8]
 929         ror     w16,w26,#6
 930         add     w21,w21,w19                     // h+=K[i]
 931         ror     w8,w3,#7
 932         and     w17,w27,w26
 933         ror     w7,w0,#17
 934         bic     w19,w20,w26
 935         ror     w9,w22,#2
 936         add     w21,w21,w1                      // h+=X[i]
 937         eor     w16,w16,w26,ror#11
 938         eor     w8,w8,w3,ror#18
 939         orr     w17,w17,w19                     // Ch(e,f,g)
 940         eor     w19,w22,w23                     // a^b, b^c in next round
 941         eor     w16,w16,w26,ror#25      // Sigma1(e)
 942         eor     w9,w9,w22,ror#13
 943         add     w21,w21,w17                     // h+=Ch(e,f,g)
 944         and     w28,w28,w19                     // (b^c)&=(a^b)
 945         eor     w7,w7,w0,ror#19
 946         eor     w8,w8,w3,lsr#3  // sigma0(X[i+1])
 947         add     w21,w21,w16                     // h+=Sigma1(e)
 948         eor     w28,w28,w23                     // Maj(a,b,c)
 949         eor     w17,w9,w22,ror#22       // Sigma0(a)
 950         eor     w7,w7,w0,lsr#10 // sigma1(X[i+14])
 951         add     w2,w2,w11
 952         add     w25,w25,w21                     // d+=h
 953         add     w21,w21,w28                     // h+=Maj(a,b,c)
 954         ldr     w28,[x30],#4            // *K++, w19 in next round
 955         add     w2,w2,w8
 956         add     w21,w21,w17                     // h+=Sigma0(a)
 957         add     w2,w2,w7
 958         ldr     w7,[sp,#0]
 959         str     w10,[sp,#12]
 960         ror     w16,w25,#6
 961         add     w20,w20,w28                     // h+=K[i]
 962         ror     w9,w4,#7
 963         and     w17,w26,w25
 964         ror     w8,w1,#17
 965         bic     w28,w27,w25
 966         ror     w10,w21,#2
 967         add     w20,w20,w2                      // h+=X[i]
 968         eor     w16,w16,w25,ror#11
 969         eor     w9,w9,w4,ror#18
 970         orr     w17,w17,w28                     // Ch(e,f,g)
 971         eor     w28,w21,w22                     // a^b, b^c in next round
 972         eor     w16,w16,w25,ror#25      // Sigma1(e)
 973         eor     w10,w10,w21,ror#13
 974         add     w20,w20,w17                     // h+=Ch(e,f,g)
 975         and     w19,w19,w28                     // (b^c)&=(a^b)
 976         eor     w8,w8,w1,ror#19
 977         eor     w9,w9,w4,lsr#3  // sigma0(X[i+1])
 978         add     w20,w20,w16                     // h+=Sigma1(e)
 979         eor     w19,w19,w22                     // Maj(a,b,c)
 980         eor     w17,w10,w21,ror#22      // Sigma0(a)
 981         eor     w8,w8,w1,lsr#10 // sigma1(X[i+14])
 982         add     w3,w3,w12
 983         add     w24,w24,w20                     // d+=h
 984         add     w20,w20,w19                     // h+=Maj(a,b,c)
 985         ldr     w19,[x30],#4            // *K++, w28 in next round
 986         add     w3,w3,w9
 987         add     w20,w20,w17                     // h+=Sigma0(a)
 988         add     w3,w3,w8
 989         cbnz    w19,.Loop_16_xx
 990
 991         ldp     x0,x2,[x29,#96]
 992         ldr     x1,[x29,#112]
 993         sub     x30,x30,#260            // rewind
 994
 995         ldp     w3,w4,[x0]
 996         ldp     w5,w6,[x0,#2*4]
 997         add     x1,x1,#14*4                     // advance input pointer
 998         ldp     w7,w8,[x0,#4*4]
 999         add     w20,w20,w3
1000         ldp     w9,w10,[x0,#6*4]
1001         add     w21,w21,w4
1002         add     w22,w22,w5
1003         add     w23,w23,w6
1004         stp     w20,w21,[x0]
1005         add     w24,w24,w7
1006         add     w25,w25,w8
1007         stp     w22,w23,[x0,#2*4]
1008         add     w26,w26,w9
1009         add     w27,w27,w10
1010         cmp     x1,x2
1011         stp     w24,w25,[x0,#4*4]
1012         stp     w26,w27,[x0,#6*4]
1013         b.ne    .Loop
1014
1015         ldp     x19,x20,[x29,#16]
1016         add     sp,sp,#4*4
1017         ldp     x21,x22,[x29,#32]
1018         ldp     x23,x24,[x29,#48]
1019         ldp     x25,x26,[x29,#64]
1020         ldp     x27,x28,[x29,#80]
1021         ldp     x29,x30,[sp],#128
1022         ret
1023 .size   zfs_sha256_block_armv7,.-zfs_sha256_block_armv7
1024
1025 .globl  zfs_sha256_block_armv8
1026 .type   zfs_sha256_block_armv8,%function
1027 .align  6
1028 zfs_sha256_block_armv8:
1029         hint            #34                             // bti c
1030 .Lv8_entry:
1031         stp             x29,x30,[sp,#-16]!
1032         add             x29,sp,#0
1033
1034         ld1             {v0.4s,v1.4s},[x0]
1035         adr             x3,.LK256
1036
1037 .Loop_hw:
1038         ld1             {v4.16b-v7.16b},[x1],#64
1039         sub             x2,x2,#1
1040         ld1             {v16.4s},[x3],#16
1041         rev32           v4.16b,v4.16b
1042         rev32           v5.16b,v5.16b
1043         rev32           v6.16b,v6.16b
1044         rev32           v7.16b,v7.16b
1045         orr             v18.16b,v0.16b,v0.16b           // offload
1046         orr             v19.16b,v1.16b,v1.16b
1047         ld1             {v17.4s},[x3],#16
1048         add             v16.4s,v16.4s,v4.4s
1049         .inst   0x5e2828a4      //sha256su0 v4.16b,v5.16b
1050         orr             v2.16b,v0.16b,v0.16b
1051         .inst   0x5e104020      //sha256h v0.16b,v1.16b,v16.4s
1052         .inst   0x5e105041      //sha256h2 v1.16b,v2.16b,v16.4s
1053         .inst   0x5e0760c4      //sha256su1 v4.16b,v6.16b,v7.16b
1054         ld1             {v16.4s},[x3],#16
1055         add             v17.4s,v17.4s,v5.4s
1056         .inst   0x5e2828c5      //sha256su0 v5.16b,v6.16b
1057         orr             v2.16b,v0.16b,v0.16b
1058         .inst   0x5e114020      //sha256h v0.16b,v1.16b,v17.4s
1059         .inst   0x5e115041      //sha256h2 v1.16b,v2.16b,v17.4s
1060         .inst   0x5e0460e5      //sha256su1 v5.16b,v7.16b,v4.16b
1061         ld1             {v17.4s},[x3],#16
1062         add             v16.4s,v16.4s,v6.4s
1063         .inst   0x5e2828e6      //sha256su0 v6.16b,v7.16b
1064         orr             v2.16b,v0.16b,v0.16b
1065         .inst   0x5e104020      //sha256h v0.16b,v1.16b,v16.4s
1066         .inst   0x5e105041      //sha256h2 v1.16b,v2.16b,v16.4s
1067         .inst   0x5e056086      //sha256su1 v6.16b,v4.16b,v5.16b
1068         ld1             {v16.4s},[x3],#16
1069         add             v17.4s,v17.4s,v7.4s
1070         .inst   0x5e282887      //sha256su0 v7.16b,v4.16b
1071         orr             v2.16b,v0.16b,v0.16b
1072         .inst   0x5e114020      //sha256h v0.16b,v1.16b,v17.4s
1073         .inst   0x5e115041      //sha256h2 v1.16b,v2.16b,v17.4s
1074         .inst   0x5e0660a7      //sha256su1 v7.16b,v5.16b,v6.16b
1075         ld1             {v17.4s},[x3],#16
1076         add             v16.4s,v16.4s,v4.4s
1077         .inst   0x5e2828a4      //sha256su0 v4.16b,v5.16b
1078         orr             v2.16b,v0.16b,v0.16b
1079         .inst   0x5e104020      //sha256h v0.16b,v1.16b,v16.4s
1080         .inst   0x5e105041      //sha256h2 v1.16b,v2.16b,v16.4s
1081         .inst   0x5e0760c4      //sha256su1 v4.16b,v6.16b,v7.16b
1082         ld1             {v16.4s},[x3],#16
1083         add             v17.4s,v17.4s,v5.4s
1084         .inst   0x5e2828c5      //sha256su0 v5.16b,v6.16b
1085         orr             v2.16b,v0.16b,v0.16b
1086         .inst   0x5e114020      //sha256h v0.16b,v1.16b,v17.4s
1087         .inst   0x5e115041      //sha256h2 v1.16b,v2.16b,v17.4s
1088         .inst   0x5e0460e5      //sha256su1 v5.16b,v7.16b,v4.16b
1089         ld1             {v17.4s},[x3],#16
1090         add             v16.4s,v16.4s,v6.4s
1091         .inst   0x5e2828e6      //sha256su0 v6.16b,v7.16b
1092         orr             v2.16b,v0.16b,v0.16b
1093         .inst   0x5e104020      //sha256h v0.16b,v1.16b,v16.4s
1094         .inst   0x5e105041      //sha256h2 v1.16b,v2.16b,v16.4s
1095         .inst   0x5e056086      //sha256su1 v6.16b,v4.16b,v5.16b
1096         ld1             {v16.4s},[x3],#16
1097         add             v17.4s,v17.4s,v7.4s
1098         .inst   0x5e282887      //sha256su0 v7.16b,v4.16b
1099         orr             v2.16b,v0.16b,v0.16b
1100         .inst   0x5e114020      //sha256h v0.16b,v1.16b,v17.4s
1101         .inst   0x5e115041      //sha256h2 v1.16b,v2.16b,v17.4s
1102         .inst   0x5e0660a7      //sha256su1 v7.16b,v5.16b,v6.16b
1103         ld1             {v17.4s},[x3],#16
1104         add             v16.4s,v16.4s,v4.4s
1105         .inst   0x5e2828a4      //sha256su0 v4.16b,v5.16b
1106         orr             v2.16b,v0.16b,v0.16b
1107         .inst   0x5e104020      //sha256h v0.16b,v1.16b,v16.4s
1108         .inst   0x5e105041      //sha256h2 v1.16b,v2.16b,v16.4s
1109         .inst   0x5e0760c4      //sha256su1 v4.16b,v6.16b,v7.16b
1110         ld1             {v16.4s},[x3],#16
1111         add             v17.4s,v17.4s,v5.4s
1112         .inst   0x5e2828c5      //sha256su0 v5.16b,v6.16b
1113         orr             v2.16b,v0.16b,v0.16b
1114         .inst   0x5e114020      //sha256h v0.16b,v1.16b,v17.4s
1115         .inst   0x5e115041      //sha256h2 v1.16b,v2.16b,v17.4s
1116         .inst   0x5e0460e5      //sha256su1 v5.16b,v7.16b,v4.16b
1117         ld1             {v17.4s},[x3],#16
1118         add             v16.4s,v16.4s,v6.4s
1119         .inst   0x5e2828e6      //sha256su0 v6.16b,v7.16b
1120         orr             v2.16b,v0.16b,v0.16b
1121         .inst   0x5e104020      //sha256h v0.16b,v1.16b,v16.4s
1122         .inst   0x5e105041      //sha256h2 v1.16b,v2.16b,v16.4s
1123         .inst   0x5e056086      //sha256su1 v6.16b,v4.16b,v5.16b
1124         ld1             {v16.4s},[x3],#16
1125         add             v17.4s,v17.4s,v7.4s
1126         .inst   0x5e282887      //sha256su0 v7.16b,v4.16b
1127         orr             v2.16b,v0.16b,v0.16b
1128         .inst   0x5e114020      //sha256h v0.16b,v1.16b,v17.4s
1129         .inst   0x5e115041      //sha256h2 v1.16b,v2.16b,v17.4s
1130         .inst   0x5e0660a7      //sha256su1 v7.16b,v5.16b,v6.16b
1131         ld1             {v17.4s},[x3],#16
1132         add             v16.4s,v16.4s,v4.4s
1133         orr             v2.16b,v0.16b,v0.16b
1134         .inst   0x5e104020      //sha256h v0.16b,v1.16b,v16.4s
1135         .inst   0x5e105041      //sha256h2 v1.16b,v2.16b,v16.4s
1136
1137         ld1             {v16.4s},[x3],#16
1138         add             v17.4s,v17.4s,v5.4s
1139         orr             v2.16b,v0.16b,v0.16b
1140         .inst   0x5e114020      //sha256h v0.16b,v1.16b,v17.4s
1141         .inst   0x5e115041      //sha256h2 v1.16b,v2.16b,v17.4s
1142
1143         ld1             {v17.4s},[x3]
1144         add             v16.4s,v16.4s,v6.4s
1145         sub             x3,x3,#64*4-16  // rewind
1146         orr             v2.16b,v0.16b,v0.16b
1147         .inst   0x5e104020      //sha256h v0.16b,v1.16b,v16.4s
1148         .inst   0x5e105041      //sha256h2 v1.16b,v2.16b,v16.4s
1149
1150         add             v17.4s,v17.4s,v7.4s
1151         orr             v2.16b,v0.16b,v0.16b
1152         .inst   0x5e114020      //sha256h v0.16b,v1.16b,v17.4s
1153         .inst   0x5e115041      //sha256h2 v1.16b,v2.16b,v17.4s
1154
1155         add             v0.4s,v0.4s,v18.4s
1156         add             v1.4s,v1.4s,v19.4s
1157
1158         cbnz            x2,.Loop_hw
1159
1160         st1             {v0.4s,v1.4s},[x0]
1161
1162         ldr             x29,[sp],#16
1163         ret
1164 .size   zfs_sha256_block_armv8,.-zfs_sha256_block_armv8
1165
1166 .globl  zfs_sha256_block_neon
1167 .type   zfs_sha256_block_neon,%function
1168 .align  4
1169 zfs_sha256_block_neon:
1170         hint    #34                                     // bti c
1171 .Lneon_entry:
1172         stp     x29, x30, [sp, #-16]!
1173         mov     x29, sp
1174         sub     sp,sp,#16*4
1175
1176         adr     x16,.LK256
1177         add     x2,x1,x2,lsl#6  // len to point at the end of inp
1178
1179         ld1     {v0.16b},[x1], #16
1180         ld1     {v1.16b},[x1], #16
1181         ld1     {v2.16b},[x1], #16
1182         ld1     {v3.16b},[x1], #16
1183         ld1     {v4.4s},[x16], #16
1184         ld1     {v5.4s},[x16], #16
1185         ld1     {v6.4s},[x16], #16
1186         ld1     {v7.4s},[x16], #16
1187         rev32   v0.16b,v0.16b           // yes, even on
1188         rev32   v1.16b,v1.16b           // big-endian
1189         rev32   v2.16b,v2.16b
1190         rev32   v3.16b,v3.16b
1191         mov     x17,sp
1192         add     v4.4s,v4.4s,v0.4s
1193         add     v5.4s,v5.4s,v1.4s
1194         add     v6.4s,v6.4s,v2.4s
1195         st1     {v4.4s-v5.4s},[x17], #32
1196         add     v7.4s,v7.4s,v3.4s
1197         st1     {v6.4s-v7.4s},[x17]
1198         sub     x17,x17,#32
1199
1200         ldp     w3,w4,[x0]
1201         ldp     w5,w6,[x0,#8]
1202         ldp     w7,w8,[x0,#16]
1203         ldp     w9,w10,[x0,#24]
1204         ldr     w12,[sp,#0]
1205         mov     w13,wzr
1206         eor     w14,w4,w5
1207         mov     w15,wzr
1208         b       .L_00_48
1209
1210 .align  4
1211 .L_00_48:
1212         ext     v4.16b,v0.16b,v1.16b,#4
1213         add     w10,w10,w12
1214         add     w3,w3,w15
1215         and     w12,w8,w7
1216         bic     w15,w9,w7
1217         ext     v7.16b,v2.16b,v3.16b,#4
1218         eor     w11,w7,w7,ror#5
1219         add     w3,w3,w13
1220         mov     d19,v3.d[1]
1221         orr     w12,w12,w15
1222         eor     w11,w11,w7,ror#19
1223         ushr    v6.4s,v4.4s,#7
1224         eor     w15,w3,w3,ror#11
1225         ushr    v5.4s,v4.4s,#3
1226         add     w10,w10,w12
1227         add     v0.4s,v0.4s,v7.4s
1228         ror     w11,w11,#6
1229         sli     v6.4s,v4.4s,#25
1230         eor     w13,w3,w4
1231         eor     w15,w15,w3,ror#20
1232         ushr    v7.4s,v4.4s,#18
1233         add     w10,w10,w11
1234         ldr     w12,[sp,#4]
1235         and     w14,w14,w13
1236         eor     v5.16b,v5.16b,v6.16b
1237         ror     w15,w15,#2
1238         add     w6,w6,w10
1239         sli     v7.4s,v4.4s,#14
1240         eor     w14,w14,w4
1241         ushr    v16.4s,v19.4s,#17
1242         add     w9,w9,w12
1243         add     w10,w10,w15
1244         and     w12,w7,w6
1245         eor     v5.16b,v5.16b,v7.16b
1246         bic     w15,w8,w6
1247         eor     w11,w6,w6,ror#5
1248         sli     v16.4s,v19.4s,#15
1249         add     w10,w10,w14
1250         orr     w12,w12,w15
1251         ushr    v17.4s,v19.4s,#10
1252         eor     w11,w11,w6,ror#19
1253         eor     w15,w10,w10,ror#11
1254         ushr    v7.4s,v19.4s,#19
1255         add     w9,w9,w12
1256         ror     w11,w11,#6
1257         add     v0.4s,v0.4s,v5.4s
1258         eor     w14,w10,w3
1259         eor     w15,w15,w10,ror#20
1260         sli     v7.4s,v19.4s,#13
1261         add     w9,w9,w11
1262         ldr     w12,[sp,#8]
1263         and     w13,w13,w14
1264         eor     v17.16b,v17.16b,v16.16b
1265         ror     w15,w15,#2
1266         add     w5,w5,w9
1267         eor     w13,w13,w3
1268         eor     v17.16b,v17.16b,v7.16b
1269         add     w8,w8,w12
1270         add     w9,w9,w15
1271         and     w12,w6,w5
1272         add     v0.4s,v0.4s,v17.4s
1273         bic     w15,w7,w5
1274         eor     w11,w5,w5,ror#5
1275         add     w9,w9,w13
1276         ushr    v18.4s,v0.4s,#17
1277         orr     w12,w12,w15
1278         ushr    v19.4s,v0.4s,#10
1279         eor     w11,w11,w5,ror#19
1280         eor     w15,w9,w9,ror#11
1281         sli     v18.4s,v0.4s,#15
1282         add     w8,w8,w12
1283         ushr    v17.4s,v0.4s,#19
1284         ror     w11,w11,#6
1285         eor     w13,w9,w10
1286         eor     v19.16b,v19.16b,v18.16b
1287         eor     w15,w15,w9,ror#20
1288         add     w8,w8,w11
1289         sli     v17.4s,v0.4s,#13
1290         ldr     w12,[sp,#12]
1291         and     w14,w14,w13
1292         ror     w15,w15,#2
1293         ld1     {v4.4s},[x16], #16
1294         add     w4,w4,w8
1295         eor     v19.16b,v19.16b,v17.16b
1296         eor     w14,w14,w10
1297         eor     v17.16b,v17.16b,v17.16b
1298         add     w7,w7,w12
1299         add     w8,w8,w15
1300         and     w12,w5,w4
1301         mov     v17.d[1],v19.d[0]
1302         bic     w15,w6,w4
1303         eor     w11,w4,w4,ror#5
1304         add     w8,w8,w14
1305         add     v0.4s,v0.4s,v17.4s
1306         orr     w12,w12,w15
1307         eor     w11,w11,w4,ror#19
1308         eor     w15,w8,w8,ror#11
1309         add     v4.4s,v4.4s,v0.4s
1310         add     w7,w7,w12
1311         ror     w11,w11,#6
1312         eor     w14,w8,w9
1313         eor     w15,w15,w8,ror#20
1314         add     w7,w7,w11
1315         ldr     w12,[sp,#16]
1316         and     w13,w13,w14
1317         ror     w15,w15,#2
1318         add     w3,w3,w7
1319         eor     w13,w13,w9
1320         st1     {v4.4s},[x17], #16
1321         ext     v4.16b,v1.16b,v2.16b,#4
1322         add     w6,w6,w12
1323         add     w7,w7,w15
1324         and     w12,w4,w3
1325         bic     w15,w5,w3
1326         ext     v7.16b,v3.16b,v0.16b,#4
1327         eor     w11,w3,w3,ror#5
1328         add     w7,w7,w13
1329         mov     d19,v0.d[1]
1330         orr     w12,w12,w15
1331         eor     w11,w11,w3,ror#19
1332         ushr    v6.4s,v4.4s,#7
1333         eor     w15,w7,w7,ror#11
1334         ushr    v5.4s,v4.4s,#3
1335         add     w6,w6,w12
1336         add     v1.4s,v1.4s,v7.4s
1337         ror     w11,w11,#6
1338         sli     v6.4s,v4.4s,#25
1339         eor     w13,w7,w8
1340         eor     w15,w15,w7,ror#20
1341         ushr    v7.4s,v4.4s,#18
1342         add     w6,w6,w11
1343         ldr     w12,[sp,#20]
1344         and     w14,w14,w13
1345         eor     v5.16b,v5.16b,v6.16b
1346         ror     w15,w15,#2
1347         add     w10,w10,w6
1348         sli     v7.4s,v4.4s,#14
1349         eor     w14,w14,w8
1350         ushr    v16.4s,v19.4s,#17
1351         add     w5,w5,w12
1352         add     w6,w6,w15
1353         and     w12,w3,w10
1354         eor     v5.16b,v5.16b,v7.16b
1355         bic     w15,w4,w10
1356         eor     w11,w10,w10,ror#5
1357         sli     v16.4s,v19.4s,#15
1358         add     w6,w6,w14
1359         orr     w12,w12,w15
1360         ushr    v17.4s,v19.4s,#10
1361         eor     w11,w11,w10,ror#19
1362         eor     w15,w6,w6,ror#11
1363         ushr    v7.4s,v19.4s,#19
1364         add     w5,w5,w12
1365         ror     w11,w11,#6
1366         add     v1.4s,v1.4s,v5.4s
1367         eor     w14,w6,w7
1368         eor     w15,w15,w6,ror#20
1369         sli     v7.4s,v19.4s,#13
1370         add     w5,w5,w11
1371         ldr     w12,[sp,#24]
1372         and     w13,w13,w14
1373         eor     v17.16b,v17.16b,v16.16b
1374         ror     w15,w15,#2
1375         add     w9,w9,w5
1376         eor     w13,w13,w7
1377         eor     v17.16b,v17.16b,v7.16b
1378         add     w4,w4,w12
1379         add     w5,w5,w15
1380         and     w12,w10,w9
1381         add     v1.4s,v1.4s,v17.4s
1382         bic     w15,w3,w9
1383         eor     w11,w9,w9,ror#5
1384         add     w5,w5,w13
1385         ushr    v18.4s,v1.4s,#17
1386         orr     w12,w12,w15
1387         ushr    v19.4s,v1.4s,#10
1388         eor     w11,w11,w9,ror#19
1389         eor     w15,w5,w5,ror#11
1390         sli     v18.4s,v1.4s,#15
1391         add     w4,w4,w12
1392         ushr    v17.4s,v1.4s,#19
1393         ror     w11,w11,#6
1394         eor     w13,w5,w6
1395         eor     v19.16b,v19.16b,v18.16b
1396         eor     w15,w15,w5,ror#20
1397         add     w4,w4,w11
1398         sli     v17.4s,v1.4s,#13
1399         ldr     w12,[sp,#28]
1400         and     w14,w14,w13
1401         ror     w15,w15,#2
1402         ld1     {v4.4s},[x16], #16
1403         add     w8,w8,w4
1404         eor     v19.16b,v19.16b,v17.16b
1405         eor     w14,w14,w6
1406         eor     v17.16b,v17.16b,v17.16b
1407         add     w3,w3,w12
1408         add     w4,w4,w15
1409         and     w12,w9,w8
1410         mov     v17.d[1],v19.d[0]
1411         bic     w15,w10,w8
1412         eor     w11,w8,w8,ror#5
1413         add     w4,w4,w14
1414         add     v1.4s,v1.4s,v17.4s
1415         orr     w12,w12,w15
1416         eor     w11,w11,w8,ror#19
1417         eor     w15,w4,w4,ror#11
1418         add     v4.4s,v4.4s,v1.4s
1419         add     w3,w3,w12
1420         ror     w11,w11,#6
1421         eor     w14,w4,w5
1422         eor     w15,w15,w4,ror#20
1423         add     w3,w3,w11
1424         ldr     w12,[sp,#32]
1425         and     w13,w13,w14
1426         ror     w15,w15,#2
1427         add     w7,w7,w3
1428         eor     w13,w13,w5
1429         st1     {v4.4s},[x17], #16
1430         ext     v4.16b,v2.16b,v3.16b,#4
1431         add     w10,w10,w12
1432         add     w3,w3,w15
1433         and     w12,w8,w7
1434         bic     w15,w9,w7
1435         ext     v7.16b,v0.16b,v1.16b,#4
1436         eor     w11,w7,w7,ror#5
1437         add     w3,w3,w13
1438         mov     d19,v1.d[1]
1439         orr     w12,w12,w15
1440         eor     w11,w11,w7,ror#19
1441         ushr    v6.4s,v4.4s,#7
1442         eor     w15,w3,w3,ror#11
1443         ushr    v5.4s,v4.4s,#3
1444         add     w10,w10,w12
1445         add     v2.4s,v2.4s,v7.4s
1446         ror     w11,w11,#6
1447         sli     v6.4s,v4.4s,#25
1448         eor     w13,w3,w4
1449         eor     w15,w15,w3,ror#20
1450         ushr    v7.4s,v4.4s,#18
1451         add     w10,w10,w11
1452         ldr     w12,[sp,#36]
1453         and     w14,w14,w13
1454         eor     v5.16b,v5.16b,v6.16b
1455         ror     w15,w15,#2
1456         add     w6,w6,w10
1457         sli     v7.4s,v4.4s,#14
1458         eor     w14,w14,w4
1459         ushr    v16.4s,v19.4s,#17
1460         add     w9,w9,w12
1461         add     w10,w10,w15
1462         and     w12,w7,w6
1463         eor     v5.16b,v5.16b,v7.16b
1464         bic     w15,w8,w6
1465         eor     w11,w6,w6,ror#5
1466         sli     v16.4s,v19.4s,#15
1467         add     w10,w10,w14
1468         orr     w12,w12,w15
1469         ushr    v17.4s,v19.4s,#10
1470         eor     w11,w11,w6,ror#19
1471         eor     w15,w10,w10,ror#11
1472         ushr    v7.4s,v19.4s,#19
1473         add     w9,w9,w12
1474         ror     w11,w11,#6
1475         add     v2.4s,v2.4s,v5.4s
1476         eor     w14,w10,w3
1477         eor     w15,w15,w10,ror#20
1478         sli     v7.4s,v19.4s,#13
1479         add     w9,w9,w11
1480         ldr     w12,[sp,#40]
1481         and     w13,w13,w14
1482         eor     v17.16b,v17.16b,v16.16b
1483         ror     w15,w15,#2
1484         add     w5,w5,w9
1485         eor     w13,w13,w3
1486         eor     v17.16b,v17.16b,v7.16b
1487         add     w8,w8,w12
1488         add     w9,w9,w15
1489         and     w12,w6,w5
1490         add     v2.4s,v2.4s,v17.4s
1491         bic     w15,w7,w5
1492         eor     w11,w5,w5,ror#5
1493         add     w9,w9,w13
1494         ushr    v18.4s,v2.4s,#17
1495         orr     w12,w12,w15
1496         ushr    v19.4s,v2.4s,#10
1497         eor     w11,w11,w5,ror#19
1498         eor     w15,w9,w9,ror#11
1499         sli     v18.4s,v2.4s,#15
1500         add     w8,w8,w12
1501         ushr    v17.4s,v2.4s,#19
1502         ror     w11,w11,#6
1503         eor     w13,w9,w10
1504         eor     v19.16b,v19.16b,v18.16b
1505         eor     w15,w15,w9,ror#20
1506         add     w8,w8,w11
1507         sli     v17.4s,v2.4s,#13
1508         ldr     w12,[sp,#44]
1509         and     w14,w14,w13
1510         ror     w15,w15,#2
1511         ld1     {v4.4s},[x16], #16
1512         add     w4,w4,w8
1513         eor     v19.16b,v19.16b,v17.16b
1514         eor     w14,w14,w10
1515         eor     v17.16b,v17.16b,v17.16b
1516         add     w7,w7,w12
1517         add     w8,w8,w15
1518         and     w12,w5,w4
1519         mov     v17.d[1],v19.d[0]
1520         bic     w15,w6,w4
1521         eor     w11,w4,w4,ror#5
1522         add     w8,w8,w14
1523         add     v2.4s,v2.4s,v17.4s
1524         orr     w12,w12,w15
1525         eor     w11,w11,w4,ror#19
1526         eor     w15,w8,w8,ror#11
1527         add     v4.4s,v4.4s,v2.4s
1528         add     w7,w7,w12
1529         ror     w11,w11,#6
1530         eor     w14,w8,w9
1531         eor     w15,w15,w8,ror#20
1532         add     w7,w7,w11
1533         ldr     w12,[sp,#48]
1534         and     w13,w13,w14
1535         ror     w15,w15,#2
1536         add     w3,w3,w7
1537         eor     w13,w13,w9
1538         st1     {v4.4s},[x17], #16
1539         ext     v4.16b,v3.16b,v0.16b,#4
1540         add     w6,w6,w12
1541         add     w7,w7,w15
1542         and     w12,w4,w3
1543         bic     w15,w5,w3
1544         ext     v7.16b,v1.16b,v2.16b,#4
1545         eor     w11,w3,w3,ror#5
1546         add     w7,w7,w13
1547         mov     d19,v2.d[1]
1548         orr     w12,w12,w15
1549         eor     w11,w11,w3,ror#19
1550         ushr    v6.4s,v4.4s,#7
1551         eor     w15,w7,w7,ror#11
1552         ushr    v5.4s,v4.4s,#3
1553         add     w6,w6,w12
1554         add     v3.4s,v3.4s,v7.4s
1555         ror     w11,w11,#6
1556         sli     v6.4s,v4.4s,#25
1557         eor     w13,w7,w8
1558         eor     w15,w15,w7,ror#20
1559         ushr    v7.4s,v4.4s,#18
1560         add     w6,w6,w11
1561         ldr     w12,[sp,#52]
1562         and     w14,w14,w13
1563         eor     v5.16b,v5.16b,v6.16b
1564         ror     w15,w15,#2
1565         add     w10,w10,w6
1566         sli     v7.4s,v4.4s,#14
1567         eor     w14,w14,w8
1568         ushr    v16.4s,v19.4s,#17
1569         add     w5,w5,w12
1570         add     w6,w6,w15
1571         and     w12,w3,w10
1572         eor     v5.16b,v5.16b,v7.16b
1573         bic     w15,w4,w10
1574         eor     w11,w10,w10,ror#5
1575         sli     v16.4s,v19.4s,#15
1576         add     w6,w6,w14
1577         orr     w12,w12,w15
1578         ushr    v17.4s,v19.4s,#10
1579         eor     w11,w11,w10,ror#19
1580         eor     w15,w6,w6,ror#11
1581         ushr    v7.4s,v19.4s,#19
1582         add     w5,w5,w12
1583         ror     w11,w11,#6
1584         add     v3.4s,v3.4s,v5.4s
1585         eor     w14,w6,w7
1586         eor     w15,w15,w6,ror#20
1587         sli     v7.4s,v19.4s,#13
1588         add     w5,w5,w11
1589         ldr     w12,[sp,#56]
1590         and     w13,w13,w14
1591         eor     v17.16b,v17.16b,v16.16b
1592         ror     w15,w15,#2
1593         add     w9,w9,w5
1594         eor     w13,w13,w7
1595         eor     v17.16b,v17.16b,v7.16b
1596         add     w4,w4,w12
1597         add     w5,w5,w15
1598         and     w12,w10,w9
1599         add     v3.4s,v3.4s,v17.4s
1600         bic     w15,w3,w9
1601         eor     w11,w9,w9,ror#5
1602         add     w5,w5,w13
1603         ushr    v18.4s,v3.4s,#17
1604         orr     w12,w12,w15
1605         ushr    v19.4s,v3.4s,#10
1606         eor     w11,w11,w9,ror#19
1607         eor     w15,w5,w5,ror#11
1608         sli     v18.4s,v3.4s,#15
1609         add     w4,w4,w12
1610         ushr    v17.4s,v3.4s,#19
1611         ror     w11,w11,#6
1612         eor     w13,w5,w6
1613         eor     v19.16b,v19.16b,v18.16b
1614         eor     w15,w15,w5,ror#20
1615         add     w4,w4,w11
1616         sli     v17.4s,v3.4s,#13
1617         ldr     w12,[sp,#60]
1618         and     w14,w14,w13
1619         ror     w15,w15,#2
1620         ld1     {v4.4s},[x16], #16
1621         add     w8,w8,w4
1622         eor     v19.16b,v19.16b,v17.16b
1623         eor     w14,w14,w6
1624         eor     v17.16b,v17.16b,v17.16b
1625         add     w3,w3,w12
1626         add     w4,w4,w15
1627         and     w12,w9,w8
1628         mov     v17.d[1],v19.d[0]
1629         bic     w15,w10,w8
1630         eor     w11,w8,w8,ror#5
1631         add     w4,w4,w14
1632         add     v3.4s,v3.4s,v17.4s
1633         orr     w12,w12,w15
1634         eor     w11,w11,w8,ror#19
1635         eor     w15,w4,w4,ror#11
1636         add     v4.4s,v4.4s,v3.4s
1637         add     w3,w3,w12
1638         ror     w11,w11,#6
1639         eor     w14,w4,w5
1640         eor     w15,w15,w4,ror#20
1641         add     w3,w3,w11
1642         ldr     w12,[x16]
1643         and     w13,w13,w14
1644         ror     w15,w15,#2
1645         add     w7,w7,w3
1646         eor     w13,w13,w5
1647         st1     {v4.4s},[x17], #16
1648         cmp     w12,#0                          // check for K256 terminator
1649         ldr     w12,[sp,#0]
1650         sub     x17,x17,#64
1651         bne     .L_00_48
1652
1653         sub     x16,x16,#256            // rewind x16
1654         cmp     x1,x2
1655         mov     x17, #64
1656         csel    x17, x17, xzr, eq
1657         sub     x1,x1,x17                       // avoid SEGV
1658         mov     x17,sp
1659         add     w10,w10,w12
1660         add     w3,w3,w15
1661         and     w12,w8,w7
1662         ld1     {v0.16b},[x1],#16
1663         bic     w15,w9,w7
1664         eor     w11,w7,w7,ror#5
1665         ld1     {v4.4s},[x16],#16
1666         add     w3,w3,w13
1667         orr     w12,w12,w15
1668         eor     w11,w11,w7,ror#19
1669         eor     w15,w3,w3,ror#11
1670         rev32   v0.16b,v0.16b
1671         add     w10,w10,w12
1672         ror     w11,w11,#6
1673         eor     w13,w3,w4
1674         eor     w15,w15,w3,ror#20
1675         add     v4.4s,v4.4s,v0.4s
1676         add     w10,w10,w11
1677         ldr     w12,[sp,#4]
1678         and     w14,w14,w13
1679         ror     w15,w15,#2
1680         add     w6,w6,w10
1681         eor     w14,w14,w4
1682         add     w9,w9,w12
1683         add     w10,w10,w15
1684         and     w12,w7,w6
1685         bic     w15,w8,w6
1686         eor     w11,w6,w6,ror#5
1687         add     w10,w10,w14
1688         orr     w12,w12,w15
1689         eor     w11,w11,w6,ror#19
1690         eor     w15,w10,w10,ror#11
1691         add     w9,w9,w12
1692         ror     w11,w11,#6
1693         eor     w14,w10,w3
1694         eor     w15,w15,w10,ror#20
1695         add     w9,w9,w11
1696         ldr     w12,[sp,#8]
1697         and     w13,w13,w14
1698         ror     w15,w15,#2
1699         add     w5,w5,w9
1700         eor     w13,w13,w3
1701         add     w8,w8,w12
1702         add     w9,w9,w15
1703         and     w12,w6,w5
1704         bic     w15,w7,w5
1705         eor     w11,w5,w5,ror#5
1706         add     w9,w9,w13
1707         orr     w12,w12,w15
1708         eor     w11,w11,w5,ror#19
1709         eor     w15,w9,w9,ror#11
1710         add     w8,w8,w12
1711         ror     w11,w11,#6
1712         eor     w13,w9,w10
1713         eor     w15,w15,w9,ror#20
1714         add     w8,w8,w11
1715         ldr     w12,[sp,#12]
1716         and     w14,w14,w13
1717         ror     w15,w15,#2
1718         add     w4,w4,w8
1719         eor     w14,w14,w10
1720         add     w7,w7,w12
1721         add     w8,w8,w15
1722         and     w12,w5,w4
1723         bic     w15,w6,w4
1724         eor     w11,w4,w4,ror#5
1725         add     w8,w8,w14
1726         orr     w12,w12,w15
1727         eor     w11,w11,w4,ror#19
1728         eor     w15,w8,w8,ror#11
1729         add     w7,w7,w12
1730         ror     w11,w11,#6
1731         eor     w14,w8,w9
1732         eor     w15,w15,w8,ror#20
1733         add     w7,w7,w11
1734         ldr     w12,[sp,#16]
1735         and     w13,w13,w14
1736         ror     w15,w15,#2
1737         add     w3,w3,w7
1738         eor     w13,w13,w9
1739         st1     {v4.4s},[x17], #16
1740         add     w6,w6,w12
1741         add     w7,w7,w15
1742         and     w12,w4,w3
1743         ld1     {v1.16b},[x1],#16
1744         bic     w15,w5,w3
1745         eor     w11,w3,w3,ror#5
1746         ld1     {v4.4s},[x16],#16
1747         add     w7,w7,w13
1748         orr     w12,w12,w15
1749         eor     w11,w11,w3,ror#19
1750         eor     w15,w7,w7,ror#11
1751         rev32   v1.16b,v1.16b
1752         add     w6,w6,w12
1753         ror     w11,w11,#6
1754         eor     w13,w7,w8
1755         eor     w15,w15,w7,ror#20
1756         add     v4.4s,v4.4s,v1.4s
1757         add     w6,w6,w11
1758         ldr     w12,[sp,#20]
1759         and     w14,w14,w13
1760         ror     w15,w15,#2
1761         add     w10,w10,w6
1762         eor     w14,w14,w8
1763         add     w5,w5,w12
1764         add     w6,w6,w15
1765         and     w12,w3,w10
1766         bic     w15,w4,w10
1767         eor     w11,w10,w10,ror#5
1768         add     w6,w6,w14
1769         orr     w12,w12,w15
1770         eor     w11,w11,w10,ror#19
1771         eor     w15,w6,w6,ror#11
1772         add     w5,w5,w12
1773         ror     w11,w11,#6
1774         eor     w14,w6,w7
1775         eor     w15,w15,w6,ror#20
1776         add     w5,w5,w11
1777         ldr     w12,[sp,#24]
1778         and     w13,w13,w14
1779         ror     w15,w15,#2
1780         add     w9,w9,w5
1781         eor     w13,w13,w7
1782         add     w4,w4,w12
1783         add     w5,w5,w15
1784         and     w12,w10,w9
1785         bic     w15,w3,w9
1786         eor     w11,w9,w9,ror#5
1787         add     w5,w5,w13
1788         orr     w12,w12,w15
1789         eor     w11,w11,w9,ror#19
1790         eor     w15,w5,w5,ror#11
1791         add     w4,w4,w12
1792         ror     w11,w11,#6
1793         eor     w13,w5,w6
1794         eor     w15,w15,w5,ror#20
1795         add     w4,w4,w11
1796         ldr     w12,[sp,#28]
1797         and     w14,w14,w13
1798         ror     w15,w15,#2
1799         add     w8,w8,w4
1800         eor     w14,w14,w6
1801         add     w3,w3,w12
1802         add     w4,w4,w15
1803         and     w12,w9,w8
1804         bic     w15,w10,w8
1805         eor     w11,w8,w8,ror#5
1806         add     w4,w4,w14
1807         orr     w12,w12,w15
1808         eor     w11,w11,w8,ror#19
1809         eor     w15,w4,w4,ror#11
1810         add     w3,w3,w12
1811         ror     w11,w11,#6
1812         eor     w14,w4,w5
1813         eor     w15,w15,w4,ror#20
1814         add     w3,w3,w11
1815         ldr     w12,[sp,#32]
1816         and     w13,w13,w14
1817         ror     w15,w15,#2
1818         add     w7,w7,w3
1819         eor     w13,w13,w5
1820         st1     {v4.4s},[x17], #16
1821         add     w10,w10,w12
1822         add     w3,w3,w15
1823         and     w12,w8,w7
1824         ld1     {v2.16b},[x1],#16
1825         bic     w15,w9,w7
1826         eor     w11,w7,w7,ror#5
1827         ld1     {v4.4s},[x16],#16
1828         add     w3,w3,w13
1829         orr     w12,w12,w15
1830         eor     w11,w11,w7,ror#19
1831         eor     w15,w3,w3,ror#11
1832         rev32   v2.16b,v2.16b
1833         add     w10,w10,w12
1834         ror     w11,w11,#6
1835         eor     w13,w3,w4
1836         eor     w15,w15,w3,ror#20
1837         add     v4.4s,v4.4s,v2.4s
1838         add     w10,w10,w11
1839         ldr     w12,[sp,#36]
1840         and     w14,w14,w13
1841         ror     w15,w15,#2
1842         add     w6,w6,w10
1843         eor     w14,w14,w4
1844         add     w9,w9,w12
1845         add     w10,w10,w15
1846         and     w12,w7,w6
1847         bic     w15,w8,w6
1848         eor     w11,w6,w6,ror#5
1849         add     w10,w10,w14
1850         orr     w12,w12,w15
1851         eor     w11,w11,w6,ror#19
1852         eor     w15,w10,w10,ror#11
1853         add     w9,w9,w12
1854         ror     w11,w11,#6
1855         eor     w14,w10,w3
1856         eor     w15,w15,w10,ror#20
1857         add     w9,w9,w11
1858         ldr     w12,[sp,#40]
1859         and     w13,w13,w14
1860         ror     w15,w15,#2
1861         add     w5,w5,w9
1862         eor     w13,w13,w3
1863         add     w8,w8,w12
1864         add     w9,w9,w15
1865         and     w12,w6,w5
1866         bic     w15,w7,w5
1867         eor     w11,w5,w5,ror#5
1868         add     w9,w9,w13
1869         orr     w12,w12,w15
1870         eor     w11,w11,w5,ror#19
1871         eor     w15,w9,w9,ror#11
1872         add     w8,w8,w12
1873         ror     w11,w11,#6
1874         eor     w13,w9,w10
1875         eor     w15,w15,w9,ror#20
1876         add     w8,w8,w11
1877         ldr     w12,[sp,#44]
1878         and     w14,w14,w13
1879         ror     w15,w15,#2
1880         add     w4,w4,w8
1881         eor     w14,w14,w10
1882         add     w7,w7,w12
1883         add     w8,w8,w15
1884         and     w12,w5,w4
1885         bic     w15,w6,w4
1886         eor     w11,w4,w4,ror#5
1887         add     w8,w8,w14
1888         orr     w12,w12,w15
1889         eor     w11,w11,w4,ror#19
1890         eor     w15,w8,w8,ror#11
1891         add     w7,w7,w12
1892         ror     w11,w11,#6
1893         eor     w14,w8,w9
1894         eor     w15,w15,w8,ror#20
1895         add     w7,w7,w11
1896         ldr     w12,[sp,#48]
1897         and     w13,w13,w14
1898         ror     w15,w15,#2
1899         add     w3,w3,w7
1900         eor     w13,w13,w9
1901         st1     {v4.4s},[x17], #16
1902         add     w6,w6,w12
1903         add     w7,w7,w15
1904         and     w12,w4,w3
1905         ld1     {v3.16b},[x1],#16
1906         bic     w15,w5,w3
1907         eor     w11,w3,w3,ror#5
1908         ld1     {v4.4s},[x16],#16
1909         add     w7,w7,w13
1910         orr     w12,w12,w15
1911         eor     w11,w11,w3,ror#19
1912         eor     w15,w7,w7,ror#11
1913         rev32   v3.16b,v3.16b
1914         add     w6,w6,w12
1915         ror     w11,w11,#6
1916         eor     w13,w7,w8
1917         eor     w15,w15,w7,ror#20
1918         add     v4.4s,v4.4s,v3.4s
1919         add     w6,w6,w11
1920         ldr     w12,[sp,#52]
1921         and     w14,w14,w13
1922         ror     w15,w15,#2
1923         add     w10,w10,w6
1924         eor     w14,w14,w8
1925         add     w5,w5,w12
1926         add     w6,w6,w15
1927         and     w12,w3,w10
1928         bic     w15,w4,w10
1929         eor     w11,w10,w10,ror#5
1930         add     w6,w6,w14
1931         orr     w12,w12,w15
1932         eor     w11,w11,w10,ror#19
1933         eor     w15,w6,w6,ror#11
1934         add     w5,w5,w12
1935         ror     w11,w11,#6
1936         eor     w14,w6,w7
1937         eor     w15,w15,w6,ror#20
1938         add     w5,w5,w11
1939         ldr     w12,[sp,#56]
1940         and     w13,w13,w14
1941         ror     w15,w15,#2
1942         add     w9,w9,w5
1943         eor     w13,w13,w7
1944         add     w4,w4,w12
1945         add     w5,w5,w15
1946         and     w12,w10,w9
1947         bic     w15,w3,w9
1948         eor     w11,w9,w9,ror#5
1949         add     w5,w5,w13
1950         orr     w12,w12,w15
1951         eor     w11,w11,w9,ror#19
1952         eor     w15,w5,w5,ror#11
1953         add     w4,w4,w12
1954         ror     w11,w11,#6
1955         eor     w13,w5,w6
1956         eor     w15,w15,w5,ror#20
1957         add     w4,w4,w11
1958         ldr     w12,[sp,#60]
1959         and     w14,w14,w13
1960         ror     w15,w15,#2
1961         add     w8,w8,w4
1962         eor     w14,w14,w6
1963         add     w3,w3,w12
1964         add     w4,w4,w15
1965         and     w12,w9,w8
1966         bic     w15,w10,w8
1967         eor     w11,w8,w8,ror#5
1968         add     w4,w4,w14
1969         orr     w12,w12,w15
1970         eor     w11,w11,w8,ror#19
1971         eor     w15,w4,w4,ror#11
1972         add     w3,w3,w12
1973         ror     w11,w11,#6
1974         eor     w14,w4,w5
1975         eor     w15,w15,w4,ror#20
1976         add     w3,w3,w11
1977         and     w13,w13,w14
1978         ror     w15,w15,#2
1979         add     w7,w7,w3
1980         eor     w13,w13,w5
1981         st1     {v4.4s},[x17], #16
1982         add     w3,w3,w15                       // h+=Sigma0(a) from the past
1983         ldp     w11,w12,[x0,#0]
1984         add     w3,w3,w13                       // h+=Maj(a,b,c) from the past
1985         ldp     w13,w14,[x0,#8]
1986         add     w3,w3,w11                       // accumulate
1987         add     w4,w4,w12
1988         ldp     w11,w12,[x0,#16]
1989         add     w5,w5,w13
1990         add     w6,w6,w14
1991         ldp     w13,w14,[x0,#24]
1992         add     w7,w7,w11
1993         add     w8,w8,w12
1994          ldr    w12,[sp,#0]
1995         stp     w3,w4,[x0,#0]
1996         add     w9,w9,w13
1997          mov    w13,wzr
1998         stp     w5,w6,[x0,#8]
1999         add     w10,w10,w14
2000         stp     w7,w8,[x0,#16]
2001          eor    w14,w4,w5
2002         stp     w9,w10,[x0,#24]
2003          mov    w15,wzr
2004          mov    x17,sp
2005         b.ne    .L_00_48
2006
2007         ldr     x29,[x29]
2008         add     sp,sp,#16*4+16
2009         ret
2010 .size   zfs_sha256_block_neon,.-zfs_sha256_block_neon
2011
2012 #endif