arch/sparc/crypto/camellia_asm.S

   1 #include <linux/linkage.h>
   2 #include <asm/visasm.h>
   3
   4 #include "opcodes.h"
   5
   6 #define CAMELLIA_6ROUNDS(KEY_BASE, I0, I1) \
   7         CAMELLIA_F(KEY_BASE +  0, I1, I0, I1) \
   8         CAMELLIA_F(KEY_BASE +  2, I0, I1, I0) \
   9         CAMELLIA_F(KEY_BASE +  4, I1, I0, I1) \
  10         CAMELLIA_F(KEY_BASE +  6, I0, I1, I0) \
  11         CAMELLIA_F(KEY_BASE +  8, I1, I0, I1) \
  12         CAMELLIA_F(KEY_BASE + 10, I0, I1, I0)
  13
  14 #define CAMELLIA_6ROUNDS_FL_FLI(KEY_BASE, I0, I1) \
  15         CAMELLIA_6ROUNDS(KEY_BASE, I0, I1) \
  16         CAMELLIA_FL(KEY_BASE + 12, I0, I0) \
  17         CAMELLIA_FLI(KEY_BASE + 14, I1, I1)
  18
  19         .data
  20
  21         .align  8
  22 SIGMA:  .xword  0xA09E667F3BCC908B
  23         .xword  0xB67AE8584CAA73B2
  24         .xword  0xC6EF372FE94F82BE
  25         .xword  0x54FF53A5F1D36F1C
  26         .xword  0x10E527FADE682D1D
  27         .xword  0xB05688C2B3E6C1FD
  28
  29         .text
  30
  31         .align  32
  32 ENTRY(camellia_sparc64_key_expand)
  33         /* %o0=in_key, %o1=encrypt_key, %o2=key_len, %o3=decrypt_key */
  34         VISEntry
  35         ld      [%o0 + 0x00], %f0       ! i0, k[0]
  36         ld      [%o0 + 0x04], %f1       ! i1, k[1]
  37         ld      [%o0 + 0x08], %f2       ! i2, k[2]
  38         ld      [%o0 + 0x0c], %f3       ! i3, k[3]
  39         std     %f0, [%o1 + 0x00]       ! k[0, 1]
  40         fsrc2   %f0, %f28
  41         std     %f2, [%o1 + 0x08]       ! k[2, 3]
  42         cmp     %o2, 16
  43         be      10f
  44          fsrc2  %f2, %f30
  45
  46         ld      [%o0 + 0x10], %f0
  47         ld      [%o0 + 0x14], %f1
  48         std     %f0, [%o1 + 0x20]       ! k[8, 9]
  49         cmp     %o2, 24
  50         fone    %f10
  51         be,a    1f
  52          fxor   %f10, %f0, %f2
  53         ld      [%o0 + 0x18], %f2
  54         ld      [%o0 + 0x1c], %f3
  55 1:
  56         std     %f2, [%o1 + 0x28]       ! k[10, 11]
  57         fxor    %f28, %f0, %f0
  58         fxor    %f30, %f2, %f2
  59
  60 10:
  61         sethi   %hi(SIGMA), %g3
  62         or      %g3, %lo(SIGMA), %g3
  63         ldd     [%g3 + 0x00], %f16
  64         ldd     [%g3 + 0x08], %f18
  65         ldd     [%g3 + 0x10], %f20
  66         ldd     [%g3 + 0x18], %f22
  67         ldd     [%g3 + 0x20], %f24
  68         ldd     [%g3 + 0x28], %f26
  69         CAMELLIA_F(16, 2, 0, 2)
  70         CAMELLIA_F(18, 0, 2, 0)
  71         fxor    %f28, %f0, %f0
  72         fxor    %f30, %f2, %f2
  73         CAMELLIA_F(20, 2, 0, 2)
  74         CAMELLIA_F(22, 0, 2, 0)
  75
  76 #define ROTL128(S01, S23, TMP1, TMP2, N)        \
  77         srlx    S01, (64 - N), TMP1;            \
  78         sllx    S01, N, S01;                    \
  79         srlx    S23, (64 - N), TMP2;            \
  80         sllx    S23, N, S23;                    \
  81         or      S01, TMP2, S01;                 \
  82         or      S23, TMP1, S23
  83
  84         cmp     %o2, 16
  85         bne     1f
  86          nop
  87         /* 128-bit key */
  88         std     %f0, [%o1 + 0x10]       ! k[ 4,  5]
  89         std     %f2, [%o1 + 0x18]       ! k[ 6,  7]
  90         MOVDTOX_F0_O4
  91         MOVDTOX_F2_O5
  92         ROTL128(%o4, %o5, %g2, %g3, 15)
  93         stx     %o4, [%o1 + 0x30]       ! k[12, 13]
  94         stx     %o5, [%o1 + 0x38]       ! k[14, 15]
  95         ROTL128(%o4, %o5, %g2, %g3, 15)
  96         stx     %o4, [%o1 + 0x40]       ! k[16, 17]
  97         stx     %o5, [%o1 + 0x48]       ! k[18, 19]
  98         ROTL128(%o4, %o5, %g2, %g3, 15)
  99         stx     %o4, [%o1 + 0x60]       ! k[24, 25]
 100         ROTL128(%o4, %o5, %g2, %g3, 15)
 101         stx     %o4, [%o1 + 0x70]       ! k[28, 29]
 102         stx     %o5, [%o1 + 0x78]       ! k[30, 31]
 103         ROTL128(%o4, %o5, %g2, %g3, 34)
 104         stx     %o4, [%o1 + 0xa0]       ! k[40, 41]
 105         stx     %o5, [%o1 + 0xa8]       ! k[42, 43]
 106         ROTL128(%o4, %o5, %g2, %g3, 17)
 107         stx     %o4, [%o1 + 0xc0]       ! k[48, 49]
 108         stx     %o5, [%o1 + 0xc8]       ! k[50, 51]
 109
 110         ldx     [%o1 + 0x00], %o4       ! k[ 0,  1]
 111         ldx     [%o1 + 0x08], %o5       ! k[ 2,  3]
 112         ROTL128(%o4, %o5, %g2, %g3, 15)
 113         stx     %o4, [%o1 + 0x20]       ! k[ 8,  9]
 114         stx     %o5, [%o1 + 0x28]       ! k[10, 11]
 115         ROTL128(%o4, %o5, %g2, %g3, 30)
 116         stx     %o4, [%o1 + 0x50]       ! k[20, 21]
 117         stx     %o5, [%o1 + 0x58]       ! k[22, 23]
 118         ROTL128(%o4, %o5, %g2, %g3, 15)
 119         stx     %o5, [%o1 + 0x68]       ! k[26, 27]
 120         ROTL128(%o4, %o5, %g2, %g3, 17)
 121         stx     %o4, [%o1 + 0x80]       ! k[32, 33]
 122         stx     %o5, [%o1 + 0x88]       ! k[34, 35]
 123         ROTL128(%o4, %o5, %g2, %g3, 17)
 124         stx     %o4, [%o1 + 0x90]       ! k[36, 37]
 125         stx     %o5, [%o1 + 0x98]       ! k[38, 39]
 126         ROTL128(%o4, %o5, %g2, %g3, 17)
 127         stx     %o4, [%o1 + 0xb0]       ! k[44, 45]
 128         stx     %o5, [%o1 + 0xb8]       ! k[46, 47]
 129
 130         ba,pt   %xcc, 2f
 131          mov    (3 * 16 * 4), %o0
 132
 133 1:
 134         /* 192-bit or 256-bit key */
 135         std     %f0, [%o1 + 0x30]       ! k[12, 13]
 136         std     %f2, [%o1 + 0x38]       ! k[14, 15]
 137         ldd     [%o1 + 0x20], %f4       ! k[ 8,  9]
 138         ldd     [%o1 + 0x28], %f6       ! k[10, 11]
 139         fxor    %f0, %f4, %f0
 140         fxor    %f2, %f6, %f2
 141         CAMELLIA_F(24, 2, 0, 2)
 142         CAMELLIA_F(26, 0, 2, 0)
 143         std     %f0, [%o1 + 0x10]       ! k[ 4,  5]
 144         std     %f2, [%o1 + 0x18]       ! k[ 6,  7]
 145         MOVDTOX_F0_O4
 146         MOVDTOX_F2_O5
 147         ROTL128(%o4, %o5, %g2, %g3, 30)
 148         stx     %o4, [%o1 + 0x50]       ! k[20, 21]
 149         stx     %o5, [%o1 + 0x58]       ! k[22, 23]
 150         ROTL128(%o4, %o5, %g2, %g3, 30)
 151         stx     %o4, [%o1 + 0xa0]       ! k[40, 41]
 152         stx     %o5, [%o1 + 0xa8]       ! k[42, 43]
 153         ROTL128(%o4, %o5, %g2, %g3, 51)
 154         stx     %o4, [%o1 + 0x100]      ! k[64, 65]
 155         stx     %o5, [%o1 + 0x108]      ! k[66, 67]
 156         ldx     [%o1 + 0x20], %o4       ! k[ 8,  9]
 157         ldx     [%o1 + 0x28], %o5       ! k[10, 11]
 158         ROTL128(%o4, %o5, %g2, %g3, 15)
 159         stx     %o4, [%o1 + 0x20]       ! k[ 8,  9]
 160         stx     %o5, [%o1 + 0x28]       ! k[10, 11]
 161         ROTL128(%o4, %o5, %g2, %g3, 15)
 162         stx     %o4, [%o1 + 0x40]       ! k[16, 17]
 163         stx     %o5, [%o1 + 0x48]       ! k[18, 19]
 164         ROTL128(%o4, %o5, %g2, %g3, 30)
 165         stx     %o4, [%o1 + 0x90]       ! k[36, 37]
 166         stx     %o5, [%o1 + 0x98]       ! k[38, 39]
 167         ROTL128(%o4, %o5, %g2, %g3, 34)
 168         stx     %o4, [%o1 + 0xd0]       ! k[52, 53]
 169         stx     %o5, [%o1 + 0xd8]       ! k[54, 55]
 170         ldx     [%o1 + 0x30], %o4       ! k[12, 13]
 171         ldx     [%o1 + 0x38], %o5       ! k[14, 15]
 172         ROTL128(%o4, %o5, %g2, %g3, 15)
 173         stx     %o4, [%o1 + 0x30]       ! k[12, 13]
 174         stx     %o5, [%o1 + 0x38]       ! k[14, 15]
 175         ROTL128(%o4, %o5, %g2, %g3, 30)
 176         stx     %o4, [%o1 + 0x70]       ! k[28, 29]
 177         stx     %o5, [%o1 + 0x78]       ! k[30, 31]
 178         srlx    %o4, 32, %g2
 179         srlx    %o5, 32, %g3
 180         stw     %o4, [%o1 + 0xc0]       ! k[48]
 181         stw     %g3, [%o1 + 0xc4]       ! k[49]
 182         stw     %o5, [%o1 + 0xc8]       ! k[50]
 183         stw     %g2, [%o1 + 0xcc]       ! k[51]
 184         ROTL128(%o4, %o5, %g2, %g3, 49)
 185         stx     %o4, [%o1 + 0xe0]       ! k[56, 57]
 186         stx     %o5, [%o1 + 0xe8]       ! k[58, 59]
 187         ldx     [%o1 + 0x00], %o4       ! k[ 0,  1]
 188         ldx     [%o1 + 0x08], %o5       ! k[ 2,  3]
 189         ROTL128(%o4, %o5, %g2, %g3, 45)
 190         stx     %o4, [%o1 + 0x60]       ! k[24, 25]
 191         stx     %o5, [%o1 + 0x68]       ! k[26, 27]
 192         ROTL128(%o4, %o5, %g2, %g3, 15)
 193         stx     %o4, [%o1 + 0x80]       ! k[32, 33]
 194         stx     %o5, [%o1 + 0x88]       ! k[34, 35]
 195         ROTL128(%o4, %o5, %g2, %g3, 17)
 196         stx     %o4, [%o1 + 0xb0]       ! k[44, 45]
 197         stx     %o5, [%o1 + 0xb8]       ! k[46, 47]
 198         ROTL128(%o4, %o5, %g2, %g3, 34)
 199         stx     %o4, [%o1 + 0xf0]       ! k[60, 61]
 200         stx     %o5, [%o1 + 0xf8]       ! k[62, 63]
 201         mov     (4 * 16 * 4), %o0
 202 2:
 203         add     %o1, %o0, %o1
 204         ldd     [%o1 + 0x00], %f0
 205         ldd     [%o1 + 0x08], %f2
 206         std     %f0, [%o3 + 0x00]
 207         std     %f2, [%o3 + 0x08]
 208         add     %o3, 0x10, %o3
 209 1:
 210         sub     %o1, (16 * 4), %o1
 211         ldd     [%o1 + 0x38], %f0
 212         ldd     [%o1 + 0x30], %f2
 213         ldd     [%o1 + 0x28], %f4
 214         ldd     [%o1 + 0x20], %f6
 215         ldd     [%o1 + 0x18], %f8
 216         ldd     [%o1 + 0x10], %f10
 217         std     %f0, [%o3 + 0x00]
 218         std     %f2, [%o3 + 0x08]
 219         std     %f4, [%o3 + 0x10]
 220         std     %f6, [%o3 + 0x18]
 221         std     %f8, [%o3 + 0x20]
 222         std     %f10, [%o3 + 0x28]
 223
 224         ldd     [%o1 + 0x08], %f0
 225         ldd     [%o1 + 0x00], %f2
 226         std     %f0, [%o3 + 0x30]
 227         std     %f2, [%o3 + 0x38]
 228         subcc   %o0, (16 * 4), %o0
 229         bne,pt  %icc, 1b
 230          add    %o3, (16 * 4), %o3
 231
 232         std     %f2, [%o3 - 0x10]
 233         std     %f0, [%o3 - 0x08]
 234
 235         retl
 236          VISExit
 237 ENDPROC(camellia_sparc64_key_expand)
 238
 239         .align  32
 240 ENTRY(camellia_sparc64_crypt)
 241         /* %o0=key, %o1=input, %o2=output, %o3=key_len */
 242         VISEntry
 243
 244         ld      [%o1 + 0x00], %f0
 245         ld      [%o1 + 0x04], %f1
 246         ld      [%o1 + 0x08], %f2
 247         ld      [%o1 + 0x0c], %f3
 248
 249         ldd     [%o0 + 0x00], %f4
 250         ldd     [%o0 + 0x08], %f6
 251
 252         cmp     %o3, 16
 253         fxor    %f4, %f0, %f0
 254         be      1f
 255          fxor   %f6, %f2, %f2
 256
 257         ldd     [%o0 + 0x10], %f8
 258         ldd     [%o0 + 0x18], %f10
 259         ldd     [%o0 + 0x20], %f12
 260         ldd     [%o0 + 0x28], %f14
 261         ldd     [%o0 + 0x30], %f16
 262         ldd     [%o0 + 0x38], %f18
 263         ldd     [%o0 + 0x40], %f20
 264         ldd     [%o0 + 0x48], %f22
 265         add     %o0, 0x40, %o0
 266
 267         CAMELLIA_6ROUNDS_FL_FLI( 8, 0, 2)
 268
 269 1:
 270         ldd     [%o0 + 0x10], %f8
 271         ldd     [%o0 + 0x18], %f10
 272         ldd     [%o0 + 0x20], %f12
 273         ldd     [%o0 + 0x28], %f14
 274         ldd     [%o0 + 0x30], %f16
 275         ldd     [%o0 + 0x38], %f18
 276         ldd     [%o0 + 0x40], %f20
 277         ldd     [%o0 + 0x48], %f22
 278         ldd     [%o0 + 0x50], %f24
 279         ldd     [%o0 + 0x58], %f26
 280         ldd     [%o0 + 0x60], %f28
 281         ldd     [%o0 + 0x68], %f30
 282         ldd     [%o0 + 0x70], %f32
 283         ldd     [%o0 + 0x78], %f34
 284         ldd     [%o0 + 0x80], %f36
 285         ldd     [%o0 + 0x88], %f38
 286         ldd     [%o0 + 0x90], %f40
 287         ldd     [%o0 + 0x98], %f42
 288         ldd     [%o0 + 0xa0], %f44
 289         ldd     [%o0 + 0xa8], %f46
 290         ldd     [%o0 + 0xb0], %f48
 291         ldd     [%o0 + 0xb8], %f50
 292         ldd     [%o0 + 0xc0], %f52
 293         ldd     [%o0 + 0xc8], %f54
 294
 295         CAMELLIA_6ROUNDS_FL_FLI( 8, 0, 2)
 296         CAMELLIA_6ROUNDS_FL_FLI(24, 0, 2)
 297         CAMELLIA_6ROUNDS(40, 0, 2)
 298         fxor    %f52, %f2, %f2
 299         fxor    %f54, %f0, %f0
 300
 301         st      %f2, [%o2 + 0x00]
 302         st      %f3, [%o2 + 0x04]
 303         st      %f0, [%o2 + 0x08]
 304         st      %f1, [%o2 + 0x0c]
 305
 306         retl
 307          VISExit
 308 ENDPROC(camellia_sparc64_crypt)
 309
 310         .align  32
 311 ENTRY(camellia_sparc64_load_keys)
 312         /* %o0=key, %o1=key_len */
 313         VISEntry
 314         ldd     [%o0 + 0x00], %f4
 315         ldd     [%o0 + 0x08], %f6
 316         ldd     [%o0 + 0x10], %f8
 317         ldd     [%o0 + 0x18], %f10
 318         ldd     [%o0 + 0x20], %f12
 319         ldd     [%o0 + 0x28], %f14
 320         ldd     [%o0 + 0x30], %f16
 321         ldd     [%o0 + 0x38], %f18
 322         ldd     [%o0 + 0x40], %f20
 323         ldd     [%o0 + 0x48], %f22
 324         ldd     [%o0 + 0x50], %f24
 325         ldd     [%o0 + 0x58], %f26
 326         ldd     [%o0 + 0x60], %f28
 327         ldd     [%o0 + 0x68], %f30
 328         ldd     [%o0 + 0x70], %f32
 329         ldd     [%o0 + 0x78], %f34
 330         ldd     [%o0 + 0x80], %f36
 331         ldd     [%o0 + 0x88], %f38
 332         ldd     [%o0 + 0x90], %f40
 333         ldd     [%o0 + 0x98], %f42
 334         ldd     [%o0 + 0xa0], %f44
 335         ldd     [%o0 + 0xa8], %f46
 336         ldd     [%o0 + 0xb0], %f48
 337         ldd     [%o0 + 0xb8], %f50
 338         ldd     [%o0 + 0xc0], %f52
 339         retl
 340          ldd    [%o0 + 0xc8], %f54
 341 ENDPROC(camellia_sparc64_load_keys)
 342
 343         .align  32
 344 ENTRY(camellia_sparc64_ecb_crypt_3_grand_rounds)
 345         /* %o0=input, %o1=output, %o2=len, %o3=key */
 346 1:      ldd     [%o0 + 0x00], %f0
 347         ldd     [%o0 + 0x08], %f2
 348         add     %o0, 0x10, %o0
 349         fxor    %f4, %f0, %f0
 350         fxor    %f6, %f2, %f2
 351         CAMELLIA_6ROUNDS_FL_FLI( 8, 0, 2)
 352         CAMELLIA_6ROUNDS_FL_FLI(24, 0, 2)
 353         CAMELLIA_6ROUNDS(40, 0, 2)
 354         fxor    %f52, %f2, %f2
 355         fxor    %f54, %f0, %f0
 356         std     %f2, [%o1 + 0x00]
 357         std     %f0, [%o1 + 0x08]
 358         subcc   %o2, 0x10, %o2
 359         bne,pt  %icc, 1b
 360          add    %o1, 0x10, %o1
 361         retl
 362          nop
 363 ENDPROC(camellia_sparc64_ecb_crypt_3_grand_rounds)
 364
 365         .align  32
 366 ENTRY(camellia_sparc64_ecb_crypt_4_grand_rounds)
 367         /* %o0=input, %o1=output, %o2=len, %o3=key */
 368 1:      ldd     [%o0 + 0x00], %f0
 369         ldd     [%o0 + 0x08], %f2
 370         add     %o0, 0x10, %o0
 371         fxor    %f4, %f0, %f0
 372         fxor    %f6, %f2, %f2
 373         CAMELLIA_6ROUNDS_FL_FLI( 8, 0, 2)
 374         ldd     [%o3 + 0xd0], %f8
 375         ldd     [%o3 + 0xd8], %f10
 376         ldd     [%o3 + 0xe0], %f12
 377         ldd     [%o3 + 0xe8], %f14
 378         ldd     [%o3 + 0xf0], %f16
 379         ldd     [%o3 + 0xf8], %f18
 380         ldd     [%o3 + 0x100], %f20
 381         ldd     [%o3 + 0x108], %f22
 382         CAMELLIA_6ROUNDS_FL_FLI(24, 0, 2)
 383         CAMELLIA_6ROUNDS_FL_FLI(40, 0, 2)
 384         CAMELLIA_F(8, 2, 0, 2)
 385         CAMELLIA_F(10, 0, 2, 0)
 386         ldd     [%o3 + 0x10], %f8
 387         ldd     [%o3 + 0x18], %f10
 388         CAMELLIA_F(12, 2, 0, 2)
 389         CAMELLIA_F(14, 0, 2, 0)
 390         ldd     [%o3 + 0x20], %f12
 391         ldd     [%o3 + 0x28], %f14
 392         CAMELLIA_F(16, 2, 0, 2)
 393         CAMELLIA_F(18, 0, 2, 0)
 394         ldd     [%o3 + 0x30], %f16
 395         ldd     [%o3 + 0x38], %f18
 396         fxor    %f20, %f2, %f2
 397         fxor    %f22, %f0, %f0
 398         ldd     [%o3 + 0x40], %f20
 399         ldd     [%o3 + 0x48], %f22
 400         std     %f2, [%o1 + 0x00]
 401         std     %f0, [%o1 + 0x08]
 402         subcc   %o2, 0x10, %o2
 403         bne,pt  %icc, 1b
 404          add    %o1, 0x10, %o1
 405         retl
 406          nop
 407 ENDPROC(camellia_sparc64_ecb_crypt_4_grand_rounds)
 408
 409         .align  32
 410 ENTRY(camellia_sparc64_cbc_encrypt_3_grand_rounds)
 411         /* %o0=input, %o1=output, %o2=len, %o3=key, %o4=IV */
 412         ldd     [%o4 + 0x00], %f60
 413         ldd     [%o4 + 0x08], %f62
 414 1:      ldd     [%o0 + 0x00], %f0
 415         ldd     [%o0 + 0x08], %f2
 416         add     %o0, 0x10, %o0
 417         fxor    %f60, %f0, %f0
 418         fxor    %f62, %f2, %f2
 419         fxor    %f4, %f0, %f0
 420         fxor    %f6, %f2, %f2
 421         CAMELLIA_6ROUNDS_FL_FLI( 8, 0, 2)
 422         CAMELLIA_6ROUNDS_FL_FLI(24, 0, 2)
 423         CAMELLIA_6ROUNDS(40, 0, 2)
 424         fxor    %f52, %f2, %f60
 425         fxor    %f54, %f0, %f62
 426         std     %f60, [%o1 + 0x00]
 427         std     %f62, [%o1 + 0x08]
 428         subcc   %o2, 0x10, %o2
 429         bne,pt  %icc, 1b
 430          add    %o1, 0x10, %o1
 431         std     %f60, [%o4 + 0x00]
 432         retl
 433          std    %f62, [%o4 + 0x08]
 434 ENDPROC(camellia_sparc64_cbc_encrypt_3_grand_rounds)
 435
 436         .align  32
 437 ENTRY(camellia_sparc64_cbc_encrypt_4_grand_rounds)
 438         /* %o0=input, %o1=output, %o2=len, %o3=key, %o4=IV */
 439         ldd     [%o4 + 0x00], %f60
 440         ldd     [%o4 + 0x08], %f62
 441 1:      ldd     [%o0 + 0x00], %f0
 442         ldd     [%o0 + 0x08], %f2
 443         add     %o0, 0x10, %o0
 444         fxor    %f60, %f0, %f0
 445         fxor    %f62, %f2, %f2
 446         fxor    %f4, %f0, %f0
 447         fxor    %f6, %f2, %f2
 448         CAMELLIA_6ROUNDS_FL_FLI( 8, 0, 2)
 449         ldd     [%o3 + 0xd0], %f8
 450         ldd     [%o3 + 0xd8], %f10
 451         ldd     [%o3 + 0xe0], %f12
 452         ldd     [%o3 + 0xe8], %f14
 453         ldd     [%o3 + 0xf0], %f16
 454         ldd     [%o3 + 0xf8], %f18
 455         ldd     [%o3 + 0x100], %f20
 456         ldd     [%o3 + 0x108], %f22
 457         CAMELLIA_6ROUNDS_FL_FLI(24, 0, 2)
 458         CAMELLIA_6ROUNDS_FL_FLI(40, 0, 2)
 459         CAMELLIA_F(8, 2, 0, 2)
 460         CAMELLIA_F(10, 0, 2, 0)
 461         ldd     [%o3 + 0x10], %f8
 462         ldd     [%o3 + 0x18], %f10
 463         CAMELLIA_F(12, 2, 0, 2)
 464         CAMELLIA_F(14, 0, 2, 0)
 465         ldd     [%o3 + 0x20], %f12
 466         ldd     [%o3 + 0x28], %f14
 467         CAMELLIA_F(16, 2, 0, 2)
 468         CAMELLIA_F(18, 0, 2, 0)
 469         ldd     [%o3 + 0x30], %f16
 470         ldd     [%o3 + 0x38], %f18
 471         fxor    %f20, %f2, %f60
 472         fxor    %f22, %f0, %f62
 473         ldd     [%o3 + 0x40], %f20
 474         ldd     [%o3 + 0x48], %f22
 475         std     %f60, [%o1 + 0x00]
 476         std     %f62, [%o1 + 0x08]
 477         subcc   %o2, 0x10, %o2
 478         bne,pt  %icc, 1b
 479          add    %o1, 0x10, %o1
 480         std     %f60, [%o4 + 0x00]
 481         retl
 482          std    %f62, [%o4 + 0x08]
 483 ENDPROC(camellia_sparc64_cbc_encrypt_4_grand_rounds)
 484
 485         .align  32
 486 ENTRY(camellia_sparc64_cbc_decrypt_3_grand_rounds)
 487         /* %o0=input, %o1=output, %o2=len, %o3=key, %o4=IV */
 488         ldd     [%o4 + 0x00], %f60
 489         ldd     [%o4 + 0x08], %f62
 490 1:      ldd     [%o0 + 0x00], %f56
 491         ldd     [%o0 + 0x08], %f58
 492         add     %o0, 0x10, %o0
 493         fxor    %f4, %f56, %f0
 494         fxor    %f6, %f58, %f2
 495         CAMELLIA_6ROUNDS_FL_FLI( 8, 0, 2)
 496         CAMELLIA_6ROUNDS_FL_FLI(24, 0, 2)
 497         CAMELLIA_6ROUNDS(40, 0, 2)
 498         fxor    %f52, %f2, %f2
 499         fxor    %f54, %f0, %f0
 500         fxor    %f60, %f2, %f2
 501         fxor    %f62, %f0, %f0
 502         fsrc2   %f56, %f60
 503         fsrc2   %f58, %f62
 504         std     %f2, [%o1 + 0x00]
 505         std     %f0, [%o1 + 0x08]
 506         subcc   %o2, 0x10, %o2
 507         bne,pt  %icc, 1b
 508          add    %o1, 0x10, %o1
 509         std     %f60, [%o4 + 0x00]
 510         retl
 511          std    %f62, [%o4 + 0x08]
 512 ENDPROC(camellia_sparc64_cbc_decrypt_3_grand_rounds)
 513
 514         .align  32
 515 ENTRY(camellia_sparc64_cbc_decrypt_4_grand_rounds)
 516         /* %o0=input, %o1=output, %o2=len, %o3=key, %o4=IV */
 517         ldd     [%o4 + 0x00], %f60
 518         ldd     [%o4 + 0x08], %f62
 519 1:      ldd     [%o0 + 0x00], %f56
 520         ldd     [%o0 + 0x08], %f58
 521         add     %o0, 0x10, %o0
 522         fxor    %f4, %f56, %f0
 523         fxor    %f6, %f58, %f2
 524         CAMELLIA_6ROUNDS_FL_FLI( 8, 0, 2)
 525         ldd     [%o3 + 0xd0], %f8
 526         ldd     [%o3 + 0xd8], %f10
 527         ldd     [%o3 + 0xe0], %f12
 528         ldd     [%o3 + 0xe8], %f14
 529         ldd     [%o3 + 0xf0], %f16
 530         ldd     [%o3 + 0xf8], %f18
 531         ldd     [%o3 + 0x100], %f20
 532         ldd     [%o3 + 0x108], %f22
 533         CAMELLIA_6ROUNDS_FL_FLI(24, 0, 2)
 534         CAMELLIA_6ROUNDS_FL_FLI(40, 0, 2)
 535         CAMELLIA_F(8, 2, 0, 2)
 536         CAMELLIA_F(10, 0, 2, 0)
 537         ldd     [%o3 + 0x10], %f8
 538         ldd     [%o3 + 0x18], %f10
 539         CAMELLIA_F(12, 2, 0, 2)
 540         CAMELLIA_F(14, 0, 2, 0)
 541         ldd     [%o3 + 0x20], %f12
 542         ldd     [%o3 + 0x28], %f14
 543         CAMELLIA_F(16, 2, 0, 2)
 544         CAMELLIA_F(18, 0, 2, 0)
 545         ldd     [%o3 + 0x30], %f16
 546         ldd     [%o3 + 0x38], %f18
 547         fxor    %f20, %f2, %f2
 548         fxor    %f22, %f0, %f0
 549         ldd     [%o3 + 0x40], %f20
 550         ldd     [%o3 + 0x48], %f22
 551         fxor    %f60, %f2, %f2
 552         fxor    %f62, %f0, %f0
 553         fsrc2   %f56, %f60
 554         fsrc2   %f58, %f62
 555         std     %f2, [%o1 + 0x00]
 556         std     %f0, [%o1 + 0x08]
 557         subcc   %o2, 0x10, %o2
 558         bne,pt  %icc, 1b
 559          add    %o1, 0x10, %o1
 560         std     %f60, [%o4 + 0x00]
 561         retl
 562          std    %f62, [%o4 + 0x08]
 563 ENDPROC(camellia_sparc64_cbc_decrypt_4_grand_rounds)