| blob | cbc32fb57f6ae729a5ce65bbc93b97aabbf170b5 |
2 @ ====================================================================
3 @ Written by Andy Polyakov <appro@openssl.org> for the OpenSSL
4 @ project. The module is, however, dual licensed under OpenSSL and
5 @ CRYPTOGAMS licenses depending on where you obtain it. For further
6 @ details see http://www.openssl.org/~appro/cryptogams/.
7 @
8 @ Specific modes and adaptation for Linux kernel by Ard Biesheuvel
9 @ <ard.biesheuvel@linaro.org>. Permission to use under GPL terms is
10 @ granted.
11 @ ====================================================================
13 @ Bit-sliced AES for ARM NEON
14 @
15 @ February 2012.
16 @
17 @ This implementation is direct adaptation of bsaes-x86_64 module for
18 @ ARM NEON. Except that this module is endian-neutral [in sense that
19 @ it can be compiled for either endianness] by courtesy of vld1.8's
20 @ neutrality. Initial version doesn't implement interface to OpenSSL,
21 @ only low-level primitives and unsupported entry points, just enough
22 @ to collect performance results, which for Cortex-A8 core are:
23 @
24 @ encrypt 19.5 cycles per byte processed with 128-bit key
25 @ decrypt 22.1 cycles per byte processed with 128-bit key
26 @ key conv. 440 cycles per 128-bit key/0.18 of 8x block
27 @
28 @ Snapdragon S4 encrypts byte in 17.6 cycles and decrypts in 19.7,
29 @ which is [much] worse than anticipated (for further details see
30 @ http://www.openssl.org/~appro/Snapdragon-S4.html).
31 @
32 @ Cortex-A15 manages in 14.2/16.1 cycles [when integer-only code
33 @ manages in 20.0 cycles].
34 @
35 @ When comparing to x86_64 results keep in mind that NEON unit is
36 @ [mostly] single-issue and thus can't [fully] benefit from
37 @ instruction-level parallelism. And when comparing to aes-armv4
38 @ results keep in mind key schedule conversion overhead (see
39 @ bsaes-x86_64.pl for further details)...
40 @
41 @ <appro@openssl.org>
43 @ April-August 2013
44 @
45 @ Add CBC, CTR and XTS subroutines, adapt for kernel use.
46 @
47 @ <ard.biesheuvel@linaro.org>
49 #if defined(__arm__)
50 #ifndef __KERNEL__
51 # include "arm_arch.h"
53 # define VFP_ABI_PUSH vstmdb sp!,{d8-d15}
54 # define VFP_ABI_POP vldmia sp!,{d8-d15}
55 # define VFP_ABI_FRAME 0x40
56 #else
57 # define VFP_ABI_PUSH
58 # define VFP_ABI_POP
59 # define VFP_ABI_FRAME 0
60 # define BSAES_ASM_EXTENDED_KEY
61 # define XTS_CHAIN_TWEAK
62 # define __ARM_ARCH__ __LINUX_ARM_ARCH__
63 #endif
65 #ifdef __thumb__
66 # define adrl adr
67 #endif
69 #if __ARM_ARCH__>=7
70 .text
71 .syntax unified @ ARMv7-capable assembler is expected to handle this
72 #ifdef __thumb2__
73 .thumb
74 #else
75 .code 32
76 #endif
78 .fpu neon
80 .type _bsaes_decrypt8,%function
81 .align 4
82 _bsaes_decrypt8:
83 adr r6,_bsaes_decrypt8
84 vldmia r4!, {q9} @ round 0 key
85 add r6,r6,#.LM0ISR-_bsaes_decrypt8
87 vldmia r6!, {q8} @ .LM0ISR
88 veor q10, q0, q9 @ xor with round0 key
89 veor q11, q1, q9
90 vtbl.8 d0, {q10}, d16
91 vtbl.8 d1, {q10}, d17
92 veor q12, q2, q9
93 vtbl.8 d2, {q11}, d16
94 vtbl.8 d3, {q11}, d17
95 veor q13, q3, q9
96 vtbl.8 d4, {q12}, d16
97 vtbl.8 d5, {q12}, d17
98 veor q14, q4, q9
99 vtbl.8 d6, {q13}, d16
100 vtbl.8 d7, {q13}, d17
101 veor q15, q5, q9
102 vtbl.8 d8, {q14}, d16
103 vtbl.8 d9, {q14}, d17
104 veor q10, q6, q9
105 vtbl.8 d10, {q15}, d16
106 vtbl.8 d11, {q15}, d17
107 veor q11, q7, q9
108 vtbl.8 d12, {q10}, d16
109 vtbl.8 d13, {q10}, d17
110 vtbl.8 d14, {q11}, d16
111 vtbl.8 d15, {q11}, d17
112 vmov.i8 q8,#0x55 @ compose .LBS0
113 vmov.i8 q9,#0x33 @ compose .LBS1
114 vshr.u64 q10, q6, #1
115 vshr.u64 q11, q4, #1
116 veor q10, q10, q7
117 veor q11, q11, q5
118 vand q10, q10, q8
119 vand q11, q11, q8
120 veor q7, q7, q10
121 vshl.u64 q10, q10, #1
122 veor q5, q5, q11
123 vshl.u64 q11, q11, #1
124 veor q6, q6, q10
125 veor q4, q4, q11
126 vshr.u64 q10, q2, #1
127 vshr.u64 q11, q0, #1
128 veor q10, q10, q3
129 veor q11, q11, q1
130 vand q10, q10, q8
131 vand q11, q11, q8
132 veor q3, q3, q10
133 vshl.u64 q10, q10, #1
134 veor q1, q1, q11
135 vshl.u64 q11, q11, #1
136 veor q2, q2, q10
137 veor q0, q0, q11
138 vmov.i8 q8,#0x0f @ compose .LBS2
139 vshr.u64 q10, q5, #2
140 vshr.u64 q11, q4, #2
141 veor q10, q10, q7
142 veor q11, q11, q6
143 vand q10, q10, q9
144 vand q11, q11, q9
145 veor q7, q7, q10
146 vshl.u64 q10, q10, #2
147 veor q6, q6, q11
148 vshl.u64 q11, q11, #2
149 veor q5, q5, q10
150 veor q4, q4, q11
151 vshr.u64 q10, q1, #2
152 vshr.u64 q11, q0, #2
153 veor q10, q10, q3
154 veor q11, q11, q2
155 vand q10, q10, q9
156 vand q11, q11, q9
157 veor q3, q3, q10
158 vshl.u64 q10, q10, #2
159 veor q2, q2, q11
160 vshl.u64 q11, q11, #2
161 veor q1, q1, q10
162 veor q0, q0, q11
163 vshr.u64 q10, q3, #4
164 vshr.u64 q11, q2, #4
165 veor q10, q10, q7
166 veor q11, q11, q6
167 vand q10, q10, q8
168 vand q11, q11, q8
169 veor q7, q7, q10
170 vshl.u64 q10, q10, #4
171 veor q6, q6, q11
172 vshl.u64 q11, q11, #4
173 veor q3, q3, q10
174 veor q2, q2, q11
175 vshr.u64 q10, q1, #4
176 vshr.u64 q11, q0, #4
177 veor q10, q10, q5
178 veor q11, q11, q4
179 vand q10, q10, q8
180 vand q11, q11, q8
181 veor q5, q5, q10
182 vshl.u64 q10, q10, #4
183 veor q4, q4, q11
184 vshl.u64 q11, q11, #4
185 veor q1, q1, q10
186 veor q0, q0, q11
187 sub r5,r5,#1
188 b .Ldec_sbox
189 .align 4
190 .Ldec_loop:
191 vldmia r4!, {q8-q11}
192 veor q8, q8, q0
193 veor q9, q9, q1
194 vtbl.8 d0, {q8}, d24
195 vtbl.8 d1, {q8}, d25
196 vldmia r4!, {q8}
197 veor q10, q10, q2
198 vtbl.8 d2, {q9}, d24
199 vtbl.8 d3, {q9}, d25
200 vldmia r4!, {q9}
201 veor q11, q11, q3
202 vtbl.8 d4, {q10}, d24
203 vtbl.8 d5, {q10}, d25
204 vldmia r4!, {q10}
205 vtbl.8 d6, {q11}, d24
206 vtbl.8 d7, {q11}, d25
207 vldmia r4!, {q11}
208 veor q8, q8, q4
209 veor q9, q9, q5
210 vtbl.8 d8, {q8}, d24
211 vtbl.8 d9, {q8}, d25
212 veor q10, q10, q6
213 vtbl.8 d10, {q9}, d24
214 vtbl.8 d11, {q9}, d25
215 veor q11, q11, q7
216 vtbl.8 d12, {q10}, d24
217 vtbl.8 d13, {q10}, d25
218 vtbl.8 d14, {q11}, d24
219 vtbl.8 d15, {q11}, d25
220 .Ldec_sbox:
221 veor q1, q1, q4
222 veor q3, q3, q4
224 veor q4, q4, q7
225 veor q1, q1, q6
226 veor q2, q2, q7
227 veor q6, q6, q4
229 veor q0, q0, q1
230 veor q2, q2, q5
231 veor q7, q7, q6
232 veor q3, q3, q0
233 veor q5, q5, q0
234 veor q1, q1, q3
235 veor q11, q3, q0
236 veor q10, q7, q4
237 veor q9, q1, q6
238 veor q13, q4, q0
239 vmov q8, q10
240 veor q12, q5, q2
242 vorr q10, q10, q9
243 veor q15, q11, q8
244 vand q14, q11, q12
245 vorr q11, q11, q12
246 veor q12, q12, q9
247 vand q8, q8, q9
248 veor q9, q6, q2
249 vand q15, q15, q12
250 vand q13, q13, q9
251 veor q9, q3, q7
252 veor q12, q1, q5
253 veor q11, q11, q13
254 veor q10, q10, q13
255 vand q13, q9, q12
256 vorr q9, q9, q12
257 veor q11, q11, q15
258 veor q8, q8, q13
259 veor q10, q10, q14
260 veor q9, q9, q15
261 veor q8, q8, q14
262 vand q12, q4, q6
263 veor q9, q9, q14
264 vand q13, q0, q2
265 vand q14, q7, q1
266 vorr q15, q3, q5
267 veor q11, q11, q12
268 veor q9, q9, q14
269 veor q8, q8, q15
270 veor q10, q10, q13
272 @ Inv_GF16 0, 1, 2, 3, s0, s1, s2, s3
274 @ new smaller inversion
276 vand q14, q11, q9
277 vmov q12, q8
279 veor q13, q10, q14
280 veor q15, q8, q14
281 veor q14, q8, q14 @ q14=q15
283 vbsl q13, q9, q8
284 vbsl q15, q11, q10
285 veor q11, q11, q10
287 vbsl q12, q13, q14
288 vbsl q8, q14, q13
290 vand q14, q12, q15
291 veor q9, q9, q8
293 veor q14, q14, q11
294 veor q12, q5, q2
295 veor q8, q1, q6
296 veor q10, q15, q14
297 vand q10, q10, q5
298 veor q5, q5, q1
299 vand q11, q1, q15
300 vand q5, q5, q14
301 veor q1, q11, q10
302 veor q5, q5, q11
303 veor q15, q15, q13
304 veor q14, q14, q9
305 veor q11, q15, q14
306 veor q10, q13, q9
307 vand q11, q11, q12
308 vand q10, q10, q2
309 veor q12, q12, q8
310 veor q2, q2, q6
311 vand q8, q8, q15
312 vand q6, q6, q13
313 vand q12, q12, q14
314 vand q2, q2, q9
315 veor q8, q8, q12
316 veor q2, q2, q6
317 veor q12, q12, q11
318 veor q6, q6, q10
319 veor q5, q5, q12
320 veor q2, q2, q12
321 veor q1, q1, q8
322 veor q6, q6, q8
324 veor q12, q3, q0
325 veor q8, q7, q4
326 veor q11, q15, q14
327 veor q10, q13, q9
328 vand q11, q11, q12
329 vand q10, q10, q0
330 veor q12, q12, q8
331 veor q0, q0, q4
332 vand q8, q8, q15
333 vand q4, q4, q13
334 vand q12, q12, q14
335 vand q0, q0, q9
336 veor q8, q8, q12
337 veor q0, q0, q4
338 veor q12, q12, q11
339 veor q4, q4, q10
340 veor q15, q15, q13
341 veor q14, q14, q9
342 veor q10, q15, q14
343 vand q10, q10, q3
344 veor q3, q3, q7
345 vand q11, q7, q15
346 vand q3, q3, q14
347 veor q7, q11, q10
348 veor q3, q3, q11
349 veor q3, q3, q12
350 veor q0, q0, q12
351 veor q7, q7, q8
352 veor q4, q4, q8
353 veor q1, q1, q7
354 veor q6, q6, q5
356 veor q4, q4, q1
357 veor q2, q2, q7
358 veor q5, q5, q7
359 veor q4, q4, q2
360 veor q7, q7, q0
361 veor q4, q4, q5
362 veor q3, q3, q6
363 veor q6, q6, q1
364 veor q3, q3, q4
366 veor q4, q4, q0
367 veor q7, q7, q3
368 subs r5,r5,#1
369 bcc .Ldec_done
370 @ multiplication by 0x05-0x00-0x04-0x00
371 vext.8 q8, q0, q0, #8
372 vext.8 q14, q3, q3, #8
373 vext.8 q15, q5, q5, #8
374 veor q8, q8, q0
375 vext.8 q9, q1, q1, #8
376 veor q14, q14, q3
377 vext.8 q10, q6, q6, #8
378 veor q15, q15, q5
379 vext.8 q11, q4, q4, #8
380 veor q9, q9, q1
381 vext.8 q12, q2, q2, #8
382 veor q10, q10, q6
383 vext.8 q13, q7, q7, #8
384 veor q11, q11, q4
385 veor q12, q12, q2
386 veor q13, q13, q7
388 veor q0, q0, q14
389 veor q1, q1, q14
390 veor q6, q6, q8
391 veor q2, q2, q10
392 veor q4, q4, q9
393 veor q1, q1, q15
394 veor q6, q6, q15
395 veor q2, q2, q14
396 veor q7, q7, q11
397 veor q4, q4, q14
398 veor q3, q3, q12
399 veor q2, q2, q15
400 veor q7, q7, q15
401 veor q5, q5, q13
402 vext.8 q8, q0, q0, #12 @ x0 <<< 32
403 vext.8 q9, q1, q1, #12
404 veor q0, q0, q8 @ x0 ^ (x0 <<< 32)
405 vext.8 q10, q6, q6, #12
406 veor q1, q1, q9
407 vext.8 q11, q4, q4, #12
408 veor q6, q6, q10
409 vext.8 q12, q2, q2, #12
410 veor q4, q4, q11
411 vext.8 q13, q7, q7, #12
412 veor q2, q2, q12
413 vext.8 q14, q3, q3, #12
414 veor q7, q7, q13
415 vext.8 q15, q5, q5, #12
416 veor q3, q3, q14
418 veor q9, q9, q0
419 veor q5, q5, q15
420 vext.8 q0, q0, q0, #8 @ (x0 ^ (x0 <<< 32)) <<< 64)
421 veor q10, q10, q1
422 veor q8, q8, q5
423 veor q9, q9, q5
424 vext.8 q1, q1, q1, #8
425 veor q13, q13, q2
426 veor q0, q0, q8
427 veor q14, q14, q7
428 veor q1, q1, q9
429 vext.8 q8, q2, q2, #8
430 veor q12, q12, q4
431 vext.8 q9, q7, q7, #8
432 veor q15, q15, q3
433 vext.8 q2, q4, q4, #8
434 veor q11, q11, q6
435 vext.8 q7, q5, q5, #8
436 veor q12, q12, q5
437 vext.8 q4, q3, q3, #8
438 veor q11, q11, q5
439 vext.8 q3, q6, q6, #8
440 veor q5, q9, q13
441 veor q11, q11, q2
442 veor q7, q7, q15
443 veor q6, q4, q14
444 veor q4, q8, q12
445 veor q2, q3, q10
446 vmov q3, q11
447 @ vmov q5, q9
448 vldmia r6, {q12} @ .LISR
449 ite eq @ Thumb2 thing, sanity check in ARM
450 addeq r6,r6,#0x10
451 bne .Ldec_loop
452 vldmia r6, {q12} @ .LISRM0
453 b .Ldec_loop
454 .align 4
455 .Ldec_done:
456 vmov.i8 q8,#0x55 @ compose .LBS0
457 vmov.i8 q9,#0x33 @ compose .LBS1
458 vshr.u64 q10, q3, #1
459 vshr.u64 q11, q2, #1
460 veor q10, q10, q5
461 veor q11, q11, q7
462 vand q10, q10, q8
463 vand q11, q11, q8
464 veor q5, q5, q10
465 vshl.u64 q10, q10, #1
466 veor q7, q7, q11
467 vshl.u64 q11, q11, #1
468 veor q3, q3, q10
469 veor q2, q2, q11
470 vshr.u64 q10, q6, #1
471 vshr.u64 q11, q0, #1
472 veor q10, q10, q4
473 veor q11, q11, q1
474 vand q10, q10, q8
475 vand q11, q11, q8
476 veor q4, q4, q10
477 vshl.u64 q10, q10, #1
478 veor q1, q1, q11
479 vshl.u64 q11, q11, #1
480 veor q6, q6, q10
481 veor q0, q0, q11
482 vmov.i8 q8,#0x0f @ compose .LBS2
483 vshr.u64 q10, q7, #2
484 vshr.u64 q11, q2, #2
485 veor q10, q10, q5
486 veor q11, q11, q3
487 vand q10, q10, q9
488 vand q11, q11, q9
489 veor q5, q5, q10
490 vshl.u64 q10, q10, #2
491 veor q3, q3, q11
492 vshl.u64 q11, q11, #2
493 veor q7, q7, q10
494 veor q2, q2, q11
495 vshr.u64 q10, q1, #2
496 vshr.u64 q11, q0, #2
497 veor q10, q10, q4
498 veor q11, q11, q6
499 vand q10, q10, q9
500 vand q11, q11, q9
501 veor q4, q4, q10
502 vshl.u64 q10, q10, #2
503 veor q6, q6, q11
504 vshl.u64 q11, q11, #2
505 veor q1, q1, q10
506 veor q0, q0, q11
507 vshr.u64 q10, q4, #4
508 vshr.u64 q11, q6, #4
509 veor q10, q10, q5
510 veor q11, q11, q3
511 vand q10, q10, q8
512 vand q11, q11, q8
513 veor q5, q5, q10
514 vshl.u64 q10, q10, #4
515 veor q3, q3, q11
516 vshl.u64 q11, q11, #4
517 veor q4, q4, q10
518 veor q6, q6, q11
519 vshr.u64 q10, q1, #4
520 vshr.u64 q11, q0, #4
521 veor q10, q10, q7
522 veor q11, q11, q2
523 vand q10, q10, q8
524 vand q11, q11, q8
525 veor q7, q7, q10
526 vshl.u64 q10, q10, #4
527 veor q2, q2, q11
528 vshl.u64 q11, q11, #4
529 veor q1, q1, q10
530 veor q0, q0, q11
531 vldmia r4, {q8} @ last round key
532 veor q6, q6, q8
533 veor q4, q4, q8
534 veor q2, q2, q8
535 veor q7, q7, q8
536 veor q3, q3, q8
537 veor q5, q5, q8
538 veor q0, q0, q8
539 veor q1, q1, q8
540 bx lr
541 .size _bsaes_decrypt8,.-_bsaes_decrypt8
543 .type _bsaes_const,%object
544 .align 6
545 _bsaes_const:
546 .LM0ISR: @ InvShiftRows constants
547 .quad 0x0a0e0206070b0f03, 0x0004080c0d010509
548 .LISR:
549 .quad 0x0504070602010003, 0x0f0e0d0c080b0a09
550 .LISRM0:
551 .quad 0x01040b0e0205080f, 0x0306090c00070a0d
552 .LM0SR: @ ShiftRows constants
553 .quad 0x0a0e02060f03070b, 0x0004080c05090d01
554 .LSR:
555 .quad 0x0504070600030201, 0x0f0e0d0c0a09080b
556 .LSRM0:
557 .quad 0x0304090e00050a0f, 0x01060b0c0207080d
558 .LM0:
559 .quad 0x02060a0e03070b0f, 0x0004080c0105090d
560 .LREVM0SR:
561 .quad 0x090d01050c000408, 0x03070b0f060a0e02
562 .asciz "Bit-sliced AES for NEON, CRYPTOGAMS by <appro@openssl.org>"
563 .align 6
564 .size _bsaes_const,.-_bsaes_const
566 .type _bsaes_encrypt8,%function
567 .align 4
568 _bsaes_encrypt8:
569 adr r6,_bsaes_encrypt8
570 vldmia r4!, {q9} @ round 0 key
571 sub r6,r6,#_bsaes_encrypt8-.LM0SR
573 vldmia r6!, {q8} @ .LM0SR
574 _bsaes_encrypt8_alt:
575 veor q10, q0, q9 @ xor with round0 key
576 veor q11, q1, q9
577 vtbl.8 d0, {q10}, d16
578 vtbl.8 d1, {q10}, d17
579 veor q12, q2, q9
580 vtbl.8 d2, {q11}, d16
581 vtbl.8 d3, {q11}, d17
582 veor q13, q3, q9
583 vtbl.8 d4, {q12}, d16
584 vtbl.8 d5, {q12}, d17
585 veor q14, q4, q9
586 vtbl.8 d6, {q13}, d16
587 vtbl.8 d7, {q13}, d17
588 veor q15, q5, q9
589 vtbl.8 d8, {q14}, d16
590 vtbl.8 d9, {q14}, d17
591 veor q10, q6, q9
592 vtbl.8 d10, {q15}, d16
593 vtbl.8 d11, {q15}, d17
594 veor q11, q7, q9
595 vtbl.8 d12, {q10}, d16
596 vtbl.8 d13, {q10}, d17
597 vtbl.8 d14, {q11}, d16
598 vtbl.8 d15, {q11}, d17
599 _bsaes_encrypt8_bitslice:
600 vmov.i8 q8,#0x55 @ compose .LBS0
601 vmov.i8 q9,#0x33 @ compose .LBS1
602 vshr.u64 q10, q6, #1
603 vshr.u64 q11, q4, #1
604 veor q10, q10, q7
605 veor q11, q11, q5
606 vand q10, q10, q8
607 vand q11, q11, q8
608 veor q7, q7, q10
609 vshl.u64 q10, q10, #1
610 veor q5, q5, q11
611 vshl.u64 q11, q11, #1
612 veor q6, q6, q10
613 veor q4, q4, q11
614 vshr.u64 q10, q2, #1
615 vshr.u64 q11, q0, #1
616 veor q10, q10, q3
617 veor q11, q11, q1
618 vand q10, q10, q8
619 vand q11, q11, q8
620 veor q3, q3, q10
621 vshl.u64 q10, q10, #1
622 veor q1, q1, q11
623 vshl.u64 q11, q11, #1
624 veor q2, q2, q10
625 veor q0, q0, q11
626 vmov.i8 q8,#0x0f @ compose .LBS2
627 vshr.u64 q10, q5, #2
628 vshr.u64 q11, q4, #2
629 veor q10, q10, q7
630 veor q11, q11, q6
631 vand q10, q10, q9
632 vand q11, q11, q9
633 veor q7, q7, q10
634 vshl.u64 q10, q10, #2
635 veor q6, q6, q11
636 vshl.u64 q11, q11, #2
637 veor q5, q5, q10
638 veor q4, q4, q11
639 vshr.u64 q10, q1, #2
640 vshr.u64 q11, q0, #2
641 veor q10, q10, q3
642 veor q11, q11, q2
643 vand q10, q10, q9
644 vand q11, q11, q9
645 veor q3, q3, q10
646 vshl.u64 q10, q10, #2
647 veor q2, q2, q11
648 vshl.u64 q11, q11, #2
649 veor q1, q1, q10
650 veor q0, q0, q11
651 vshr.u64 q10, q3, #4
652 vshr.u64 q11, q2, #4
653 veor q10, q10, q7
654 veor q11, q11, q6
655 vand q10, q10, q8
656 vand q11, q11, q8
657 veor q7, q7, q10
658 vshl.u64 q10, q10, #4
659 veor q6, q6, q11
660 vshl.u64 q11, q11, #4
661 veor q3, q3, q10
662 veor q2, q2, q11
663 vshr.u64 q10, q1, #4
664 vshr.u64 q11, q0, #4
665 veor q10, q10, q5
666 veor q11, q11, q4
667 vand q10, q10, q8
668 vand q11, q11, q8
669 veor q5, q5, q10
670 vshl.u64 q10, q10, #4
671 veor q4, q4, q11
672 vshl.u64 q11, q11, #4
673 veor q1, q1, q10
674 veor q0, q0, q11
675 sub r5,r5,#1
676 b .Lenc_sbox
677 .align 4
678 .Lenc_loop:
679 vldmia r4!, {q8-q11}
680 veor q8, q8, q0
681 veor q9, q9, q1
682 vtbl.8 d0, {q8}, d24
683 vtbl.8 d1, {q8}, d25
684 vldmia r4!, {q8}
685 veor q10, q10, q2
686 vtbl.8 d2, {q9}, d24
687 vtbl.8 d3, {q9}, d25
688 vldmia r4!, {q9}
689 veor q11, q11, q3
690 vtbl.8 d4, {q10}, d24
691 vtbl.8 d5, {q10}, d25
692 vldmia r4!, {q10}
693 vtbl.8 d6, {q11}, d24
694 vtbl.8 d7, {q11}, d25
695 vldmia r4!, {q11}
696 veor q8, q8, q4
697 veor q9, q9, q5
698 vtbl.8 d8, {q8}, d24
699 vtbl.8 d9, {q8}, d25
700 veor q10, q10, q6
701 vtbl.8 d10, {q9}, d24
702 vtbl.8 d11, {q9}, d25
703 veor q11, q11, q7
704 vtbl.8 d12, {q10}, d24
705 vtbl.8 d13, {q10}, d25
706 vtbl.8 d14, {q11}, d24
707 vtbl.8 d15, {q11}, d25
708 .Lenc_sbox:
709 veor q2, q2, q1
710 veor q5, q5, q6
711 veor q3, q3, q0
712 veor q6, q6, q2
713 veor q5, q5, q0
715 veor q6, q6, q3
716 veor q3, q3, q7
717 veor q7, q7, q5
718 veor q3, q3, q4
719 veor q4, q4, q5
721 veor q2, q2, q7
722 veor q3, q3, q1
723 veor q1, q1, q5
724 veor q11, q7, q4
725 veor q10, q1, q2
726 veor q9, q5, q3
727 veor q13, q2, q4
728 vmov q8, q10
729 veor q12, q6, q0
731 vorr q10, q10, q9
732 veor q15, q11, q8
733 vand q14, q11, q12
734 vorr q11, q11, q12
735 veor q12, q12, q9
736 vand q8, q8, q9
737 veor q9, q3, q0
738 vand q15, q15, q12
739 vand q13, q13, q9
740 veor q9, q7, q1
741 veor q12, q5, q6
742 veor q11, q11, q13
743 veor q10, q10, q13
744 vand q13, q9, q12
745 vorr q9, q9, q12
746 veor q11, q11, q15
747 veor q8, q8, q13
748 veor q10, q10, q14
749 veor q9, q9, q15
750 veor q8, q8, q14
751 vand q12, q2, q3
752 veor q9, q9, q14
753 vand q13, q4, q0
754 vand q14, q1, q5
755 vorr q15, q7, q6
756 veor q11, q11, q12
757 veor q9, q9, q14
758 veor q8, q8, q15
759 veor q10, q10, q13
761 @ Inv_GF16 0, 1, 2, 3, s0, s1, s2, s3
763 @ new smaller inversion
765 vand q14, q11, q9
766 vmov q12, q8
768 veor q13, q10, q14
769 veor q15, q8, q14
770 veor q14, q8, q14 @ q14=q15
772 vbsl q13, q9, q8
773 vbsl q15, q11, q10
774 veor q11, q11, q10
776 vbsl q12, q13, q14
777 vbsl q8, q14, q13
779 vand q14, q12, q15
780 veor q9, q9, q8
782 veor q14, q14, q11
783 veor q12, q6, q0
784 veor q8, q5, q3
785 veor q10, q15, q14
786 vand q10, q10, q6
787 veor q6, q6, q5
788 vand q11, q5, q15
789 vand q6, q6, q14
790 veor q5, q11, q10
791 veor q6, q6, q11
792 veor q15, q15, q13
793 veor q14, q14, q9
794 veor q11, q15, q14
795 veor q10, q13, q9
796 vand q11, q11, q12
797 vand q10, q10, q0
798 veor q12, q12, q8
799 veor q0, q0, q3
800 vand q8, q8, q15
801 vand q3, q3, q13
802 vand q12, q12, q14
803 vand q0, q0, q9
804 veor q8, q8, q12
805 veor q0, q0, q3
806 veor q12, q12, q11
807 veor q3, q3, q10
808 veor q6, q6, q12
809 veor q0, q0, q12
810 veor q5, q5, q8
811 veor q3, q3, q8
813 veor q12, q7, q4
814 veor q8, q1, q2
815 veor q11, q15, q14
816 veor q10, q13, q9
817 vand q11, q11, q12
818 vand q10, q10, q4
819 veor q12, q12, q8
820 veor q4, q4, q2
821 vand q8, q8, q15
822 vand q2, q2, q13
823 vand q12, q12, q14
824 vand q4, q4, q9
825 veor q8, q8, q12
826 veor q4, q4, q2
827 veor q12, q12, q11
828 veor q2, q2, q10
829 veor q15, q15, q13
830 veor q14, q14, q9
831 veor q10, q15, q14
832 vand q10, q10, q7
833 veor q7, q7, q1
834 vand q11, q1, q15
835 vand q7, q7, q14
836 veor q1, q11, q10
837 veor q7, q7, q11
838 veor q7, q7, q12
839 veor q4, q4, q12
840 veor q1, q1, q8
841 veor q2, q2, q8
842 veor q7, q7, q0
843 veor q1, q1, q6
844 veor q6, q6, q0
845 veor q4, q4, q7
846 veor q0, q0, q1
848 veor q1, q1, q5
849 veor q5, q5, q2
850 veor q2, q2, q3
851 veor q3, q3, q5
852 veor q4, q4, q5
854 veor q6, q6, q3
855 subs r5,r5,#1
856 bcc .Lenc_done
857 vext.8 q8, q0, q0, #12 @ x0 <<< 32
858 vext.8 q9, q1, q1, #12
859 veor q0, q0, q8 @ x0 ^ (x0 <<< 32)
860 vext.8 q10, q4, q4, #12
861 veor q1, q1, q9
862 vext.8 q11, q6, q6, #12
863 veor q4, q4, q10
864 vext.8 q12, q3, q3, #12
865 veor q6, q6, q11
866 vext.8 q13, q7, q7, #12
867 veor q3, q3, q12
868 vext.8 q14, q2, q2, #12
869 veor q7, q7, q13
870 vext.8 q15, q5, q5, #12
871 veor q2, q2, q14
873 veor q9, q9, q0
874 veor q5, q5, q15
875 vext.8 q0, q0, q0, #8 @ (x0 ^ (x0 <<< 32)) <<< 64)
876 veor q10, q10, q1
877 veor q8, q8, q5
878 veor q9, q9, q5
879 vext.8 q1, q1, q1, #8
880 veor q13, q13, q3
881 veor q0, q0, q8
882 veor q14, q14, q7
883 veor q1, q1, q9
884 vext.8 q8, q3, q3, #8
885 veor q12, q12, q6
886 vext.8 q9, q7, q7, #8
887 veor q15, q15, q2
888 vext.8 q3, q6, q6, #8
889 veor q11, q11, q4
890 vext.8 q7, q5, q5, #8
891 veor q12, q12, q5
892 vext.8 q6, q2, q2, #8
893 veor q11, q11, q5
894 vext.8 q2, q4, q4, #8
895 veor q5, q9, q13
896 veor q4, q8, q12
897 veor q3, q3, q11
898 veor q7, q7, q15
899 veor q6, q6, q14
900 @ vmov q4, q8
901 veor q2, q2, q10
902 @ vmov q5, q9
903 vldmia r6, {q12} @ .LSR
904 ite eq @ Thumb2 thing, samity check in ARM
905 addeq r6,r6,#0x10
906 bne .Lenc_loop
907 vldmia r6, {q12} @ .LSRM0
908 b .Lenc_loop
909 .align 4
910 .Lenc_done:
911 vmov.i8 q8,#0x55 @ compose .LBS0
912 vmov.i8 q9,#0x33 @ compose .LBS1
913 vshr.u64 q10, q2, #1
914 vshr.u64 q11, q3, #1
915 veor q10, q10, q5
916 veor q11, q11, q7
917 vand q10, q10, q8
918 vand q11, q11, q8
919 veor q5, q5, q10
920 vshl.u64 q10, q10, #1
921 veor q7, q7, q11
922 vshl.u64 q11, q11, #1
923 veor q2, q2, q10
924 veor q3, q3, q11
925 vshr.u64 q10, q4, #1
926 vshr.u64 q11, q0, #1
927 veor q10, q10, q6
928 veor q11, q11, q1
929 vand q10, q10, q8
930 vand q11, q11, q8
931 veor q6, q6, q10
932 vshl.u64 q10, q10, #1
933 veor q1, q1, q11
934 vshl.u64 q11, q11, #1
935 veor q4, q4, q10
936 veor q0, q0, q11
937 vmov.i8 q8,#0x0f @ compose .LBS2
938 vshr.u64 q10, q7, #2
939 vshr.u64 q11, q3, #2
940 veor q10, q10, q5
941 veor q11, q11, q2
942 vand q10, q10, q9
943 vand q11, q11, q9
944 veor q5, q5, q10
945 vshl.u64 q10, q10, #2
946 veor q2, q2, q11
947 vshl.u64 q11, q11, #2
948 veor q7, q7, q10
949 veor q3, q3, q11
950 vshr.u64 q10, q1, #2
951 vshr.u64 q11, q0, #2
952 veor q10, q10, q6
953 veor q11, q11, q4
954 vand q10, q10, q9
955 vand q11, q11, q9
956 veor q6, q6, q10
957 vshl.u64 q10, q10, #2
958 veor q4, q4, q11
959 vshl.u64 q11, q11, #2
960 veor q1, q1, q10
961 veor q0, q0, q11
962 vshr.u64 q10, q6, #4
963 vshr.u64 q11, q4, #4
964 veor q10, q10, q5
965 veor q11, q11, q2
966 vand q10, q10, q8
967 vand q11, q11, q8
968 veor q5, q5, q10
969 vshl.u64 q10, q10, #4
970 veor q2, q2, q11
971 vshl.u64 q11, q11, #4
972 veor q6, q6, q10
973 veor q4, q4, q11
974 vshr.u64 q10, q1, #4
975 vshr.u64 q11, q0, #4
976 veor q10, q10, q7
977 veor q11, q11, q3
978 vand q10, q10, q8
979 vand q11, q11, q8
980 veor q7, q7, q10
981 vshl.u64 q10, q10, #4
982 veor q3, q3, q11
983 vshl.u64 q11, q11, #4
984 veor q1, q1, q10
985 veor q0, q0, q11
986 vldmia r4, {q8} @ last round key
987 veor q4, q4, q8
988 veor q6, q6, q8
989 veor q3, q3, q8
990 veor q7, q7, q8
991 veor q2, q2, q8
992 veor q5, q5, q8
993 veor q0, q0, q8
994 veor q1, q1, q8
995 bx lr
996 .size _bsaes_encrypt8,.-_bsaes_encrypt8
997 .type _bsaes_key_convert,%function
998 .align 4
999 _bsaes_key_convert:
1000 adr r6,_bsaes_key_convert
1001 vld1.8 {q7}, [r4]! @ load round 0 key
1002 sub r6,r6,#_bsaes_key_convert-.LM0
1003 vld1.8 {q15}, [r4]! @ load round 1 key
1005 vmov.i8 q8, #0x01 @ bit masks
1006 vmov.i8 q9, #0x02
1007 vmov.i8 q10, #0x04
1008 vmov.i8 q11, #0x08
1009 vmov.i8 q12, #0x10
1010 vmov.i8 q13, #0x20
1011 vldmia r6, {q14} @ .LM0
1013 #ifdef __ARMEL__
1014 vrev32.8 q7, q7
1015 vrev32.8 q15, q15
1016 #endif
1017 sub r5,r5,#1
1018 vstmia r12!, {q7} @ save round 0 key
1019 b .Lkey_loop
1021 .align 4
1022 .Lkey_loop:
1023 vtbl.8 d14,{q15},d28
1024 vtbl.8 d15,{q15},d29
1025 vmov.i8 q6, #0x40
1026 vmov.i8 q15, #0x80
1028 vtst.8 q0, q7, q8
1029 vtst.8 q1, q7, q9
1030 vtst.8 q2, q7, q10
1031 vtst.8 q3, q7, q11
1032 vtst.8 q4, q7, q12
1033 vtst.8 q5, q7, q13
1034 vtst.8 q6, q7, q6
1035 vtst.8 q7, q7, q15
1036 vld1.8 {q15}, [r4]! @ load next round key
1037 vmvn q0, q0 @ "pnot"
1038 vmvn q1, q1
1039 vmvn q5, q5
1040 vmvn q6, q6
1041 #ifdef __ARMEL__
1042 vrev32.8 q15, q15
1043 #endif
1044 subs r5,r5,#1
1045 vstmia r12!,{q0-q7} @ write bit-sliced round key
1046 bne .Lkey_loop
1048 vmov.i8 q7,#0x63 @ compose .L63
1049 @ don't save last round key
1050 bx lr
1051 .size _bsaes_key_convert,.-_bsaes_key_convert
1052 .extern AES_cbc_encrypt
1053 .extern AES_decrypt
1055 .global bsaes_cbc_encrypt
1056 .hidden bsaes_cbc_encrypt
1057 .type bsaes_cbc_encrypt,%function
1058 .align 5
1059 bsaes_cbc_encrypt:
1060 #ifndef __KERNEL__
1061 cmp r2, #128
1062 #ifndef __thumb__
1063 blo AES_cbc_encrypt
1064 #else
1065 bhs 1f
1066 b AES_cbc_encrypt
1067 1:
1068 #endif
1069 #endif
1071 @ it is up to the caller to make sure we are called with enc == 0
1073 mov ip, sp
1074 stmdb sp!, {r4-r10, lr}
1075 VFP_ABI_PUSH
1076 ldr r8, [ip] @ IV is 1st arg on the stack
1077 mov r2, r2, lsr#4 @ len in 16 byte blocks
1078 sub sp, #0x10 @ scratch space to carry over the IV
1079 mov r9, sp @ save sp
1081 ldr r10, [r3, #240] @ get # of rounds
1082 #ifndef BSAES_ASM_EXTENDED_KEY
1083 @ allocate the key schedule on the stack
1084 sub r12, sp, r10, lsl#7 @ 128 bytes per inner round key
1085 add r12, #96 @ sifze of bit-slices key schedule
1087 @ populate the key schedule
1088 mov r4, r3 @ pass key
1089 mov r5, r10 @ pass # of rounds
1090 mov sp, r12 @ sp is sp
1091 bl _bsaes_key_convert
1092 vldmia sp, {q6}
1093 vstmia r12, {q15} @ save last round key
1094 veor q7, q7, q6 @ fix up round 0 key
1095 vstmia sp, {q7}
1096 #else
1097 ldr r12, [r3, #244]
1098 eors r12, #1
1099 beq 0f
1101 @ populate the key schedule
1102 str r12, [r3, #244]
1103 mov r4, r3 @ pass key
1104 mov r5, r10 @ pass # of rounds
1105 add r12, r3, #248 @ pass key schedule
1106 bl _bsaes_key_convert
1107 add r4, r3, #248
1108 vldmia r4, {q6}
1109 vstmia r12, {q15} @ save last round key
1110 veor q7, q7, q6 @ fix up round 0 key
1111 vstmia r4, {q7}
1113 .align 2
1114 0:
1115 #endif
1117 vld1.8 {q15}, [r8] @ load IV
1118 b .Lcbc_dec_loop
1120 .align 4
1121 .Lcbc_dec_loop:
1122 subs r2, r2, #0x8
1123 bmi .Lcbc_dec_loop_finish
1125 vld1.8 {q0-q1}, [r0]! @ load input
1126 vld1.8 {q2-q3}, [r0]!
1127 #ifndef BSAES_ASM_EXTENDED_KEY
1128 mov r4, sp @ pass the key
1129 #else
1130 add r4, r3, #248
1131 #endif
1132 vld1.8 {q4-q5}, [r0]!
1133 mov r5, r10
1134 vld1.8 {q6-q7}, [r0]
1135 sub r0, r0, #0x60
1136 vstmia r9, {q15} @ put aside IV
1138 bl _bsaes_decrypt8
1140 vldmia r9, {q14} @ reload IV
1141 vld1.8 {q8-q9}, [r0]! @ reload input
1142 veor q0, q0, q14 @ ^= IV
1143 vld1.8 {q10-q11}, [r0]!
1144 veor q1, q1, q8
1145 veor q6, q6, q9
1146 vld1.8 {q12-q13}, [r0]!
1147 veor q4, q4, q10
1148 veor q2, q2, q11
1149 vld1.8 {q14-q15}, [r0]!
1150 veor q7, q7, q12
1151 vst1.8 {q0-q1}, [r1]! @ write output
1152 veor q3, q3, q13
1153 vst1.8 {q6}, [r1]!
1154 veor q5, q5, q14
1155 vst1.8 {q4}, [r1]!
1156 vst1.8 {q2}, [r1]!
1157 vst1.8 {q7}, [r1]!
1158 vst1.8 {q3}, [r1]!
1159 vst1.8 {q5}, [r1]!
1161 b .Lcbc_dec_loop
1163 .Lcbc_dec_loop_finish:
1164 adds r2, r2, #8
1165 beq .Lcbc_dec_done
1167 vld1.8 {q0}, [r0]! @ load input
1168 cmp r2, #2
1169 blo .Lcbc_dec_one
1170 vld1.8 {q1}, [r0]!
1171 #ifndef BSAES_ASM_EXTENDED_KEY
1172 mov r4, sp @ pass the key
1173 #else
1174 add r4, r3, #248
1175 #endif
1176 mov r5, r10
1177 vstmia r9, {q15} @ put aside IV
1178 beq .Lcbc_dec_two
1179 vld1.8 {q2}, [r0]!
1180 cmp r2, #4
1181 blo .Lcbc_dec_three
1182 vld1.8 {q3}, [r0]!
1183 beq .Lcbc_dec_four
1184 vld1.8 {q4}, [r0]!
1185 cmp r2, #6
1186 blo .Lcbc_dec_five
1187 vld1.8 {q5}, [r0]!
1188 beq .Lcbc_dec_six
1189 vld1.8 {q6}, [r0]!
1190 sub r0, r0, #0x70
1192 bl _bsaes_decrypt8
1194 vldmia r9, {q14} @ reload IV
1195 vld1.8 {q8-q9}, [r0]! @ reload input
1196 veor q0, q0, q14 @ ^= IV
1197 vld1.8 {q10-q11}, [r0]!
1198 veor q1, q1, q8
1199 veor q6, q6, q9
1200 vld1.8 {q12-q13}, [r0]!
1201 veor q4, q4, q10
1202 veor q2, q2, q11
1203 vld1.8 {q15}, [r0]!
1204 veor q7, q7, q12
1205 vst1.8 {q0-q1}, [r1]! @ write output
1206 veor q3, q3, q13
1207 vst1.8 {q6}, [r1]!
1208 vst1.8 {q4}, [r1]!
1209 vst1.8 {q2}, [r1]!
1210 vst1.8 {q7}, [r1]!
1211 vst1.8 {q3}, [r1]!
1212 b .Lcbc_dec_done
1213 .align 4
1214 .Lcbc_dec_six:
1215 sub r0, r0, #0x60
1216 bl _bsaes_decrypt8
1217 vldmia r9,{q14} @ reload IV
1218 vld1.8 {q8-q9}, [r0]! @ reload input
1219 veor q0, q0, q14 @ ^= IV
1220 vld1.8 {q10-q11}, [r0]!
1221 veor q1, q1, q8
1222 veor q6, q6, q9
1223 vld1.8 {q12}, [r0]!
1224 veor q4, q4, q10
1225 veor q2, q2, q11
1226 vld1.8 {q15}, [r0]!
1227 veor q7, q7, q12
1228 vst1.8 {q0-q1}, [r1]! @ write output
1229 vst1.8 {q6}, [r1]!
1230 vst1.8 {q4}, [r1]!
1231 vst1.8 {q2}, [r1]!
1232 vst1.8 {q7}, [r1]!
1233 b .Lcbc_dec_done
1234 .align 4
1235 .Lcbc_dec_five:
1236 sub r0, r0, #0x50
1237 bl _bsaes_decrypt8
1238 vldmia r9, {q14} @ reload IV
1239 vld1.8 {q8-q9}, [r0]! @ reload input
1240 veor q0, q0, q14 @ ^= IV
1241 vld1.8 {q10-q11}, [r0]!
1242 veor q1, q1, q8
1243 veor q6, q6, q9
1244 vld1.8 {q15}, [r0]!
1245 veor q4, q4, q10
1246 vst1.8 {q0-q1}, [r1]! @ write output
1247 veor q2, q2, q11
1248 vst1.8 {q6}, [r1]!
1249 vst1.8 {q4}, [r1]!
1250 vst1.8 {q2}, [r1]!
1251 b .Lcbc_dec_done
1252 .align 4
1253 .Lcbc_dec_four:
1254 sub r0, r0, #0x40
1255 bl _bsaes_decrypt8
1256 vldmia r9, {q14} @ reload IV
1257 vld1.8 {q8-q9}, [r0]! @ reload input
1258 veor q0, q0, q14 @ ^= IV
1259 vld1.8 {q10}, [r0]!
1260 veor q1, q1, q8
1261 veor q6, q6, q9
1262 vld1.8 {q15}, [r0]!
1263 veor q4, q4, q10
1264 vst1.8 {q0-q1}, [r1]! @ write output
1265 vst1.8 {q6}, [r1]!
1266 vst1.8 {q4}, [r1]!
1267 b .Lcbc_dec_done
1268 .align 4
1269 .Lcbc_dec_three:
1270 sub r0, r0, #0x30
1271 bl _bsaes_decrypt8
1272 vldmia r9, {q14} @ reload IV
1273 vld1.8 {q8-q9}, [r0]! @ reload input
1274 veor q0, q0, q14 @ ^= IV
1275 vld1.8 {q15}, [r0]!
1276 veor q1, q1, q8
1277 veor q6, q6, q9
1278 vst1.8 {q0-q1}, [r1]! @ write output
1279 vst1.8 {q6}, [r1]!
1280 b .Lcbc_dec_done
1281 .align 4
1282 .Lcbc_dec_two:
1283 sub r0, r0, #0x20
1284 bl _bsaes_decrypt8
1285 vldmia r9, {q14} @ reload IV
1286 vld1.8 {q8}, [r0]! @ reload input
1287 veor q0, q0, q14 @ ^= IV
1288 vld1.8 {q15}, [r0]! @ reload input
1289 veor q1, q1, q8
1290 vst1.8 {q0-q1}, [r1]! @ write output
1291 b .Lcbc_dec_done
1292 .align 4
1293 .Lcbc_dec_one:
1294 sub r0, r0, #0x10
1295 mov r10, r1 @ save original out pointer
1296 mov r1, r9 @ use the iv scratch space as out buffer
1297 mov r2, r3
1298 vmov q4,q15 @ just in case ensure that IV
1299 vmov q5,q0 @ and input are preserved
1300 bl AES_decrypt
1301 vld1.8 {q0}, [r9,:64] @ load result
1302 veor q0, q0, q4 @ ^= IV
1303 vmov q15, q5 @ q5 holds input
1304 vst1.8 {q0}, [r10] @ write output
1306 .Lcbc_dec_done:
1307 #ifndef BSAES_ASM_EXTENDED_KEY
1308 vmov.i32 q0, #0
1309 vmov.i32 q1, #0
1310 .Lcbc_dec_bzero: @ wipe key schedule [if any]
1311 vstmia sp!, {q0-q1}
1312 cmp sp, r9
1313 bne .Lcbc_dec_bzero
1314 #endif
1316 mov sp, r9
1317 add sp, #0x10 @ add sp,r9,#0x10 is no good for thumb
1318 vst1.8 {q15}, [r8] @ return IV
1319 VFP_ABI_POP
1320 ldmia sp!, {r4-r10, pc}
1321 .size bsaes_cbc_encrypt,.-bsaes_cbc_encrypt
1322 .extern AES_encrypt
1323 .global bsaes_ctr32_encrypt_blocks
1324 .hidden bsaes_ctr32_encrypt_blocks
1325 .type bsaes_ctr32_encrypt_blocks,%function
1326 .align 5
1327 bsaes_ctr32_encrypt_blocks:
1328 cmp r2, #8 @ use plain AES for
1329 blo .Lctr_enc_short @ small sizes
1331 mov ip, sp
1332 stmdb sp!, {r4-r10, lr}
1333 VFP_ABI_PUSH
1334 ldr r8, [ip] @ ctr is 1st arg on the stack
1335 sub sp, sp, #0x10 @ scratch space to carry over the ctr
1336 mov r9, sp @ save sp
1338 ldr r10, [r3, #240] @ get # of rounds
1339 #ifndef BSAES_ASM_EXTENDED_KEY
1340 @ allocate the key schedule on the stack
1341 sub r12, sp, r10, lsl#7 @ 128 bytes per inner round key
1342 add r12, #96 @ size of bit-sliced key schedule
1344 @ populate the key schedule
1345 mov r4, r3 @ pass key
1346 mov r5, r10 @ pass # of rounds
1347 mov sp, r12 @ sp is sp
1348 bl _bsaes_key_convert
1349 veor q7,q7,q15 @ fix up last round key
1350 vstmia r12, {q7} @ save last round key
1352 vld1.8 {q0}, [r8] @ load counter
1353 add r8, r6, #.LREVM0SR-.LM0 @ borrow r8
1354 vldmia sp, {q4} @ load round0 key
1355 #else
1356 ldr r12, [r3, #244]
1357 eors r12, #1
1358 beq 0f
1360 @ populate the key schedule
1361 str r12, [r3, #244]
1362 mov r4, r3 @ pass key
1363 mov r5, r10 @ pass # of rounds
1364 add r12, r3, #248 @ pass key schedule
1365 bl _bsaes_key_convert
1366 veor q7,q7,q15 @ fix up last round key
1367 vstmia r12, {q7} @ save last round key
1369 .align 2
1370 0: add r12, r3, #248
1371 vld1.8 {q0}, [r8] @ load counter
1372 adrl r8, .LREVM0SR @ borrow r8
1373 vldmia r12, {q4} @ load round0 key
1374 sub sp, #0x10 @ place for adjusted round0 key
1375 #endif
1377 vmov.i32 q8,#1 @ compose 1<<96
1378 veor q9,q9,q9
1379 vrev32.8 q0,q0
1380 vext.8 q8,q9,q8,#4
1381 vrev32.8 q4,q4
1382 vadd.u32 q9,q8,q8 @ compose 2<<96
1383 vstmia sp, {q4} @ save adjusted round0 key
1384 b .Lctr_enc_loop
1386 .align 4
1387 .Lctr_enc_loop:
1388 vadd.u32 q10, q8, q9 @ compose 3<<96
1389 vadd.u32 q1, q0, q8 @ +1
1390 vadd.u32 q2, q0, q9 @ +2
1391 vadd.u32 q3, q0, q10 @ +3
1392 vadd.u32 q4, q1, q10
1393 vadd.u32 q5, q2, q10
1394 vadd.u32 q6, q3, q10
1395 vadd.u32 q7, q4, q10
1396 vadd.u32 q10, q5, q10 @ next counter
1398 @ Borrow prologue from _bsaes_encrypt8 to use the opportunity
1399 @ to flip byte order in 32-bit counter
1401 vldmia sp, {q9} @ load round0 key
1402 #ifndef BSAES_ASM_EXTENDED_KEY
1403 add r4, sp, #0x10 @ pass next round key
1404 #else
1405 add r4, r3, #264
1406 #endif
1407 vldmia r8, {q8} @ .LREVM0SR
1408 mov r5, r10 @ pass rounds
1409 vstmia r9, {q10} @ save next counter
1410 sub r6, r8, #.LREVM0SR-.LSR @ pass constants
1412 bl _bsaes_encrypt8_alt
1414 subs r2, r2, #8
1415 blo .Lctr_enc_loop_done
1417 vld1.8 {q8-q9}, [r0]! @ load input
1418 vld1.8 {q10-q11}, [r0]!
1419 veor q0, q8
1420 veor q1, q9
1421 vld1.8 {q12-q13}, [r0]!
1422 veor q4, q10
1423 veor q6, q11
1424 vld1.8 {q14-q15}, [r0]!
1425 veor q3, q12
1426 vst1.8 {q0-q1}, [r1]! @ write output
1427 veor q7, q13
1428 veor q2, q14
1429 vst1.8 {q4}, [r1]!
1430 veor q5, q15
1431 vst1.8 {q6}, [r1]!
1432 vmov.i32 q8, #1 @ compose 1<<96
1433 vst1.8 {q3}, [r1]!
1434 veor q9, q9, q9
1435 vst1.8 {q7}, [r1]!
1436 vext.8 q8, q9, q8, #4
1437 vst1.8 {q2}, [r1]!
1438 vadd.u32 q9,q8,q8 @ compose 2<<96
1439 vst1.8 {q5}, [r1]!
1440 vldmia r9, {q0} @ load counter
1442 bne .Lctr_enc_loop
1443 b .Lctr_enc_done
1445 .align 4
1446 .Lctr_enc_loop_done:
1447 add r2, r2, #8
1448 vld1.8 {q8}, [r0]! @ load input
1449 veor q0, q8
1450 vst1.8 {q0}, [r1]! @ write output
1451 cmp r2, #2
1452 blo .Lctr_enc_done
1453 vld1.8 {q9}, [r0]!
1454 veor q1, q9
1455 vst1.8 {q1}, [r1]!
1456 beq .Lctr_enc_done
1457 vld1.8 {q10}, [r0]!
1458 veor q4, q10
1459 vst1.8 {q4}, [r1]!
1460 cmp r2, #4
1461 blo .Lctr_enc_done
1462 vld1.8 {q11}, [r0]!
1463 veor q6, q11
1464 vst1.8 {q6}, [r1]!
1465 beq .Lctr_enc_done
1466 vld1.8 {q12}, [r0]!
1467 veor q3, q12
1468 vst1.8 {q3}, [r1]!
1469 cmp r2, #6
1470 blo .Lctr_enc_done
1471 vld1.8 {q13}, [r0]!
1472 veor q7, q13
1473 vst1.8 {q7}, [r1]!
1474 beq .Lctr_enc_done
1475 vld1.8 {q14}, [r0]
1476 veor q2, q14
1477 vst1.8 {q2}, [r1]!
1479 .Lctr_enc_done:
1480 vmov.i32 q0, #0
1481 vmov.i32 q1, #0
1482 #ifndef BSAES_ASM_EXTENDED_KEY
1483 .Lctr_enc_bzero: @ wipe key schedule [if any]
1484 vstmia sp!, {q0-q1}
1485 cmp sp, r9
1486 bne .Lctr_enc_bzero
1487 #else
1488 vstmia sp, {q0-q1}
1489 #endif
1491 mov sp, r9
1492 add sp, #0x10 @ add sp,r9,#0x10 is no good for thumb
1493 VFP_ABI_POP
1494 ldmia sp!, {r4-r10, pc} @ return
1496 .align 4
1497 .Lctr_enc_short:
1498 ldr ip, [sp] @ ctr pointer is passed on stack
1499 stmdb sp!, {r4-r8, lr}
1501 mov r4, r0 @ copy arguments
1502 mov r5, r1
1503 mov r6, r2
1504 mov r7, r3
1505 ldr r8, [ip, #12] @ load counter LSW
1506 vld1.8 {q1}, [ip] @ load whole counter value
1507 #ifdef __ARMEL__
1508 rev r8, r8
1509 #endif
1510 sub sp, sp, #0x10
1511 vst1.8 {q1}, [sp,:64] @ copy counter value
1512 sub sp, sp, #0x10
1514 .Lctr_enc_short_loop:
1515 add r0, sp, #0x10 @ input counter value
1516 mov r1, sp @ output on the stack
1517 mov r2, r7 @ key
1519 bl AES_encrypt
1521 vld1.8 {q0}, [r4]! @ load input
1522 vld1.8 {q1}, [sp,:64] @ load encrypted counter
1523 add r8, r8, #1
1524 #ifdef __ARMEL__
1525 rev r0, r8
1526 str r0, [sp, #0x1c] @ next counter value
1527 #else
1528 str r8, [sp, #0x1c] @ next counter value
1529 #endif
1530 veor q0,q0,q1
1531 vst1.8 {q0}, [r5]! @ store output
1532 subs r6, r6, #1
1533 bne .Lctr_enc_short_loop
1535 vmov.i32 q0, #0
1536 vmov.i32 q1, #0
1537 vstmia sp!, {q0-q1}
1539 ldmia sp!, {r4-r8, pc}
1540 .size bsaes_ctr32_encrypt_blocks,.-bsaes_ctr32_encrypt_blocks
1541 .globl bsaes_xts_encrypt
1542 .hidden bsaes_xts_encrypt
1543 .type bsaes_xts_encrypt,%function
1544 .align 4
1545 bsaes_xts_encrypt:
1546 mov ip, sp
1547 stmdb sp!, {r4-r10, lr} @ 0x20
1548 VFP_ABI_PUSH
1549 mov r6, sp @ future r3
1551 mov r7, r0
1552 mov r8, r1
1553 mov r9, r2
1554 mov r10, r3
1556 sub r0, sp, #0x10 @ 0x10
1557 bic r0, #0xf @ align at 16 bytes
1558 mov sp, r0
1560 #ifdef XTS_CHAIN_TWEAK
1561 ldr r0, [ip] @ pointer to input tweak
1562 #else
1563 @ generate initial tweak
1564 ldr r0, [ip, #4] @ iv[]
1565 mov r1, sp
1566 ldr r2, [ip, #0] @ key2
1567 bl AES_encrypt
1568 mov r0,sp @ pointer to initial tweak
1569 #endif
1571 ldr r1, [r10, #240] @ get # of rounds
1572 mov r3, r6
1573 #ifndef BSAES_ASM_EXTENDED_KEY
1574 @ allocate the key schedule on the stack
1575 sub r12, sp, r1, lsl#7 @ 128 bytes per inner round key
1576 @ add r12, #96 @ size of bit-sliced key schedule
1577 sub r12, #48 @ place for tweak[9]
1579 @ populate the key schedule
1580 mov r4, r10 @ pass key
1581 mov r5, r1 @ pass # of rounds
1582 mov sp, r12
1583 add r12, #0x90 @ pass key schedule
1584 bl _bsaes_key_convert
1585 veor q7, q7, q15 @ fix up last round key
1586 vstmia r12, {q7} @ save last round key
1587 #else
1588 ldr r12, [r10, #244]
1589 eors r12, #1
1590 beq 0f
1592 str r12, [r10, #244]
1593 mov r4, r10 @ pass key
1594 mov r5, r1 @ pass # of rounds
1595 add r12, r10, #248 @ pass key schedule
1596 bl _bsaes_key_convert
1597 veor q7, q7, q15 @ fix up last round key
1598 vstmia r12, {q7}
1600 .align 2
1601 0: sub sp, #0x90 @ place for tweak[9]
1602 #endif
1604 vld1.8 {q8}, [r0] @ initial tweak
1605 adr r2, .Lxts_magic
1607 subs r9, #0x80
1608 blo .Lxts_enc_short
1609 b .Lxts_enc_loop
1611 .align 4
1612 .Lxts_enc_loop:
1613 vldmia r2, {q5} @ load XTS magic
1614 vshr.s64 q6, q8, #63
1615 mov r0, sp
1616 vand q6, q6, q5
1617 vadd.u64 q9, q8, q8
1618 vst1.64 {q8}, [r0,:128]!
1619 vswp d13,d12
1620 vshr.s64 q7, q9, #63
1621 veor q9, q9, q6
1622 vand q7, q7, q5
1623 vadd.u64 q10, q9, q9
1624 vst1.64 {q9}, [r0,:128]!
1625 vswp d15,d14
1626 vshr.s64 q6, q10, #63
1627 veor q10, q10, q7
1628 vand q6, q6, q5
1629 vld1.8 {q0}, [r7]!
1630 vadd.u64 q11, q10, q10
1631 vst1.64 {q10}, [r0,:128]!
1632 vswp d13,d12
1633 vshr.s64 q7, q11, #63
1634 veor q11, q11, q6
1635 vand q7, q7, q5
1636 vld1.8 {q1}, [r7]!
1637 veor q0, q0, q8
1638 vadd.u64 q12, q11, q11
1639 vst1.64 {q11}, [r0,:128]!
1640 vswp d15,d14
1641 vshr.s64 q6, q12, #63
1642 veor q12, q12, q7
1643 vand q6, q6, q5
1644 vld1.8 {q2}, [r7]!
1645 veor q1, q1, q9
1646 vadd.u64 q13, q12, q12
1647 vst1.64 {q12}, [r0,:128]!
1648 vswp d13,d12
1649 vshr.s64 q7, q13, #63
1650 veor q13, q13, q6
1651 vand q7, q7, q5
1652 vld1.8 {q3}, [r7]!
1653 veor q2, q2, q10
1654 vadd.u64 q14, q13, q13
1655 vst1.64 {q13}, [r0,:128]!
1656 vswp d15,d14
1657 vshr.s64 q6, q14, #63
1658 veor q14, q14, q7
1659 vand q6, q6, q5
1660 vld1.8 {q4}, [r7]!
1661 veor q3, q3, q11
1662 vadd.u64 q15, q14, q14
1663 vst1.64 {q14}, [r0,:128]!
1664 vswp d13,d12
1665 vshr.s64 q7, q15, #63
1666 veor q15, q15, q6
1667 vand q7, q7, q5
1668 vld1.8 {q5}, [r7]!
1669 veor q4, q4, q12
1670 vadd.u64 q8, q15, q15
1671 vst1.64 {q15}, [r0,:128]!
1672 vswp d15,d14
1673 veor q8, q8, q7
1674 vst1.64 {q8}, [r0,:128] @ next round tweak
1676 vld1.8 {q6-q7}, [r7]!
1677 veor q5, q5, q13
1678 #ifndef BSAES_ASM_EXTENDED_KEY
1679 add r4, sp, #0x90 @ pass key schedule
1680 #else
1681 add r4, r10, #248 @ pass key schedule
1682 #endif
1683 veor q6, q6, q14
1684 mov r5, r1 @ pass rounds
1685 veor q7, q7, q15
1686 mov r0, sp
1688 bl _bsaes_encrypt8
1690 vld1.64 {q8-q9}, [r0,:128]!
1691 vld1.64 {q10-q11}, [r0,:128]!
1692 veor q0, q0, q8
1693 vld1.64 {q12-q13}, [r0,:128]!
1694 veor q1, q1, q9
1695 veor q8, q4, q10
1696 vst1.8 {q0-q1}, [r8]!
1697 veor q9, q6, q11
1698 vld1.64 {q14-q15}, [r0,:128]!
1699 veor q10, q3, q12
1700 vst1.8 {q8-q9}, [r8]!
1701 veor q11, q7, q13
1702 veor q12, q2, q14
1703 vst1.8 {q10-q11}, [r8]!
1704 veor q13, q5, q15
1705 vst1.8 {q12-q13}, [r8]!
1707 vld1.64 {q8}, [r0,:128] @ next round tweak
1709 subs r9, #0x80
1710 bpl .Lxts_enc_loop
1712 .Lxts_enc_short:
1713 adds r9, #0x70
1714 bmi .Lxts_enc_done
1716 vldmia r2, {q5} @ load XTS magic
1717 vshr.s64 q7, q8, #63
1718 mov r0, sp
1719 vand q7, q7, q5
1720 vadd.u64 q9, q8, q8
1721 vst1.64 {q8}, [r0,:128]!
1722 vswp d15,d14
1723 vshr.s64 q6, q9, #63
1724 veor q9, q9, q7
1725 vand q6, q6, q5
1726 vadd.u64 q10, q9, q9
1727 vst1.64 {q9}, [r0,:128]!
1728 vswp d13,d12
1729 vshr.s64 q7, q10, #63
1730 veor q10, q10, q6
1731 vand q7, q7, q5
1732 vld1.8 {q0}, [r7]!
1733 subs r9, #0x10
1734 bmi .Lxts_enc_1
1735 vadd.u64 q11, q10, q10
1736 vst1.64 {q10}, [r0,:128]!
1737 vswp d15,d14
1738 vshr.s64 q6, q11, #63
1739 veor q11, q11, q7
1740 vand q6, q6, q5
1741 vld1.8 {q1}, [r7]!
1742 subs r9, #0x10
1743 bmi .Lxts_enc_2
1744 veor q0, q0, q8
1745 vadd.u64 q12, q11, q11
1746 vst1.64 {q11}, [r0,:128]!
1747 vswp d13,d12
1748 vshr.s64 q7, q12, #63
1749 veor q12, q12, q6
1750 vand q7, q7, q5
1751 vld1.8 {q2}, [r7]!
1752 subs r9, #0x10
1753 bmi .Lxts_enc_3
1754 veor q1, q1, q9
1755 vadd.u64 q13, q12, q12
1756 vst1.64 {q12}, [r0,:128]!
1757 vswp d15,d14
1758 vshr.s64 q6, q13, #63
1759 veor q13, q13, q7
1760 vand q6, q6, q5
1761 vld1.8 {q3}, [r7]!
1762 subs r9, #0x10
1763 bmi .Lxts_enc_4
1764 veor q2, q2, q10
1765 vadd.u64 q14, q13, q13
1766 vst1.64 {q13}, [r0,:128]!
1767 vswp d13,d12
1768 vshr.s64 q7, q14, #63
1769 veor q14, q14, q6
1770 vand q7, q7, q5
1771 vld1.8 {q4}, [r7]!
1772 subs r9, #0x10
1773 bmi .Lxts_enc_5
1774 veor q3, q3, q11
1775 vadd.u64 q15, q14, q14
1776 vst1.64 {q14}, [r0,:128]!
1777 vswp d15,d14
1778 vshr.s64 q6, q15, #63
1779 veor q15, q15, q7
1780 vand q6, q6, q5
1781 vld1.8 {q5}, [r7]!
1782 subs r9, #0x10
1783 bmi .Lxts_enc_6
1784 veor q4, q4, q12
1785 sub r9, #0x10
1786 vst1.64 {q15}, [r0,:128] @ next round tweak
1788 vld1.8 {q6}, [r7]!
1789 veor q5, q5, q13
1790 #ifndef BSAES_ASM_EXTENDED_KEY
1791 add r4, sp, #0x90 @ pass key schedule
1792 #else
1793 add r4, r10, #248 @ pass key schedule
1794 #endif
1795 veor q6, q6, q14
1796 mov r5, r1 @ pass rounds
1797 mov r0, sp
1799 bl _bsaes_encrypt8
1801 vld1.64 {q8-q9}, [r0,:128]!
1802 vld1.64 {q10-q11}, [r0,:128]!
1803 veor q0, q0, q8
1804 vld1.64 {q12-q13}, [r0,:128]!
1805 veor q1, q1, q9
1806 veor q8, q4, q10
1807 vst1.8 {q0-q1}, [r8]!
1808 veor q9, q6, q11
1809 vld1.64 {q14}, [r0,:128]!
1810 veor q10, q3, q12
1811 vst1.8 {q8-q9}, [r8]!
1812 veor q11, q7, q13
1813 veor q12, q2, q14
1814 vst1.8 {q10-q11}, [r8]!
1815 vst1.8 {q12}, [r8]!
1817 vld1.64 {q8}, [r0,:128] @ next round tweak
1818 b .Lxts_enc_done
1819 .align 4
1820 .Lxts_enc_6:
1821 vst1.64 {q14}, [r0,:128] @ next round tweak
1823 veor q4, q4, q12
1824 #ifndef BSAES_ASM_EXTENDED_KEY
1825 add r4, sp, #0x90 @ pass key schedule
1826 #else
1827 add r4, r10, #248 @ pass key schedule
1828 #endif
1829 veor q5, q5, q13
1830 mov r5, r1 @ pass rounds
1831 mov r0, sp
1833 bl _bsaes_encrypt8
1835 vld1.64 {q8-q9}, [r0,:128]!
1836 vld1.64 {q10-q11}, [r0,:128]!
1837 veor q0, q0, q8
1838 vld1.64 {q12-q13}, [r0,:128]!
1839 veor q1, q1, q9
1840 veor q8, q4, q10
1841 vst1.8 {q0-q1}, [r8]!
1842 veor q9, q6, q11
1843 veor q10, q3, q12
1844 vst1.8 {q8-q9}, [r8]!
1845 veor q11, q7, q13
1846 vst1.8 {q10-q11}, [r8]!
1848 vld1.64 {q8}, [r0,:128] @ next round tweak
1849 b .Lxts_enc_done
1851 @ put this in range for both ARM and Thumb mode adr instructions
1852 .align 5
1853 .Lxts_magic:
1854 .quad 1, 0x87
1856 .align 5
1857 .Lxts_enc_5:
1858 vst1.64 {q13}, [r0,:128] @ next round tweak
1860 veor q3, q3, q11
1861 #ifndef BSAES_ASM_EXTENDED_KEY
1862 add r4, sp, #0x90 @ pass key schedule
1863 #else
1864 add r4, r10, #248 @ pass key schedule
1865 #endif
1866 veor q4, q4, q12
1867 mov r5, r1 @ pass rounds
1868 mov r0, sp
1870 bl _bsaes_encrypt8
1872 vld1.64 {q8-q9}, [r0,:128]!
1873 vld1.64 {q10-q11}, [r0,:128]!
1874 veor q0, q0, q8
1875 vld1.64 {q12}, [r0,:128]!
1876 veor q1, q1, q9
1877 veor q8, q4, q10
1878 vst1.8 {q0-q1}, [r8]!
1879 veor q9, q6, q11
1880 veor q10, q3, q12
1881 vst1.8 {q8-q9}, [r8]!
1882 vst1.8 {q10}, [r8]!
1884 vld1.64 {q8}, [r0,:128] @ next round tweak
1885 b .Lxts_enc_done
1886 .align 4
1887 .Lxts_enc_4:
1888 vst1.64 {q12}, [r0,:128] @ next round tweak
1890 veor q2, q2, q10
1891 #ifndef BSAES_ASM_EXTENDED_KEY
1892 add r4, sp, #0x90 @ pass key schedule
1893 #else
1894 add r4, r10, #248 @ pass key schedule
1895 #endif
1896 veor q3, q3, q11
1897 mov r5, r1 @ pass rounds
1898 mov r0, sp
1900 bl _bsaes_encrypt8
1902 vld1.64 {q8-q9}, [r0,:128]!
1903 vld1.64 {q10-q11}, [r0,:128]!
1904 veor q0, q0, q8
1905 veor q1, q1, q9
1906 veor q8, q4, q10
1907 vst1.8 {q0-q1}, [r8]!
1908 veor q9, q6, q11
1909 vst1.8 {q8-q9}, [r8]!
1911 vld1.64 {q8}, [r0,:128] @ next round tweak
1912 b .Lxts_enc_done
1913 .align 4
1914 .Lxts_enc_3:
1915 vst1.64 {q11}, [r0,:128] @ next round tweak
1917 veor q1, q1, q9
1918 #ifndef BSAES_ASM_EXTENDED_KEY
1919 add r4, sp, #0x90 @ pass key schedule
1920 #else
1921 add r4, r10, #248 @ pass key schedule
1922 #endif
1923 veor q2, q2, q10
1924 mov r5, r1 @ pass rounds
1925 mov r0, sp
1927 bl _bsaes_encrypt8
1929 vld1.64 {q8-q9}, [r0,:128]!
1930 vld1.64 {q10}, [r0,:128]!
1931 veor q0, q0, q8
1932 veor q1, q1, q9
1933 veor q8, q4, q10
1934 vst1.8 {q0-q1}, [r8]!
1935 vst1.8 {q8}, [r8]!
1937 vld1.64 {q8}, [r0,:128] @ next round tweak
1938 b .Lxts_enc_done
1939 .align 4
1940 .Lxts_enc_2:
1941 vst1.64 {q10}, [r0,:128] @ next round tweak
1943 veor q0, q0, q8
1944 #ifndef BSAES_ASM_EXTENDED_KEY
1945 add r4, sp, #0x90 @ pass key schedule
1946 #else
1947 add r4, r10, #248 @ pass key schedule
1948 #endif
1949 veor q1, q1, q9
1950 mov r5, r1 @ pass rounds
1951 mov r0, sp
1953 bl _bsaes_encrypt8
1955 vld1.64 {q8-q9}, [r0,:128]!
1956 veor q0, q0, q8
1957 veor q1, q1, q9
1958 vst1.8 {q0-q1}, [r8]!
1960 vld1.64 {q8}, [r0,:128] @ next round tweak
1961 b .Lxts_enc_done
1962 .align 4
1963 .Lxts_enc_1:
1964 mov r0, sp
1965 veor q0, q8
1966 mov r1, sp
1967 vst1.8 {q0}, [sp,:128]
1968 mov r2, r10
1969 mov r4, r3 @ preserve fp
1971 bl AES_encrypt
1973 vld1.8 {q0}, [sp,:128]
1974 veor q0, q0, q8
1975 vst1.8 {q0}, [r8]!
1976 mov r3, r4
1978 vmov q8, q9 @ next round tweak
1980 .Lxts_enc_done:
1981 #ifndef XTS_CHAIN_TWEAK
1982 adds r9, #0x10
1983 beq .Lxts_enc_ret
1984 sub r6, r8, #0x10
1986 .Lxts_enc_steal:
1987 ldrb r0, [r7], #1
1988 ldrb r1, [r8, #-0x10]
1989 strb r0, [r8, #-0x10]
1990 strb r1, [r8], #1
1992 subs r9, #1
1993 bhi .Lxts_enc_steal
1995 vld1.8 {q0}, [r6]
1996 mov r0, sp
1997 veor q0, q0, q8
1998 mov r1, sp
1999 vst1.8 {q0}, [sp,:128]
2000 mov r2, r10
2001 mov r4, r3 @ preserve fp
2003 bl AES_encrypt
2005 vld1.8 {q0}, [sp,:128]
2006 veor q0, q0, q8
2007 vst1.8 {q0}, [r6]
2008 mov r3, r4
2009 #endif
2011 .Lxts_enc_ret:
2012 bic r0, r3, #0xf
2013 vmov.i32 q0, #0
2014 vmov.i32 q1, #0
2015 #ifdef XTS_CHAIN_TWEAK
2016 ldr r1, [r3, #0x20+VFP_ABI_FRAME] @ chain tweak
2017 #endif
2018 .Lxts_enc_bzero: @ wipe key schedule [if any]
2019 vstmia sp!, {q0-q1}
2020 cmp sp, r0
2021 bne .Lxts_enc_bzero
2023 mov sp, r3
2024 #ifdef XTS_CHAIN_TWEAK
2025 vst1.8 {q8}, [r1]
2026 #endif
2027 VFP_ABI_POP
2028 ldmia sp!, {r4-r10, pc} @ return
2030 .size bsaes_xts_encrypt,.-bsaes_xts_encrypt
2032 .globl bsaes_xts_decrypt
2033 .hidden bsaes_xts_decrypt
2034 .type bsaes_xts_decrypt,%function
2035 .align 4
2036 bsaes_xts_decrypt:
2037 mov ip, sp
2038 stmdb sp!, {r4-r10, lr} @ 0x20
2039 VFP_ABI_PUSH
2040 mov r6, sp @ future r3
2042 mov r7, r0
2043 mov r8, r1
2044 mov r9, r2
2045 mov r10, r3
2047 sub r0, sp, #0x10 @ 0x10
2048 bic r0, #0xf @ align at 16 bytes
2049 mov sp, r0
2051 #ifdef XTS_CHAIN_TWEAK
2052 ldr r0, [ip] @ pointer to input tweak
2053 #else
2054 @ generate initial tweak
2055 ldr r0, [ip, #4] @ iv[]
2056 mov r1, sp
2057 ldr r2, [ip, #0] @ key2
2058 bl AES_encrypt
2059 mov r0, sp @ pointer to initial tweak
2060 #endif
2062 ldr r1, [r10, #240] @ get # of rounds
2063 mov r3, r6
2064 #ifndef BSAES_ASM_EXTENDED_KEY
2065 @ allocate the key schedule on the stack
2066 sub r12, sp, r1, lsl#7 @ 128 bytes per inner round key
2067 @ add r12, #96 @ size of bit-sliced key schedule
2068 sub r12, #48 @ place for tweak[9]
2070 @ populate the key schedule
2071 mov r4, r10 @ pass key
2072 mov r5, r1 @ pass # of rounds
2073 mov sp, r12
2074 add r12, #0x90 @ pass key schedule
2075 bl _bsaes_key_convert
2076 add r4, sp, #0x90
2077 vldmia r4, {q6}
2078 vstmia r12, {q15} @ save last round key
2079 veor q7, q7, q6 @ fix up round 0 key
2080 vstmia r4, {q7}
2081 #else
2082 ldr r12, [r10, #244]
2083 eors r12, #1
2084 beq 0f
2086 str r12, [r10, #244]
2087 mov r4, r10 @ pass key
2088 mov r5, r1 @ pass # of rounds
2089 add r12, r10, #248 @ pass key schedule
2090 bl _bsaes_key_convert
2091 add r4, r10, #248
2092 vldmia r4, {q6}
2093 vstmia r12, {q15} @ save last round key
2094 veor q7, q7, q6 @ fix up round 0 key
2095 vstmia r4, {q7}
2097 .align 2
2098 0: sub sp, #0x90 @ place for tweak[9]
2099 #endif
2100 vld1.8 {q8}, [r0] @ initial tweak
2101 adr r2, .Lxts_magic
2103 tst r9, #0xf @ if not multiple of 16
2104 it ne @ Thumb2 thing, sanity check in ARM
2105 subne r9, #0x10 @ subtract another 16 bytes
2106 subs r9, #0x80
2108 blo .Lxts_dec_short
2109 b .Lxts_dec_loop
2111 .align 4
2112 .Lxts_dec_loop:
2113 vldmia r2, {q5} @ load XTS magic
2114 vshr.s64 q6, q8, #63
2115 mov r0, sp
2116 vand q6, q6, q5
2117 vadd.u64 q9, q8, q8
2118 vst1.64 {q8}, [r0,:128]!
2119 vswp d13,d12
2120 vshr.s64 q7, q9, #63
2121 veor q9, q9, q6
2122 vand q7, q7, q5
2123 vadd.u64 q10, q9, q9
2124 vst1.64 {q9}, [r0,:128]!
2125 vswp d15,d14
2126 vshr.s64 q6, q10, #63
2127 veor q10, q10, q7
2128 vand q6, q6, q5
2129 vld1.8 {q0}, [r7]!
2130 vadd.u64 q11, q10, q10
2131 vst1.64 {q10}, [r0,:128]!
2132 vswp d13,d12
2133 vshr.s64 q7, q11, #63
2134 veor q11, q11, q6
2135 vand q7, q7, q5
2136 vld1.8 {q1}, [r7]!
2137 veor q0, q0, q8
2138 vadd.u64 q12, q11, q11
2139 vst1.64 {q11}, [r0,:128]!
2140 vswp d15,d14
2141 vshr.s64 q6, q12, #63
2142 veor q12, q12, q7
2143 vand q6, q6, q5
2144 vld1.8 {q2}, [r7]!
2145 veor q1, q1, q9
2146 vadd.u64 q13, q12, q12
2147 vst1.64 {q12}, [r0,:128]!
2148 vswp d13,d12
2149 vshr.s64 q7, q13, #63
2150 veor q13, q13, q6
2151 vand q7, q7, q5
2152 vld1.8 {q3}, [r7]!
2153 veor q2, q2, q10
2154 vadd.u64 q14, q13, q13
2155 vst1.64 {q13}, [r0,:128]!
2156 vswp d15,d14
2157 vshr.s64 q6, q14, #63
2158 veor q14, q14, q7
2159 vand q6, q6, q5
2160 vld1.8 {q4}, [r7]!
2161 veor q3, q3, q11
2162 vadd.u64 q15, q14, q14
2163 vst1.64 {q14}, [r0,:128]!
2164 vswp d13,d12
2165 vshr.s64 q7, q15, #63
2166 veor q15, q15, q6
2167 vand q7, q7, q5
2168 vld1.8 {q5}, [r7]!
2169 veor q4, q4, q12
2170 vadd.u64 q8, q15, q15
2171 vst1.64 {q15}, [r0,:128]!
2172 vswp d15,d14
2173 veor q8, q8, q7
2174 vst1.64 {q8}, [r0,:128] @ next round tweak
2176 vld1.8 {q6-q7}, [r7]!
2177 veor q5, q5, q13
2178 #ifndef BSAES_ASM_EXTENDED_KEY
2179 add r4, sp, #0x90 @ pass key schedule
2180 #else
2181 add r4, r10, #248 @ pass key schedule
2182 #endif
2183 veor q6, q6, q14
2184 mov r5, r1 @ pass rounds
2185 veor q7, q7, q15
2186 mov r0, sp
2188 bl _bsaes_decrypt8
2190 vld1.64 {q8-q9}, [r0,:128]!
2191 vld1.64 {q10-q11}, [r0,:128]!
2192 veor q0, q0, q8
2193 vld1.64 {q12-q13}, [r0,:128]!
2194 veor q1, q1, q9
2195 veor q8, q6, q10
2196 vst1.8 {q0-q1}, [r8]!
2197 veor q9, q4, q11
2198 vld1.64 {q14-q15}, [r0,:128]!
2199 veor q10, q2, q12
2200 vst1.8 {q8-q9}, [r8]!
2201 veor q11, q7, q13
2202 veor q12, q3, q14
2203 vst1.8 {q10-q11}, [r8]!
2204 veor q13, q5, q15
2205 vst1.8 {q12-q13}, [r8]!
2207 vld1.64 {q8}, [r0,:128] @ next round tweak
2209 subs r9, #0x80
2210 bpl .Lxts_dec_loop
2212 .Lxts_dec_short:
2213 adds r9, #0x70
2214 bmi .Lxts_dec_done
2216 vldmia r2, {q5} @ load XTS magic
2217 vshr.s64 q7, q8, #63
2218 mov r0, sp
2219 vand q7, q7, q5
2220 vadd.u64 q9, q8, q8
2221 vst1.64 {q8}, [r0,:128]!
2222 vswp d15,d14
2223 vshr.s64 q6, q9, #63
2224 veor q9, q9, q7
2225 vand q6, q6, q5
2226 vadd.u64 q10, q9, q9
2227 vst1.64 {q9}, [r0,:128]!
2228 vswp d13,d12
2229 vshr.s64 q7, q10, #63
2230 veor q10, q10, q6
2231 vand q7, q7, q5
2232 vld1.8 {q0}, [r7]!
2233 subs r9, #0x10
2234 bmi .Lxts_dec_1
2235 vadd.u64 q11, q10, q10
2236 vst1.64 {q10}, [r0,:128]!
2237 vswp d15,d14
2238 vshr.s64 q6, q11, #63
2239 veor q11, q11, q7
2240 vand q6, q6, q5
2241 vld1.8 {q1}, [r7]!
2242 subs r9, #0x10
2243 bmi .Lxts_dec_2
2244 veor q0, q0, q8
2245 vadd.u64 q12, q11, q11
2246 vst1.64 {q11}, [r0,:128]!
2247 vswp d13,d12
2248 vshr.s64 q7, q12, #63
2249 veor q12, q12, q6
2250 vand q7, q7, q5
2251 vld1.8 {q2}, [r7]!
2252 subs r9, #0x10
2253 bmi .Lxts_dec_3
2254 veor q1, q1, q9
2255 vadd.u64 q13, q12, q12
2256 vst1.64 {q12}, [r0,:128]!
2257 vswp d15,d14
2258 vshr.s64 q6, q13, #63
2259 veor q13, q13, q7
2260 vand q6, q6, q5
2261 vld1.8 {q3}, [r7]!
2262 subs r9, #0x10
2263 bmi .Lxts_dec_4
2264 veor q2, q2, q10
2265 vadd.u64 q14, q13, q13
2266 vst1.64 {q13}, [r0,:128]!
2267 vswp d13,d12
2268 vshr.s64 q7, q14, #63
2269 veor q14, q14, q6
2270 vand q7, q7, q5
2271 vld1.8 {q4}, [r7]!
2272 subs r9, #0x10
2273 bmi .Lxts_dec_5
2274 veor q3, q3, q11
2275 vadd.u64 q15, q14, q14
2276 vst1.64 {q14}, [r0,:128]!
2277 vswp d15,d14
2278 vshr.s64 q6, q15, #63
2279 veor q15, q15, q7
2280 vand q6, q6, q5
2281 vld1.8 {q5}, [r7]!
2282 subs r9, #0x10
2283 bmi .Lxts_dec_6
2284 veor q4, q4, q12
2285 sub r9, #0x10
2286 vst1.64 {q15}, [r0,:128] @ next round tweak
2288 vld1.8 {q6}, [r7]!
2289 veor q5, q5, q13
2290 #ifndef BSAES_ASM_EXTENDED_KEY
2291 add r4, sp, #0x90 @ pass key schedule
2292 #else
2293 add r4, r10, #248 @ pass key schedule
2294 #endif
2295 veor q6, q6, q14
2296 mov r5, r1 @ pass rounds
2297 mov r0, sp
2299 bl _bsaes_decrypt8
2301 vld1.64 {q8-q9}, [r0,:128]!
2302 vld1.64 {q10-q11}, [r0,:128]!
2303 veor q0, q0, q8
2304 vld1.64 {q12-q13}, [r0,:128]!
2305 veor q1, q1, q9
2306 veor q8, q6, q10
2307 vst1.8 {q0-q1}, [r8]!
2308 veor q9, q4, q11
2309 vld1.64 {q14}, [r0,:128]!
2310 veor q10, q2, q12
2311 vst1.8 {q8-q9}, [r8]!
2312 veor q11, q7, q13
2313 veor q12, q3, q14
2314 vst1.8 {q10-q11}, [r8]!
2315 vst1.8 {q12}, [r8]!
2317 vld1.64 {q8}, [r0,:128] @ next round tweak
2318 b .Lxts_dec_done
2319 .align 4
2320 .Lxts_dec_6:
2321 vst1.64 {q14}, [r0,:128] @ next round tweak
2323 veor q4, q4, q12
2324 #ifndef BSAES_ASM_EXTENDED_KEY
2325 add r4, sp, #0x90 @ pass key schedule
2326 #else
2327 add r4, r10, #248 @ pass key schedule
2328 #endif
2329 veor q5, q5, q13
2330 mov r5, r1 @ pass rounds
2331 mov r0, sp
2333 bl _bsaes_decrypt8
2335 vld1.64 {q8-q9}, [r0,:128]!
2336 vld1.64 {q10-q11}, [r0,:128]!
2337 veor q0, q0, q8
2338 vld1.64 {q12-q13}, [r0,:128]!
2339 veor q1, q1, q9
2340 veor q8, q6, q10
2341 vst1.8 {q0-q1}, [r8]!
2342 veor q9, q4, q11
2343 veor q10, q2, q12
2344 vst1.8 {q8-q9}, [r8]!
2345 veor q11, q7, q13
2346 vst1.8 {q10-q11}, [r8]!
2348 vld1.64 {q8}, [r0,:128] @ next round tweak
2349 b .Lxts_dec_done
2350 .align 4
2351 .Lxts_dec_5:
2352 vst1.64 {q13}, [r0,:128] @ next round tweak
2354 veor q3, q3, q11
2355 #ifndef BSAES_ASM_EXTENDED_KEY
2356 add r4, sp, #0x90 @ pass key schedule
2357 #else
2358 add r4, r10, #248 @ pass key schedule
2359 #endif
2360 veor q4, q4, q12
2361 mov r5, r1 @ pass rounds
2362 mov r0, sp
2364 bl _bsaes_decrypt8
2366 vld1.64 {q8-q9}, [r0,:128]!
2367 vld1.64 {q10-q11}, [r0,:128]!
2368 veor q0, q0, q8
2369 vld1.64 {q12}, [r0,:128]!
2370 veor q1, q1, q9
2371 veor q8, q6, q10
2372 vst1.8 {q0-q1}, [r8]!
2373 veor q9, q4, q11
2374 veor q10, q2, q12
2375 vst1.8 {q8-q9}, [r8]!
2376 vst1.8 {q10}, [r8]!
2378 vld1.64 {q8}, [r0,:128] @ next round tweak
2379 b .Lxts_dec_done
2380 .align 4
2381 .Lxts_dec_4:
2382 vst1.64 {q12}, [r0,:128] @ next round tweak
2384 veor q2, q2, q10
2385 #ifndef BSAES_ASM_EXTENDED_KEY
2386 add r4, sp, #0x90 @ pass key schedule
2387 #else
2388 add r4, r10, #248 @ pass key schedule
2389 #endif
2390 veor q3, q3, q11
2391 mov r5, r1 @ pass rounds
2392 mov r0, sp
2394 bl _bsaes_decrypt8
2396 vld1.64 {q8-q9}, [r0,:128]!
2397 vld1.64 {q10-q11}, [r0,:128]!
2398 veor q0, q0, q8
2399 veor q1, q1, q9
2400 veor q8, q6, q10
2401 vst1.8 {q0-q1}, [r8]!
2402 veor q9, q4, q11
2403 vst1.8 {q8-q9}, [r8]!
2405 vld1.64 {q8}, [r0,:128] @ next round tweak
2406 b .Lxts_dec_done
2407 .align 4
2408 .Lxts_dec_3:
2409 vst1.64 {q11}, [r0,:128] @ next round tweak
2411 veor q1, q1, q9
2412 #ifndef BSAES_ASM_EXTENDED_KEY
2413 add r4, sp, #0x90 @ pass key schedule
2414 #else
2415 add r4, r10, #248 @ pass key schedule
2416 #endif
2417 veor q2, q2, q10
2418 mov r5, r1 @ pass rounds
2419 mov r0, sp
2421 bl _bsaes_decrypt8
2423 vld1.64 {q8-q9}, [r0,:128]!
2424 vld1.64 {q10}, [r0,:128]!
2425 veor q0, q0, q8
2426 veor q1, q1, q9
2427 veor q8, q6, q10
2428 vst1.8 {q0-q1}, [r8]!
2429 vst1.8 {q8}, [r8]!
2431 vld1.64 {q8}, [r0,:128] @ next round tweak
2432 b .Lxts_dec_done
2433 .align 4
2434 .Lxts_dec_2:
2435 vst1.64 {q10}, [r0,:128] @ next round tweak
2437 veor q0, q0, q8
2438 #ifndef BSAES_ASM_EXTENDED_KEY
2439 add r4, sp, #0x90 @ pass key schedule
2440 #else
2441 add r4, r10, #248 @ pass key schedule
2442 #endif
2443 veor q1, q1, q9
2444 mov r5, r1 @ pass rounds
2445 mov r0, sp
2447 bl _bsaes_decrypt8
2449 vld1.64 {q8-q9}, [r0,:128]!
2450 veor q0, q0, q8
2451 veor q1, q1, q9
2452 vst1.8 {q0-q1}, [r8]!
2454 vld1.64 {q8}, [r0,:128] @ next round tweak
2455 b .Lxts_dec_done
2456 .align 4
2457 .Lxts_dec_1:
2458 mov r0, sp
2459 veor q0, q8
2460 mov r1, sp
2461 vst1.8 {q0}, [sp,:128]
2462 mov r2, r10
2463 mov r4, r3 @ preserve fp
2464 mov r5, r2 @ preserve magic
2466 bl AES_decrypt
2468 vld1.8 {q0}, [sp,:128]
2469 veor q0, q0, q8
2470 vst1.8 {q0}, [r8]!
2471 mov r3, r4
2472 mov r2, r5
2474 vmov q8, q9 @ next round tweak
2476 .Lxts_dec_done:
2477 #ifndef XTS_CHAIN_TWEAK
2478 adds r9, #0x10
2479 beq .Lxts_dec_ret
2481 @ calculate one round of extra tweak for the stolen ciphertext
2482 vldmia r2, {q5}
2483 vshr.s64 q6, q8, #63
2484 vand q6, q6, q5
2485 vadd.u64 q9, q8, q8
2486 vswp d13,d12
2487 veor q9, q9, q6
2489 @ perform the final decryption with the last tweak value
2490 vld1.8 {q0}, [r7]!
2491 mov r0, sp
2492 veor q0, q0, q9
2493 mov r1, sp
2494 vst1.8 {q0}, [sp,:128]
2495 mov r2, r10
2496 mov r4, r3 @ preserve fp
2498 bl AES_decrypt
2500 vld1.8 {q0}, [sp,:128]
2501 veor q0, q0, q9
2502 vst1.8 {q0}, [r8]
2504 mov r6, r8
2505 .Lxts_dec_steal:
2506 ldrb r1, [r8]
2507 ldrb r0, [r7], #1
2508 strb r1, [r8, #0x10]
2509 strb r0, [r8], #1
2511 subs r9, #1
2512 bhi .Lxts_dec_steal
2514 vld1.8 {q0}, [r6]
2515 mov r0, sp
2516 veor q0, q8
2517 mov r1, sp
2518 vst1.8 {q0}, [sp,:128]
2519 mov r2, r10
2521 bl AES_decrypt
2523 vld1.8 {q0}, [sp,:128]
2524 veor q0, q0, q8
2525 vst1.8 {q0}, [r6]
2526 mov r3, r4
2527 #endif
2529 .Lxts_dec_ret:
2530 bic r0, r3, #0xf
2531 vmov.i32 q0, #0
2532 vmov.i32 q1, #0
2533 #ifdef XTS_CHAIN_TWEAK
2534 ldr r1, [r3, #0x20+VFP_ABI_FRAME] @ chain tweak
2535 #endif
2536 .Lxts_dec_bzero: @ wipe key schedule [if any]
2537 vstmia sp!, {q0-q1}
2538 cmp sp, r0
2539 bne .Lxts_dec_bzero
2541 mov sp, r3
2542 #ifdef XTS_CHAIN_TWEAK
2543 vst1.8 {q8}, [r1]
2544 #endif
2545 VFP_ABI_POP
2546 ldmia sp!, {r4-r10, pc} @ return
2548 .size bsaes_xts_decrypt,.-bsaes_xts_decrypt
2549 #endif
2550 #endif