1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown | FileCheck %s --check-prefixes=SSE,SSE2
3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse4.1 | FileCheck %s --check-prefixes=SSE,SSE41
4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx | FileCheck %s --check-prefixes=AVX,AVX1
5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefixes=AVX,AVX2
6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512dq,+avx512vl | FileCheck %s --check-prefixes=AVX,AVX512
7 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512bw,+avx512vl | FileCheck %s --check-prefixes=AVX,AVX512
9 ; Test codegen for under aligned nontemporal vector loads
13 define <2 x double> @test_v2f64_align1(ptr %src) nounwind {
14 ; SSE-LABEL: test_v2f64_align1:
16 ; SSE-NEXT: movups (%rdi), %xmm0
19 ; AVX-LABEL: test_v2f64_align1:
21 ; AVX-NEXT: vmovups (%rdi), %xmm0
23 %1 = load <2 x double>, ptr %src, align 1, !nontemporal !1
27 define <4 x float> @test_v4f32_align1(ptr %src) nounwind {
28 ; SSE-LABEL: test_v4f32_align1:
30 ; SSE-NEXT: movups (%rdi), %xmm0
33 ; AVX-LABEL: test_v4f32_align1:
35 ; AVX-NEXT: vmovups (%rdi), %xmm0
37 %1 = load <4 x float>, ptr %src, align 1, !nontemporal !1
41 define <2 x i64> @test_v2i64_align1(ptr %src) nounwind {
42 ; SSE-LABEL: test_v2i64_align1:
44 ; SSE-NEXT: movups (%rdi), %xmm0
47 ; AVX-LABEL: test_v2i64_align1:
49 ; AVX-NEXT: vmovups (%rdi), %xmm0
51 %1 = load <2 x i64>, ptr %src, align 1, !nontemporal !1
55 define <4 x i32> @test_v4i32_align1(ptr %src) nounwind {
56 ; SSE-LABEL: test_v4i32_align1:
58 ; SSE-NEXT: movups (%rdi), %xmm0
61 ; AVX-LABEL: test_v4i32_align1:
63 ; AVX-NEXT: vmovups (%rdi), %xmm0
65 %1 = load <4 x i32>, ptr %src, align 1, !nontemporal !1
69 define <8 x i16> @test_v8i16_align1(ptr %src) nounwind {
70 ; SSE-LABEL: test_v8i16_align1:
72 ; SSE-NEXT: movups (%rdi), %xmm0
75 ; AVX-LABEL: test_v8i16_align1:
77 ; AVX-NEXT: vmovups (%rdi), %xmm0
79 %1 = load <8 x i16>, ptr %src, align 1, !nontemporal !1
83 define <16 x i8> @test_v16i8_align1(ptr %src) nounwind {
84 ; SSE-LABEL: test_v16i8_align1:
86 ; SSE-NEXT: movups (%rdi), %xmm0
89 ; AVX-LABEL: test_v16i8_align1:
91 ; AVX-NEXT: vmovups (%rdi), %xmm0
93 %1 = load <16 x i8>, ptr %src, align 1, !nontemporal !1
99 define <4 x double> @test_v4f64_align1(ptr %src) nounwind {
100 ; SSE-LABEL: test_v4f64_align1:
102 ; SSE-NEXT: movups (%rdi), %xmm0
103 ; SSE-NEXT: movups 16(%rdi), %xmm1
106 ; AVX-LABEL: test_v4f64_align1:
108 ; AVX-NEXT: vmovups (%rdi), %ymm0
110 %1 = load <4 x double>, ptr %src, align 1, !nontemporal !1
114 define <8 x float> @test_v8f32_align1(ptr %src) nounwind {
115 ; SSE-LABEL: test_v8f32_align1:
117 ; SSE-NEXT: movups (%rdi), %xmm0
118 ; SSE-NEXT: movups 16(%rdi), %xmm1
121 ; AVX-LABEL: test_v8f32_align1:
123 ; AVX-NEXT: vmovups (%rdi), %ymm0
125 %1 = load <8 x float>, ptr %src, align 1, !nontemporal !1
129 define <4 x i64> @test_v4i64_align1(ptr %src) nounwind {
130 ; SSE-LABEL: test_v4i64_align1:
132 ; SSE-NEXT: movups (%rdi), %xmm0
133 ; SSE-NEXT: movups 16(%rdi), %xmm1
136 ; AVX-LABEL: test_v4i64_align1:
138 ; AVX-NEXT: vmovups (%rdi), %ymm0
140 %1 = load <4 x i64>, ptr %src, align 1, !nontemporal !1
144 define <8 x i32> @test_v8i32_align1(ptr %src) nounwind {
145 ; SSE-LABEL: test_v8i32_align1:
147 ; SSE-NEXT: movups (%rdi), %xmm0
148 ; SSE-NEXT: movups 16(%rdi), %xmm1
151 ; AVX-LABEL: test_v8i32_align1:
153 ; AVX-NEXT: vmovups (%rdi), %ymm0
155 %1 = load <8 x i32>, ptr %src, align 1, !nontemporal !1
159 define <16 x i16> @test_v16i16_align1(ptr %src) nounwind {
160 ; SSE-LABEL: test_v16i16_align1:
162 ; SSE-NEXT: movups (%rdi), %xmm0
163 ; SSE-NEXT: movups 16(%rdi), %xmm1
166 ; AVX-LABEL: test_v16i16_align1:
168 ; AVX-NEXT: vmovups (%rdi), %ymm0
170 %1 = load <16 x i16>, ptr %src, align 1, !nontemporal !1
174 define <32 x i8> @test_v32i8_align1(ptr %src) nounwind {
175 ; SSE-LABEL: test_v32i8_align1:
177 ; SSE-NEXT: movups (%rdi), %xmm0
178 ; SSE-NEXT: movups 16(%rdi), %xmm1
181 ; AVX-LABEL: test_v32i8_align1:
183 ; AVX-NEXT: vmovups (%rdi), %ymm0
185 %1 = load <32 x i8>, ptr %src, align 1, !nontemporal !1
189 define <4 x double> @test_v4f64_align16(ptr %src) nounwind {
190 ; SSE2-LABEL: test_v4f64_align16:
192 ; SSE2-NEXT: movaps (%rdi), %xmm0
193 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
196 ; SSE41-LABEL: test_v4f64_align16:
198 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
199 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
202 ; AVX-LABEL: test_v4f64_align16:
204 ; AVX-NEXT: pushq %rbp
205 ; AVX-NEXT: movq %rsp, %rbp
206 ; AVX-NEXT: andq $-32, %rsp
207 ; AVX-NEXT: subq $64, %rsp
208 ; AVX-NEXT: vmovntdqa 16(%rdi), %xmm0
209 ; AVX-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
210 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0
211 ; AVX-NEXT: vmovdqa %xmm0, (%rsp)
212 ; AVX-NEXT: vmovaps (%rsp), %ymm0
213 ; AVX-NEXT: movq %rbp, %rsp
214 ; AVX-NEXT: popq %rbp
216 %1 = load <4 x double>, ptr %src, align 16, !nontemporal !1
220 define <8 x float> @test_v8f32_align16(ptr %src) nounwind {
221 ; SSE2-LABEL: test_v8f32_align16:
223 ; SSE2-NEXT: movaps (%rdi), %xmm0
224 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
227 ; SSE41-LABEL: test_v8f32_align16:
229 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
230 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
233 ; AVX-LABEL: test_v8f32_align16:
235 ; AVX-NEXT: pushq %rbp
236 ; AVX-NEXT: movq %rsp, %rbp
237 ; AVX-NEXT: andq $-32, %rsp
238 ; AVX-NEXT: subq $64, %rsp
239 ; AVX-NEXT: vmovntdqa 16(%rdi), %xmm0
240 ; AVX-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
241 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0
242 ; AVX-NEXT: vmovdqa %xmm0, (%rsp)
243 ; AVX-NEXT: vmovaps (%rsp), %ymm0
244 ; AVX-NEXT: movq %rbp, %rsp
245 ; AVX-NEXT: popq %rbp
247 %1 = load <8 x float>, ptr %src, align 16, !nontemporal !1
251 define <4 x i64> @test_v4i64_align16(ptr %src) nounwind {
252 ; SSE2-LABEL: test_v4i64_align16:
254 ; SSE2-NEXT: movaps (%rdi), %xmm0
255 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
258 ; SSE41-LABEL: test_v4i64_align16:
260 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
261 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
264 ; AVX-LABEL: test_v4i64_align16:
266 ; AVX-NEXT: pushq %rbp
267 ; AVX-NEXT: movq %rsp, %rbp
268 ; AVX-NEXT: andq $-32, %rsp
269 ; AVX-NEXT: subq $64, %rsp
270 ; AVX-NEXT: vmovntdqa 16(%rdi), %xmm0
271 ; AVX-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
272 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0
273 ; AVX-NEXT: vmovdqa %xmm0, (%rsp)
274 ; AVX-NEXT: vmovaps (%rsp), %ymm0
275 ; AVX-NEXT: movq %rbp, %rsp
276 ; AVX-NEXT: popq %rbp
278 %1 = load <4 x i64>, ptr %src, align 16, !nontemporal !1
282 define <8 x i32> @test_v8i32_align16(ptr %src) nounwind {
283 ; SSE2-LABEL: test_v8i32_align16:
285 ; SSE2-NEXT: movaps (%rdi), %xmm0
286 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
289 ; SSE41-LABEL: test_v8i32_align16:
291 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
292 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
295 ; AVX-LABEL: test_v8i32_align16:
297 ; AVX-NEXT: pushq %rbp
298 ; AVX-NEXT: movq %rsp, %rbp
299 ; AVX-NEXT: andq $-32, %rsp
300 ; AVX-NEXT: subq $64, %rsp
301 ; AVX-NEXT: vmovntdqa 16(%rdi), %xmm0
302 ; AVX-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
303 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0
304 ; AVX-NEXT: vmovdqa %xmm0, (%rsp)
305 ; AVX-NEXT: vmovaps (%rsp), %ymm0
306 ; AVX-NEXT: movq %rbp, %rsp
307 ; AVX-NEXT: popq %rbp
309 %1 = load <8 x i32>, ptr %src, align 16, !nontemporal !1
313 define <16 x i16> @test_v16i16_align16(ptr %src) nounwind {
314 ; SSE2-LABEL: test_v16i16_align16:
316 ; SSE2-NEXT: movaps (%rdi), %xmm0
317 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
320 ; SSE41-LABEL: test_v16i16_align16:
322 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
323 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
326 ; AVX-LABEL: test_v16i16_align16:
328 ; AVX-NEXT: pushq %rbp
329 ; AVX-NEXT: movq %rsp, %rbp
330 ; AVX-NEXT: andq $-32, %rsp
331 ; AVX-NEXT: subq $64, %rsp
332 ; AVX-NEXT: vmovntdqa 16(%rdi), %xmm0
333 ; AVX-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
334 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0
335 ; AVX-NEXT: vmovdqa %xmm0, (%rsp)
336 ; AVX-NEXT: vmovaps (%rsp), %ymm0
337 ; AVX-NEXT: movq %rbp, %rsp
338 ; AVX-NEXT: popq %rbp
340 %1 = load <16 x i16>, ptr %src, align 16, !nontemporal !1
344 define <32 x i8> @test_v32i8_align16(ptr %src) nounwind {
345 ; SSE2-LABEL: test_v32i8_align16:
347 ; SSE2-NEXT: movaps (%rdi), %xmm0
348 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
351 ; SSE41-LABEL: test_v32i8_align16:
353 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
354 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
357 ; AVX-LABEL: test_v32i8_align16:
359 ; AVX-NEXT: pushq %rbp
360 ; AVX-NEXT: movq %rsp, %rbp
361 ; AVX-NEXT: andq $-32, %rsp
362 ; AVX-NEXT: subq $64, %rsp
363 ; AVX-NEXT: vmovntdqa 16(%rdi), %xmm0
364 ; AVX-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
365 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0
366 ; AVX-NEXT: vmovdqa %xmm0, (%rsp)
367 ; AVX-NEXT: vmovaps (%rsp), %ymm0
368 ; AVX-NEXT: movq %rbp, %rsp
369 ; AVX-NEXT: popq %rbp
371 %1 = load <32 x i8>, ptr %src, align 16, !nontemporal !1
377 define <8 x double> @test_v8f64_align1(ptr %src) nounwind {
378 ; SSE-LABEL: test_v8f64_align1:
380 ; SSE-NEXT: movups (%rdi), %xmm0
381 ; SSE-NEXT: movups 16(%rdi), %xmm1
382 ; SSE-NEXT: movups 32(%rdi), %xmm2
383 ; SSE-NEXT: movups 48(%rdi), %xmm3
386 ; AVX1-LABEL: test_v8f64_align1:
388 ; AVX1-NEXT: vmovups (%rdi), %ymm0
389 ; AVX1-NEXT: vmovups 32(%rdi), %ymm1
392 ; AVX2-LABEL: test_v8f64_align1:
394 ; AVX2-NEXT: vmovups (%rdi), %ymm0
395 ; AVX2-NEXT: vmovups 32(%rdi), %ymm1
398 ; AVX512-LABEL: test_v8f64_align1:
400 ; AVX512-NEXT: vmovups (%rdi), %zmm0
402 %1 = load <8 x double>, ptr %src, align 1, !nontemporal !1
406 define <16 x float> @test_v16f32_align1(ptr %src) nounwind {
407 ; SSE-LABEL: test_v16f32_align1:
409 ; SSE-NEXT: movups (%rdi), %xmm0
410 ; SSE-NEXT: movups 16(%rdi), %xmm1
411 ; SSE-NEXT: movups 32(%rdi), %xmm2
412 ; SSE-NEXT: movups 48(%rdi), %xmm3
415 ; AVX1-LABEL: test_v16f32_align1:
417 ; AVX1-NEXT: vmovups (%rdi), %ymm0
418 ; AVX1-NEXT: vmovups 32(%rdi), %ymm1
421 ; AVX2-LABEL: test_v16f32_align1:
423 ; AVX2-NEXT: vmovups (%rdi), %ymm0
424 ; AVX2-NEXT: vmovups 32(%rdi), %ymm1
427 ; AVX512-LABEL: test_v16f32_align1:
429 ; AVX512-NEXT: vmovups (%rdi), %zmm0
431 %1 = load <16 x float>, ptr %src, align 1, !nontemporal !1
435 define <8 x i64> @test_v8i64_align1(ptr %src) nounwind {
436 ; SSE-LABEL: test_v8i64_align1:
438 ; SSE-NEXT: movups (%rdi), %xmm0
439 ; SSE-NEXT: movups 16(%rdi), %xmm1
440 ; SSE-NEXT: movups 32(%rdi), %xmm2
441 ; SSE-NEXT: movups 48(%rdi), %xmm3
444 ; AVX1-LABEL: test_v8i64_align1:
446 ; AVX1-NEXT: vmovups (%rdi), %ymm0
447 ; AVX1-NEXT: vmovups 32(%rdi), %ymm1
450 ; AVX2-LABEL: test_v8i64_align1:
452 ; AVX2-NEXT: vmovups (%rdi), %ymm0
453 ; AVX2-NEXT: vmovups 32(%rdi), %ymm1
456 ; AVX512-LABEL: test_v8i64_align1:
458 ; AVX512-NEXT: vmovups (%rdi), %zmm0
460 %1 = load <8 x i64>, ptr %src, align 1, !nontemporal !1
464 define <16 x i32> @test_v16i32_align1(ptr %src) nounwind {
465 ; SSE-LABEL: test_v16i32_align1:
467 ; SSE-NEXT: movups (%rdi), %xmm0
468 ; SSE-NEXT: movups 16(%rdi), %xmm1
469 ; SSE-NEXT: movups 32(%rdi), %xmm2
470 ; SSE-NEXT: movups 48(%rdi), %xmm3
473 ; AVX1-LABEL: test_v16i32_align1:
475 ; AVX1-NEXT: vmovups (%rdi), %ymm0
476 ; AVX1-NEXT: vmovups 32(%rdi), %ymm1
479 ; AVX2-LABEL: test_v16i32_align1:
481 ; AVX2-NEXT: vmovups (%rdi), %ymm0
482 ; AVX2-NEXT: vmovups 32(%rdi), %ymm1
485 ; AVX512-LABEL: test_v16i32_align1:
487 ; AVX512-NEXT: vmovups (%rdi), %zmm0
489 %1 = load <16 x i32>, ptr %src, align 1, !nontemporal !1
493 define <32 x i16> @test_v32i16_align1(ptr %src) nounwind {
494 ; SSE-LABEL: test_v32i16_align1:
496 ; SSE-NEXT: movups (%rdi), %xmm0
497 ; SSE-NEXT: movups 16(%rdi), %xmm1
498 ; SSE-NEXT: movups 32(%rdi), %xmm2
499 ; SSE-NEXT: movups 48(%rdi), %xmm3
502 ; AVX1-LABEL: test_v32i16_align1:
504 ; AVX1-NEXT: vmovups (%rdi), %ymm0
505 ; AVX1-NEXT: vmovups 32(%rdi), %ymm1
508 ; AVX2-LABEL: test_v32i16_align1:
510 ; AVX2-NEXT: vmovups (%rdi), %ymm0
511 ; AVX2-NEXT: vmovups 32(%rdi), %ymm1
514 ; AVX512-LABEL: test_v32i16_align1:
516 ; AVX512-NEXT: vmovups (%rdi), %zmm0
518 %1 = load <32 x i16>, ptr %src, align 1, !nontemporal !1
522 define <64 x i8> @test_v64i8_align1(ptr %src) nounwind {
523 ; SSE-LABEL: test_v64i8_align1:
525 ; SSE-NEXT: movups (%rdi), %xmm0
526 ; SSE-NEXT: movups 16(%rdi), %xmm1
527 ; SSE-NEXT: movups 32(%rdi), %xmm2
528 ; SSE-NEXT: movups 48(%rdi), %xmm3
531 ; AVX1-LABEL: test_v64i8_align1:
533 ; AVX1-NEXT: vmovups (%rdi), %ymm0
534 ; AVX1-NEXT: vmovups 32(%rdi), %ymm1
537 ; AVX2-LABEL: test_v64i8_align1:
539 ; AVX2-NEXT: vmovups (%rdi), %ymm0
540 ; AVX2-NEXT: vmovups 32(%rdi), %ymm1
543 ; AVX512-LABEL: test_v64i8_align1:
545 ; AVX512-NEXT: vmovups (%rdi), %zmm0
547 %1 = load <64 x i8>, ptr %src, align 1, !nontemporal !1
551 define <8 x double> @test_v8f64_align16(ptr %src) nounwind {
552 ; SSE2-LABEL: test_v8f64_align16:
554 ; SSE2-NEXT: movaps (%rdi), %xmm0
555 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
556 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
557 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
560 ; SSE41-LABEL: test_v8f64_align16:
562 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
563 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
564 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
565 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
568 ; AVX1-LABEL: test_v8f64_align16:
570 ; AVX1-NEXT: pushq %rbp
571 ; AVX1-NEXT: movq %rsp, %rbp
572 ; AVX1-NEXT: andq $-32, %rsp
573 ; AVX1-NEXT: subq $96, %rsp
574 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0
575 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
576 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
577 ; AVX1-NEXT: vmovdqa %xmm0, (%rsp)
578 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm0
579 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
580 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm0
581 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
582 ; AVX1-NEXT: vmovaps (%rsp), %ymm0
583 ; AVX1-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
584 ; AVX1-NEXT: movq %rbp, %rsp
585 ; AVX1-NEXT: popq %rbp
588 ; AVX2-LABEL: test_v8f64_align16:
590 ; AVX2-NEXT: pushq %rbp
591 ; AVX2-NEXT: movq %rsp, %rbp
592 ; AVX2-NEXT: andq $-32, %rsp
593 ; AVX2-NEXT: subq $96, %rsp
594 ; AVX2-NEXT: vmovntdqa 16(%rdi), %xmm0
595 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
596 ; AVX2-NEXT: vmovntdqa (%rdi), %xmm0
597 ; AVX2-NEXT: vmovdqa %xmm0, (%rsp)
598 ; AVX2-NEXT: vmovntdqa 48(%rdi), %xmm0
599 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
600 ; AVX2-NEXT: vmovntdqa 32(%rdi), %xmm0
601 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
602 ; AVX2-NEXT: vmovaps (%rsp), %ymm0
603 ; AVX2-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
604 ; AVX2-NEXT: movq %rbp, %rsp
605 ; AVX2-NEXT: popq %rbp
608 ; AVX512-LABEL: test_v8f64_align16:
610 ; AVX512-NEXT: pushq %rbp
611 ; AVX512-NEXT: movq %rsp, %rbp
612 ; AVX512-NEXT: andq $-64, %rsp
613 ; AVX512-NEXT: subq $128, %rsp
614 ; AVX512-NEXT: vmovntdqa 48(%rdi), %xmm0
615 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
616 ; AVX512-NEXT: vmovntdqa 32(%rdi), %xmm0
617 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
618 ; AVX512-NEXT: vmovntdqa 16(%rdi), %xmm0
619 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
620 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0
621 ; AVX512-NEXT: vmovdqa %xmm0, (%rsp)
622 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
623 ; AVX512-NEXT: movq %rbp, %rsp
624 ; AVX512-NEXT: popq %rbp
626 %1 = load <8 x double>, ptr %src, align 16, !nontemporal !1
630 define <16 x float> @test_v16f32_align16(ptr %src) nounwind {
631 ; SSE2-LABEL: test_v16f32_align16:
633 ; SSE2-NEXT: movaps (%rdi), %xmm0
634 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
635 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
636 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
639 ; SSE41-LABEL: test_v16f32_align16:
641 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
642 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
643 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
644 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
647 ; AVX1-LABEL: test_v16f32_align16:
649 ; AVX1-NEXT: pushq %rbp
650 ; AVX1-NEXT: movq %rsp, %rbp
651 ; AVX1-NEXT: andq $-32, %rsp
652 ; AVX1-NEXT: subq $96, %rsp
653 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0
654 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
655 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
656 ; AVX1-NEXT: vmovdqa %xmm0, (%rsp)
657 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm0
658 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
659 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm0
660 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
661 ; AVX1-NEXT: vmovaps (%rsp), %ymm0
662 ; AVX1-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
663 ; AVX1-NEXT: movq %rbp, %rsp
664 ; AVX1-NEXT: popq %rbp
667 ; AVX2-LABEL: test_v16f32_align16:
669 ; AVX2-NEXT: pushq %rbp
670 ; AVX2-NEXT: movq %rsp, %rbp
671 ; AVX2-NEXT: andq $-32, %rsp
672 ; AVX2-NEXT: subq $96, %rsp
673 ; AVX2-NEXT: vmovntdqa 16(%rdi), %xmm0
674 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
675 ; AVX2-NEXT: vmovntdqa (%rdi), %xmm0
676 ; AVX2-NEXT: vmovdqa %xmm0, (%rsp)
677 ; AVX2-NEXT: vmovntdqa 48(%rdi), %xmm0
678 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
679 ; AVX2-NEXT: vmovntdqa 32(%rdi), %xmm0
680 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
681 ; AVX2-NEXT: vmovaps (%rsp), %ymm0
682 ; AVX2-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
683 ; AVX2-NEXT: movq %rbp, %rsp
684 ; AVX2-NEXT: popq %rbp
687 ; AVX512-LABEL: test_v16f32_align16:
689 ; AVX512-NEXT: pushq %rbp
690 ; AVX512-NEXT: movq %rsp, %rbp
691 ; AVX512-NEXT: andq $-64, %rsp
692 ; AVX512-NEXT: subq $128, %rsp
693 ; AVX512-NEXT: vmovntdqa 48(%rdi), %xmm0
694 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
695 ; AVX512-NEXT: vmovntdqa 32(%rdi), %xmm0
696 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
697 ; AVX512-NEXT: vmovntdqa 16(%rdi), %xmm0
698 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
699 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0
700 ; AVX512-NEXT: vmovdqa %xmm0, (%rsp)
701 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
702 ; AVX512-NEXT: movq %rbp, %rsp
703 ; AVX512-NEXT: popq %rbp
705 %1 = load <16 x float>, ptr %src, align 16, !nontemporal !1
709 define <8 x i64> @test_v8i64_align16(ptr %src) nounwind {
710 ; SSE2-LABEL: test_v8i64_align16:
712 ; SSE2-NEXT: movaps (%rdi), %xmm0
713 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
714 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
715 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
718 ; SSE41-LABEL: test_v8i64_align16:
720 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
721 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
722 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
723 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
726 ; AVX1-LABEL: test_v8i64_align16:
728 ; AVX1-NEXT: pushq %rbp
729 ; AVX1-NEXT: movq %rsp, %rbp
730 ; AVX1-NEXT: andq $-32, %rsp
731 ; AVX1-NEXT: subq $96, %rsp
732 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0
733 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
734 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
735 ; AVX1-NEXT: vmovdqa %xmm0, (%rsp)
736 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm0
737 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
738 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm0
739 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
740 ; AVX1-NEXT: vmovaps (%rsp), %ymm0
741 ; AVX1-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
742 ; AVX1-NEXT: movq %rbp, %rsp
743 ; AVX1-NEXT: popq %rbp
746 ; AVX2-LABEL: test_v8i64_align16:
748 ; AVX2-NEXT: pushq %rbp
749 ; AVX2-NEXT: movq %rsp, %rbp
750 ; AVX2-NEXT: andq $-32, %rsp
751 ; AVX2-NEXT: subq $96, %rsp
752 ; AVX2-NEXT: vmovntdqa 16(%rdi), %xmm0
753 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
754 ; AVX2-NEXT: vmovntdqa (%rdi), %xmm0
755 ; AVX2-NEXT: vmovdqa %xmm0, (%rsp)
756 ; AVX2-NEXT: vmovntdqa 48(%rdi), %xmm0
757 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
758 ; AVX2-NEXT: vmovntdqa 32(%rdi), %xmm0
759 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
760 ; AVX2-NEXT: vmovaps (%rsp), %ymm0
761 ; AVX2-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
762 ; AVX2-NEXT: movq %rbp, %rsp
763 ; AVX2-NEXT: popq %rbp
766 ; AVX512-LABEL: test_v8i64_align16:
768 ; AVX512-NEXT: pushq %rbp
769 ; AVX512-NEXT: movq %rsp, %rbp
770 ; AVX512-NEXT: andq $-64, %rsp
771 ; AVX512-NEXT: subq $128, %rsp
772 ; AVX512-NEXT: vmovntdqa 48(%rdi), %xmm0
773 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
774 ; AVX512-NEXT: vmovntdqa 32(%rdi), %xmm0
775 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
776 ; AVX512-NEXT: vmovntdqa 16(%rdi), %xmm0
777 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
778 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0
779 ; AVX512-NEXT: vmovdqa %xmm0, (%rsp)
780 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
781 ; AVX512-NEXT: movq %rbp, %rsp
782 ; AVX512-NEXT: popq %rbp
784 %1 = load <8 x i64>, ptr %src, align 16, !nontemporal !1
788 define <16 x i32> @test_v16i32_align16(ptr %src) nounwind {
789 ; SSE2-LABEL: test_v16i32_align16:
791 ; SSE2-NEXT: movaps (%rdi), %xmm0
792 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
793 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
794 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
797 ; SSE41-LABEL: test_v16i32_align16:
799 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
800 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
801 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
802 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
805 ; AVX1-LABEL: test_v16i32_align16:
807 ; AVX1-NEXT: pushq %rbp
808 ; AVX1-NEXT: movq %rsp, %rbp
809 ; AVX1-NEXT: andq $-32, %rsp
810 ; AVX1-NEXT: subq $96, %rsp
811 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0
812 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
813 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
814 ; AVX1-NEXT: vmovdqa %xmm0, (%rsp)
815 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm0
816 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
817 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm0
818 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
819 ; AVX1-NEXT: vmovaps (%rsp), %ymm0
820 ; AVX1-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
821 ; AVX1-NEXT: movq %rbp, %rsp
822 ; AVX1-NEXT: popq %rbp
825 ; AVX2-LABEL: test_v16i32_align16:
827 ; AVX2-NEXT: pushq %rbp
828 ; AVX2-NEXT: movq %rsp, %rbp
829 ; AVX2-NEXT: andq $-32, %rsp
830 ; AVX2-NEXT: subq $96, %rsp
831 ; AVX2-NEXT: vmovntdqa 16(%rdi), %xmm0
832 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
833 ; AVX2-NEXT: vmovntdqa (%rdi), %xmm0
834 ; AVX2-NEXT: vmovdqa %xmm0, (%rsp)
835 ; AVX2-NEXT: vmovntdqa 48(%rdi), %xmm0
836 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
837 ; AVX2-NEXT: vmovntdqa 32(%rdi), %xmm0
838 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
839 ; AVX2-NEXT: vmovaps (%rsp), %ymm0
840 ; AVX2-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
841 ; AVX2-NEXT: movq %rbp, %rsp
842 ; AVX2-NEXT: popq %rbp
845 ; AVX512-LABEL: test_v16i32_align16:
847 ; AVX512-NEXT: pushq %rbp
848 ; AVX512-NEXT: movq %rsp, %rbp
849 ; AVX512-NEXT: andq $-64, %rsp
850 ; AVX512-NEXT: subq $128, %rsp
851 ; AVX512-NEXT: vmovntdqa 48(%rdi), %xmm0
852 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
853 ; AVX512-NEXT: vmovntdqa 32(%rdi), %xmm0
854 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
855 ; AVX512-NEXT: vmovntdqa 16(%rdi), %xmm0
856 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
857 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0
858 ; AVX512-NEXT: vmovdqa %xmm0, (%rsp)
859 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
860 ; AVX512-NEXT: movq %rbp, %rsp
861 ; AVX512-NEXT: popq %rbp
863 %1 = load <16 x i32>, ptr %src, align 16, !nontemporal !1
867 define <32 x i16> @test_v32i16_align16(ptr %src) nounwind {
868 ; SSE2-LABEL: test_v32i16_align16:
870 ; SSE2-NEXT: movaps (%rdi), %xmm0
871 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
872 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
873 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
876 ; SSE41-LABEL: test_v32i16_align16:
878 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
879 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
880 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
881 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
884 ; AVX1-LABEL: test_v32i16_align16:
886 ; AVX1-NEXT: pushq %rbp
887 ; AVX1-NEXT: movq %rsp, %rbp
888 ; AVX1-NEXT: andq $-32, %rsp
889 ; AVX1-NEXT: subq $96, %rsp
890 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0
891 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
892 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
893 ; AVX1-NEXT: vmovdqa %xmm0, (%rsp)
894 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm0
895 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
896 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm0
897 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
898 ; AVX1-NEXT: vmovaps (%rsp), %ymm0
899 ; AVX1-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
900 ; AVX1-NEXT: movq %rbp, %rsp
901 ; AVX1-NEXT: popq %rbp
904 ; AVX2-LABEL: test_v32i16_align16:
906 ; AVX2-NEXT: pushq %rbp
907 ; AVX2-NEXT: movq %rsp, %rbp
908 ; AVX2-NEXT: andq $-32, %rsp
909 ; AVX2-NEXT: subq $96, %rsp
910 ; AVX2-NEXT: vmovntdqa 16(%rdi), %xmm0
911 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
912 ; AVX2-NEXT: vmovntdqa (%rdi), %xmm0
913 ; AVX2-NEXT: vmovdqa %xmm0, (%rsp)
914 ; AVX2-NEXT: vmovntdqa 48(%rdi), %xmm0
915 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
916 ; AVX2-NEXT: vmovntdqa 32(%rdi), %xmm0
917 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
918 ; AVX2-NEXT: vmovaps (%rsp), %ymm0
919 ; AVX2-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
920 ; AVX2-NEXT: movq %rbp, %rsp
921 ; AVX2-NEXT: popq %rbp
924 ; AVX512-LABEL: test_v32i16_align16:
926 ; AVX512-NEXT: pushq %rbp
927 ; AVX512-NEXT: movq %rsp, %rbp
928 ; AVX512-NEXT: andq $-64, %rsp
929 ; AVX512-NEXT: subq $128, %rsp
930 ; AVX512-NEXT: vmovntdqa 48(%rdi), %xmm0
931 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
932 ; AVX512-NEXT: vmovntdqa 32(%rdi), %xmm0
933 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
934 ; AVX512-NEXT: vmovntdqa 16(%rdi), %xmm0
935 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
936 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0
937 ; AVX512-NEXT: vmovdqa %xmm0, (%rsp)
938 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
939 ; AVX512-NEXT: movq %rbp, %rsp
940 ; AVX512-NEXT: popq %rbp
942 %1 = load <32 x i16>, ptr %src, align 16, !nontemporal !1
946 define <64 x i8> @test_v64i8_align16(ptr %src) nounwind {
947 ; SSE2-LABEL: test_v64i8_align16:
949 ; SSE2-NEXT: movaps (%rdi), %xmm0
950 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
951 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
952 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
955 ; SSE41-LABEL: test_v64i8_align16:
957 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
958 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
959 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
960 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
963 ; AVX1-LABEL: test_v64i8_align16:
965 ; AVX1-NEXT: pushq %rbp
966 ; AVX1-NEXT: movq %rsp, %rbp
967 ; AVX1-NEXT: andq $-32, %rsp
968 ; AVX1-NEXT: subq $96, %rsp
969 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0
970 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
971 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
972 ; AVX1-NEXT: vmovdqa %xmm0, (%rsp)
973 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm0
974 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
975 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm0
976 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
977 ; AVX1-NEXT: vmovaps (%rsp), %ymm0
978 ; AVX1-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
979 ; AVX1-NEXT: movq %rbp, %rsp
980 ; AVX1-NEXT: popq %rbp
983 ; AVX2-LABEL: test_v64i8_align16:
985 ; AVX2-NEXT: pushq %rbp
986 ; AVX2-NEXT: movq %rsp, %rbp
987 ; AVX2-NEXT: andq $-32, %rsp
988 ; AVX2-NEXT: subq $96, %rsp
989 ; AVX2-NEXT: vmovntdqa 16(%rdi), %xmm0
990 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
991 ; AVX2-NEXT: vmovntdqa (%rdi), %xmm0
992 ; AVX2-NEXT: vmovdqa %xmm0, (%rsp)
993 ; AVX2-NEXT: vmovntdqa 48(%rdi), %xmm0
994 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
995 ; AVX2-NEXT: vmovntdqa 32(%rdi), %xmm0
996 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
997 ; AVX2-NEXT: vmovaps (%rsp), %ymm0
998 ; AVX2-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
999 ; AVX2-NEXT: movq %rbp, %rsp
1000 ; AVX2-NEXT: popq %rbp
1003 ; AVX512-LABEL: test_v64i8_align16:
1005 ; AVX512-NEXT: pushq %rbp
1006 ; AVX512-NEXT: movq %rsp, %rbp
1007 ; AVX512-NEXT: andq $-64, %rsp
1008 ; AVX512-NEXT: subq $128, %rsp
1009 ; AVX512-NEXT: vmovntdqa 48(%rdi), %xmm0
1010 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
1011 ; AVX512-NEXT: vmovntdqa 32(%rdi), %xmm0
1012 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
1013 ; AVX512-NEXT: vmovntdqa 16(%rdi), %xmm0
1014 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
1015 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0
1016 ; AVX512-NEXT: vmovdqa %xmm0, (%rsp)
1017 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
1018 ; AVX512-NEXT: movq %rbp, %rsp
1019 ; AVX512-NEXT: popq %rbp
1021 %1 = load <64 x i8>, ptr %src, align 16, !nontemporal !1
1025 define <8 x double> @test_v8f64_align32(ptr %src) nounwind {
1026 ; SSE2-LABEL: test_v8f64_align32:
1028 ; SSE2-NEXT: movaps (%rdi), %xmm0
1029 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
1030 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
1031 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
1034 ; SSE41-LABEL: test_v8f64_align32:
1036 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
1037 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
1038 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
1039 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
1042 ; AVX1-LABEL: test_v8f64_align32:
1044 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
1045 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm1
1046 ; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
1047 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm1
1048 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm2
1049 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
1052 ; AVX2-LABEL: test_v8f64_align32:
1054 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
1055 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1
1058 ; AVX512-LABEL: test_v8f64_align32:
1060 ; AVX512-NEXT: pushq %rbp
1061 ; AVX512-NEXT: movq %rsp, %rbp
1062 ; AVX512-NEXT: andq $-64, %rsp
1063 ; AVX512-NEXT: subq $128, %rsp
1064 ; AVX512-NEXT: vmovntdqa 32(%rdi), %ymm0
1065 ; AVX512-NEXT: vmovdqa %ymm0, {{[0-9]+}}(%rsp)
1066 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0
1067 ; AVX512-NEXT: vmovdqa %ymm0, (%rsp)
1068 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
1069 ; AVX512-NEXT: movq %rbp, %rsp
1070 ; AVX512-NEXT: popq %rbp
1072 %1 = load <8 x double>, ptr %src, align 32, !nontemporal !1
1076 define <16 x float> @test_v16f32_align32(ptr %src) nounwind {
1077 ; SSE2-LABEL: test_v16f32_align32:
1079 ; SSE2-NEXT: movaps (%rdi), %xmm0
1080 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
1081 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
1082 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
1085 ; SSE41-LABEL: test_v16f32_align32:
1087 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
1088 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
1089 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
1090 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
1093 ; AVX1-LABEL: test_v16f32_align32:
1095 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
1096 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm1
1097 ; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
1098 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm1
1099 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm2
1100 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
1103 ; AVX2-LABEL: test_v16f32_align32:
1105 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
1106 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1
1109 ; AVX512-LABEL: test_v16f32_align32:
1111 ; AVX512-NEXT: pushq %rbp
1112 ; AVX512-NEXT: movq %rsp, %rbp
1113 ; AVX512-NEXT: andq $-64, %rsp
1114 ; AVX512-NEXT: subq $128, %rsp
1115 ; AVX512-NEXT: vmovntdqa 32(%rdi), %ymm0
1116 ; AVX512-NEXT: vmovdqa %ymm0, {{[0-9]+}}(%rsp)
1117 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0
1118 ; AVX512-NEXT: vmovdqa %ymm0, (%rsp)
1119 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
1120 ; AVX512-NEXT: movq %rbp, %rsp
1121 ; AVX512-NEXT: popq %rbp
1123 %1 = load <16 x float>, ptr %src, align 32, !nontemporal !1
1127 define <8 x i64> @test_v8i64_align32(ptr %src) nounwind {
1128 ; SSE2-LABEL: test_v8i64_align32:
1130 ; SSE2-NEXT: movaps (%rdi), %xmm0
1131 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
1132 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
1133 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
1136 ; SSE41-LABEL: test_v8i64_align32:
1138 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
1139 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
1140 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
1141 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
1144 ; AVX1-LABEL: test_v8i64_align32:
1146 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
1147 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm1
1148 ; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
1149 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm1
1150 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm2
1151 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
1154 ; AVX2-LABEL: test_v8i64_align32:
1156 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
1157 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1
1160 ; AVX512-LABEL: test_v8i64_align32:
1162 ; AVX512-NEXT: pushq %rbp
1163 ; AVX512-NEXT: movq %rsp, %rbp
1164 ; AVX512-NEXT: andq $-64, %rsp
1165 ; AVX512-NEXT: subq $128, %rsp
1166 ; AVX512-NEXT: vmovntdqa 32(%rdi), %ymm0
1167 ; AVX512-NEXT: vmovdqa %ymm0, {{[0-9]+}}(%rsp)
1168 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0
1169 ; AVX512-NEXT: vmovdqa %ymm0, (%rsp)
1170 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
1171 ; AVX512-NEXT: movq %rbp, %rsp
1172 ; AVX512-NEXT: popq %rbp
1174 %1 = load <8 x i64>, ptr %src, align 32, !nontemporal !1
1178 define <16 x i32> @test_v16i32_align32(ptr %src) nounwind {
1179 ; SSE2-LABEL: test_v16i32_align32:
1181 ; SSE2-NEXT: movaps (%rdi), %xmm0
1182 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
1183 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
1184 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
1187 ; SSE41-LABEL: test_v16i32_align32:
1189 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
1190 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
1191 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
1192 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
1195 ; AVX1-LABEL: test_v16i32_align32:
1197 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
1198 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm1
1199 ; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
1200 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm1
1201 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm2
1202 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
1205 ; AVX2-LABEL: test_v16i32_align32:
1207 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
1208 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1
1211 ; AVX512-LABEL: test_v16i32_align32:
1213 ; AVX512-NEXT: pushq %rbp
1214 ; AVX512-NEXT: movq %rsp, %rbp
1215 ; AVX512-NEXT: andq $-64, %rsp
1216 ; AVX512-NEXT: subq $128, %rsp
1217 ; AVX512-NEXT: vmovntdqa 32(%rdi), %ymm0
1218 ; AVX512-NEXT: vmovdqa %ymm0, {{[0-9]+}}(%rsp)
1219 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0
1220 ; AVX512-NEXT: vmovdqa %ymm0, (%rsp)
1221 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
1222 ; AVX512-NEXT: movq %rbp, %rsp
1223 ; AVX512-NEXT: popq %rbp
1225 %1 = load <16 x i32>, ptr %src, align 32, !nontemporal !1
1229 define <32 x i16> @test_v32i16_align32(ptr %src) nounwind {
1230 ; SSE2-LABEL: test_v32i16_align32:
1232 ; SSE2-NEXT: movaps (%rdi), %xmm0
1233 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
1234 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
1235 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
1238 ; SSE41-LABEL: test_v32i16_align32:
1240 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
1241 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
1242 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
1243 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
1246 ; AVX1-LABEL: test_v32i16_align32:
1248 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
1249 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm1
1250 ; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
1251 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm1
1252 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm2
1253 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
1256 ; AVX2-LABEL: test_v32i16_align32:
1258 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
1259 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1
1262 ; AVX512-LABEL: test_v32i16_align32:
1264 ; AVX512-NEXT: pushq %rbp
1265 ; AVX512-NEXT: movq %rsp, %rbp
1266 ; AVX512-NEXT: andq $-64, %rsp
1267 ; AVX512-NEXT: subq $128, %rsp
1268 ; AVX512-NEXT: vmovntdqa 32(%rdi), %ymm0
1269 ; AVX512-NEXT: vmovdqa %ymm0, {{[0-9]+}}(%rsp)
1270 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0
1271 ; AVX512-NEXT: vmovdqa %ymm0, (%rsp)
1272 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
1273 ; AVX512-NEXT: movq %rbp, %rsp
1274 ; AVX512-NEXT: popq %rbp
1276 %1 = load <32 x i16>, ptr %src, align 32, !nontemporal !1
1280 define <64 x i8> @test_v64i8_align32(ptr %src) nounwind {
1281 ; SSE2-LABEL: test_v64i8_align32:
1283 ; SSE2-NEXT: movaps (%rdi), %xmm0
1284 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
1285 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
1286 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
1289 ; SSE41-LABEL: test_v64i8_align32:
1291 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
1292 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
1293 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
1294 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
1297 ; AVX1-LABEL: test_v64i8_align32:
1299 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
1300 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm1
1301 ; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
1302 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm1
1303 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm2
1304 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
1307 ; AVX2-LABEL: test_v64i8_align32:
1309 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
1310 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1
1313 ; AVX512-LABEL: test_v64i8_align32:
1315 ; AVX512-NEXT: pushq %rbp
1316 ; AVX512-NEXT: movq %rsp, %rbp
1317 ; AVX512-NEXT: andq $-64, %rsp
1318 ; AVX512-NEXT: subq $128, %rsp
1319 ; AVX512-NEXT: vmovntdqa 32(%rdi), %ymm0
1320 ; AVX512-NEXT: vmovdqa %ymm0, {{[0-9]+}}(%rsp)
1321 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0
1322 ; AVX512-NEXT: vmovdqa %ymm0, (%rsp)
1323 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
1324 ; AVX512-NEXT: movq %rbp, %rsp
1325 ; AVX512-NEXT: popq %rbp
1327 %1 = load <64 x i8>, ptr %src, align 32, !nontemporal !1