| blob | 0441d3a4922eefc7c3acd71f56a67ddd01dbf6d4 |
1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown | FileCheck %s --check-prefixes=SSE,SSE2
3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse4.1 | FileCheck %s --check-prefixes=SSE,SSE41
4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx | FileCheck %s --check-prefixes=AVX,AVX1
5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefixes=AVX,AVX2
6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512dq,+avx512vl | FileCheck %s --check-prefixes=AVX,AVX512,AVX512DQ
7 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512bw,+avx512vl | FileCheck %s --check-prefixes=AVX,AVX512,AVX512BW
9 ; Test codegen for under aligned nontemporal vector loads
11 ; XMM versions.
13 define <2 x double> @test_v2f64_align1(<2 x double>* %src) nounwind {
14 ; SSE-LABEL: test_v2f64_align1:
15 ; SSE: # %bb.0:
16 ; SSE-NEXT: movups (%rdi), %xmm0
17 ; SSE-NEXT: retq
18 ;
19 ; AVX-LABEL: test_v2f64_align1:
20 ; AVX: # %bb.0:
21 ; AVX-NEXT: vmovups (%rdi), %xmm0
22 ; AVX-NEXT: retq
23 %1 = load <2 x double>, <2 x double>* %src, align 1, !nontemporal !1
24 ret <2 x double> %1
25 }
27 define <4 x float> @test_v4f32_align1(<4 x float>* %src) nounwind {
28 ; SSE-LABEL: test_v4f32_align1:
29 ; SSE: # %bb.0:
30 ; SSE-NEXT: movups (%rdi), %xmm0
31 ; SSE-NEXT: retq
32 ;
33 ; AVX-LABEL: test_v4f32_align1:
34 ; AVX: # %bb.0:
35 ; AVX-NEXT: vmovups (%rdi), %xmm0
36 ; AVX-NEXT: retq
37 %1 = load <4 x float>, <4 x float>* %src, align 1, !nontemporal !1
38 ret <4 x float> %1
39 }
41 define <2 x i64> @test_v2i64_align1(<2 x i64>* %src) nounwind {
42 ; SSE-LABEL: test_v2i64_align1:
43 ; SSE: # %bb.0:
44 ; SSE-NEXT: movups (%rdi), %xmm0
45 ; SSE-NEXT: retq
46 ;
47 ; AVX-LABEL: test_v2i64_align1:
48 ; AVX: # %bb.0:
49 ; AVX-NEXT: vmovups (%rdi), %xmm0
50 ; AVX-NEXT: retq
51 %1 = load <2 x i64>, <2 x i64>* %src, align 1, !nontemporal !1
52 ret <2 x i64> %1
53 }
55 define <4 x i32> @test_v4i32_align1(<4 x i32>* %src) nounwind {
56 ; SSE-LABEL: test_v4i32_align1:
57 ; SSE: # %bb.0:
58 ; SSE-NEXT: movups (%rdi), %xmm0
59 ; SSE-NEXT: retq
60 ;
61 ; AVX-LABEL: test_v4i32_align1:
62 ; AVX: # %bb.0:
63 ; AVX-NEXT: vmovups (%rdi), %xmm0
64 ; AVX-NEXT: retq
65 %1 = load <4 x i32>, <4 x i32>* %src, align 1, !nontemporal !1
66 ret <4 x i32> %1
67 }
69 define <8 x i16> @test_v8i16_align1(<8 x i16>* %src) nounwind {
70 ; SSE-LABEL: test_v8i16_align1:
71 ; SSE: # %bb.0:
72 ; SSE-NEXT: movups (%rdi), %xmm0
73 ; SSE-NEXT: retq
74 ;
75 ; AVX-LABEL: test_v8i16_align1:
76 ; AVX: # %bb.0:
77 ; AVX-NEXT: vmovups (%rdi), %xmm0
78 ; AVX-NEXT: retq
79 %1 = load <8 x i16>, <8 x i16>* %src, align 1, !nontemporal !1
80 ret <8 x i16> %1
81 }
83 define <16 x i8> @test_v16i8_align1(<16 x i8>* %src) nounwind {
84 ; SSE-LABEL: test_v16i8_align1:
85 ; SSE: # %bb.0:
86 ; SSE-NEXT: movups (%rdi), %xmm0
87 ; SSE-NEXT: retq
88 ;
89 ; AVX-LABEL: test_v16i8_align1:
90 ; AVX: # %bb.0:
91 ; AVX-NEXT: vmovups (%rdi), %xmm0
92 ; AVX-NEXT: retq
93 %1 = load <16 x i8>, <16 x i8>* %src, align 1, !nontemporal !1
94 ret <16 x i8> %1
95 }
97 ; YMM versions.
99 define <4 x double> @test_v4f64_align1(<4 x double>* %src) nounwind {
100 ; SSE-LABEL: test_v4f64_align1:
101 ; SSE: # %bb.0:
102 ; SSE-NEXT: movups (%rdi), %xmm0
103 ; SSE-NEXT: movups 16(%rdi), %xmm1
104 ; SSE-NEXT: retq
105 ;
106 ; AVX-LABEL: test_v4f64_align1:
107 ; AVX: # %bb.0:
108 ; AVX-NEXT: vmovups (%rdi), %ymm0
109 ; AVX-NEXT: retq
110 %1 = load <4 x double>, <4 x double>* %src, align 1, !nontemporal !1
111 ret <4 x double> %1
112 }
114 define <8 x float> @test_v8f32_align1(<8 x float>* %src) nounwind {
115 ; SSE-LABEL: test_v8f32_align1:
116 ; SSE: # %bb.0:
117 ; SSE-NEXT: movups (%rdi), %xmm0
118 ; SSE-NEXT: movups 16(%rdi), %xmm1
119 ; SSE-NEXT: retq
120 ;
121 ; AVX-LABEL: test_v8f32_align1:
122 ; AVX: # %bb.0:
123 ; AVX-NEXT: vmovups (%rdi), %ymm0
124 ; AVX-NEXT: retq
125 %1 = load <8 x float>, <8 x float>* %src, align 1, !nontemporal !1
126 ret <8 x float> %1
127 }
129 define <4 x i64> @test_v4i64_align1(<4 x i64>* %src) nounwind {
130 ; SSE-LABEL: test_v4i64_align1:
131 ; SSE: # %bb.0:
132 ; SSE-NEXT: movups (%rdi), %xmm0
133 ; SSE-NEXT: movups 16(%rdi), %xmm1
134 ; SSE-NEXT: retq
135 ;
136 ; AVX-LABEL: test_v4i64_align1:
137 ; AVX: # %bb.0:
138 ; AVX-NEXT: vmovups (%rdi), %ymm0
139 ; AVX-NEXT: retq
140 %1 = load <4 x i64>, <4 x i64>* %src, align 1, !nontemporal !1
141 ret <4 x i64> %1
142 }
144 define <8 x i32> @test_v8i32_align1(<8 x i32>* %src) nounwind {
145 ; SSE-LABEL: test_v8i32_align1:
146 ; SSE: # %bb.0:
147 ; SSE-NEXT: movups (%rdi), %xmm0
148 ; SSE-NEXT: movups 16(%rdi), %xmm1
149 ; SSE-NEXT: retq
150 ;
151 ; AVX-LABEL: test_v8i32_align1:
152 ; AVX: # %bb.0:
153 ; AVX-NEXT: vmovups (%rdi), %ymm0
154 ; AVX-NEXT: retq
155 %1 = load <8 x i32>, <8 x i32>* %src, align 1, !nontemporal !1
156 ret <8 x i32> %1
157 }
159 define <16 x i16> @test_v16i16_align1(<16 x i16>* %src) nounwind {
160 ; SSE-LABEL: test_v16i16_align1:
161 ; SSE: # %bb.0:
162 ; SSE-NEXT: movups (%rdi), %xmm0
163 ; SSE-NEXT: movups 16(%rdi), %xmm1
164 ; SSE-NEXT: retq
165 ;
166 ; AVX-LABEL: test_v16i16_align1:
167 ; AVX: # %bb.0:
168 ; AVX-NEXT: vmovups (%rdi), %ymm0
169 ; AVX-NEXT: retq
170 %1 = load <16 x i16>, <16 x i16>* %src, align 1, !nontemporal !1
171 ret <16 x i16> %1
172 }
174 define <32 x i8> @test_v32i8_align1(<32 x i8>* %src) nounwind {
175 ; SSE-LABEL: test_v32i8_align1:
176 ; SSE: # %bb.0:
177 ; SSE-NEXT: movups (%rdi), %xmm0
178 ; SSE-NEXT: movups 16(%rdi), %xmm1
179 ; SSE-NEXT: retq
180 ;
181 ; AVX-LABEL: test_v32i8_align1:
182 ; AVX: # %bb.0:
183 ; AVX-NEXT: vmovups (%rdi), %ymm0
184 ; AVX-NEXT: retq
185 %1 = load <32 x i8>, <32 x i8>* %src, align 1, !nontemporal !1
186 ret <32 x i8> %1
187 }
189 define <4 x double> @test_v4f64_align16(<4 x double>* %src) nounwind {
190 ; SSE2-LABEL: test_v4f64_align16:
191 ; SSE2: # %bb.0:
192 ; SSE2-NEXT: movaps (%rdi), %xmm0
193 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
194 ; SSE2-NEXT: retq
195 ;
196 ; SSE41-LABEL: test_v4f64_align16:
197 ; SSE41: # %bb.0:
198 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
199 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
200 ; SSE41-NEXT: retq
201 ;
202 ; AVX-LABEL: test_v4f64_align16:
203 ; AVX: # %bb.0:
204 ; AVX-NEXT: pushq %rbp
205 ; AVX-NEXT: movq %rsp, %rbp
206 ; AVX-NEXT: andq $-32, %rsp
207 ; AVX-NEXT: subq $64, %rsp
208 ; AVX-NEXT: vmovntdqa 16(%rdi), %xmm0
209 ; AVX-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
210 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0
211 ; AVX-NEXT: vmovdqa %xmm0, (%rsp)
212 ; AVX-NEXT: vmovaps (%rsp), %ymm0
213 ; AVX-NEXT: movq %rbp, %rsp
214 ; AVX-NEXT: popq %rbp
215 ; AVX-NEXT: retq
216 %1 = load <4 x double>, <4 x double>* %src, align 16, !nontemporal !1
217 ret <4 x double> %1
218 }
220 define <8 x float> @test_v8f32_align16(<8 x float>* %src) nounwind {
221 ; SSE2-LABEL: test_v8f32_align16:
222 ; SSE2: # %bb.0:
223 ; SSE2-NEXT: movaps (%rdi), %xmm0
224 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
225 ; SSE2-NEXT: retq
226 ;
227 ; SSE41-LABEL: test_v8f32_align16:
228 ; SSE41: # %bb.0:
229 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
230 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
231 ; SSE41-NEXT: retq
232 ;
233 ; AVX-LABEL: test_v8f32_align16:
234 ; AVX: # %bb.0:
235 ; AVX-NEXT: pushq %rbp
236 ; AVX-NEXT: movq %rsp, %rbp
237 ; AVX-NEXT: andq $-32, %rsp
238 ; AVX-NEXT: subq $64, %rsp
239 ; AVX-NEXT: vmovntdqa 16(%rdi), %xmm0
240 ; AVX-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
241 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0
242 ; AVX-NEXT: vmovdqa %xmm0, (%rsp)
243 ; AVX-NEXT: vmovaps (%rsp), %ymm0
244 ; AVX-NEXT: movq %rbp, %rsp
245 ; AVX-NEXT: popq %rbp
246 ; AVX-NEXT: retq
247 %1 = load <8 x float>, <8 x float>* %src, align 16, !nontemporal !1
248 ret <8 x float> %1
249 }
251 define <4 x i64> @test_v4i64_align16(<4 x i64>* %src) nounwind {
252 ; SSE2-LABEL: test_v4i64_align16:
253 ; SSE2: # %bb.0:
254 ; SSE2-NEXT: movaps (%rdi), %xmm0
255 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
256 ; SSE2-NEXT: retq
257 ;
258 ; SSE41-LABEL: test_v4i64_align16:
259 ; SSE41: # %bb.0:
260 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
261 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
262 ; SSE41-NEXT: retq
263 ;
264 ; AVX-LABEL: test_v4i64_align16:
265 ; AVX: # %bb.0:
266 ; AVX-NEXT: pushq %rbp
267 ; AVX-NEXT: movq %rsp, %rbp
268 ; AVX-NEXT: andq $-32, %rsp
269 ; AVX-NEXT: subq $64, %rsp
270 ; AVX-NEXT: vmovntdqa 16(%rdi), %xmm0
271 ; AVX-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
272 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0
273 ; AVX-NEXT: vmovdqa %xmm0, (%rsp)
274 ; AVX-NEXT: vmovaps (%rsp), %ymm0
275 ; AVX-NEXT: movq %rbp, %rsp
276 ; AVX-NEXT: popq %rbp
277 ; AVX-NEXT: retq
278 %1 = load <4 x i64>, <4 x i64>* %src, align 16, !nontemporal !1
279 ret <4 x i64> %1
280 }
282 define <8 x i32> @test_v8i32_align16(<8 x i32>* %src) nounwind {
283 ; SSE2-LABEL: test_v8i32_align16:
284 ; SSE2: # %bb.0:
285 ; SSE2-NEXT: movaps (%rdi), %xmm0
286 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
287 ; SSE2-NEXT: retq
288 ;
289 ; SSE41-LABEL: test_v8i32_align16:
290 ; SSE41: # %bb.0:
291 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
292 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
293 ; SSE41-NEXT: retq
294 ;
295 ; AVX-LABEL: test_v8i32_align16:
296 ; AVX: # %bb.0:
297 ; AVX-NEXT: pushq %rbp
298 ; AVX-NEXT: movq %rsp, %rbp
299 ; AVX-NEXT: andq $-32, %rsp
300 ; AVX-NEXT: subq $64, %rsp
301 ; AVX-NEXT: vmovntdqa 16(%rdi), %xmm0
302 ; AVX-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
303 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0
304 ; AVX-NEXT: vmovdqa %xmm0, (%rsp)
305 ; AVX-NEXT: vmovaps (%rsp), %ymm0
306 ; AVX-NEXT: movq %rbp, %rsp
307 ; AVX-NEXT: popq %rbp
308 ; AVX-NEXT: retq
309 %1 = load <8 x i32>, <8 x i32>* %src, align 16, !nontemporal !1
310 ret <8 x i32> %1
311 }
313 define <16 x i16> @test_v16i16_align16(<16 x i16>* %src) nounwind {
314 ; SSE2-LABEL: test_v16i16_align16:
315 ; SSE2: # %bb.0:
316 ; SSE2-NEXT: movaps (%rdi), %xmm0
317 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
318 ; SSE2-NEXT: retq
319 ;
320 ; SSE41-LABEL: test_v16i16_align16:
321 ; SSE41: # %bb.0:
322 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
323 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
324 ; SSE41-NEXT: retq
325 ;
326 ; AVX-LABEL: test_v16i16_align16:
327 ; AVX: # %bb.0:
328 ; AVX-NEXT: pushq %rbp
329 ; AVX-NEXT: movq %rsp, %rbp
330 ; AVX-NEXT: andq $-32, %rsp
331 ; AVX-NEXT: subq $64, %rsp
332 ; AVX-NEXT: vmovntdqa 16(%rdi), %xmm0
333 ; AVX-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
334 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0
335 ; AVX-NEXT: vmovdqa %xmm0, (%rsp)
336 ; AVX-NEXT: vmovaps (%rsp), %ymm0
337 ; AVX-NEXT: movq %rbp, %rsp
338 ; AVX-NEXT: popq %rbp
339 ; AVX-NEXT: retq
340 %1 = load <16 x i16>, <16 x i16>* %src, align 16, !nontemporal !1
341 ret <16 x i16> %1
342 }
344 define <32 x i8> @test_v32i8_align16(<32 x i8>* %src) nounwind {
345 ; SSE2-LABEL: test_v32i8_align16:
346 ; SSE2: # %bb.0:
347 ; SSE2-NEXT: movaps (%rdi), %xmm0
348 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
349 ; SSE2-NEXT: retq
350 ;
351 ; SSE41-LABEL: test_v32i8_align16:
352 ; SSE41: # %bb.0:
353 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
354 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
355 ; SSE41-NEXT: retq
356 ;
357 ; AVX-LABEL: test_v32i8_align16:
358 ; AVX: # %bb.0:
359 ; AVX-NEXT: pushq %rbp
360 ; AVX-NEXT: movq %rsp, %rbp
361 ; AVX-NEXT: andq $-32, %rsp
362 ; AVX-NEXT: subq $64, %rsp
363 ; AVX-NEXT: vmovntdqa 16(%rdi), %xmm0
364 ; AVX-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
365 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0
366 ; AVX-NEXT: vmovdqa %xmm0, (%rsp)
367 ; AVX-NEXT: vmovaps (%rsp), %ymm0
368 ; AVX-NEXT: movq %rbp, %rsp
369 ; AVX-NEXT: popq %rbp
370 ; AVX-NEXT: retq
371 %1 = load <32 x i8>, <32 x i8>* %src, align 16, !nontemporal !1
372 ret <32 x i8> %1
373 }
375 ; ZMM versions.
377 define <8 x double> @test_v8f64_align1(<8 x double>* %src) nounwind {
378 ; SSE-LABEL: test_v8f64_align1:
379 ; SSE: # %bb.0:
380 ; SSE-NEXT: movups (%rdi), %xmm0
381 ; SSE-NEXT: movups 16(%rdi), %xmm1
382 ; SSE-NEXT: movups 32(%rdi), %xmm2
383 ; SSE-NEXT: movups 48(%rdi), %xmm3
384 ; SSE-NEXT: retq
385 ;
386 ; AVX1-LABEL: test_v8f64_align1:
387 ; AVX1: # %bb.0:
388 ; AVX1-NEXT: vmovups (%rdi), %ymm0
389 ; AVX1-NEXT: vmovups 32(%rdi), %ymm1
390 ; AVX1-NEXT: retq
391 ;
392 ; AVX2-LABEL: test_v8f64_align1:
393 ; AVX2: # %bb.0:
394 ; AVX2-NEXT: vmovups (%rdi), %ymm0
395 ; AVX2-NEXT: vmovups 32(%rdi), %ymm1
396 ; AVX2-NEXT: retq
397 ;
398 ; AVX512-LABEL: test_v8f64_align1:
399 ; AVX512: # %bb.0:
400 ; AVX512-NEXT: vmovups (%rdi), %zmm0
401 ; AVX512-NEXT: retq
402 %1 = load <8 x double>, <8 x double>* %src, align 1, !nontemporal !1
403 ret <8 x double> %1
404 }
406 define <16 x float> @test_v16f32_align1(<16 x float>* %src) nounwind {
407 ; SSE-LABEL: test_v16f32_align1:
408 ; SSE: # %bb.0:
409 ; SSE-NEXT: movups (%rdi), %xmm0
410 ; SSE-NEXT: movups 16(%rdi), %xmm1
411 ; SSE-NEXT: movups 32(%rdi), %xmm2
412 ; SSE-NEXT: movups 48(%rdi), %xmm3
413 ; SSE-NEXT: retq
414 ;
415 ; AVX1-LABEL: test_v16f32_align1:
416 ; AVX1: # %bb.0:
417 ; AVX1-NEXT: vmovups (%rdi), %ymm0
418 ; AVX1-NEXT: vmovups 32(%rdi), %ymm1
419 ; AVX1-NEXT: retq
420 ;
421 ; AVX2-LABEL: test_v16f32_align1:
422 ; AVX2: # %bb.0:
423 ; AVX2-NEXT: vmovups (%rdi), %ymm0
424 ; AVX2-NEXT: vmovups 32(%rdi), %ymm1
425 ; AVX2-NEXT: retq
426 ;
427 ; AVX512-LABEL: test_v16f32_align1:
428 ; AVX512: # %bb.0:
429 ; AVX512-NEXT: vmovups (%rdi), %zmm0
430 ; AVX512-NEXT: retq
431 %1 = load <16 x float>, <16 x float>* %src, align 1, !nontemporal !1
432 ret <16 x float> %1
433 }
435 define <8 x i64> @test_v8i64_align1(<8 x i64>* %src) nounwind {
436 ; SSE-LABEL: test_v8i64_align1:
437 ; SSE: # %bb.0:
438 ; SSE-NEXT: movups (%rdi), %xmm0
439 ; SSE-NEXT: movups 16(%rdi), %xmm1
440 ; SSE-NEXT: movups 32(%rdi), %xmm2
441 ; SSE-NEXT: movups 48(%rdi), %xmm3
442 ; SSE-NEXT: retq
443 ;
444 ; AVX1-LABEL: test_v8i64_align1:
445 ; AVX1: # %bb.0:
446 ; AVX1-NEXT: vmovups (%rdi), %ymm0
447 ; AVX1-NEXT: vmovups 32(%rdi), %ymm1
448 ; AVX1-NEXT: retq
449 ;
450 ; AVX2-LABEL: test_v8i64_align1:
451 ; AVX2: # %bb.0:
452 ; AVX2-NEXT: vmovups (%rdi), %ymm0
453 ; AVX2-NEXT: vmovups 32(%rdi), %ymm1
454 ; AVX2-NEXT: retq
455 ;
456 ; AVX512-LABEL: test_v8i64_align1:
457 ; AVX512: # %bb.0:
458 ; AVX512-NEXT: vmovups (%rdi), %zmm0
459 ; AVX512-NEXT: retq
460 %1 = load <8 x i64>, <8 x i64>* %src, align 1, !nontemporal !1
461 ret <8 x i64> %1
462 }
464 define <16 x i32> @test_v16i32_align1(<16 x i32>* %src) nounwind {
465 ; SSE-LABEL: test_v16i32_align1:
466 ; SSE: # %bb.0:
467 ; SSE-NEXT: movups (%rdi), %xmm0
468 ; SSE-NEXT: movups 16(%rdi), %xmm1
469 ; SSE-NEXT: movups 32(%rdi), %xmm2
470 ; SSE-NEXT: movups 48(%rdi), %xmm3
471 ; SSE-NEXT: retq
472 ;
473 ; AVX1-LABEL: test_v16i32_align1:
474 ; AVX1: # %bb.0:
475 ; AVX1-NEXT: vmovups (%rdi), %ymm0
476 ; AVX1-NEXT: vmovups 32(%rdi), %ymm1
477 ; AVX1-NEXT: retq
478 ;
479 ; AVX2-LABEL: test_v16i32_align1:
480 ; AVX2: # %bb.0:
481 ; AVX2-NEXT: vmovups (%rdi), %ymm0
482 ; AVX2-NEXT: vmovups 32(%rdi), %ymm1
483 ; AVX2-NEXT: retq
484 ;
485 ; AVX512-LABEL: test_v16i32_align1:
486 ; AVX512: # %bb.0:
487 ; AVX512-NEXT: vmovups (%rdi), %zmm0
488 ; AVX512-NEXT: retq
489 %1 = load <16 x i32>, <16 x i32>* %src, align 1, !nontemporal !1
490 ret <16 x i32> %1
491 }
493 define <32 x i16> @test_v32i16_align1(<32 x i16>* %src) nounwind {
494 ; SSE-LABEL: test_v32i16_align1:
495 ; SSE: # %bb.0:
496 ; SSE-NEXT: movups (%rdi), %xmm0
497 ; SSE-NEXT: movups 16(%rdi), %xmm1
498 ; SSE-NEXT: movups 32(%rdi), %xmm2
499 ; SSE-NEXT: movups 48(%rdi), %xmm3
500 ; SSE-NEXT: retq
501 ;
502 ; AVX1-LABEL: test_v32i16_align1:
503 ; AVX1: # %bb.0:
504 ; AVX1-NEXT: vmovups (%rdi), %ymm0
505 ; AVX1-NEXT: vmovups 32(%rdi), %ymm1
506 ; AVX1-NEXT: retq
507 ;
508 ; AVX2-LABEL: test_v32i16_align1:
509 ; AVX2: # %bb.0:
510 ; AVX2-NEXT: vmovups (%rdi), %ymm0
511 ; AVX2-NEXT: vmovups 32(%rdi), %ymm1
512 ; AVX2-NEXT: retq
513 ;
514 ; AVX512DQ-LABEL: test_v32i16_align1:
515 ; AVX512DQ: # %bb.0:
516 ; AVX512DQ-NEXT: vmovups (%rdi), %ymm0
517 ; AVX512DQ-NEXT: vmovups 32(%rdi), %ymm1
518 ; AVX512DQ-NEXT: retq
519 ;
520 ; AVX512BW-LABEL: test_v32i16_align1:
521 ; AVX512BW: # %bb.0:
522 ; AVX512BW-NEXT: vmovups (%rdi), %zmm0
523 ; AVX512BW-NEXT: retq
524 %1 = load <32 x i16>, <32 x i16>* %src, align 1, !nontemporal !1
525 ret <32 x i16> %1
526 }
528 define <64 x i8> @test_v64i8_align1(<64 x i8>* %src) nounwind {
529 ; SSE-LABEL: test_v64i8_align1:
530 ; SSE: # %bb.0:
531 ; SSE-NEXT: movups (%rdi), %xmm0
532 ; SSE-NEXT: movups 16(%rdi), %xmm1
533 ; SSE-NEXT: movups 32(%rdi), %xmm2
534 ; SSE-NEXT: movups 48(%rdi), %xmm3
535 ; SSE-NEXT: retq
536 ;
537 ; AVX1-LABEL: test_v64i8_align1:
538 ; AVX1: # %bb.0:
539 ; AVX1-NEXT: vmovups (%rdi), %ymm0
540 ; AVX1-NEXT: vmovups 32(%rdi), %ymm1
541 ; AVX1-NEXT: retq
542 ;
543 ; AVX2-LABEL: test_v64i8_align1:
544 ; AVX2: # %bb.0:
545 ; AVX2-NEXT: vmovups (%rdi), %ymm0
546 ; AVX2-NEXT: vmovups 32(%rdi), %ymm1
547 ; AVX2-NEXT: retq
548 ;
549 ; AVX512DQ-LABEL: test_v64i8_align1:
550 ; AVX512DQ: # %bb.0:
551 ; AVX512DQ-NEXT: vmovups (%rdi), %ymm0
552 ; AVX512DQ-NEXT: vmovups 32(%rdi), %ymm1
553 ; AVX512DQ-NEXT: retq
554 ;
555 ; AVX512BW-LABEL: test_v64i8_align1:
556 ; AVX512BW: # %bb.0:
557 ; AVX512BW-NEXT: vmovups (%rdi), %zmm0
558 ; AVX512BW-NEXT: retq
559 %1 = load <64 x i8>, <64 x i8>* %src, align 1, !nontemporal !1
560 ret <64 x i8> %1
561 }
563 define <8 x double> @test_v8f64_align16(<8 x double>* %src) nounwind {
564 ; SSE2-LABEL: test_v8f64_align16:
565 ; SSE2: # %bb.0:
566 ; SSE2-NEXT: movaps (%rdi), %xmm0
567 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
568 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
569 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
570 ; SSE2-NEXT: retq
571 ;
572 ; SSE41-LABEL: test_v8f64_align16:
573 ; SSE41: # %bb.0:
574 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
575 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
576 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
577 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
578 ; SSE41-NEXT: retq
579 ;
580 ; AVX1-LABEL: test_v8f64_align16:
581 ; AVX1: # %bb.0:
582 ; AVX1-NEXT: pushq %rbp
583 ; AVX1-NEXT: movq %rsp, %rbp
584 ; AVX1-NEXT: andq $-32, %rsp
585 ; AVX1-NEXT: subq $96, %rsp
586 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0
587 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
588 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
589 ; AVX1-NEXT: vmovdqa %xmm0, (%rsp)
590 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm0
591 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
592 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm0
593 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
594 ; AVX1-NEXT: vmovaps (%rsp), %ymm0
595 ; AVX1-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
596 ; AVX1-NEXT: movq %rbp, %rsp
597 ; AVX1-NEXT: popq %rbp
598 ; AVX1-NEXT: retq
599 ;
600 ; AVX2-LABEL: test_v8f64_align16:
601 ; AVX2: # %bb.0:
602 ; AVX2-NEXT: pushq %rbp
603 ; AVX2-NEXT: movq %rsp, %rbp
604 ; AVX2-NEXT: andq $-32, %rsp
605 ; AVX2-NEXT: subq $96, %rsp
606 ; AVX2-NEXT: vmovntdqa 16(%rdi), %xmm0
607 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
608 ; AVX2-NEXT: vmovntdqa (%rdi), %xmm0
609 ; AVX2-NEXT: vmovdqa %xmm0, (%rsp)
610 ; AVX2-NEXT: vmovntdqa 48(%rdi), %xmm0
611 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
612 ; AVX2-NEXT: vmovntdqa 32(%rdi), %xmm0
613 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
614 ; AVX2-NEXT: vmovaps (%rsp), %ymm0
615 ; AVX2-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
616 ; AVX2-NEXT: movq %rbp, %rsp
617 ; AVX2-NEXT: popq %rbp
618 ; AVX2-NEXT: retq
619 ;
620 ; AVX512-LABEL: test_v8f64_align16:
621 ; AVX512: # %bb.0:
622 ; AVX512-NEXT: pushq %rbp
623 ; AVX512-NEXT: movq %rsp, %rbp
624 ; AVX512-NEXT: andq $-64, %rsp
625 ; AVX512-NEXT: subq $128, %rsp
626 ; AVX512-NEXT: vmovntdqa 48(%rdi), %xmm0
627 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
628 ; AVX512-NEXT: vmovntdqa 32(%rdi), %xmm0
629 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
630 ; AVX512-NEXT: vmovntdqa 16(%rdi), %xmm0
631 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
632 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0
633 ; AVX512-NEXT: vmovdqa %xmm0, (%rsp)
634 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
635 ; AVX512-NEXT: movq %rbp, %rsp
636 ; AVX512-NEXT: popq %rbp
637 ; AVX512-NEXT: retq
638 %1 = load <8 x double>, <8 x double>* %src, align 16, !nontemporal !1
639 ret <8 x double> %1
640 }
642 define <16 x float> @test_v16f32_align16(<16 x float>* %src) nounwind {
643 ; SSE2-LABEL: test_v16f32_align16:
644 ; SSE2: # %bb.0:
645 ; SSE2-NEXT: movaps (%rdi), %xmm0
646 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
647 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
648 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
649 ; SSE2-NEXT: retq
650 ;
651 ; SSE41-LABEL: test_v16f32_align16:
652 ; SSE41: # %bb.0:
653 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
654 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
655 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
656 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
657 ; SSE41-NEXT: retq
658 ;
659 ; AVX1-LABEL: test_v16f32_align16:
660 ; AVX1: # %bb.0:
661 ; AVX1-NEXT: pushq %rbp
662 ; AVX1-NEXT: movq %rsp, %rbp
663 ; AVX1-NEXT: andq $-32, %rsp
664 ; AVX1-NEXT: subq $96, %rsp
665 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0
666 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
667 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
668 ; AVX1-NEXT: vmovdqa %xmm0, (%rsp)
669 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm0
670 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
671 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm0
672 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
673 ; AVX1-NEXT: vmovaps (%rsp), %ymm0
674 ; AVX1-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
675 ; AVX1-NEXT: movq %rbp, %rsp
676 ; AVX1-NEXT: popq %rbp
677 ; AVX1-NEXT: retq
678 ;
679 ; AVX2-LABEL: test_v16f32_align16:
680 ; AVX2: # %bb.0:
681 ; AVX2-NEXT: pushq %rbp
682 ; AVX2-NEXT: movq %rsp, %rbp
683 ; AVX2-NEXT: andq $-32, %rsp
684 ; AVX2-NEXT: subq $96, %rsp
685 ; AVX2-NEXT: vmovntdqa 16(%rdi), %xmm0
686 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
687 ; AVX2-NEXT: vmovntdqa (%rdi), %xmm0
688 ; AVX2-NEXT: vmovdqa %xmm0, (%rsp)
689 ; AVX2-NEXT: vmovntdqa 48(%rdi), %xmm0
690 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
691 ; AVX2-NEXT: vmovntdqa 32(%rdi), %xmm0
692 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
693 ; AVX2-NEXT: vmovaps (%rsp), %ymm0
694 ; AVX2-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
695 ; AVX2-NEXT: movq %rbp, %rsp
696 ; AVX2-NEXT: popq %rbp
697 ; AVX2-NEXT: retq
698 ;
699 ; AVX512-LABEL: test_v16f32_align16:
700 ; AVX512: # %bb.0:
701 ; AVX512-NEXT: pushq %rbp
702 ; AVX512-NEXT: movq %rsp, %rbp
703 ; AVX512-NEXT: andq $-64, %rsp
704 ; AVX512-NEXT: subq $128, %rsp
705 ; AVX512-NEXT: vmovntdqa 48(%rdi), %xmm0
706 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
707 ; AVX512-NEXT: vmovntdqa 32(%rdi), %xmm0
708 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
709 ; AVX512-NEXT: vmovntdqa 16(%rdi), %xmm0
710 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
711 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0
712 ; AVX512-NEXT: vmovdqa %xmm0, (%rsp)
713 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
714 ; AVX512-NEXT: movq %rbp, %rsp
715 ; AVX512-NEXT: popq %rbp
716 ; AVX512-NEXT: retq
717 %1 = load <16 x float>, <16 x float>* %src, align 16, !nontemporal !1
718 ret <16 x float> %1
719 }
721 define <8 x i64> @test_v8i64_align16(<8 x i64>* %src) nounwind {
722 ; SSE2-LABEL: test_v8i64_align16:
723 ; SSE2: # %bb.0:
724 ; SSE2-NEXT: movaps (%rdi), %xmm0
725 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
726 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
727 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
728 ; SSE2-NEXT: retq
729 ;
730 ; SSE41-LABEL: test_v8i64_align16:
731 ; SSE41: # %bb.0:
732 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
733 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
734 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
735 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
736 ; SSE41-NEXT: retq
737 ;
738 ; AVX1-LABEL: test_v8i64_align16:
739 ; AVX1: # %bb.0:
740 ; AVX1-NEXT: pushq %rbp
741 ; AVX1-NEXT: movq %rsp, %rbp
742 ; AVX1-NEXT: andq $-32, %rsp
743 ; AVX1-NEXT: subq $96, %rsp
744 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0
745 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
746 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
747 ; AVX1-NEXT: vmovdqa %xmm0, (%rsp)
748 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm0
749 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
750 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm0
751 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
752 ; AVX1-NEXT: vmovaps (%rsp), %ymm0
753 ; AVX1-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
754 ; AVX1-NEXT: movq %rbp, %rsp
755 ; AVX1-NEXT: popq %rbp
756 ; AVX1-NEXT: retq
757 ;
758 ; AVX2-LABEL: test_v8i64_align16:
759 ; AVX2: # %bb.0:
760 ; AVX2-NEXT: pushq %rbp
761 ; AVX2-NEXT: movq %rsp, %rbp
762 ; AVX2-NEXT: andq $-32, %rsp
763 ; AVX2-NEXT: subq $96, %rsp
764 ; AVX2-NEXT: vmovntdqa 16(%rdi), %xmm0
765 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
766 ; AVX2-NEXT: vmovntdqa (%rdi), %xmm0
767 ; AVX2-NEXT: vmovdqa %xmm0, (%rsp)
768 ; AVX2-NEXT: vmovntdqa 48(%rdi), %xmm0
769 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
770 ; AVX2-NEXT: vmovntdqa 32(%rdi), %xmm0
771 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
772 ; AVX2-NEXT: vmovaps (%rsp), %ymm0
773 ; AVX2-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
774 ; AVX2-NEXT: movq %rbp, %rsp
775 ; AVX2-NEXT: popq %rbp
776 ; AVX2-NEXT: retq
777 ;
778 ; AVX512-LABEL: test_v8i64_align16:
779 ; AVX512: # %bb.0:
780 ; AVX512-NEXT: pushq %rbp
781 ; AVX512-NEXT: movq %rsp, %rbp
782 ; AVX512-NEXT: andq $-64, %rsp
783 ; AVX512-NEXT: subq $128, %rsp
784 ; AVX512-NEXT: vmovntdqa 48(%rdi), %xmm0
785 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
786 ; AVX512-NEXT: vmovntdqa 32(%rdi), %xmm0
787 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
788 ; AVX512-NEXT: vmovntdqa 16(%rdi), %xmm0
789 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
790 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0
791 ; AVX512-NEXT: vmovdqa %xmm0, (%rsp)
792 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
793 ; AVX512-NEXT: movq %rbp, %rsp
794 ; AVX512-NEXT: popq %rbp
795 ; AVX512-NEXT: retq
796 %1 = load <8 x i64>, <8 x i64>* %src, align 16, !nontemporal !1
797 ret <8 x i64> %1
798 }
800 define <16 x i32> @test_v16i32_align16(<16 x i32>* %src) nounwind {
801 ; SSE2-LABEL: test_v16i32_align16:
802 ; SSE2: # %bb.0:
803 ; SSE2-NEXT: movaps (%rdi), %xmm0
804 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
805 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
806 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
807 ; SSE2-NEXT: retq
808 ;
809 ; SSE41-LABEL: test_v16i32_align16:
810 ; SSE41: # %bb.0:
811 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
812 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
813 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
814 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
815 ; SSE41-NEXT: retq
816 ;
817 ; AVX1-LABEL: test_v16i32_align16:
818 ; AVX1: # %bb.0:
819 ; AVX1-NEXT: pushq %rbp
820 ; AVX1-NEXT: movq %rsp, %rbp
821 ; AVX1-NEXT: andq $-32, %rsp
822 ; AVX1-NEXT: subq $96, %rsp
823 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0
824 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
825 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
826 ; AVX1-NEXT: vmovdqa %xmm0, (%rsp)
827 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm0
828 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
829 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm0
830 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
831 ; AVX1-NEXT: vmovaps (%rsp), %ymm0
832 ; AVX1-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
833 ; AVX1-NEXT: movq %rbp, %rsp
834 ; AVX1-NEXT: popq %rbp
835 ; AVX1-NEXT: retq
836 ;
837 ; AVX2-LABEL: test_v16i32_align16:
838 ; AVX2: # %bb.0:
839 ; AVX2-NEXT: pushq %rbp
840 ; AVX2-NEXT: movq %rsp, %rbp
841 ; AVX2-NEXT: andq $-32, %rsp
842 ; AVX2-NEXT: subq $96, %rsp
843 ; AVX2-NEXT: vmovntdqa 16(%rdi), %xmm0
844 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
845 ; AVX2-NEXT: vmovntdqa (%rdi), %xmm0
846 ; AVX2-NEXT: vmovdqa %xmm0, (%rsp)
847 ; AVX2-NEXT: vmovntdqa 48(%rdi), %xmm0
848 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
849 ; AVX2-NEXT: vmovntdqa 32(%rdi), %xmm0
850 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
851 ; AVX2-NEXT: vmovaps (%rsp), %ymm0
852 ; AVX2-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
853 ; AVX2-NEXT: movq %rbp, %rsp
854 ; AVX2-NEXT: popq %rbp
855 ; AVX2-NEXT: retq
856 ;
857 ; AVX512-LABEL: test_v16i32_align16:
858 ; AVX512: # %bb.0:
859 ; AVX512-NEXT: pushq %rbp
860 ; AVX512-NEXT: movq %rsp, %rbp
861 ; AVX512-NEXT: andq $-64, %rsp
862 ; AVX512-NEXT: subq $128, %rsp
863 ; AVX512-NEXT: vmovntdqa 48(%rdi), %xmm0
864 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
865 ; AVX512-NEXT: vmovntdqa 32(%rdi), %xmm0
866 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
867 ; AVX512-NEXT: vmovntdqa 16(%rdi), %xmm0
868 ; AVX512-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
869 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0
870 ; AVX512-NEXT: vmovdqa %xmm0, (%rsp)
871 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
872 ; AVX512-NEXT: movq %rbp, %rsp
873 ; AVX512-NEXT: popq %rbp
874 ; AVX512-NEXT: retq
875 %1 = load <16 x i32>, <16 x i32>* %src, align 16, !nontemporal !1
876 ret <16 x i32> %1
877 }
879 define <32 x i16> @test_v32i16_align16(<32 x i16>* %src) nounwind {
880 ; SSE2-LABEL: test_v32i16_align16:
881 ; SSE2: # %bb.0:
882 ; SSE2-NEXT: movaps (%rdi), %xmm0
883 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
884 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
885 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
886 ; SSE2-NEXT: retq
887 ;
888 ; SSE41-LABEL: test_v32i16_align16:
889 ; SSE41: # %bb.0:
890 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
891 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
892 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
893 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
894 ; SSE41-NEXT: retq
895 ;
896 ; AVX1-LABEL: test_v32i16_align16:
897 ; AVX1: # %bb.0:
898 ; AVX1-NEXT: pushq %rbp
899 ; AVX1-NEXT: movq %rsp, %rbp
900 ; AVX1-NEXT: andq $-32, %rsp
901 ; AVX1-NEXT: subq $96, %rsp
902 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0
903 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
904 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
905 ; AVX1-NEXT: vmovdqa %xmm0, (%rsp)
906 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm0
907 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
908 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm0
909 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
910 ; AVX1-NEXT: vmovaps (%rsp), %ymm0
911 ; AVX1-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
912 ; AVX1-NEXT: movq %rbp, %rsp
913 ; AVX1-NEXT: popq %rbp
914 ; AVX1-NEXT: retq
915 ;
916 ; AVX2-LABEL: test_v32i16_align16:
917 ; AVX2: # %bb.0:
918 ; AVX2-NEXT: pushq %rbp
919 ; AVX2-NEXT: movq %rsp, %rbp
920 ; AVX2-NEXT: andq $-32, %rsp
921 ; AVX2-NEXT: subq $96, %rsp
922 ; AVX2-NEXT: vmovntdqa 16(%rdi), %xmm0
923 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
924 ; AVX2-NEXT: vmovntdqa (%rdi), %xmm0
925 ; AVX2-NEXT: vmovdqa %xmm0, (%rsp)
926 ; AVX2-NEXT: vmovntdqa 48(%rdi), %xmm0
927 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
928 ; AVX2-NEXT: vmovntdqa 32(%rdi), %xmm0
929 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
930 ; AVX2-NEXT: vmovaps (%rsp), %ymm0
931 ; AVX2-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
932 ; AVX2-NEXT: movq %rbp, %rsp
933 ; AVX2-NEXT: popq %rbp
934 ; AVX2-NEXT: retq
935 ;
936 ; AVX512DQ-LABEL: test_v32i16_align16:
937 ; AVX512DQ: # %bb.0:
938 ; AVX512DQ-NEXT: pushq %rbp
939 ; AVX512DQ-NEXT: movq %rsp, %rbp
940 ; AVX512DQ-NEXT: andq $-32, %rsp
941 ; AVX512DQ-NEXT: subq $96, %rsp
942 ; AVX512DQ-NEXT: vmovntdqa 16(%rdi), %xmm0
943 ; AVX512DQ-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
944 ; AVX512DQ-NEXT: vmovntdqa (%rdi), %xmm0
945 ; AVX512DQ-NEXT: vmovdqa %xmm0, (%rsp)
946 ; AVX512DQ-NEXT: vmovntdqa 48(%rdi), %xmm0
947 ; AVX512DQ-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
948 ; AVX512DQ-NEXT: vmovntdqa 32(%rdi), %xmm0
949 ; AVX512DQ-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
950 ; AVX512DQ-NEXT: vmovaps (%rsp), %ymm0
951 ; AVX512DQ-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
952 ; AVX512DQ-NEXT: movq %rbp, %rsp
953 ; AVX512DQ-NEXT: popq %rbp
954 ; AVX512DQ-NEXT: retq
955 ;
956 ; AVX512BW-LABEL: test_v32i16_align16:
957 ; AVX512BW: # %bb.0:
958 ; AVX512BW-NEXT: pushq %rbp
959 ; AVX512BW-NEXT: movq %rsp, %rbp
960 ; AVX512BW-NEXT: andq $-64, %rsp
961 ; AVX512BW-NEXT: subq $128, %rsp
962 ; AVX512BW-NEXT: vmovntdqa 48(%rdi), %xmm0
963 ; AVX512BW-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
964 ; AVX512BW-NEXT: vmovntdqa 32(%rdi), %xmm0
965 ; AVX512BW-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
966 ; AVX512BW-NEXT: vmovntdqa 16(%rdi), %xmm0
967 ; AVX512BW-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
968 ; AVX512BW-NEXT: vmovntdqa (%rdi), %xmm0
969 ; AVX512BW-NEXT: vmovdqa %xmm0, (%rsp)
970 ; AVX512BW-NEXT: vmovaps (%rsp), %zmm0
971 ; AVX512BW-NEXT: movq %rbp, %rsp
972 ; AVX512BW-NEXT: popq %rbp
973 ; AVX512BW-NEXT: retq
974 %1 = load <32 x i16>, <32 x i16>* %src, align 16, !nontemporal !1
975 ret <32 x i16> %1
976 }
978 define <64 x i8> @test_v64i8_align16(<64 x i8>* %src) nounwind {
979 ; SSE2-LABEL: test_v64i8_align16:
980 ; SSE2: # %bb.0:
981 ; SSE2-NEXT: movaps (%rdi), %xmm0
982 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
983 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
984 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
985 ; SSE2-NEXT: retq
986 ;
987 ; SSE41-LABEL: test_v64i8_align16:
988 ; SSE41: # %bb.0:
989 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
990 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
991 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
992 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
993 ; SSE41-NEXT: retq
994 ;
995 ; AVX1-LABEL: test_v64i8_align16:
996 ; AVX1: # %bb.0:
997 ; AVX1-NEXT: pushq %rbp
998 ; AVX1-NEXT: movq %rsp, %rbp
999 ; AVX1-NEXT: andq $-32, %rsp
1000 ; AVX1-NEXT: subq $96, %rsp
1001 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0
1002 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
1003 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
1004 ; AVX1-NEXT: vmovdqa %xmm0, (%rsp)
1005 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm0
1006 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
1007 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm0
1008 ; AVX1-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
1009 ; AVX1-NEXT: vmovaps (%rsp), %ymm0
1010 ; AVX1-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
1011 ; AVX1-NEXT: movq %rbp, %rsp
1012 ; AVX1-NEXT: popq %rbp
1013 ; AVX1-NEXT: retq
1014 ;
1015 ; AVX2-LABEL: test_v64i8_align16:
1016 ; AVX2: # %bb.0:
1017 ; AVX2-NEXT: pushq %rbp
1018 ; AVX2-NEXT: movq %rsp, %rbp
1019 ; AVX2-NEXT: andq $-32, %rsp
1020 ; AVX2-NEXT: subq $96, %rsp
1021 ; AVX2-NEXT: vmovntdqa 16(%rdi), %xmm0
1022 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
1023 ; AVX2-NEXT: vmovntdqa (%rdi), %xmm0
1024 ; AVX2-NEXT: vmovdqa %xmm0, (%rsp)
1025 ; AVX2-NEXT: vmovntdqa 48(%rdi), %xmm0
1026 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
1027 ; AVX2-NEXT: vmovntdqa 32(%rdi), %xmm0
1028 ; AVX2-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
1029 ; AVX2-NEXT: vmovaps (%rsp), %ymm0
1030 ; AVX2-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
1031 ; AVX2-NEXT: movq %rbp, %rsp
1032 ; AVX2-NEXT: popq %rbp
1033 ; AVX2-NEXT: retq
1034 ;
1035 ; AVX512DQ-LABEL: test_v64i8_align16:
1036 ; AVX512DQ: # %bb.0:
1037 ; AVX512DQ-NEXT: pushq %rbp
1038 ; AVX512DQ-NEXT: movq %rsp, %rbp
1039 ; AVX512DQ-NEXT: andq $-32, %rsp
1040 ; AVX512DQ-NEXT: subq $96, %rsp
1041 ; AVX512DQ-NEXT: vmovntdqa 16(%rdi), %xmm0
1042 ; AVX512DQ-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
1043 ; AVX512DQ-NEXT: vmovntdqa (%rdi), %xmm0
1044 ; AVX512DQ-NEXT: vmovdqa %xmm0, (%rsp)
1045 ; AVX512DQ-NEXT: vmovntdqa 48(%rdi), %xmm0
1046 ; AVX512DQ-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
1047 ; AVX512DQ-NEXT: vmovntdqa 32(%rdi), %xmm0
1048 ; AVX512DQ-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
1049 ; AVX512DQ-NEXT: vmovaps (%rsp), %ymm0
1050 ; AVX512DQ-NEXT: vmovaps {{[0-9]+}}(%rsp), %ymm1
1051 ; AVX512DQ-NEXT: movq %rbp, %rsp
1052 ; AVX512DQ-NEXT: popq %rbp
1053 ; AVX512DQ-NEXT: retq
1054 ;
1055 ; AVX512BW-LABEL: test_v64i8_align16:
1056 ; AVX512BW: # %bb.0:
1057 ; AVX512BW-NEXT: pushq %rbp
1058 ; AVX512BW-NEXT: movq %rsp, %rbp
1059 ; AVX512BW-NEXT: andq $-64, %rsp
1060 ; AVX512BW-NEXT: subq $128, %rsp
1061 ; AVX512BW-NEXT: vmovntdqa 48(%rdi), %xmm0
1062 ; AVX512BW-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
1063 ; AVX512BW-NEXT: vmovntdqa 32(%rdi), %xmm0
1064 ; AVX512BW-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
1065 ; AVX512BW-NEXT: vmovntdqa 16(%rdi), %xmm0
1066 ; AVX512BW-NEXT: vmovdqa %xmm0, {{[0-9]+}}(%rsp)
1067 ; AVX512BW-NEXT: vmovntdqa (%rdi), %xmm0
1068 ; AVX512BW-NEXT: vmovdqa %xmm0, (%rsp)
1069 ; AVX512BW-NEXT: vmovaps (%rsp), %zmm0
1070 ; AVX512BW-NEXT: movq %rbp, %rsp
1071 ; AVX512BW-NEXT: popq %rbp
1072 ; AVX512BW-NEXT: retq
1073 %1 = load <64 x i8>, <64 x i8>* %src, align 16, !nontemporal !1
1074 ret <64 x i8> %1
1075 }
1077 define <8 x double> @test_v8f64_align32(<8 x double>* %src) nounwind {
1078 ; SSE2-LABEL: test_v8f64_align32:
1079 ; SSE2: # %bb.0:
1080 ; SSE2-NEXT: movaps (%rdi), %xmm0
1081 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
1082 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
1083 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
1084 ; SSE2-NEXT: retq
1085 ;
1086 ; SSE41-LABEL: test_v8f64_align32:
1087 ; SSE41: # %bb.0:
1088 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
1089 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
1090 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
1091 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
1092 ; SSE41-NEXT: retq
1093 ;
1094 ; AVX1-LABEL: test_v8f64_align32:
1095 ; AVX1: # %bb.0:
1096 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
1097 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm1
1098 ; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
1099 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm1
1100 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm2
1101 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
1102 ; AVX1-NEXT: retq
1103 ;
1104 ; AVX2-LABEL: test_v8f64_align32:
1105 ; AVX2: # %bb.0:
1106 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
1107 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1
1108 ; AVX2-NEXT: retq
1109 ;
1110 ; AVX512-LABEL: test_v8f64_align32:
1111 ; AVX512: # %bb.0:
1112 ; AVX512-NEXT: pushq %rbp
1113 ; AVX512-NEXT: movq %rsp, %rbp
1114 ; AVX512-NEXT: andq $-64, %rsp
1115 ; AVX512-NEXT: subq $128, %rsp
1116 ; AVX512-NEXT: vmovntdqa 32(%rdi), %ymm0
1117 ; AVX512-NEXT: vmovdqa %ymm0, {{[0-9]+}}(%rsp)
1118 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0
1119 ; AVX512-NEXT: vmovdqa %ymm0, (%rsp)
1120 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
1121 ; AVX512-NEXT: movq %rbp, %rsp
1122 ; AVX512-NEXT: popq %rbp
1123 ; AVX512-NEXT: retq
1124 %1 = load <8 x double>, <8 x double>* %src, align 32, !nontemporal !1
1125 ret <8 x double> %1
1126 }
1128 define <16 x float> @test_v16f32_align32(<16 x float>* %src) nounwind {
1129 ; SSE2-LABEL: test_v16f32_align32:
1130 ; SSE2: # %bb.0:
1131 ; SSE2-NEXT: movaps (%rdi), %xmm0
1132 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
1133 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
1134 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
1135 ; SSE2-NEXT: retq
1136 ;
1137 ; SSE41-LABEL: test_v16f32_align32:
1138 ; SSE41: # %bb.0:
1139 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
1140 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
1141 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
1142 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
1143 ; SSE41-NEXT: retq
1144 ;
1145 ; AVX1-LABEL: test_v16f32_align32:
1146 ; AVX1: # %bb.0:
1147 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
1148 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm1
1149 ; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
1150 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm1
1151 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm2
1152 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
1153 ; AVX1-NEXT: retq
1154 ;
1155 ; AVX2-LABEL: test_v16f32_align32:
1156 ; AVX2: # %bb.0:
1157 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
1158 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1
1159 ; AVX2-NEXT: retq
1160 ;
1161 ; AVX512-LABEL: test_v16f32_align32:
1162 ; AVX512: # %bb.0:
1163 ; AVX512-NEXT: pushq %rbp
1164 ; AVX512-NEXT: movq %rsp, %rbp
1165 ; AVX512-NEXT: andq $-64, %rsp
1166 ; AVX512-NEXT: subq $128, %rsp
1167 ; AVX512-NEXT: vmovntdqa 32(%rdi), %ymm0
1168 ; AVX512-NEXT: vmovdqa %ymm0, {{[0-9]+}}(%rsp)
1169 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0
1170 ; AVX512-NEXT: vmovdqa %ymm0, (%rsp)
1171 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
1172 ; AVX512-NEXT: movq %rbp, %rsp
1173 ; AVX512-NEXT: popq %rbp
1174 ; AVX512-NEXT: retq
1175 %1 = load <16 x float>, <16 x float>* %src, align 32, !nontemporal !1
1176 ret <16 x float> %1
1177 }
1179 define <8 x i64> @test_v8i64_align32(<8 x i64>* %src) nounwind {
1180 ; SSE2-LABEL: test_v8i64_align32:
1181 ; SSE2: # %bb.0:
1182 ; SSE2-NEXT: movaps (%rdi), %xmm0
1183 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
1184 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
1185 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
1186 ; SSE2-NEXT: retq
1187 ;
1188 ; SSE41-LABEL: test_v8i64_align32:
1189 ; SSE41: # %bb.0:
1190 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
1191 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
1192 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
1193 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
1194 ; SSE41-NEXT: retq
1195 ;
1196 ; AVX1-LABEL: test_v8i64_align32:
1197 ; AVX1: # %bb.0:
1198 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
1199 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm1
1200 ; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
1201 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm1
1202 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm2
1203 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
1204 ; AVX1-NEXT: retq
1205 ;
1206 ; AVX2-LABEL: test_v8i64_align32:
1207 ; AVX2: # %bb.0:
1208 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
1209 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1
1210 ; AVX2-NEXT: retq
1211 ;
1212 ; AVX512-LABEL: test_v8i64_align32:
1213 ; AVX512: # %bb.0:
1214 ; AVX512-NEXT: pushq %rbp
1215 ; AVX512-NEXT: movq %rsp, %rbp
1216 ; AVX512-NEXT: andq $-64, %rsp
1217 ; AVX512-NEXT: subq $128, %rsp
1218 ; AVX512-NEXT: vmovntdqa 32(%rdi), %ymm0
1219 ; AVX512-NEXT: vmovdqa %ymm0, {{[0-9]+}}(%rsp)
1220 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0
1221 ; AVX512-NEXT: vmovdqa %ymm0, (%rsp)
1222 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
1223 ; AVX512-NEXT: movq %rbp, %rsp
1224 ; AVX512-NEXT: popq %rbp
1225 ; AVX512-NEXT: retq
1226 %1 = load <8 x i64>, <8 x i64>* %src, align 32, !nontemporal !1
1227 ret <8 x i64> %1
1228 }
1230 define <16 x i32> @test_v16i32_align32(<16 x i32>* %src) nounwind {
1231 ; SSE2-LABEL: test_v16i32_align32:
1232 ; SSE2: # %bb.0:
1233 ; SSE2-NEXT: movaps (%rdi), %xmm0
1234 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
1235 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
1236 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
1237 ; SSE2-NEXT: retq
1238 ;
1239 ; SSE41-LABEL: test_v16i32_align32:
1240 ; SSE41: # %bb.0:
1241 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
1242 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
1243 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
1244 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
1245 ; SSE41-NEXT: retq
1246 ;
1247 ; AVX1-LABEL: test_v16i32_align32:
1248 ; AVX1: # %bb.0:
1249 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
1250 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm1
1251 ; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
1252 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm1
1253 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm2
1254 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
1255 ; AVX1-NEXT: retq
1256 ;
1257 ; AVX2-LABEL: test_v16i32_align32:
1258 ; AVX2: # %bb.0:
1259 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
1260 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1
1261 ; AVX2-NEXT: retq
1262 ;
1263 ; AVX512-LABEL: test_v16i32_align32:
1264 ; AVX512: # %bb.0:
1265 ; AVX512-NEXT: pushq %rbp
1266 ; AVX512-NEXT: movq %rsp, %rbp
1267 ; AVX512-NEXT: andq $-64, %rsp
1268 ; AVX512-NEXT: subq $128, %rsp
1269 ; AVX512-NEXT: vmovntdqa 32(%rdi), %ymm0
1270 ; AVX512-NEXT: vmovdqa %ymm0, {{[0-9]+}}(%rsp)
1271 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0
1272 ; AVX512-NEXT: vmovdqa %ymm0, (%rsp)
1273 ; AVX512-NEXT: vmovaps (%rsp), %zmm0
1274 ; AVX512-NEXT: movq %rbp, %rsp
1275 ; AVX512-NEXT: popq %rbp
1276 ; AVX512-NEXT: retq
1277 %1 = load <16 x i32>, <16 x i32>* %src, align 32, !nontemporal !1
1278 ret <16 x i32> %1
1279 }
1281 define <32 x i16> @test_v32i16_align32(<32 x i16>* %src) nounwind {
1282 ; SSE2-LABEL: test_v32i16_align32:
1283 ; SSE2: # %bb.0:
1284 ; SSE2-NEXT: movaps (%rdi), %xmm0
1285 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
1286 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
1287 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
1288 ; SSE2-NEXT: retq
1289 ;
1290 ; SSE41-LABEL: test_v32i16_align32:
1291 ; SSE41: # %bb.0:
1292 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
1293 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
1294 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
1295 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
1296 ; SSE41-NEXT: retq
1297 ;
1298 ; AVX1-LABEL: test_v32i16_align32:
1299 ; AVX1: # %bb.0:
1300 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
1301 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm1
1302 ; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
1303 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm1
1304 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm2
1305 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
1306 ; AVX1-NEXT: retq
1307 ;
1308 ; AVX2-LABEL: test_v32i16_align32:
1309 ; AVX2: # %bb.0:
1310 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
1311 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1
1312 ; AVX2-NEXT: retq
1313 ;
1314 ; AVX512DQ-LABEL: test_v32i16_align32:
1315 ; AVX512DQ: # %bb.0:
1316 ; AVX512DQ-NEXT: vmovntdqa (%rdi), %ymm0
1317 ; AVX512DQ-NEXT: vmovntdqa 32(%rdi), %ymm1
1318 ; AVX512DQ-NEXT: retq
1319 ;
1320 ; AVX512BW-LABEL: test_v32i16_align32:
1321 ; AVX512BW: # %bb.0:
1322 ; AVX512BW-NEXT: pushq %rbp
1323 ; AVX512BW-NEXT: movq %rsp, %rbp
1324 ; AVX512BW-NEXT: andq $-64, %rsp
1325 ; AVX512BW-NEXT: subq $128, %rsp
1326 ; AVX512BW-NEXT: vmovntdqa 32(%rdi), %ymm0
1327 ; AVX512BW-NEXT: vmovdqa %ymm0, {{[0-9]+}}(%rsp)
1328 ; AVX512BW-NEXT: vmovntdqa (%rdi), %ymm0
1329 ; AVX512BW-NEXT: vmovdqa %ymm0, (%rsp)
1330 ; AVX512BW-NEXT: vmovaps (%rsp), %zmm0
1331 ; AVX512BW-NEXT: movq %rbp, %rsp
1332 ; AVX512BW-NEXT: popq %rbp
1333 ; AVX512BW-NEXT: retq
1334 %1 = load <32 x i16>, <32 x i16>* %src, align 32, !nontemporal !1
1335 ret <32 x i16> %1
1336 }
1338 define <64 x i8> @test_v64i8_align32(<64 x i8>* %src) nounwind {
1339 ; SSE2-LABEL: test_v64i8_align32:
1340 ; SSE2: # %bb.0:
1341 ; SSE2-NEXT: movaps (%rdi), %xmm0
1342 ; SSE2-NEXT: movaps 16(%rdi), %xmm1
1343 ; SSE2-NEXT: movaps 32(%rdi), %xmm2
1344 ; SSE2-NEXT: movaps 48(%rdi), %xmm3
1345 ; SSE2-NEXT: retq
1346 ;
1347 ; SSE41-LABEL: test_v64i8_align32:
1348 ; SSE41: # %bb.0:
1349 ; SSE41-NEXT: movntdqa (%rdi), %xmm0
1350 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1
1351 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2
1352 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3
1353 ; SSE41-NEXT: retq
1354 ;
1355 ; AVX1-LABEL: test_v64i8_align32:
1356 ; AVX1: # %bb.0:
1357 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0
1358 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm1
1359 ; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
1360 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm1
1361 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm2
1362 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1
1363 ; AVX1-NEXT: retq
1364 ;
1365 ; AVX2-LABEL: test_v64i8_align32:
1366 ; AVX2: # %bb.0:
1367 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0
1368 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1
1369 ; AVX2-NEXT: retq
1370 ;
1371 ; AVX512DQ-LABEL: test_v64i8_align32:
1372 ; AVX512DQ: # %bb.0:
1373 ; AVX512DQ-NEXT: vmovntdqa (%rdi), %ymm0
1374 ; AVX512DQ-NEXT: vmovntdqa 32(%rdi), %ymm1
1375 ; AVX512DQ-NEXT: retq
1376 ;
1377 ; AVX512BW-LABEL: test_v64i8_align32:
1378 ; AVX512BW: # %bb.0:
1379 ; AVX512BW-NEXT: pushq %rbp
1380 ; AVX512BW-NEXT: movq %rsp, %rbp
1381 ; AVX512BW-NEXT: andq $-64, %rsp
1382 ; AVX512BW-NEXT: subq $128, %rsp
1383 ; AVX512BW-NEXT: vmovntdqa 32(%rdi), %ymm0
1384 ; AVX512BW-NEXT: vmovdqa %ymm0, {{[0-9]+}}(%rsp)
1385 ; AVX512BW-NEXT: vmovntdqa (%rdi), %ymm0
1386 ; AVX512BW-NEXT: vmovdqa %ymm0, (%rsp)
1387 ; AVX512BW-NEXT: vmovaps (%rsp), %zmm0
1388 ; AVX512BW-NEXT: movq %rbp, %rsp
1389 ; AVX512BW-NEXT: popq %rbp
1390 ; AVX512BW-NEXT: retq
1391 %1 = load <64 x i8>, <64 x i8>* %src, align 32, !nontemporal !1
1392 ret <64 x i8> %1
1393 }
1395 !1 = !{i32 1}