| blob | bf04c8d435559ead18705afa75d24e9010164051 |
1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512bw,+avx512vl,+prefer-256-bit | FileCheck %s --check-prefixes=AVX256,AVX256BW
3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512bw,+avx512vl,-prefer-256-bit | FileCheck %s --check-prefixes=AVX512BW,AVX512BWVL
4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512vl,+prefer-256-bit | FileCheck %s --check-prefixes=AVX256,AVX256VL
5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512vl,-prefer-256-bit | FileCheck %s --check-prefix=AVX512VL
6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512bw,+prefer-256-bit | FileCheck %s --check-prefixes=AVX512BW,AVX512BWNOVL
7 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512bw,-prefer-256-bit | FileCheck %s --check-prefixes=AVX512BW,AVX512BWNOVL
9 define <32 x i8> @var_shl_v32i8(<32 x i8> %a, <32 x i8> %b) {
10 ; AVX256-LABEL: var_shl_v32i8:
11 ; AVX256: # %bb.0:
12 ; AVX256-NEXT: vpsllw $5, %ymm1, %ymm1
13 ; AVX256-NEXT: vpsllw $4, %ymm0, %ymm2
14 ; AVX256-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm2, %ymm2
15 ; AVX256-NEXT: vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
16 ; AVX256-NEXT: vpsllw $2, %ymm0, %ymm2
17 ; AVX256-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm2, %ymm2
18 ; AVX256-NEXT: vpaddb %ymm1, %ymm1, %ymm1
19 ; AVX256-NEXT: vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
20 ; AVX256-NEXT: vpaddb %ymm0, %ymm0, %ymm2
21 ; AVX256-NEXT: vpaddb %ymm1, %ymm1, %ymm1
22 ; AVX256-NEXT: vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
23 ; AVX256-NEXT: retq
24 ;
25 ; AVX512BW-LABEL: var_shl_v32i8:
26 ; AVX512BW: # %bb.0:
27 ; AVX512BW-NEXT: vpmovzxbw {{.*#+}} zmm1 = ymm1[0],zero,ymm1[1],zero,ymm1[2],zero,ymm1[3],zero,ymm1[4],zero,ymm1[5],zero,ymm1[6],zero,ymm1[7],zero,ymm1[8],zero,ymm1[9],zero,ymm1[10],zero,ymm1[11],zero,ymm1[12],zero,ymm1[13],zero,ymm1[14],zero,ymm1[15],zero,ymm1[16],zero,ymm1[17],zero,ymm1[18],zero,ymm1[19],zero,ymm1[20],zero,ymm1[21],zero,ymm1[22],zero,ymm1[23],zero,ymm1[24],zero,ymm1[25],zero,ymm1[26],zero,ymm1[27],zero,ymm1[28],zero,ymm1[29],zero,ymm1[30],zero,ymm1[31],zero
28 ; AVX512BW-NEXT: vpmovzxbw {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero,ymm0[8],zero,ymm0[9],zero,ymm0[10],zero,ymm0[11],zero,ymm0[12],zero,ymm0[13],zero,ymm0[14],zero,ymm0[15],zero,ymm0[16],zero,ymm0[17],zero,ymm0[18],zero,ymm0[19],zero,ymm0[20],zero,ymm0[21],zero,ymm0[22],zero,ymm0[23],zero,ymm0[24],zero,ymm0[25],zero,ymm0[26],zero,ymm0[27],zero,ymm0[28],zero,ymm0[29],zero,ymm0[30],zero,ymm0[31],zero
29 ; AVX512BW-NEXT: vpsllvw %zmm1, %zmm0, %zmm0
30 ; AVX512BW-NEXT: vpmovwb %zmm0, %ymm0
31 ; AVX512BW-NEXT: retq
32 ;
33 ; AVX512VL-LABEL: var_shl_v32i8:
34 ; AVX512VL: # %bb.0:
35 ; AVX512VL-NEXT: vpsllw $5, %ymm1, %ymm1
36 ; AVX512VL-NEXT: vpsllw $4, %ymm0, %ymm2
37 ; AVX512VL-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm2, %ymm2
38 ; AVX512VL-NEXT: vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
39 ; AVX512VL-NEXT: vpsllw $2, %ymm0, %ymm2
40 ; AVX512VL-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm2, %ymm2
41 ; AVX512VL-NEXT: vpaddb %ymm1, %ymm1, %ymm1
42 ; AVX512VL-NEXT: vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
43 ; AVX512VL-NEXT: vpaddb %ymm0, %ymm0, %ymm2
44 ; AVX512VL-NEXT: vpaddb %ymm1, %ymm1, %ymm1
45 ; AVX512VL-NEXT: vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
46 ; AVX512VL-NEXT: retq
47 %shift = shl <32 x i8> %a, %b
48 ret <32 x i8> %shift
49 }
51 define <16 x i16> @var_shl_v16i16(<16 x i16> %a, <16 x i16> %b) {
52 ; AVX256BW-LABEL: var_shl_v16i16:
53 ; AVX256BW: # %bb.0:
54 ; AVX256BW-NEXT: vpsllvw %ymm1, %ymm0, %ymm0
55 ; AVX256BW-NEXT: retq
56 ;
57 ; AVX512BWVL-LABEL: var_shl_v16i16:
58 ; AVX512BWVL: # %bb.0:
59 ; AVX512BWVL-NEXT: vpsllvw %ymm1, %ymm0, %ymm0
60 ; AVX512BWVL-NEXT: retq
61 ;
62 ; AVX256VL-LABEL: var_shl_v16i16:
63 ; AVX256VL: # %bb.0:
64 ; AVX256VL-NEXT: vpxor %xmm2, %xmm2, %xmm2
65 ; AVX256VL-NEXT: vpunpckhwd {{.*#+}} ymm3 = ymm1[4],ymm2[4],ymm1[5],ymm2[5],ymm1[6],ymm2[6],ymm1[7],ymm2[7],ymm1[12],ymm2[12],ymm1[13],ymm2[13],ymm1[14],ymm2[14],ymm1[15],ymm2[15]
66 ; AVX256VL-NEXT: vpunpckhwd {{.*#+}} ymm4 = ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15]
67 ; AVX256VL-NEXT: vpsllvd %ymm3, %ymm4, %ymm3
68 ; AVX256VL-NEXT: vpsrld $16, %ymm3, %ymm3
69 ; AVX256VL-NEXT: vpunpcklwd {{.*#+}} ymm1 = ymm1[0],ymm2[0],ymm1[1],ymm2[1],ymm1[2],ymm2[2],ymm1[3],ymm2[3],ymm1[8],ymm2[8],ymm1[9],ymm2[9],ymm1[10],ymm2[10],ymm1[11],ymm2[11]
70 ; AVX256VL-NEXT: vpunpcklwd {{.*#+}} ymm0 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11]
71 ; AVX256VL-NEXT: vpsllvd %ymm1, %ymm0, %ymm0
72 ; AVX256VL-NEXT: vpsrld $16, %ymm0, %ymm0
73 ; AVX256VL-NEXT: vpackusdw %ymm3, %ymm0, %ymm0
74 ; AVX256VL-NEXT: retq
75 ;
76 ; AVX512VL-LABEL: var_shl_v16i16:
77 ; AVX512VL: # %bb.0:
78 ; AVX512VL-NEXT: vpmovzxwd {{.*#+}} zmm1 = ymm1[0],zero,ymm1[1],zero,ymm1[2],zero,ymm1[3],zero,ymm1[4],zero,ymm1[5],zero,ymm1[6],zero,ymm1[7],zero,ymm1[8],zero,ymm1[9],zero,ymm1[10],zero,ymm1[11],zero,ymm1[12],zero,ymm1[13],zero,ymm1[14],zero,ymm1[15],zero
79 ; AVX512VL-NEXT: vpmovzxwd {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero,ymm0[8],zero,ymm0[9],zero,ymm0[10],zero,ymm0[11],zero,ymm0[12],zero,ymm0[13],zero,ymm0[14],zero,ymm0[15],zero
80 ; AVX512VL-NEXT: vpsllvd %zmm1, %zmm0, %zmm0
81 ; AVX512VL-NEXT: vpmovdw %zmm0, %ymm0
82 ; AVX512VL-NEXT: retq
83 ;
84 ; AVX512BWNOVL-LABEL: var_shl_v16i16:
85 ; AVX512BWNOVL: # %bb.0:
86 ; AVX512BWNOVL-NEXT: # kill: def $ymm1 killed $ymm1 def $zmm1
87 ; AVX512BWNOVL-NEXT: # kill: def $ymm0 killed $ymm0 def $zmm0
88 ; AVX512BWNOVL-NEXT: vpsllvw %zmm1, %zmm0, %zmm0
89 ; AVX512BWNOVL-NEXT: # kill: def $ymm0 killed $ymm0 killed $zmm0
90 ; AVX512BWNOVL-NEXT: retq
91 %shift = shl <16 x i16> %a, %b
92 ret <16 x i16> %shift
93 }
95 define <16 x i8> @var_shl_v16i8(<16 x i8> %a, <16 x i8> %b) {
96 ; AVX256BW-LABEL: var_shl_v16i8:
97 ; AVX256BW: # %bb.0:
98 ; AVX256BW-NEXT: vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
99 ; AVX256BW-NEXT: vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
100 ; AVX256BW-NEXT: vpsllvw %ymm1, %ymm0, %ymm0
101 ; AVX256BW-NEXT: vpmovwb %ymm0, %xmm0
102 ; AVX256BW-NEXT: vzeroupper
103 ; AVX256BW-NEXT: retq
104 ;
105 ; AVX512BWVL-LABEL: var_shl_v16i8:
106 ; AVX512BWVL: # %bb.0:
107 ; AVX512BWVL-NEXT: vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
108 ; AVX512BWVL-NEXT: vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
109 ; AVX512BWVL-NEXT: vpsllvw %ymm1, %ymm0, %ymm0
110 ; AVX512BWVL-NEXT: vpmovwb %ymm0, %xmm0
111 ; AVX512BWVL-NEXT: vzeroupper
112 ; AVX512BWVL-NEXT: retq
113 ;
114 ; AVX256VL-LABEL: var_shl_v16i8:
115 ; AVX256VL: # %bb.0:
116 ; AVX256VL-NEXT: vpsllw $5, %xmm1, %xmm1
117 ; AVX256VL-NEXT: vpsllw $4, %xmm0, %xmm2
118 ; AVX256VL-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm2, %xmm2
119 ; AVX256VL-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
120 ; AVX256VL-NEXT: vpsllw $2, %xmm0, %xmm2
121 ; AVX256VL-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm2, %xmm2
122 ; AVX256VL-NEXT: vpaddb %xmm1, %xmm1, %xmm1
123 ; AVX256VL-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
124 ; AVX256VL-NEXT: vpaddb %xmm0, %xmm0, %xmm2
125 ; AVX256VL-NEXT: vpaddb %xmm1, %xmm1, %xmm1
126 ; AVX256VL-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
127 ; AVX256VL-NEXT: retq
128 ;
129 ; AVX512VL-LABEL: var_shl_v16i8:
130 ; AVX512VL: # %bb.0:
131 ; AVX512VL-NEXT: vpmovzxbd {{.*#+}} zmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero,xmm1[2],zero,zero,zero,xmm1[3],zero,zero,zero,xmm1[4],zero,zero,zero,xmm1[5],zero,zero,zero,xmm1[6],zero,zero,zero,xmm1[7],zero,zero,zero,xmm1[8],zero,zero,zero,xmm1[9],zero,zero,zero,xmm1[10],zero,zero,zero,xmm1[11],zero,zero,zero,xmm1[12],zero,zero,zero,xmm1[13],zero,zero,zero,xmm1[14],zero,zero,zero,xmm1[15],zero,zero,zero
132 ; AVX512VL-NEXT: vpmovzxbd {{.*#+}} zmm0 = xmm0[0],zero,zero,zero,xmm0[1],zero,zero,zero,xmm0[2],zero,zero,zero,xmm0[3],zero,zero,zero,xmm0[4],zero,zero,zero,xmm0[5],zero,zero,zero,xmm0[6],zero,zero,zero,xmm0[7],zero,zero,zero,xmm0[8],zero,zero,zero,xmm0[9],zero,zero,zero,xmm0[10],zero,zero,zero,xmm0[11],zero,zero,zero,xmm0[12],zero,zero,zero,xmm0[13],zero,zero,zero,xmm0[14],zero,zero,zero,xmm0[15],zero,zero,zero
133 ; AVX512VL-NEXT: vpsllvd %zmm1, %zmm0, %zmm0
134 ; AVX512VL-NEXT: vpmovdb %zmm0, %xmm0
135 ; AVX512VL-NEXT: vzeroupper
136 ; AVX512VL-NEXT: retq
137 ;
138 ; AVX512BWNOVL-LABEL: var_shl_v16i8:
139 ; AVX512BWNOVL: # %bb.0:
140 ; AVX512BWNOVL-NEXT: vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
141 ; AVX512BWNOVL-NEXT: vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
142 ; AVX512BWNOVL-NEXT: vpsllvw %zmm1, %zmm0, %zmm0
143 ; AVX512BWNOVL-NEXT: vpmovwb %zmm0, %ymm0
144 ; AVX512BWNOVL-NEXT: # kill: def $xmm0 killed $xmm0 killed $ymm0
145 ; AVX512BWNOVL-NEXT: vzeroupper
146 ; AVX512BWNOVL-NEXT: retq
147 %shift = shl <16 x i8> %a, %b
148 ret <16 x i8> %shift
149 }
151 define <32 x i8> @var_lshr_v32i8(<32 x i8> %a, <32 x i8> %b) {
152 ; AVX256-LABEL: var_lshr_v32i8:
153 ; AVX256: # %bb.0:
154 ; AVX256-NEXT: vpsllw $5, %ymm1, %ymm1
155 ; AVX256-NEXT: vpsrlw $4, %ymm0, %ymm2
156 ; AVX256-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm2, %ymm2
157 ; AVX256-NEXT: vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
158 ; AVX256-NEXT: vpsrlw $2, %ymm0, %ymm2
159 ; AVX256-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm2, %ymm2
160 ; AVX256-NEXT: vpaddb %ymm1, %ymm1, %ymm1
161 ; AVX256-NEXT: vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
162 ; AVX256-NEXT: vpsrlw $1, %ymm0, %ymm2
163 ; AVX256-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm2, %ymm2
164 ; AVX256-NEXT: vpaddb %ymm1, %ymm1, %ymm1
165 ; AVX256-NEXT: vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
166 ; AVX256-NEXT: retq
167 ;
168 ; AVX512BW-LABEL: var_lshr_v32i8:
169 ; AVX512BW: # %bb.0:
170 ; AVX512BW-NEXT: vpmovzxbw {{.*#+}} zmm1 = ymm1[0],zero,ymm1[1],zero,ymm1[2],zero,ymm1[3],zero,ymm1[4],zero,ymm1[5],zero,ymm1[6],zero,ymm1[7],zero,ymm1[8],zero,ymm1[9],zero,ymm1[10],zero,ymm1[11],zero,ymm1[12],zero,ymm1[13],zero,ymm1[14],zero,ymm1[15],zero,ymm1[16],zero,ymm1[17],zero,ymm1[18],zero,ymm1[19],zero,ymm1[20],zero,ymm1[21],zero,ymm1[22],zero,ymm1[23],zero,ymm1[24],zero,ymm1[25],zero,ymm1[26],zero,ymm1[27],zero,ymm1[28],zero,ymm1[29],zero,ymm1[30],zero,ymm1[31],zero
171 ; AVX512BW-NEXT: vpmovzxbw {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero,ymm0[8],zero,ymm0[9],zero,ymm0[10],zero,ymm0[11],zero,ymm0[12],zero,ymm0[13],zero,ymm0[14],zero,ymm0[15],zero,ymm0[16],zero,ymm0[17],zero,ymm0[18],zero,ymm0[19],zero,ymm0[20],zero,ymm0[21],zero,ymm0[22],zero,ymm0[23],zero,ymm0[24],zero,ymm0[25],zero,ymm0[26],zero,ymm0[27],zero,ymm0[28],zero,ymm0[29],zero,ymm0[30],zero,ymm0[31],zero
172 ; AVX512BW-NEXT: vpsrlvw %zmm1, %zmm0, %zmm0
173 ; AVX512BW-NEXT: vpmovwb %zmm0, %ymm0
174 ; AVX512BW-NEXT: retq
175 ;
176 ; AVX512VL-LABEL: var_lshr_v32i8:
177 ; AVX512VL: # %bb.0:
178 ; AVX512VL-NEXT: vpsllw $5, %ymm1, %ymm1
179 ; AVX512VL-NEXT: vpsrlw $4, %ymm0, %ymm2
180 ; AVX512VL-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm2, %ymm2
181 ; AVX512VL-NEXT: vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
182 ; AVX512VL-NEXT: vpsrlw $2, %ymm0, %ymm2
183 ; AVX512VL-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm2, %ymm2
184 ; AVX512VL-NEXT: vpaddb %ymm1, %ymm1, %ymm1
185 ; AVX512VL-NEXT: vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
186 ; AVX512VL-NEXT: vpsrlw $1, %ymm0, %ymm2
187 ; AVX512VL-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm2, %ymm2
188 ; AVX512VL-NEXT: vpaddb %ymm1, %ymm1, %ymm1
189 ; AVX512VL-NEXT: vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
190 ; AVX512VL-NEXT: retq
191 %shift = lshr <32 x i8> %a, %b
192 ret <32 x i8> %shift
193 }
195 define <16 x i16> @var_lshr_v16i16(<16 x i16> %a, <16 x i16> %b) {
196 ; AVX256BW-LABEL: var_lshr_v16i16:
197 ; AVX256BW: # %bb.0:
198 ; AVX256BW-NEXT: vpsrlvw %ymm1, %ymm0, %ymm0
199 ; AVX256BW-NEXT: retq
200 ;
201 ; AVX512BWVL-LABEL: var_lshr_v16i16:
202 ; AVX512BWVL: # %bb.0:
203 ; AVX512BWVL-NEXT: vpsrlvw %ymm1, %ymm0, %ymm0
204 ; AVX512BWVL-NEXT: retq
205 ;
206 ; AVX256VL-LABEL: var_lshr_v16i16:
207 ; AVX256VL: # %bb.0:
208 ; AVX256VL-NEXT: vpxor %xmm2, %xmm2, %xmm2
209 ; AVX256VL-NEXT: vpunpckhwd {{.*#+}} ymm3 = ymm1[4],ymm2[4],ymm1[5],ymm2[5],ymm1[6],ymm2[6],ymm1[7],ymm2[7],ymm1[12],ymm2[12],ymm1[13],ymm2[13],ymm1[14],ymm2[14],ymm1[15],ymm2[15]
210 ; AVX256VL-NEXT: vpunpckhwd {{.*#+}} ymm4 = ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15]
211 ; AVX256VL-NEXT: vpsrlvd %ymm3, %ymm4, %ymm3
212 ; AVX256VL-NEXT: vpsrld $16, %ymm3, %ymm3
213 ; AVX256VL-NEXT: vpunpcklwd {{.*#+}} ymm1 = ymm1[0],ymm2[0],ymm1[1],ymm2[1],ymm1[2],ymm2[2],ymm1[3],ymm2[3],ymm1[8],ymm2[8],ymm1[9],ymm2[9],ymm1[10],ymm2[10],ymm1[11],ymm2[11]
214 ; AVX256VL-NEXT: vpunpcklwd {{.*#+}} ymm0 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11]
215 ; AVX256VL-NEXT: vpsrlvd %ymm1, %ymm0, %ymm0
216 ; AVX256VL-NEXT: vpsrld $16, %ymm0, %ymm0
217 ; AVX256VL-NEXT: vpackusdw %ymm3, %ymm0, %ymm0
218 ; AVX256VL-NEXT: retq
219 ;
220 ; AVX512VL-LABEL: var_lshr_v16i16:
221 ; AVX512VL: # %bb.0:
222 ; AVX512VL-NEXT: vpmovzxwd {{.*#+}} zmm1 = ymm1[0],zero,ymm1[1],zero,ymm1[2],zero,ymm1[3],zero,ymm1[4],zero,ymm1[5],zero,ymm1[6],zero,ymm1[7],zero,ymm1[8],zero,ymm1[9],zero,ymm1[10],zero,ymm1[11],zero,ymm1[12],zero,ymm1[13],zero,ymm1[14],zero,ymm1[15],zero
223 ; AVX512VL-NEXT: vpmovzxwd {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero,ymm0[8],zero,ymm0[9],zero,ymm0[10],zero,ymm0[11],zero,ymm0[12],zero,ymm0[13],zero,ymm0[14],zero,ymm0[15],zero
224 ; AVX512VL-NEXT: vpsrlvd %zmm1, %zmm0, %zmm0
225 ; AVX512VL-NEXT: vpmovdw %zmm0, %ymm0
226 ; AVX512VL-NEXT: retq
227 ;
228 ; AVX512BWNOVL-LABEL: var_lshr_v16i16:
229 ; AVX512BWNOVL: # %bb.0:
230 ; AVX512BWNOVL-NEXT: # kill: def $ymm1 killed $ymm1 def $zmm1
231 ; AVX512BWNOVL-NEXT: # kill: def $ymm0 killed $ymm0 def $zmm0
232 ; AVX512BWNOVL-NEXT: vpsrlvw %zmm1, %zmm0, %zmm0
233 ; AVX512BWNOVL-NEXT: # kill: def $ymm0 killed $ymm0 killed $zmm0
234 ; AVX512BWNOVL-NEXT: retq
235 %shift = lshr <16 x i16> %a, %b
236 ret <16 x i16> %shift
237 }
239 define <16 x i8> @var_lshr_v16i8(<16 x i8> %a, <16 x i8> %b) {
240 ; AVX256BW-LABEL: var_lshr_v16i8:
241 ; AVX256BW: # %bb.0:
242 ; AVX256BW-NEXT: vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
243 ; AVX256BW-NEXT: vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
244 ; AVX256BW-NEXT: vpsrlvw %ymm1, %ymm0, %ymm0
245 ; AVX256BW-NEXT: vpmovwb %ymm0, %xmm0
246 ; AVX256BW-NEXT: vzeroupper
247 ; AVX256BW-NEXT: retq
248 ;
249 ; AVX512BWVL-LABEL: var_lshr_v16i8:
250 ; AVX512BWVL: # %bb.0:
251 ; AVX512BWVL-NEXT: vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
252 ; AVX512BWVL-NEXT: vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
253 ; AVX512BWVL-NEXT: vpsrlvw %ymm1, %ymm0, %ymm0
254 ; AVX512BWVL-NEXT: vpmovwb %ymm0, %xmm0
255 ; AVX512BWVL-NEXT: vzeroupper
256 ; AVX512BWVL-NEXT: retq
257 ;
258 ; AVX256VL-LABEL: var_lshr_v16i8:
259 ; AVX256VL: # %bb.0:
260 ; AVX256VL-NEXT: vpsllw $5, %xmm1, %xmm1
261 ; AVX256VL-NEXT: vpsrlw $4, %xmm0, %xmm2
262 ; AVX256VL-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm2, %xmm2
263 ; AVX256VL-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
264 ; AVX256VL-NEXT: vpsrlw $2, %xmm0, %xmm2
265 ; AVX256VL-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm2, %xmm2
266 ; AVX256VL-NEXT: vpaddb %xmm1, %xmm1, %xmm1
267 ; AVX256VL-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
268 ; AVX256VL-NEXT: vpsrlw $1, %xmm0, %xmm2
269 ; AVX256VL-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm2, %xmm2
270 ; AVX256VL-NEXT: vpaddb %xmm1, %xmm1, %xmm1
271 ; AVX256VL-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
272 ; AVX256VL-NEXT: retq
273 ;
274 ; AVX512VL-LABEL: var_lshr_v16i8:
275 ; AVX512VL: # %bb.0:
276 ; AVX512VL-NEXT: vpmovzxbd {{.*#+}} zmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero,xmm1[2],zero,zero,zero,xmm1[3],zero,zero,zero,xmm1[4],zero,zero,zero,xmm1[5],zero,zero,zero,xmm1[6],zero,zero,zero,xmm1[7],zero,zero,zero,xmm1[8],zero,zero,zero,xmm1[9],zero,zero,zero,xmm1[10],zero,zero,zero,xmm1[11],zero,zero,zero,xmm1[12],zero,zero,zero,xmm1[13],zero,zero,zero,xmm1[14],zero,zero,zero,xmm1[15],zero,zero,zero
277 ; AVX512VL-NEXT: vpmovzxbd {{.*#+}} zmm0 = xmm0[0],zero,zero,zero,xmm0[1],zero,zero,zero,xmm0[2],zero,zero,zero,xmm0[3],zero,zero,zero,xmm0[4],zero,zero,zero,xmm0[5],zero,zero,zero,xmm0[6],zero,zero,zero,xmm0[7],zero,zero,zero,xmm0[8],zero,zero,zero,xmm0[9],zero,zero,zero,xmm0[10],zero,zero,zero,xmm0[11],zero,zero,zero,xmm0[12],zero,zero,zero,xmm0[13],zero,zero,zero,xmm0[14],zero,zero,zero,xmm0[15],zero,zero,zero
278 ; AVX512VL-NEXT: vpsrlvd %zmm1, %zmm0, %zmm0
279 ; AVX512VL-NEXT: vpmovdb %zmm0, %xmm0
280 ; AVX512VL-NEXT: vzeroupper
281 ; AVX512VL-NEXT: retq
282 ;
283 ; AVX512BWNOVL-LABEL: var_lshr_v16i8:
284 ; AVX512BWNOVL: # %bb.0:
285 ; AVX512BWNOVL-NEXT: vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
286 ; AVX512BWNOVL-NEXT: vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
287 ; AVX512BWNOVL-NEXT: vpsrlvw %zmm1, %zmm0, %zmm0
288 ; AVX512BWNOVL-NEXT: vpmovwb %zmm0, %ymm0
289 ; AVX512BWNOVL-NEXT: # kill: def $xmm0 killed $xmm0 killed $ymm0
290 ; AVX512BWNOVL-NEXT: vzeroupper
291 ; AVX512BWNOVL-NEXT: retq
292 %shift = lshr <16 x i8> %a, %b
293 ret <16 x i8> %shift
294 }
296 define <32 x i8> @var_ashr_v32i8(<32 x i8> %a, <32 x i8> %b) {
297 ; AVX256-LABEL: var_ashr_v32i8:
298 ; AVX256: # %bb.0:
299 ; AVX256-NEXT: vpsllw $5, %ymm1, %ymm1
300 ; AVX256-NEXT: vpunpckhbw {{.*#+}} ymm2 = ymm1[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31]
301 ; AVX256-NEXT: vpunpckhbw {{.*#+}} ymm3 = ymm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31]
302 ; AVX256-NEXT: vpsraw $4, %ymm3, %ymm4
303 ; AVX256-NEXT: vpblendvb %ymm2, %ymm4, %ymm3, %ymm3
304 ; AVX256-NEXT: vpsraw $2, %ymm3, %ymm4
305 ; AVX256-NEXT: vpaddw %ymm2, %ymm2, %ymm2
306 ; AVX256-NEXT: vpblendvb %ymm2, %ymm4, %ymm3, %ymm3
307 ; AVX256-NEXT: vpsraw $1, %ymm3, %ymm4
308 ; AVX256-NEXT: vpaddw %ymm2, %ymm2, %ymm2
309 ; AVX256-NEXT: vpblendvb %ymm2, %ymm4, %ymm3, %ymm2
310 ; AVX256-NEXT: vpsrlw $8, %ymm2, %ymm2
311 ; AVX256-NEXT: vpunpcklbw {{.*#+}} ymm1 = ymm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23]
312 ; AVX256-NEXT: vpunpcklbw {{.*#+}} ymm0 = ymm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23]
313 ; AVX256-NEXT: vpsraw $4, %ymm0, %ymm3
314 ; AVX256-NEXT: vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
315 ; AVX256-NEXT: vpsraw $2, %ymm0, %ymm3
316 ; AVX256-NEXT: vpaddw %ymm1, %ymm1, %ymm1
317 ; AVX256-NEXT: vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
318 ; AVX256-NEXT: vpsraw $1, %ymm0, %ymm3
319 ; AVX256-NEXT: vpaddw %ymm1, %ymm1, %ymm1
320 ; AVX256-NEXT: vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
321 ; AVX256-NEXT: vpsrlw $8, %ymm0, %ymm0
322 ; AVX256-NEXT: vpackuswb %ymm2, %ymm0, %ymm0
323 ; AVX256-NEXT: retq
324 ;
325 ; AVX512BW-LABEL: var_ashr_v32i8:
326 ; AVX512BW: # %bb.0:
327 ; AVX512BW-NEXT: vpmovzxbw {{.*#+}} zmm1 = ymm1[0],zero,ymm1[1],zero,ymm1[2],zero,ymm1[3],zero,ymm1[4],zero,ymm1[5],zero,ymm1[6],zero,ymm1[7],zero,ymm1[8],zero,ymm1[9],zero,ymm1[10],zero,ymm1[11],zero,ymm1[12],zero,ymm1[13],zero,ymm1[14],zero,ymm1[15],zero,ymm1[16],zero,ymm1[17],zero,ymm1[18],zero,ymm1[19],zero,ymm1[20],zero,ymm1[21],zero,ymm1[22],zero,ymm1[23],zero,ymm1[24],zero,ymm1[25],zero,ymm1[26],zero,ymm1[27],zero,ymm1[28],zero,ymm1[29],zero,ymm1[30],zero,ymm1[31],zero
328 ; AVX512BW-NEXT: vpmovsxbw %ymm0, %zmm0
329 ; AVX512BW-NEXT: vpsravw %zmm1, %zmm0, %zmm0
330 ; AVX512BW-NEXT: vpmovwb %zmm0, %ymm0
331 ; AVX512BW-NEXT: retq
332 ;
333 ; AVX512VL-LABEL: var_ashr_v32i8:
334 ; AVX512VL: # %bb.0:
335 ; AVX512VL-NEXT: vpsllw $5, %ymm1, %ymm1
336 ; AVX512VL-NEXT: vpunpckhbw {{.*#+}} ymm2 = ymm1[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31]
337 ; AVX512VL-NEXT: vpunpckhbw {{.*#+}} ymm3 = ymm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31]
338 ; AVX512VL-NEXT: vpsraw $4, %ymm3, %ymm4
339 ; AVX512VL-NEXT: vpblendvb %ymm2, %ymm4, %ymm3, %ymm3
340 ; AVX512VL-NEXT: vpsraw $2, %ymm3, %ymm4
341 ; AVX512VL-NEXT: vpaddw %ymm2, %ymm2, %ymm2
342 ; AVX512VL-NEXT: vpblendvb %ymm2, %ymm4, %ymm3, %ymm3
343 ; AVX512VL-NEXT: vpsraw $1, %ymm3, %ymm4
344 ; AVX512VL-NEXT: vpaddw %ymm2, %ymm2, %ymm2
345 ; AVX512VL-NEXT: vpblendvb %ymm2, %ymm4, %ymm3, %ymm2
346 ; AVX512VL-NEXT: vpsrlw $8, %ymm2, %ymm2
347 ; AVX512VL-NEXT: vpunpcklbw {{.*#+}} ymm1 = ymm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23]
348 ; AVX512VL-NEXT: vpunpcklbw {{.*#+}} ymm0 = ymm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23]
349 ; AVX512VL-NEXT: vpsraw $4, %ymm0, %ymm3
350 ; AVX512VL-NEXT: vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
351 ; AVX512VL-NEXT: vpsraw $2, %ymm0, %ymm3
352 ; AVX512VL-NEXT: vpaddw %ymm1, %ymm1, %ymm1
353 ; AVX512VL-NEXT: vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
354 ; AVX512VL-NEXT: vpsraw $1, %ymm0, %ymm3
355 ; AVX512VL-NEXT: vpaddw %ymm1, %ymm1, %ymm1
356 ; AVX512VL-NEXT: vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
357 ; AVX512VL-NEXT: vpsrlw $8, %ymm0, %ymm0
358 ; AVX512VL-NEXT: vpackuswb %ymm2, %ymm0, %ymm0
359 ; AVX512VL-NEXT: retq
360 %shift = ashr <32 x i8> %a, %b
361 ret <32 x i8> %shift
362 }
364 define <16 x i16> @var_ashr_v16i16(<16 x i16> %a, <16 x i16> %b) {
365 ; AVX256BW-LABEL: var_ashr_v16i16:
366 ; AVX256BW: # %bb.0:
367 ; AVX256BW-NEXT: vpsravw %ymm1, %ymm0, %ymm0
368 ; AVX256BW-NEXT: retq
369 ;
370 ; AVX512BWVL-LABEL: var_ashr_v16i16:
371 ; AVX512BWVL: # %bb.0:
372 ; AVX512BWVL-NEXT: vpsravw %ymm1, %ymm0, %ymm0
373 ; AVX512BWVL-NEXT: retq
374 ;
375 ; AVX256VL-LABEL: var_ashr_v16i16:
376 ; AVX256VL: # %bb.0:
377 ; AVX256VL-NEXT: vpxor %xmm2, %xmm2, %xmm2
378 ; AVX256VL-NEXT: vpunpckhwd {{.*#+}} ymm3 = ymm1[4],ymm2[4],ymm1[5],ymm2[5],ymm1[6],ymm2[6],ymm1[7],ymm2[7],ymm1[12],ymm2[12],ymm1[13],ymm2[13],ymm1[14],ymm2[14],ymm1[15],ymm2[15]
379 ; AVX256VL-NEXT: vpunpckhwd {{.*#+}} ymm4 = ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15]
380 ; AVX256VL-NEXT: vpsravd %ymm3, %ymm4, %ymm3
381 ; AVX256VL-NEXT: vpsrld $16, %ymm3, %ymm3
382 ; AVX256VL-NEXT: vpunpcklwd {{.*#+}} ymm1 = ymm1[0],ymm2[0],ymm1[1],ymm2[1],ymm1[2],ymm2[2],ymm1[3],ymm2[3],ymm1[8],ymm2[8],ymm1[9],ymm2[9],ymm1[10],ymm2[10],ymm1[11],ymm2[11]
383 ; AVX256VL-NEXT: vpunpcklwd {{.*#+}} ymm0 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11]
384 ; AVX256VL-NEXT: vpsravd %ymm1, %ymm0, %ymm0
385 ; AVX256VL-NEXT: vpsrld $16, %ymm0, %ymm0
386 ; AVX256VL-NEXT: vpackusdw %ymm3, %ymm0, %ymm0
387 ; AVX256VL-NEXT: retq
388 ;
389 ; AVX512VL-LABEL: var_ashr_v16i16:
390 ; AVX512VL: # %bb.0:
391 ; AVX512VL-NEXT: vpmovzxwd {{.*#+}} zmm1 = ymm1[0],zero,ymm1[1],zero,ymm1[2],zero,ymm1[3],zero,ymm1[4],zero,ymm1[5],zero,ymm1[6],zero,ymm1[7],zero,ymm1[8],zero,ymm1[9],zero,ymm1[10],zero,ymm1[11],zero,ymm1[12],zero,ymm1[13],zero,ymm1[14],zero,ymm1[15],zero
392 ; AVX512VL-NEXT: vpmovsxwd %ymm0, %zmm0
393 ; AVX512VL-NEXT: vpsravd %zmm1, %zmm0, %zmm0
394 ; AVX512VL-NEXT: vpmovdw %zmm0, %ymm0
395 ; AVX512VL-NEXT: retq
396 ;
397 ; AVX512BWNOVL-LABEL: var_ashr_v16i16:
398 ; AVX512BWNOVL: # %bb.0:
399 ; AVX512BWNOVL-NEXT: # kill: def $ymm1 killed $ymm1 def $zmm1
400 ; AVX512BWNOVL-NEXT: # kill: def $ymm0 killed $ymm0 def $zmm0
401 ; AVX512BWNOVL-NEXT: vpsravw %zmm1, %zmm0, %zmm0
402 ; AVX512BWNOVL-NEXT: # kill: def $ymm0 killed $ymm0 killed $zmm0
403 ; AVX512BWNOVL-NEXT: retq
404 %shift = ashr <16 x i16> %a, %b
405 ret <16 x i16> %shift
406 }
408 define <16 x i8> @var_ashr_v16i8(<16 x i8> %a, <16 x i8> %b) {
409 ; AVX256BW-LABEL: var_ashr_v16i8:
410 ; AVX256BW: # %bb.0:
411 ; AVX256BW-NEXT: vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
412 ; AVX256BW-NEXT: vpmovsxbw %xmm0, %ymm0
413 ; AVX256BW-NEXT: vpsravw %ymm1, %ymm0, %ymm0
414 ; AVX256BW-NEXT: vpmovwb %ymm0, %xmm0
415 ; AVX256BW-NEXT: vzeroupper
416 ; AVX256BW-NEXT: retq
417 ;
418 ; AVX512BWVL-LABEL: var_ashr_v16i8:
419 ; AVX512BWVL: # %bb.0:
420 ; AVX512BWVL-NEXT: vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
421 ; AVX512BWVL-NEXT: vpmovsxbw %xmm0, %ymm0
422 ; AVX512BWVL-NEXT: vpsravw %ymm1, %ymm0, %ymm0
423 ; AVX512BWVL-NEXT: vpmovwb %ymm0, %xmm0
424 ; AVX512BWVL-NEXT: vzeroupper
425 ; AVX512BWVL-NEXT: retq
426 ;
427 ; AVX256VL-LABEL: var_ashr_v16i8:
428 ; AVX256VL: # %bb.0:
429 ; AVX256VL-NEXT: vpsllw $5, %xmm1, %xmm1
430 ; AVX256VL-NEXT: vpunpckhbw {{.*#+}} xmm2 = xmm1[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
431 ; AVX256VL-NEXT: vpunpckhbw {{.*#+}} xmm3 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
432 ; AVX256VL-NEXT: vpsraw $4, %xmm3, %xmm4
433 ; AVX256VL-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
434 ; AVX256VL-NEXT: vpsraw $2, %xmm3, %xmm4
435 ; AVX256VL-NEXT: vpaddw %xmm2, %xmm2, %xmm2
436 ; AVX256VL-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
437 ; AVX256VL-NEXT: vpsraw $1, %xmm3, %xmm4
438 ; AVX256VL-NEXT: vpaddw %xmm2, %xmm2, %xmm2
439 ; AVX256VL-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm2
440 ; AVX256VL-NEXT: vpsrlw $8, %xmm2, %xmm2
441 ; AVX256VL-NEXT: vpunpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
442 ; AVX256VL-NEXT: vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
443 ; AVX256VL-NEXT: vpsraw $4, %xmm0, %xmm3
444 ; AVX256VL-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
445 ; AVX256VL-NEXT: vpsraw $2, %xmm0, %xmm3
446 ; AVX256VL-NEXT: vpaddw %xmm1, %xmm1, %xmm1
447 ; AVX256VL-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
448 ; AVX256VL-NEXT: vpsraw $1, %xmm0, %xmm3
449 ; AVX256VL-NEXT: vpaddw %xmm1, %xmm1, %xmm1
450 ; AVX256VL-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
451 ; AVX256VL-NEXT: vpsrlw $8, %xmm0, %xmm0
452 ; AVX256VL-NEXT: vpackuswb %xmm2, %xmm0, %xmm0
453 ; AVX256VL-NEXT: retq
454 ;
455 ; AVX512VL-LABEL: var_ashr_v16i8:
456 ; AVX512VL: # %bb.0:
457 ; AVX512VL-NEXT: vpmovzxbd {{.*#+}} zmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero,xmm1[2],zero,zero,zero,xmm1[3],zero,zero,zero,xmm1[4],zero,zero,zero,xmm1[5],zero,zero,zero,xmm1[6],zero,zero,zero,xmm1[7],zero,zero,zero,xmm1[8],zero,zero,zero,xmm1[9],zero,zero,zero,xmm1[10],zero,zero,zero,xmm1[11],zero,zero,zero,xmm1[12],zero,zero,zero,xmm1[13],zero,zero,zero,xmm1[14],zero,zero,zero,xmm1[15],zero,zero,zero
458 ; AVX512VL-NEXT: vpmovsxbd %xmm0, %zmm0
459 ; AVX512VL-NEXT: vpsravd %zmm1, %zmm0, %zmm0
460 ; AVX512VL-NEXT: vpmovdb %zmm0, %xmm0
461 ; AVX512VL-NEXT: vzeroupper
462 ; AVX512VL-NEXT: retq
463 ;
464 ; AVX512BWNOVL-LABEL: var_ashr_v16i8:
465 ; AVX512BWNOVL: # %bb.0:
466 ; AVX512BWNOVL-NEXT: vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
467 ; AVX512BWNOVL-NEXT: vpmovsxbw %xmm0, %ymm0
468 ; AVX512BWNOVL-NEXT: vpsravw %zmm1, %zmm0, %zmm0
469 ; AVX512BWNOVL-NEXT: vpmovwb %zmm0, %ymm0
470 ; AVX512BWNOVL-NEXT: # kill: def $xmm0 killed $xmm0 killed $ymm0
471 ; AVX512BWNOVL-NEXT: vzeroupper
472 ; AVX512BWNOVL-NEXT: retq
473 %shift = ashr <16 x i8> %a, %b
474 ret <16 x i8> %shift
475 }