test/CodeGen/X86/combine-shl.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse2 | FileCheck %s --check-prefixes=CHECK,SSE,SSE2
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse4.1 | FileCheck %s --check-prefixes=CHECK,SSE,SSE41
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefixes=CHECK,AVX,AVX-SLOW
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2,+fast-variable-shuffle | FileCheck %s --check-prefixes=CHECK,AVX,AVX-FAST
   6
   7 ; fold (shl 0, x) -> 0
   8 define <4 x i32> @combine_vec_shl_zero(<4 x i32> %x) {
   9 ; SSE-LABEL: combine_vec_shl_zero:
  10 ; SSE:       # %bb.0:
  11 ; SSE-NEXT:    xorps %xmm0, %xmm0
  12 ; SSE-NEXT:    retq
  13 ;
  14 ; AVX-LABEL: combine_vec_shl_zero:
  15 ; AVX:       # %bb.0:
  16 ; AVX-NEXT:    vxorps %xmm0, %xmm0, %xmm0
  17 ; AVX-NEXT:    retq
  18   %1 = shl <4 x i32> zeroinitializer, %x
  19   ret <4 x i32> %1
  20 }
  21
  22 ; fold (shl x, c >= size(x)) -> undef
  23 define <4 x i32> @combine_vec_shl_outofrange0(<4 x i32> %x) {
  24 ; CHECK-LABEL: combine_vec_shl_outofrange0:
  25 ; CHECK:       # %bb.0:
  26 ; CHECK-NEXT:    retq
  27   %1 = shl <4 x i32> %x, <i32 33, i32 33, i32 33, i32 33>
  28   ret <4 x i32> %1
  29 }
  30
  31 define <4 x i32> @combine_vec_shl_outofrange1(<4 x i32> %x) {
  32 ; CHECK-LABEL: combine_vec_shl_outofrange1:
  33 ; CHECK:       # %bb.0:
  34 ; CHECK-NEXT:    retq
  35   %1 = shl <4 x i32> %x, <i32 33, i32 34, i32 35, i32 36>
  36   ret <4 x i32> %1
  37 }
  38
  39 define <4 x i32> @combine_vec_shl_outofrange2(<4 x i32> %a0) {
  40 ; CHECK-LABEL: combine_vec_shl_outofrange2:
  41 ; CHECK:       # %bb.0:
  42 ; CHECK-NEXT:    retq
  43   %1 = and <4 x i32> %a0, <i32 2147483647, i32 2147483647, i32 2147483647, i32 2147483647>
  44   %2 = shl <4 x i32> %1, <i32 33, i32 33, i32 33, i32 33>
  45   ret <4 x i32> %2
  46 }
  47
  48 define <4 x i32> @combine_vec_shl_outofrange3(<4 x i32> %a0) {
  49 ; CHECK-LABEL: combine_vec_shl_outofrange3:
  50 ; CHECK:       # %bb.0:
  51 ; CHECK-NEXT:    retq
  52   %1 = shl <4 x i32> %a0, <i32 33, i32 34, i32 35, i32 undef>
  53   ret <4 x i32> %1
  54 }
  55
  56 ; fold (shl x, 0) -> x
  57 define <4 x i32> @combine_vec_shl_by_zero(<4 x i32> %x) {
  58 ; CHECK-LABEL: combine_vec_shl_by_zero:
  59 ; CHECK:       # %bb.0:
  60 ; CHECK-NEXT:    retq
  61   %1 = shl <4 x i32> %x, zeroinitializer
  62   ret <4 x i32> %1
  63 }
  64
  65 ; if (shl x, c) is known to be zero, return 0
  66 define <4 x i32> @combine_vec_shl_known_zero0(<4 x i32> %x) {
  67 ; SSE-LABEL: combine_vec_shl_known_zero0:
  68 ; SSE:       # %bb.0:
  69 ; SSE-NEXT:    xorps %xmm0, %xmm0
  70 ; SSE-NEXT:    retq
  71 ;
  72 ; AVX-LABEL: combine_vec_shl_known_zero0:
  73 ; AVX:       # %bb.0:
  74 ; AVX-NEXT:    vxorps %xmm0, %xmm0, %xmm0
  75 ; AVX-NEXT:    retq
  76   %1 = and <4 x i32> %x, <i32 4294901760, i32 4294901760, i32 4294901760, i32 4294901760>
  77   %2 = shl <4 x i32> %1, <i32 16, i32 16, i32 16, i32 16>
  78   ret <4 x i32> %2
  79 }
  80
  81 define <4 x i32> @combine_vec_shl_known_zero1(<4 x i32> %x) {
  82 ; SSE2-LABEL: combine_vec_shl_known_zero1:
  83 ; SSE2:       # %bb.0:
  84 ; SSE2-NEXT:    pand {{.*}}(%rip), %xmm0
  85 ; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [65536,32768,16384,8192]
  86 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
  87 ; SSE2-NEXT:    pmuludq %xmm1, %xmm0
  88 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
  89 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
  90 ; SSE2-NEXT:    pmuludq %xmm2, %xmm1
  91 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
  92 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
  93 ; SSE2-NEXT:    retq
  94 ;
  95 ; SSE41-LABEL: combine_vec_shl_known_zero1:
  96 ; SSE41:       # %bb.0:
  97 ; SSE41-NEXT:    pand {{.*}}(%rip), %xmm0
  98 ; SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm0
  99 ; SSE41-NEXT:    retq
 100 ;
 101 ; AVX-LABEL: combine_vec_shl_known_zero1:
 102 ; AVX:       # %bb.0:
 103 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
 104 ; AVX-NEXT:    vpsllvd {{.*}}(%rip), %xmm0, %xmm0
 105 ; AVX-NEXT:    retq
 106   %1 = and <4 x i32> %x, <i32 4294901760, i32 8589803520, i32 17179607040, i32 34359214080>
 107   %2 = shl <4 x i32> %1, <i32 16, i32 15, i32 14, i32 13>
 108   ret <4 x i32> %2
 109 }
 110
 111 ; fold (shl x, (trunc (and y, c))) -> (shl x, (and (trunc y), (trunc c))).
 112 define <4 x i32> @combine_vec_shl_trunc_and(<4 x i32> %x, <4 x i64> %y) {
 113 ; SSE2-LABEL: combine_vec_shl_trunc_and:
 114 ; SSE2:       # %bb.0:
 115 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,2],xmm2[0,2]
 116 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm1
 117 ; SSE2-NEXT:    pslld $23, %xmm1
 118 ; SSE2-NEXT:    paddd {{.*}}(%rip), %xmm1
 119 ; SSE2-NEXT:    cvttps2dq %xmm1, %xmm1
 120 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 121 ; SSE2-NEXT:    pmuludq %xmm1, %xmm0
 122 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 123 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 124 ; SSE2-NEXT:    pmuludq %xmm2, %xmm1
 125 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 126 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 127 ; SSE2-NEXT:    retq
 128 ;
 129 ; SSE41-LABEL: combine_vec_shl_trunc_and:
 130 ; SSE41:       # %bb.0:
 131 ; SSE41-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,2],xmm2[0,2]
 132 ; SSE41-NEXT:    andps {{.*}}(%rip), %xmm1
 133 ; SSE41-NEXT:    pslld $23, %xmm1
 134 ; SSE41-NEXT:    paddd {{.*}}(%rip), %xmm1
 135 ; SSE41-NEXT:    cvttps2dq %xmm1, %xmm1
 136 ; SSE41-NEXT:    pmulld %xmm1, %xmm0
 137 ; SSE41-NEXT:    retq
 138 ;
 139 ; AVX-SLOW-LABEL: combine_vec_shl_trunc_and:
 140 ; AVX-SLOW:       # %bb.0:
 141 ; AVX-SLOW-NEXT:    vpshufd {{.*#+}} ymm1 = ymm1[0,2,2,3,4,6,6,7]
 142 ; AVX-SLOW-NEXT:    vpermq {{.*#+}} ymm1 = ymm1[0,2,2,3]
 143 ; AVX-SLOW-NEXT:    vpand {{.*}}(%rip), %xmm1, %xmm1
 144 ; AVX-SLOW-NEXT:    vpsllvd %xmm1, %xmm0, %xmm0
 145 ; AVX-SLOW-NEXT:    vzeroupper
 146 ; AVX-SLOW-NEXT:    retq
 147 ;
 148 ; AVX-FAST-LABEL: combine_vec_shl_trunc_and:
 149 ; AVX-FAST:       # %bb.0:
 150 ; AVX-FAST-NEXT:    vmovdqa {{.*#+}} ymm2 = [0,2,4,6,4,6,6,7]
 151 ; AVX-FAST-NEXT:    vpermd %ymm1, %ymm2, %ymm1
 152 ; AVX-FAST-NEXT:    vpand {{.*}}(%rip), %xmm1, %xmm1
 153 ; AVX-FAST-NEXT:    vpsllvd %xmm1, %xmm0, %xmm0
 154 ; AVX-FAST-NEXT:    vzeroupper
 155 ; AVX-FAST-NEXT:    retq
 156   %1 = and <4 x i64> %y, <i64 15, i64 255, i64 4095, i64 65535>
 157   %2 = trunc <4 x i64> %1 to <4 x i32>
 158   %3 = shl <4 x i32> %x, %2
 159   ret <4 x i32> %3
 160 }
 161
 162 ; fold (shl (shl x, c1), c2) -> (shl x, (add c1, c2))
 163 define <4 x i32> @combine_vec_shl_shl0(<4 x i32> %x) {
 164 ; SSE-LABEL: combine_vec_shl_shl0:
 165 ; SSE:       # %bb.0:
 166 ; SSE-NEXT:    pslld $6, %xmm0
 167 ; SSE-NEXT:    retq
 168 ;
 169 ; AVX-LABEL: combine_vec_shl_shl0:
 170 ; AVX:       # %bb.0:
 171 ; AVX-NEXT:    vpslld $6, %xmm0, %xmm0
 172 ; AVX-NEXT:    retq
 173   %1 = shl <4 x i32> %x, <i32 2, i32 2, i32 2, i32 2>
 174   %2 = shl <4 x i32> %1, <i32 4, i32 4, i32 4, i32 4>
 175   ret <4 x i32> %2
 176 }
 177
 178 define <4 x i32> @combine_vec_shl_shl1(<4 x i32> %x) {
 179 ; SSE2-LABEL: combine_vec_shl_shl1:
 180 ; SSE2:       # %bb.0:
 181 ; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [16,64,256,1024]
 182 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 183 ; SSE2-NEXT:    pmuludq %xmm1, %xmm0
 184 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 185 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 186 ; SSE2-NEXT:    pmuludq %xmm2, %xmm1
 187 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 188 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 189 ; SSE2-NEXT:    retq
 190 ;
 191 ; SSE41-LABEL: combine_vec_shl_shl1:
 192 ; SSE41:       # %bb.0:
 193 ; SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm0
 194 ; SSE41-NEXT:    retq
 195 ;
 196 ; AVX-LABEL: combine_vec_shl_shl1:
 197 ; AVX:       # %bb.0:
 198 ; AVX-NEXT:    vpsllvd {{.*}}(%rip), %xmm0, %xmm0
 199 ; AVX-NEXT:    retq
 200   %1 = shl <4 x i32> %x, <i32 0, i32 1, i32 2, i32 3>
 201   %2 = shl <4 x i32> %1, <i32 4, i32 5, i32 6, i32 7>
 202   ret <4 x i32> %2
 203 }
 204
 205 ; fold (shl (shl x, c1), c2) -> 0
 206 define <4 x i32> @combine_vec_shl_shlr_zero0(<4 x i32> %x) {
 207 ; SSE-LABEL: combine_vec_shl_shlr_zero0:
 208 ; SSE:       # %bb.0:
 209 ; SSE-NEXT:    xorps %xmm0, %xmm0
 210 ; SSE-NEXT:    retq
 211 ;
 212 ; AVX-LABEL: combine_vec_shl_shlr_zero0:
 213 ; AVX:       # %bb.0:
 214 ; AVX-NEXT:    vxorps %xmm0, %xmm0, %xmm0
 215 ; AVX-NEXT:    retq
 216   %1 = shl <4 x i32> %x, <i32 16, i32 16, i32 16, i32 16>
 217   %2 = shl <4 x i32> %1, <i32 20, i32 20, i32 20, i32 20>
 218   ret <4 x i32> %2
 219 }
 220
 221 define <4 x i32> @combine_vec_shl_shl_zero1(<4 x i32> %x) {
 222 ; SSE-LABEL: combine_vec_shl_shl_zero1:
 223 ; SSE:       # %bb.0:
 224 ; SSE-NEXT:    xorps %xmm0, %xmm0
 225 ; SSE-NEXT:    retq
 226 ;
 227 ; AVX-LABEL: combine_vec_shl_shl_zero1:
 228 ; AVX:       # %bb.0:
 229 ; AVX-NEXT:    vxorps %xmm0, %xmm0, %xmm0
 230 ; AVX-NEXT:    retq
 231   %1 = shl <4 x i32> %x, <i32 17, i32 18, i32 19, i32 20>
 232   %2 = shl <4 x i32> %1, <i32 25, i32 26, i32 27, i32 28>
 233   ret <4 x i32> %2
 234 }
 235
 236 ; fold (shl (ext (shl x, c1)), c2) -> (ext (shl x, (add c1, c2)))
 237 define <8 x i32> @combine_vec_shl_ext_shl0(<8 x i16> %x) {
 238 ; SSE2-LABEL: combine_vec_shl_ext_shl0:
 239 ; SSE2:       # %bb.0:
 240 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
 241 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
 242 ; SSE2-NEXT:    pslld $20, %xmm0
 243 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
 244 ; SSE2-NEXT:    pslld $20, %xmm1
 245 ; SSE2-NEXT:    retq
 246 ;
 247 ; SSE41-LABEL: combine_vec_shl_ext_shl0:
 248 ; SSE41:       # %bb.0:
 249 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
 250 ; SSE41-NEXT:    pmovzxwd {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
 251 ; SSE41-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
 252 ; SSE41-NEXT:    pslld $20, %xmm1
 253 ; SSE41-NEXT:    pslld $20, %xmm0
 254 ; SSE41-NEXT:    retq
 255 ;
 256 ; AVX-LABEL: combine_vec_shl_ext_shl0:
 257 ; AVX:       # %bb.0:
 258 ; AVX-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
 259 ; AVX-NEXT:    vpslld $20, %ymm0, %ymm0
 260 ; AVX-NEXT:    retq
 261   %1 = shl <8 x i16> %x, <i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4>
 262   %2 = sext <8 x i16> %1 to <8 x i32>
 263   %3 = shl <8 x i32> %2, <i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16>
 264   ret <8 x i32> %3
 265 }
 266
 267 define <8 x i32> @combine_vec_shl_ext_shl1(<8 x i16> %x) {
 268 ; SSE2-LABEL: combine_vec_shl_ext_shl1:
 269 ; SSE2:       # %bb.0:
 270 ; SSE2-NEXT:    pmullw {{.*}}(%rip), %xmm0
 271 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
 272 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
 273 ; SSE2-NEXT:    psrad $16, %xmm1
 274 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
 275 ; SSE2-NEXT:    pslld $29, %xmm2
 276 ; SSE2-NEXT:    pslld $28, %xmm1
 277 ; SSE2-NEXT:    movsd {{.*#+}} xmm1 = xmm2[0],xmm1[1]
 278 ; SSE2-NEXT:    pslld $30, %xmm0
 279 ; SSE2-NEXT:    xorpd %xmm2, %xmm2
 280 ; SSE2-NEXT:    movsd {{.*#+}} xmm0 = xmm2[0],xmm0[1]
 281 ; SSE2-NEXT:    retq
 282 ;
 283 ; SSE41-LABEL: combine_vec_shl_ext_shl1:
 284 ; SSE41:       # %bb.0:
 285 ; SSE41-NEXT:    pmullw {{.*}}(%rip), %xmm0
 286 ; SSE41-NEXT:    pmovsxwd %xmm0, %xmm0
 287 ; SSE41-NEXT:    pslld $30, %xmm0
 288 ; SSE41-NEXT:    pxor %xmm1, %xmm1
 289 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm0[4,5,6,7]
 290 ; SSE41-NEXT:    pxor %xmm1, %xmm1
 291 ; SSE41-NEXT:    retq
 292 ;
 293 ; AVX-LABEL: combine_vec_shl_ext_shl1:
 294 ; AVX:       # %bb.0:
 295 ; AVX-NEXT:    vpmullw {{.*}}(%rip), %xmm0, %xmm0
 296 ; AVX-NEXT:    vpmovsxwd %xmm0, %ymm0
 297 ; AVX-NEXT:    vpsllvd {{.*}}(%rip), %ymm0, %ymm0
 298 ; AVX-NEXT:    retq
 299   %1 = shl <8 x i16> %x, <i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8>
 300   %2 = sext <8 x i16> %1 to <8 x i32>
 301   %3 = shl <8 x i32> %2, <i32 31, i32 31, i32 30, i32 30, i32 29, i32 29, i32 28, i32 28>
 302   ret <8 x i32> %3
 303 }
 304
 305 ; fold (shl (zext (srl x, C)), C) -> (zext (shl (srl x, C), C))
 306 define <8 x i32> @combine_vec_shl_zext_lshr0(<8 x i16> %x) {
 307 ; SSE2-LABEL: combine_vec_shl_zext_lshr0:
 308 ; SSE2:       # %bb.0:
 309 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
 310 ; SSE2-NEXT:    pand {{.*}}(%rip), %xmm1
 311 ; SSE2-NEXT:    pxor %xmm2, %xmm2
 312 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
 313 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3]
 314 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
 315 ; SSE2-NEXT:    retq
 316 ;
 317 ; SSE41-LABEL: combine_vec_shl_zext_lshr0:
 318 ; SSE41:       # %bb.0:
 319 ; SSE41-NEXT:    pand {{.*}}(%rip), %xmm0
 320 ; SSE41-NEXT:    pmovzxwd {{.*#+}} xmm2 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
 321 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
 322 ; SSE41-NEXT:    pmovzxwd {{.*#+}} xmm1 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
 323 ; SSE41-NEXT:    movdqa %xmm2, %xmm0
 324 ; SSE41-NEXT:    retq
 325 ;
 326 ; AVX-LABEL: combine_vec_shl_zext_lshr0:
 327 ; AVX:       # %bb.0:
 328 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
 329 ; AVX-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
 330 ; AVX-NEXT:    retq
 331   %1 = lshr <8 x i16> %x, <i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4, i16 4>
 332   %2 = zext <8 x i16> %1 to <8 x i32>
 333   %3 = shl <8 x i32> %2, <i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
 334   ret <8 x i32> %3
 335 }
 336
 337 define <8 x i32> @combine_vec_shl_zext_lshr1(<8 x i16> %x) {
 338 ; SSE2-LABEL: combine_vec_shl_zext_lshr1:
 339 ; SSE2:       # %bb.0:
 340 ; SSE2-NEXT:    pmulhuw {{.*}}(%rip), %xmm0
 341 ; SSE2-NEXT:    pxor %xmm1, %xmm1
 342 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 343 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm2 = xmm2[4],xmm1[4],xmm2[5],xmm1[5],xmm2[6],xmm1[6],xmm2[7],xmm1[7]
 344 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 345 ; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [2,4,8,16]
 346 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
 347 ; SSE2-NEXT:    pmuludq %xmm1, %xmm0
 348 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 349 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 350 ; SSE2-NEXT:    pmuludq %xmm3, %xmm1
 351 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 352 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 353 ; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [32,64,128,256]
 354 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm2[1,1,3,3]
 355 ; SSE2-NEXT:    pmuludq %xmm3, %xmm2
 356 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 357 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[1,1,3,3]
 358 ; SSE2-NEXT:    pmuludq %xmm4, %xmm2
 359 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[0,2,2,3]
 360 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
 361 ; SSE2-NEXT:    retq
 362 ;
 363 ; SSE41-LABEL: combine_vec_shl_zext_lshr1:
 364 ; SSE41:       # %bb.0:
 365 ; SSE41-NEXT:    pmulhuw {{.*}}(%rip), %xmm0
 366 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,0,1]
 367 ; SSE41-NEXT:    pmovzxwd {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero
 368 ; SSE41-NEXT:    pmovzxwd {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
 369 ; SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm0
 370 ; SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm1
 371 ; SSE41-NEXT:    retq
 372 ;
 373 ; AVX-LABEL: combine_vec_shl_zext_lshr1:
 374 ; AVX:       # %bb.0:
 375 ; AVX-NEXT:    vpmulhuw {{.*}}(%rip), %xmm0, %xmm0
 376 ; AVX-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
 377 ; AVX-NEXT:    vpsllvd {{.*}}(%rip), %ymm0, %ymm0
 378 ; AVX-NEXT:    retq
 379   %1 = lshr <8 x i16> %x, <i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8>
 380   %2 = zext <8 x i16> %1 to <8 x i32>
 381   %3 = shl <8 x i32> %2, <i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8>
 382   ret <8 x i32> %3
 383 }
 384
 385 ; fold (shl (sr[la] exact X,  C1), C2) -> (shl X, (C2-C1)) if C1 <= C2
 386 define <4 x i32> @combine_vec_shl_ge_ashr_extact0(<4 x i32> %x) {
 387 ; SSE-LABEL: combine_vec_shl_ge_ashr_extact0:
 388 ; SSE:       # %bb.0:
 389 ; SSE-NEXT:    pslld $2, %xmm0
 390 ; SSE-NEXT:    retq
 391 ;
 392 ; AVX-LABEL: combine_vec_shl_ge_ashr_extact0:
 393 ; AVX:       # %bb.0:
 394 ; AVX-NEXT:    vpslld $2, %xmm0, %xmm0
 395 ; AVX-NEXT:    retq
 396   %1 = ashr exact <4 x i32> %x, <i32 3, i32 3, i32 3, i32 3>
 397   %2 = shl <4 x i32> %1, <i32 5, i32 5, i32 5, i32 5>
 398   ret <4 x i32> %2
 399 }
 400
 401 define <4 x i32> @combine_vec_shl_ge_ashr_extact1(<4 x i32> %x) {
 402 ; SSE2-LABEL: combine_vec_shl_ge_ashr_extact1:
 403 ; SSE2:       # %bb.0:
 404 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
 405 ; SSE2-NEXT:    psrad $5, %xmm1
 406 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 407 ; SSE2-NEXT:    psrad $3, %xmm2
 408 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,3],xmm1[2,3]
 409 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
 410 ; SSE2-NEXT:    psrad $8, %xmm1
 411 ; SSE2-NEXT:    psrad $4, %xmm0
 412 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[1,1],xmm1[3,3]
 413 ; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [32,64,128,256]
 414 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
 415 ; SSE2-NEXT:    pmuludq %xmm0, %xmm3
 416 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
 417 ; SSE2-NEXT:    pmuludq %xmm1, %xmm2
 418 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[0,2,2,3]
 419 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1]
 420 ; SSE2-NEXT:    retq
 421 ;
 422 ; SSE41-LABEL: combine_vec_shl_ge_ashr_extact1:
 423 ; SSE41:       # %bb.0:
 424 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
 425 ; SSE41-NEXT:    psrad $8, %xmm1
 426 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
 427 ; SSE41-NEXT:    psrad $4, %xmm2
 428 ; SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
 429 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
 430 ; SSE41-NEXT:    psrad $5, %xmm1
 431 ; SSE41-NEXT:    psrad $3, %xmm0
 432 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
 433 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 434 ; SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm0
 435 ; SSE41-NEXT:    retq
 436 ;
 437 ; AVX-LABEL: combine_vec_shl_ge_ashr_extact1:
 438 ; AVX:       # %bb.0:
 439 ; AVX-NEXT:    vpsravd {{.*}}(%rip), %xmm0, %xmm0
 440 ; AVX-NEXT:    vpsllvd {{.*}}(%rip), %xmm0, %xmm0
 441 ; AVX-NEXT:    retq
 442   %1 = ashr exact <4 x i32> %x, <i32 3, i32 4, i32 5, i32 8>
 443   %2 = shl <4 x i32> %1, <i32 5, i32 6, i32 7, i32 8>
 444   ret <4 x i32> %2
 445 }
 446
 447 ; fold (shl (sr[la] exact X,  C1), C2) -> (sr[la] X, (C2-C1)) if C1  > C2
 448 define <4 x i32> @combine_vec_shl_lt_ashr_extact0(<4 x i32> %x) {
 449 ; SSE-LABEL: combine_vec_shl_lt_ashr_extact0:
 450 ; SSE:       # %bb.0:
 451 ; SSE-NEXT:    psrad $2, %xmm0
 452 ; SSE-NEXT:    retq
 453 ;
 454 ; AVX-LABEL: combine_vec_shl_lt_ashr_extact0:
 455 ; AVX:       # %bb.0:
 456 ; AVX-NEXT:    vpsrad $2, %xmm0, %xmm0
 457 ; AVX-NEXT:    retq
 458   %1 = ashr exact <4 x i32> %x, <i32 5, i32 5, i32 5, i32 5>
 459   %2 = shl <4 x i32> %1, <i32 3, i32 3, i32 3, i32 3>
 460   ret <4 x i32> %2
 461 }
 462
 463 define <4 x i32> @combine_vec_shl_lt_ashr_extact1(<4 x i32> %x) {
 464 ; SSE2-LABEL: combine_vec_shl_lt_ashr_extact1:
 465 ; SSE2:       # %bb.0:
 466 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
 467 ; SSE2-NEXT:    psrad $7, %xmm1
 468 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 469 ; SSE2-NEXT:    psrad $5, %xmm2
 470 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,3],xmm1[2,3]
 471 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
 472 ; SSE2-NEXT:    psrad $8, %xmm1
 473 ; SSE2-NEXT:    psrad $6, %xmm0
 474 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[1,1],xmm1[3,3]
 475 ; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [8,16,32,256]
 476 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
 477 ; SSE2-NEXT:    pmuludq %xmm0, %xmm3
 478 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
 479 ; SSE2-NEXT:    pmuludq %xmm1, %xmm2
 480 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[0,2,2,3]
 481 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1]
 482 ; SSE2-NEXT:    retq
 483 ;
 484 ; SSE41-LABEL: combine_vec_shl_lt_ashr_extact1:
 485 ; SSE41:       # %bb.0:
 486 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
 487 ; SSE41-NEXT:    psrad $8, %xmm1
 488 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
 489 ; SSE41-NEXT:    psrad $6, %xmm2
 490 ; SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
 491 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
 492 ; SSE41-NEXT:    psrad $7, %xmm1
 493 ; SSE41-NEXT:    psrad $5, %xmm0
 494 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
 495 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 496 ; SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm0
 497 ; SSE41-NEXT:    retq
 498 ;
 499 ; AVX-LABEL: combine_vec_shl_lt_ashr_extact1:
 500 ; AVX:       # %bb.0:
 501 ; AVX-NEXT:    vpsravd {{.*}}(%rip), %xmm0, %xmm0
 502 ; AVX-NEXT:    vpsllvd {{.*}}(%rip), %xmm0, %xmm0
 503 ; AVX-NEXT:    retq
 504   %1 = ashr exact <4 x i32> %x, <i32 5, i32 6, i32 7, i32 8>
 505   %2 = shl <4 x i32> %1, <i32 3, i32 4, i32 5, i32 8>
 506   ret <4 x i32> %2
 507 }
 508
 509 ; fold (shl (srl x, c1), c2) -> (and (shl x, (sub c2, c1), MASK) if C2 > C1
 510 define <4 x i32> @combine_vec_shl_gt_lshr0(<4 x i32> %x) {
 511 ; SSE-LABEL: combine_vec_shl_gt_lshr0:
 512 ; SSE:       # %bb.0:
 513 ; SSE-NEXT:    pslld $2, %xmm0
 514 ; SSE-NEXT:    pand {{.*}}(%rip), %xmm0
 515 ; SSE-NEXT:    retq
 516 ;
 517 ; AVX-LABEL: combine_vec_shl_gt_lshr0:
 518 ; AVX:       # %bb.0:
 519 ; AVX-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [4294967264,4294967264,4294967264,4294967264]
 520 ; AVX-NEXT:    vpslld $2, %xmm0, %xmm0
 521 ; AVX-NEXT:    vpand %xmm1, %xmm0, %xmm0
 522 ; AVX-NEXT:    retq
 523   %1 = lshr <4 x i32> %x, <i32 3, i32 3, i32 3, i32 3>
 524   %2 = shl <4 x i32> %1, <i32 5, i32 5, i32 5, i32 5>
 525   ret <4 x i32> %2
 526 }
 527
 528 define <4 x i32> @combine_vec_shl_gt_lshr1(<4 x i32> %x) {
 529 ; SSE2-LABEL: combine_vec_shl_gt_lshr1:
 530 ; SSE2:       # %bb.0:
 531 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
 532 ; SSE2-NEXT:    psrld $5, %xmm1
 533 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 534 ; SSE2-NEXT:    psrld $3, %xmm2
 535 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,3],xmm1[2,3]
 536 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
 537 ; SSE2-NEXT:    psrld $8, %xmm1
 538 ; SSE2-NEXT:    psrld $4, %xmm0
 539 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[1,1],xmm1[3,3]
 540 ; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [32,64,128,256]
 541 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
 542 ; SSE2-NEXT:    pmuludq %xmm0, %xmm3
 543 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
 544 ; SSE2-NEXT:    pmuludq %xmm1, %xmm2
 545 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[0,2,2,3]
 546 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1]
 547 ; SSE2-NEXT:    retq
 548 ;
 549 ; SSE41-LABEL: combine_vec_shl_gt_lshr1:
 550 ; SSE41:       # %bb.0:
 551 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
 552 ; SSE41-NEXT:    psrld $8, %xmm1
 553 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
 554 ; SSE41-NEXT:    psrld $4, %xmm2
 555 ; SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
 556 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
 557 ; SSE41-NEXT:    psrld $5, %xmm1
 558 ; SSE41-NEXT:    psrld $3, %xmm0
 559 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
 560 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 561 ; SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm0
 562 ; SSE41-NEXT:    retq
 563 ;
 564 ; AVX-LABEL: combine_vec_shl_gt_lshr1:
 565 ; AVX:       # %bb.0:
 566 ; AVX-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm0
 567 ; AVX-NEXT:    vpsllvd {{.*}}(%rip), %xmm0, %xmm0
 568 ; AVX-NEXT:    retq
 569   %1 = lshr <4 x i32> %x, <i32 3, i32 4, i32 5, i32 8>
 570   %2 = shl <4 x i32> %1, <i32 5, i32 6, i32 7, i32 8>
 571   ret <4 x i32> %2
 572 }
 573
 574 ; fold (shl (srl x, c1), c2) -> (and (srl x, (sub c1, c2), MASK) if C1 >= C2
 575 define <4 x i32> @combine_vec_shl_le_lshr0(<4 x i32> %x) {
 576 ; SSE-LABEL: combine_vec_shl_le_lshr0:
 577 ; SSE:       # %bb.0:
 578 ; SSE-NEXT:    psrld $2, %xmm0
 579 ; SSE-NEXT:    pand {{.*}}(%rip), %xmm0
 580 ; SSE-NEXT:    retq
 581 ;
 582 ; AVX-LABEL: combine_vec_shl_le_lshr0:
 583 ; AVX:       # %bb.0:
 584 ; AVX-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [1073741816,1073741816,1073741816,1073741816]
 585 ; AVX-NEXT:    vpsrld $2, %xmm0, %xmm0
 586 ; AVX-NEXT:    vpand %xmm1, %xmm0, %xmm0
 587 ; AVX-NEXT:    retq
 588   %1 = lshr <4 x i32> %x, <i32 5, i32 5, i32 5, i32 5>
 589   %2 = shl <4 x i32> %1, <i32 3, i32 3, i32 3, i32 3>
 590   ret <4 x i32> %2
 591 }
 592
 593 define <4 x i32> @combine_vec_shl_le_lshr1(<4 x i32> %x) {
 594 ; SSE2-LABEL: combine_vec_shl_le_lshr1:
 595 ; SSE2:       # %bb.0:
 596 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
 597 ; SSE2-NEXT:    psrld $7, %xmm1
 598 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 599 ; SSE2-NEXT:    psrld $5, %xmm2
 600 ; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,3],xmm1[2,3]
 601 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
 602 ; SSE2-NEXT:    psrld $8, %xmm1
 603 ; SSE2-NEXT:    psrld $6, %xmm0
 604 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[1,1],xmm1[3,3]
 605 ; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [8,16,32,256]
 606 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
 607 ; SSE2-NEXT:    pmuludq %xmm0, %xmm3
 608 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
 609 ; SSE2-NEXT:    pmuludq %xmm1, %xmm2
 610 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[0,2,2,3]
 611 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1]
 612 ; SSE2-NEXT:    retq
 613 ;
 614 ; SSE41-LABEL: combine_vec_shl_le_lshr1:
 615 ; SSE41:       # %bb.0:
 616 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
 617 ; SSE41-NEXT:    psrld $8, %xmm1
 618 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
 619 ; SSE41-NEXT:    psrld $6, %xmm2
 620 ; SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
 621 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
 622 ; SSE41-NEXT:    psrld $7, %xmm1
 623 ; SSE41-NEXT:    psrld $5, %xmm0
 624 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
 625 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 626 ; SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm0
 627 ; SSE41-NEXT:    retq
 628 ;
 629 ; AVX-LABEL: combine_vec_shl_le_lshr1:
 630 ; AVX:       # %bb.0:
 631 ; AVX-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm0
 632 ; AVX-NEXT:    vpsllvd {{.*}}(%rip), %xmm0, %xmm0
 633 ; AVX-NEXT:    retq
 634   %1 = lshr <4 x i32> %x, <i32 5, i32 6, i32 7, i32 8>
 635   %2 = shl <4 x i32> %1, <i32 3, i32 4, i32 5, i32 8>
 636   ret <4 x i32> %2
 637 }
 638
 639 ; fold (shl (sra x, c1), c1) -> (and x, (shl -1, c1))
 640 define <4 x i32> @combine_vec_shl_ashr0(<4 x i32> %x) {
 641 ; SSE-LABEL: combine_vec_shl_ashr0:
 642 ; SSE:       # %bb.0:
 643 ; SSE-NEXT:    andps {{.*}}(%rip), %xmm0
 644 ; SSE-NEXT:    retq
 645 ;
 646 ; AVX-LABEL: combine_vec_shl_ashr0:
 647 ; AVX:       # %bb.0:
 648 ; AVX-NEXT:    vbroadcastss {{.*#+}} xmm1 = [4294967264,4294967264,4294967264,4294967264]
 649 ; AVX-NEXT:    vandps %xmm1, %xmm0, %xmm0
 650 ; AVX-NEXT:    retq
 651   %1 = ashr <4 x i32> %x, <i32 5, i32 5, i32 5, i32 5>
 652   %2 = shl <4 x i32> %1, <i32 5, i32 5, i32 5, i32 5>
 653   ret <4 x i32> %2
 654 }
 655
 656 define <4 x i32> @combine_vec_shl_ashr1(<4 x i32> %x) {
 657 ; SSE-LABEL: combine_vec_shl_ashr1:
 658 ; SSE:       # %bb.0:
 659 ; SSE-NEXT:    andps {{.*}}(%rip), %xmm0
 660 ; SSE-NEXT:    retq
 661 ;
 662 ; AVX-LABEL: combine_vec_shl_ashr1:
 663 ; AVX:       # %bb.0:
 664 ; AVX-NEXT:    vandps {{.*}}(%rip), %xmm0, %xmm0
 665 ; AVX-NEXT:    retq
 666   %1 = ashr <4 x i32> %x, <i32 5, i32 6, i32 7, i32 8>
 667   %2 = shl <4 x i32> %1, <i32 5, i32 6, i32 7, i32 8>
 668   ret <4 x i32> %2
 669 }
 670
 671 ; fold (shl (add x, c1), c2) -> (add (shl x, c2), c1 << c2)
 672 define <4 x i32> @combine_vec_shl_add0(<4 x i32> %x) {
 673 ; SSE-LABEL: combine_vec_shl_add0:
 674 ; SSE:       # %bb.0:
 675 ; SSE-NEXT:    pslld $2, %xmm0
 676 ; SSE-NEXT:    paddd {{.*}}(%rip), %xmm0
 677 ; SSE-NEXT:    retq
 678 ;
 679 ; AVX-LABEL: combine_vec_shl_add0:
 680 ; AVX:       # %bb.0:
 681 ; AVX-NEXT:    vpslld $2, %xmm0, %xmm0
 682 ; AVX-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [20,20,20,20]
 683 ; AVX-NEXT:    vpaddd %xmm1, %xmm0, %xmm0
 684 ; AVX-NEXT:    retq
 685   %1 = add <4 x i32> %x, <i32 5, i32 5, i32 5, i32 5>
 686   %2 = shl <4 x i32> %1, <i32 2, i32 2, i32 2, i32 2>
 687   ret <4 x i32> %2
 688 }
 689
 690 define <4 x i32> @combine_vec_shl_add1(<4 x i32> %x) {
 691 ; SSE2-LABEL: combine_vec_shl_add1:
 692 ; SSE2:       # %bb.0:
 693 ; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [2,4,8,16]
 694 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 695 ; SSE2-NEXT:    pmuludq %xmm1, %xmm0
 696 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 697 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 698 ; SSE2-NEXT:    pmuludq %xmm2, %xmm1
 699 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 700 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 701 ; SSE2-NEXT:    paddd {{.*}}(%rip), %xmm0
 702 ; SSE2-NEXT:    retq
 703 ;
 704 ; SSE41-LABEL: combine_vec_shl_add1:
 705 ; SSE41:       # %bb.0:
 706 ; SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm0
 707 ; SSE41-NEXT:    paddd {{.*}}(%rip), %xmm0
 708 ; SSE41-NEXT:    retq
 709 ;
 710 ; AVX-LABEL: combine_vec_shl_add1:
 711 ; AVX:       # %bb.0:
 712 ; AVX-NEXT:    vpsllvd {{.*}}(%rip), %xmm0, %xmm0
 713 ; AVX-NEXT:    vpaddd {{.*}}(%rip), %xmm0, %xmm0
 714 ; AVX-NEXT:    retq
 715   %1 = add <4 x i32> %x, <i32 5, i32 6, i32 7, i32 8>
 716   %2 = shl <4 x i32> %1, <i32 1, i32 2, i32 3, i32 4>
 717   ret <4 x i32> %2
 718 }
 719
 720 ; fold (shl (or x, c1), c2) -> (or (shl x, c2), c1 << c2)
 721 define <4 x i32> @combine_vec_shl_or0(<4 x i32> %x) {
 722 ; SSE-LABEL: combine_vec_shl_or0:
 723 ; SSE:       # %bb.0:
 724 ; SSE-NEXT:    pslld $2, %xmm0
 725 ; SSE-NEXT:    por {{.*}}(%rip), %xmm0
 726 ; SSE-NEXT:    retq
 727 ;
 728 ; AVX-LABEL: combine_vec_shl_or0:
 729 ; AVX:       # %bb.0:
 730 ; AVX-NEXT:    vpslld $2, %xmm0, %xmm0
 731 ; AVX-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [20,20,20,20]
 732 ; AVX-NEXT:    vpor %xmm1, %xmm0, %xmm0
 733 ; AVX-NEXT:    retq
 734   %1 = or  <4 x i32> %x, <i32 5, i32 5, i32 5, i32 5>
 735   %2 = shl <4 x i32> %1, <i32 2, i32 2, i32 2, i32 2>
 736   ret <4 x i32> %2
 737 }
 738
 739 define <4 x i32> @combine_vec_shl_or1(<4 x i32> %x) {
 740 ; SSE2-LABEL: combine_vec_shl_or1:
 741 ; SSE2:       # %bb.0:
 742 ; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [2,4,8,16]
 743 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 744 ; SSE2-NEXT:    pmuludq %xmm1, %xmm0
 745 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 746 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 747 ; SSE2-NEXT:    pmuludq %xmm2, %xmm1
 748 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 749 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 750 ; SSE2-NEXT:    por {{.*}}(%rip), %xmm0
 751 ; SSE2-NEXT:    retq
 752 ;
 753 ; SSE41-LABEL: combine_vec_shl_or1:
 754 ; SSE41:       # %bb.0:
 755 ; SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm0
 756 ; SSE41-NEXT:    por {{.*}}(%rip), %xmm0
 757 ; SSE41-NEXT:    retq
 758 ;
 759 ; AVX-LABEL: combine_vec_shl_or1:
 760 ; AVX:       # %bb.0:
 761 ; AVX-NEXT:    vpsllvd {{.*}}(%rip), %xmm0, %xmm0
 762 ; AVX-NEXT:    vpor {{.*}}(%rip), %xmm0, %xmm0
 763 ; AVX-NEXT:    retq
 764   %1 = or  <4 x i32> %x, <i32 5, i32 6, i32 7, i32 8>
 765   %2 = shl <4 x i32> %1, <i32 1, i32 2, i32 3, i32 4>
 766   ret <4 x i32> %2
 767 }
 768
 769 ; fold (shl (mul x, c1), c2) -> (mul x, c1 << c2)
 770 define <4 x i32> @combine_vec_shl_mul0(<4 x i32> %x) {
 771 ; SSE2-LABEL: combine_vec_shl_mul0:
 772 ; SSE2:       # %bb.0:
 773 ; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [20,20,20,20]
 774 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 775 ; SSE2-NEXT:    pmuludq %xmm1, %xmm0
 776 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 777 ; SSE2-NEXT:    pmuludq %xmm1, %xmm2
 778 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm2[0,2,2,3]
 779 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 780 ; SSE2-NEXT:    retq
 781 ;
 782 ; SSE41-LABEL: combine_vec_shl_mul0:
 783 ; SSE41:       # %bb.0:
 784 ; SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm0
 785 ; SSE41-NEXT:    retq
 786 ;
 787 ; AVX-LABEL: combine_vec_shl_mul0:
 788 ; AVX:       # %bb.0:
 789 ; AVX-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [20,20,20,20]
 790 ; AVX-NEXT:    vpmulld %xmm1, %xmm0, %xmm0
 791 ; AVX-NEXT:    retq
 792   %1 = mul <4 x i32> %x, <i32 5, i32 5, i32 5, i32 5>
 793   %2 = shl <4 x i32> %1, <i32 2, i32 2, i32 2, i32 2>
 794   ret <4 x i32> %2
 795 }
 796
 797 define <4 x i32> @combine_vec_shl_mul1(<4 x i32> %x) {
 798 ; SSE2-LABEL: combine_vec_shl_mul1:
 799 ; SSE2:       # %bb.0:
 800 ; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [10,24,56,128]
 801 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 802 ; SSE2-NEXT:    pmuludq %xmm1, %xmm0
 803 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 804 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 805 ; SSE2-NEXT:    pmuludq %xmm2, %xmm1
 806 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 807 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 808 ; SSE2-NEXT:    retq
 809 ;
 810 ; SSE41-LABEL: combine_vec_shl_mul1:
 811 ; SSE41:       # %bb.0:
 812 ; SSE41-NEXT:    pmulld {{.*}}(%rip), %xmm0
 813 ; SSE41-NEXT:    retq
 814 ;
 815 ; AVX-LABEL: combine_vec_shl_mul1:
 816 ; AVX:       # %bb.0:
 817 ; AVX-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm0
 818 ; AVX-NEXT:    retq
 819   %1 = mul <4 x i32> %x, <i32 5, i32 6, i32 7, i32 8>
 820   %2 = shl <4 x i32> %1, <i32 1, i32 2, i32 3, i32 4>
 821   ret <4 x i32> %2
 822 }