llvm/test/Transforms/InstCombine/X86/x86-vector-shifts-inseltpoison.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_test_checks.py
   2 ; RUN: opt < %s -instcombine -mtriple=x86_64-unknown-unknown -S | FileCheck %s
   3 target datalayout = "e-m:e-i64:64-f80:128-n8:16:32:64-S128"
   4
   5 ;
   6 ; ASHR - Immediate
   7 ;
   8
   9 define <8 x i16> @sse2_psrai_w_0(<8 x i16> %v) {
  10 ; CHECK-LABEL: @sse2_psrai_w_0(
  11 ; CHECK-NEXT:    ret <8 x i16> [[V:%.*]]
  12 ;
  13   %1 = tail call <8 x i16> @llvm.x86.sse2.psrai.w(<8 x i16> %v, i32 0)
  14   ret <8 x i16> %1
  15 }
  16
  17 define <8 x i16> @sse2_psrai_w_15(<8 x i16> %v) {
  18 ; CHECK-LABEL: @sse2_psrai_w_15(
  19 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
  20 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
  21 ;
  22   %1 = tail call <8 x i16> @llvm.x86.sse2.psrai.w(<8 x i16> %v, i32 15)
  23   ret <8 x i16> %1
  24 }
  25
  26 define <8 x i16> @sse2_psrai_w_64(<8 x i16> %v) {
  27 ; CHECK-LABEL: @sse2_psrai_w_64(
  28 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
  29 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
  30 ;
  31   %1 = tail call <8 x i16> @llvm.x86.sse2.psrai.w(<8 x i16> %v, i32 64)
  32   ret <8 x i16> %1
  33 }
  34
  35 define <4 x i32> @sse2_psrai_d_0(<4 x i32> %v) {
  36 ; CHECK-LABEL: @sse2_psrai_d_0(
  37 ; CHECK-NEXT:    ret <4 x i32> [[V:%.*]]
  38 ;
  39   %1 = tail call <4 x i32> @llvm.x86.sse2.psrai.d(<4 x i32> %v, i32 0)
  40   ret <4 x i32> %1
  41 }
  42
  43 define <4 x i32> @sse2_psrai_d_15(<4 x i32> %v) {
  44 ; CHECK-LABEL: @sse2_psrai_d_15(
  45 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <4 x i32> [[V:%.*]], <i32 15, i32 15, i32 15, i32 15>
  46 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
  47 ;
  48   %1 = tail call <4 x i32> @llvm.x86.sse2.psrai.d(<4 x i32> %v, i32 15)
  49   ret <4 x i32> %1
  50 }
  51
  52 define <4 x i32> @sse2_psrai_d_64(<4 x i32> %v) {
  53 ; CHECK-LABEL: @sse2_psrai_d_64(
  54 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <4 x i32> [[V:%.*]], <i32 31, i32 31, i32 31, i32 31>
  55 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
  56 ;
  57   %1 = tail call <4 x i32> @llvm.x86.sse2.psrai.d(<4 x i32> %v, i32 64)
  58   ret <4 x i32> %1
  59 }
  60
  61 define <16 x i16> @avx2_psrai_w_0(<16 x i16> %v) {
  62 ; CHECK-LABEL: @avx2_psrai_w_0(
  63 ; CHECK-NEXT:    ret <16 x i16> [[V:%.*]]
  64 ;
  65   %1 = tail call <16 x i16> @llvm.x86.avx2.psrai.w(<16 x i16> %v, i32 0)
  66   ret <16 x i16> %1
  67 }
  68
  69 define <16 x i16> @avx2_psrai_w_15(<16 x i16> %v) {
  70 ; CHECK-LABEL: @avx2_psrai_w_15(
  71 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <16 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
  72 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
  73 ;
  74   %1 = tail call <16 x i16> @llvm.x86.avx2.psrai.w(<16 x i16> %v, i32 15)
  75   ret <16 x i16> %1
  76 }
  77
  78 define <16 x i16> @avx2_psrai_w_64(<16 x i16> %v) {
  79 ; CHECK-LABEL: @avx2_psrai_w_64(
  80 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <16 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
  81 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
  82 ;
  83   %1 = tail call <16 x i16> @llvm.x86.avx2.psrai.w(<16 x i16> %v, i32 64)
  84   ret <16 x i16> %1
  85 }
  86
  87 define <8 x i32> @avx2_psrai_d_0(<8 x i32> %v) {
  88 ; CHECK-LABEL: @avx2_psrai_d_0(
  89 ; CHECK-NEXT:    ret <8 x i32> [[V:%.*]]
  90 ;
  91   %1 = tail call <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32> %v, i32 0)
  92   ret <8 x i32> %1
  93 }
  94
  95 define <8 x i32> @avx2_psrai_d_15(<8 x i32> %v) {
  96 ; CHECK-LABEL: @avx2_psrai_d_15(
  97 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i32> [[V:%.*]], <i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15>
  98 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
  99 ;
 100   %1 = tail call <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32> %v, i32 15)
 101   ret <8 x i32> %1
 102 }
 103
 104 define <8 x i32> @avx2_psrai_d_64(<8 x i32> %v) {
 105 ; CHECK-LABEL: @avx2_psrai_d_64(
 106 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i32> [[V:%.*]], <i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31>
 107 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
 108 ;
 109   %1 = tail call <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32> %v, i32 64)
 110   ret <8 x i32> %1
 111 }
 112
 113 define <2 x i64> @avx512_psrai_q_128_0(<2 x i64> %v) {
 114 ; CHECK-LABEL: @avx512_psrai_q_128_0(
 115 ; CHECK-NEXT:    ret <2 x i64> [[V:%.*]]
 116 ;
 117   %1 = tail call <2 x i64> @llvm.x86.avx512.psrai.q.128(<2 x i64> %v, i32 0)
 118   ret <2 x i64> %1
 119 }
 120
 121 define <2 x i64> @avx512_psrai_q_128_15(<2 x i64> %v) {
 122 ; CHECK-LABEL: @avx512_psrai_q_128_15(
 123 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <2 x i64> [[V:%.*]], <i64 15, i64 15>
 124 ; CHECK-NEXT:    ret <2 x i64> [[TMP1]]
 125 ;
 126   %1 = tail call <2 x i64> @llvm.x86.avx512.psrai.q.128(<2 x i64> %v, i32 15)
 127   ret <2 x i64> %1
 128 }
 129
 130 define <2 x i64> @avx512_psrai_q_128_64(<2 x i64> %v) {
 131 ; CHECK-LABEL: @avx512_psrai_q_128_64(
 132 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <2 x i64> [[V:%.*]], <i64 63, i64 63>
 133 ; CHECK-NEXT:    ret <2 x i64> [[TMP1]]
 134 ;
 135   %1 = tail call <2 x i64> @llvm.x86.avx512.psrai.q.128(<2 x i64> %v, i32 64)
 136   ret <2 x i64> %1
 137 }
 138
 139 define <4 x i64> @avx512_psrai_q_256_0(<4 x i64> %v) {
 140 ; CHECK-LABEL: @avx512_psrai_q_256_0(
 141 ; CHECK-NEXT:    ret <4 x i64> [[V:%.*]]
 142 ;
 143   %1 = tail call <4 x i64> @llvm.x86.avx512.psrai.q.256(<4 x i64> %v, i32 0)
 144   ret <4 x i64> %1
 145 }
 146
 147 define <4 x i64> @avx512_psrai_q_256_15(<4 x i64> %v) {
 148 ; CHECK-LABEL: @avx512_psrai_q_256_15(
 149 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <4 x i64> [[V:%.*]], <i64 15, i64 15, i64 15, i64 15>
 150 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
 151 ;
 152   %1 = tail call <4 x i64> @llvm.x86.avx512.psrai.q.256(<4 x i64> %v, i32 15)
 153   ret <4 x i64> %1
 154 }
 155
 156 define <4 x i64> @avx512_psrai_q_256_64(<4 x i64> %v) {
 157 ; CHECK-LABEL: @avx512_psrai_q_256_64(
 158 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <4 x i64> [[V:%.*]], <i64 63, i64 63, i64 63, i64 63>
 159 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
 160 ;
 161   %1 = tail call <4 x i64> @llvm.x86.avx512.psrai.q.256(<4 x i64> %v, i32 64)
 162   ret <4 x i64> %1
 163 }
 164
 165 define <32 x i16> @avx512_psrai_w_512_0(<32 x i16> %v) {
 166 ; CHECK-LABEL: @avx512_psrai_w_512_0(
 167 ; CHECK-NEXT:    ret <32 x i16> [[V:%.*]]
 168 ;
 169   %1 = tail call <32 x i16> @llvm.x86.avx512.psrai.w.512(<32 x i16> %v, i32 0)
 170   ret <32 x i16> %1
 171 }
 172
 173 define <32 x i16> @avx512_psrai_w_512_15(<32 x i16> %v) {
 174 ; CHECK-LABEL: @avx512_psrai_w_512_15(
 175 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <32 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
 176 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
 177 ;
 178   %1 = tail call <32 x i16> @llvm.x86.avx512.psrai.w.512(<32 x i16> %v, i32 15)
 179   ret <32 x i16> %1
 180 }
 181
 182 define <32 x i16> @avx512_psrai_w_512_64(<32 x i16> %v) {
 183 ; CHECK-LABEL: @avx512_psrai_w_512_64(
 184 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <32 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
 185 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
 186 ;
 187   %1 = tail call <32 x i16> @llvm.x86.avx512.psrai.w.512(<32 x i16> %v, i32 64)
 188   ret <32 x i16> %1
 189 }
 190
 191 define <16 x i32> @avx512_psrai_d_512_0(<16 x i32> %v) {
 192 ; CHECK-LABEL: @avx512_psrai_d_512_0(
 193 ; CHECK-NEXT:    ret <16 x i32> [[V:%.*]]
 194 ;
 195   %1 = tail call <16 x i32> @llvm.x86.avx512.psrai.d.512(<16 x i32> %v, i32 0)
 196   ret <16 x i32> %1
 197 }
 198
 199 define <16 x i32> @avx512_psrai_d_512_15(<16 x i32> %v) {
 200 ; CHECK-LABEL: @avx512_psrai_d_512_15(
 201 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <16 x i32> [[V:%.*]], <i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15>
 202 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
 203 ;
 204   %1 = tail call <16 x i32> @llvm.x86.avx512.psrai.d.512(<16 x i32> %v, i32 15)
 205   ret <16 x i32> %1
 206 }
 207
 208 define <16 x i32> @avx512_psrai_d_512_64(<16 x i32> %v) {
 209 ; CHECK-LABEL: @avx512_psrai_d_512_64(
 210 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <16 x i32> [[V:%.*]], <i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31>
 211 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
 212 ;
 213   %1 = tail call <16 x i32> @llvm.x86.avx512.psrai.d.512(<16 x i32> %v, i32 64)
 214   ret <16 x i32> %1
 215 }
 216
 217 define <8 x i64> @avx512_psrai_q_512_0(<8 x i64> %v) {
 218 ; CHECK-LABEL: @avx512_psrai_q_512_0(
 219 ; CHECK-NEXT:    ret <8 x i64> [[V:%.*]]
 220 ;
 221   %1 = tail call <8 x i64> @llvm.x86.avx512.psrai.q.512(<8 x i64> %v, i32 0)
 222   ret <8 x i64> %1
 223 }
 224
 225 define <8 x i64> @avx512_psrai_q_512_15(<8 x i64> %v) {
 226 ; CHECK-LABEL: @avx512_psrai_q_512_15(
 227 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i64> [[V:%.*]], <i64 15, i64 15, i64 15, i64 15, i64 15, i64 15, i64 15, i64 15>
 228 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
 229 ;
 230   %1 = tail call <8 x i64> @llvm.x86.avx512.psrai.q.512(<8 x i64> %v, i32 15)
 231   ret <8 x i64> %1
 232 }
 233
 234 define <8 x i64> @avx512_psrai_q_512_64(<8 x i64> %v) {
 235 ; CHECK-LABEL: @avx512_psrai_q_512_64(
 236 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i64> [[V:%.*]], <i64 63, i64 63, i64 63, i64 63, i64 63, i64 63, i64 63, i64 63>
 237 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
 238 ;
 239   %1 = tail call <8 x i64> @llvm.x86.avx512.psrai.q.512(<8 x i64> %v, i32 64)
 240   ret <8 x i64> %1
 241 }
 242
 243 ;
 244 ; LSHR - Immediate
 245 ;
 246
 247 define <8 x i16> @sse2_psrli_w_0(<8 x i16> %v) {
 248 ; CHECK-LABEL: @sse2_psrli_w_0(
 249 ; CHECK-NEXT:    ret <8 x i16> [[V:%.*]]
 250 ;
 251   %1 = tail call <8 x i16> @llvm.x86.sse2.psrli.w(<8 x i16> %v, i32 0)
 252   ret <8 x i16> %1
 253 }
 254
 255 define <8 x i16> @sse2_psrli_w_15(<8 x i16> %v) {
 256 ; CHECK-LABEL: @sse2_psrli_w_15(
 257 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <8 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
 258 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
 259 ;
 260   %1 = tail call <8 x i16> @llvm.x86.sse2.psrli.w(<8 x i16> %v, i32 15)
 261   ret <8 x i16> %1
 262 }
 263
 264 define <8 x i16> @sse2_psrli_w_64(<8 x i16> %v) {
 265 ; CHECK-LABEL: @sse2_psrli_w_64(
 266 ; CHECK-NEXT:    ret <8 x i16> zeroinitializer
 267 ;
 268   %1 = tail call <8 x i16> @llvm.x86.sse2.psrli.w(<8 x i16> %v, i32 64)
 269   ret <8 x i16> %1
 270 }
 271
 272 define <4 x i32> @sse2_psrli_d_0(<4 x i32> %v) {
 273 ; CHECK-LABEL: @sse2_psrli_d_0(
 274 ; CHECK-NEXT:    ret <4 x i32> [[V:%.*]]
 275 ;
 276   %1 = tail call <4 x i32> @llvm.x86.sse2.psrli.d(<4 x i32> %v, i32 0)
 277   ret <4 x i32> %1
 278 }
 279
 280 define <4 x i32> @sse2_psrli_d_15(<4 x i32> %v) {
 281 ; CHECK-LABEL: @sse2_psrli_d_15(
 282 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <4 x i32> [[V:%.*]], <i32 15, i32 15, i32 15, i32 15>
 283 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
 284 ;
 285   %1 = tail call <4 x i32> @llvm.x86.sse2.psrli.d(<4 x i32> %v, i32 15)
 286   ret <4 x i32> %1
 287 }
 288
 289 define <4 x i32> @sse2_psrli_d_64(<4 x i32> %v) {
 290 ; CHECK-LABEL: @sse2_psrli_d_64(
 291 ; CHECK-NEXT:    ret <4 x i32> zeroinitializer
 292 ;
 293   %1 = tail call <4 x i32> @llvm.x86.sse2.psrli.d(<4 x i32> %v, i32 64)
 294   ret <4 x i32> %1
 295 }
 296
 297 define <2 x i64> @sse2_psrli_q_0(<2 x i64> %v) {
 298 ; CHECK-LABEL: @sse2_psrli_q_0(
 299 ; CHECK-NEXT:    ret <2 x i64> [[V:%.*]]
 300 ;
 301   %1 = tail call <2 x i64> @llvm.x86.sse2.psrli.q(<2 x i64> %v, i32 0)
 302   ret <2 x i64> %1
 303 }
 304
 305 define <2 x i64> @sse2_psrli_q_15(<2 x i64> %v) {
 306 ; CHECK-LABEL: @sse2_psrli_q_15(
 307 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <2 x i64> [[V:%.*]], <i64 15, i64 15>
 308 ; CHECK-NEXT:    ret <2 x i64> [[TMP1]]
 309 ;
 310   %1 = tail call <2 x i64> @llvm.x86.sse2.psrli.q(<2 x i64> %v, i32 15)
 311   ret <2 x i64> %1
 312 }
 313
 314 define <2 x i64> @sse2_psrli_q_64(<2 x i64> %v) {
 315 ; CHECK-LABEL: @sse2_psrli_q_64(
 316 ; CHECK-NEXT:    ret <2 x i64> zeroinitializer
 317 ;
 318   %1 = tail call <2 x i64> @llvm.x86.sse2.psrli.q(<2 x i64> %v, i32 64)
 319   ret <2 x i64> %1
 320 }
 321
 322 define <16 x i16> @avx2_psrli_w_0(<16 x i16> %v) {
 323 ; CHECK-LABEL: @avx2_psrli_w_0(
 324 ; CHECK-NEXT:    ret <16 x i16> [[V:%.*]]
 325 ;
 326   %1 = tail call <16 x i16> @llvm.x86.avx2.psrli.w(<16 x i16> %v, i32 0)
 327   ret <16 x i16> %1
 328 }
 329
 330 define <16 x i16> @avx2_psrli_w_15(<16 x i16> %v) {
 331 ; CHECK-LABEL: @avx2_psrli_w_15(
 332 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <16 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
 333 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
 334 ;
 335   %1 = tail call <16 x i16> @llvm.x86.avx2.psrli.w(<16 x i16> %v, i32 15)
 336   ret <16 x i16> %1
 337 }
 338
 339 define <16 x i16> @avx2_psrli_w_64(<16 x i16> %v) {
 340 ; CHECK-LABEL: @avx2_psrli_w_64(
 341 ; CHECK-NEXT:    ret <16 x i16> zeroinitializer
 342 ;
 343   %1 = tail call <16 x i16> @llvm.x86.avx2.psrli.w(<16 x i16> %v, i32 64)
 344   ret <16 x i16> %1
 345 }
 346
 347 define <8 x i32> @avx2_psrli_d_0(<8 x i32> %v) {
 348 ; CHECK-LABEL: @avx2_psrli_d_0(
 349 ; CHECK-NEXT:    ret <8 x i32> [[V:%.*]]
 350 ;
 351   %1 = tail call <8 x i32> @llvm.x86.avx2.psrli.d(<8 x i32> %v, i32 0)
 352   ret <8 x i32> %1
 353 }
 354
 355 define <8 x i32> @avx2_psrli_d_15(<8 x i32> %v) {
 356 ; CHECK-LABEL: @avx2_psrli_d_15(
 357 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <8 x i32> [[V:%.*]], <i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15>
 358 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
 359 ;
 360   %1 = tail call <8 x i32> @llvm.x86.avx2.psrli.d(<8 x i32> %v, i32 15)
 361   ret <8 x i32> %1
 362 }
 363
 364 define <8 x i32> @avx2_psrli_d_64(<8 x i32> %v) {
 365 ; CHECK-LABEL: @avx2_psrli_d_64(
 366 ; CHECK-NEXT:    ret <8 x i32> zeroinitializer
 367 ;
 368   %1 = tail call <8 x i32> @llvm.x86.avx2.psrli.d(<8 x i32> %v, i32 64)
 369   ret <8 x i32> %1
 370 }
 371
 372 define <4 x i64> @avx2_psrli_q_0(<4 x i64> %v) {
 373 ; CHECK-LABEL: @avx2_psrli_q_0(
 374 ; CHECK-NEXT:    ret <4 x i64> [[V:%.*]]
 375 ;
 376   %1 = tail call <4 x i64> @llvm.x86.avx2.psrli.q(<4 x i64> %v, i32 0)
 377   ret <4 x i64> %1
 378 }
 379
 380 define <4 x i64> @avx2_psrli_q_15(<4 x i64> %v) {
 381 ; CHECK-LABEL: @avx2_psrli_q_15(
 382 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <4 x i64> [[V:%.*]], <i64 15, i64 15, i64 15, i64 15>
 383 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
 384 ;
 385   %1 = tail call <4 x i64> @llvm.x86.avx2.psrli.q(<4 x i64> %v, i32 15)
 386   ret <4 x i64> %1
 387 }
 388
 389 define <4 x i64> @avx2_psrli_q_64(<4 x i64> %v) {
 390 ; CHECK-LABEL: @avx2_psrli_q_64(
 391 ; CHECK-NEXT:    ret <4 x i64> zeroinitializer
 392 ;
 393   %1 = tail call <4 x i64> @llvm.x86.avx2.psrli.q(<4 x i64> %v, i32 64)
 394   ret <4 x i64> %1
 395 }
 396
 397 define <32 x i16> @avx512_psrli_w_512_0(<32 x i16> %v) {
 398 ; CHECK-LABEL: @avx512_psrli_w_512_0(
 399 ; CHECK-NEXT:    ret <32 x i16> [[V:%.*]]
 400 ;
 401   %1 = tail call <32 x i16> @llvm.x86.avx512.psrli.w.512(<32 x i16> %v, i32 0)
 402   ret <32 x i16> %1
 403 }
 404
 405 define <32 x i16> @avx512_psrli_w_512_15(<32 x i16> %v) {
 406 ; CHECK-LABEL: @avx512_psrli_w_512_15(
 407 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <32 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
 408 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
 409 ;
 410   %1 = tail call <32 x i16> @llvm.x86.avx512.psrli.w.512(<32 x i16> %v, i32 15)
 411   ret <32 x i16> %1
 412 }
 413
 414 define <32 x i16> @avx512_psrli_w_512_64(<32 x i16> %v) {
 415 ; CHECK-LABEL: @avx512_psrli_w_512_64(
 416 ; CHECK-NEXT:    ret <32 x i16> zeroinitializer
 417 ;
 418   %1 = tail call <32 x i16> @llvm.x86.avx512.psrli.w.512(<32 x i16> %v, i32 64)
 419   ret <32 x i16> %1
 420 }
 421
 422 define <16 x i32> @avx512_psrli_d_512_0(<16 x i32> %v) {
 423 ; CHECK-LABEL: @avx512_psrli_d_512_0(
 424 ; CHECK-NEXT:    ret <16 x i32> [[V:%.*]]
 425 ;
 426   %1 = tail call <16 x i32> @llvm.x86.avx512.psrli.d.512(<16 x i32> %v, i32 0)
 427   ret <16 x i32> %1
 428 }
 429
 430 define <16 x i32> @avx512_psrli_d_512_15(<16 x i32> %v) {
 431 ; CHECK-LABEL: @avx512_psrli_d_512_15(
 432 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <16 x i32> [[V:%.*]], <i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15>
 433 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
 434 ;
 435   %1 = tail call <16 x i32> @llvm.x86.avx512.psrli.d.512(<16 x i32> %v, i32 15)
 436   ret <16 x i32> %1
 437 }
 438
 439 define <16 x i32> @avx512_psrli_d_512_64(<16 x i32> %v) {
 440 ; CHECK-LABEL: @avx512_psrli_d_512_64(
 441 ; CHECK-NEXT:    ret <16 x i32> zeroinitializer
 442 ;
 443   %1 = tail call <16 x i32> @llvm.x86.avx512.psrli.d.512(<16 x i32> %v, i32 64)
 444   ret <16 x i32> %1
 445 }
 446
 447 define <8 x i64> @avx512_psrli_q_512_0(<8 x i64> %v) {
 448 ; CHECK-LABEL: @avx512_psrli_q_512_0(
 449 ; CHECK-NEXT:    ret <8 x i64> [[V:%.*]]
 450 ;
 451   %1 = tail call <8 x i64> @llvm.x86.avx512.psrli.q.512(<8 x i64> %v, i32 0)
 452   ret <8 x i64> %1
 453 }
 454
 455 define <8 x i64> @avx512_psrli_q_512_15(<8 x i64> %v) {
 456 ; CHECK-LABEL: @avx512_psrli_q_512_15(
 457 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <8 x i64> [[V:%.*]], <i64 15, i64 15, i64 15, i64 15, i64 15, i64 15, i64 15, i64 15>
 458 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
 459 ;
 460   %1 = tail call <8 x i64> @llvm.x86.avx512.psrli.q.512(<8 x i64> %v, i32 15)
 461   ret <8 x i64> %1
 462 }
 463
 464 define <8 x i64> @avx512_psrli_q_512_64(<8 x i64> %v) {
 465 ; CHECK-LABEL: @avx512_psrli_q_512_64(
 466 ; CHECK-NEXT:    ret <8 x i64> zeroinitializer
 467 ;
 468   %1 = tail call <8 x i64> @llvm.x86.avx512.psrli.q.512(<8 x i64> %v, i32 64)
 469   ret <8 x i64> %1
 470 }
 471
 472 ;
 473 ; SHL - Immediate
 474 ;
 475
 476 define <8 x i16> @sse2_pslli_w_0(<8 x i16> %v) {
 477 ; CHECK-LABEL: @sse2_pslli_w_0(
 478 ; CHECK-NEXT:    ret <8 x i16> [[V:%.*]]
 479 ;
 480   %1 = tail call <8 x i16> @llvm.x86.sse2.pslli.w(<8 x i16> %v, i32 0)
 481   ret <8 x i16> %1
 482 }
 483
 484 define <8 x i16> @sse2_pslli_w_15(<8 x i16> %v) {
 485 ; CHECK-LABEL: @sse2_pslli_w_15(
 486 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <8 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
 487 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
 488 ;
 489   %1 = tail call <8 x i16> @llvm.x86.sse2.pslli.w(<8 x i16> %v, i32 15)
 490   ret <8 x i16> %1
 491 }
 492
 493 define <8 x i16> @sse2_pslli_w_64(<8 x i16> %v) {
 494 ; CHECK-LABEL: @sse2_pslli_w_64(
 495 ; CHECK-NEXT:    ret <8 x i16> zeroinitializer
 496 ;
 497   %1 = tail call <8 x i16> @llvm.x86.sse2.pslli.w(<8 x i16> %v, i32 64)
 498   ret <8 x i16> %1
 499 }
 500
 501 define <4 x i32> @sse2_pslli_d_0(<4 x i32> %v) {
 502 ; CHECK-LABEL: @sse2_pslli_d_0(
 503 ; CHECK-NEXT:    ret <4 x i32> [[V:%.*]]
 504 ;
 505   %1 = tail call <4 x i32> @llvm.x86.sse2.pslli.d(<4 x i32> %v, i32 0)
 506   ret <4 x i32> %1
 507 }
 508
 509 define <4 x i32> @sse2_pslli_d_15(<4 x i32> %v) {
 510 ; CHECK-LABEL: @sse2_pslli_d_15(
 511 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <4 x i32> [[V:%.*]], <i32 15, i32 15, i32 15, i32 15>
 512 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
 513 ;
 514   %1 = tail call <4 x i32> @llvm.x86.sse2.pslli.d(<4 x i32> %v, i32 15)
 515   ret <4 x i32> %1
 516 }
 517
 518 define <4 x i32> @sse2_pslli_d_64(<4 x i32> %v) {
 519 ; CHECK-LABEL: @sse2_pslli_d_64(
 520 ; CHECK-NEXT:    ret <4 x i32> zeroinitializer
 521 ;
 522   %1 = tail call <4 x i32> @llvm.x86.sse2.pslli.d(<4 x i32> %v, i32 64)
 523   ret <4 x i32> %1
 524 }
 525
 526 define <2 x i64> @sse2_pslli_q_0(<2 x i64> %v) {
 527 ; CHECK-LABEL: @sse2_pslli_q_0(
 528 ; CHECK-NEXT:    ret <2 x i64> [[V:%.*]]
 529 ;
 530   %1 = tail call <2 x i64> @llvm.x86.sse2.pslli.q(<2 x i64> %v, i32 0)
 531   ret <2 x i64> %1
 532 }
 533
 534 define <2 x i64> @sse2_pslli_q_15(<2 x i64> %v) {
 535 ; CHECK-LABEL: @sse2_pslli_q_15(
 536 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <2 x i64> [[V:%.*]], <i64 15, i64 15>
 537 ; CHECK-NEXT:    ret <2 x i64> [[TMP1]]
 538 ;
 539   %1 = tail call <2 x i64> @llvm.x86.sse2.pslli.q(<2 x i64> %v, i32 15)
 540   ret <2 x i64> %1
 541 }
 542
 543 define <2 x i64> @sse2_pslli_q_64(<2 x i64> %v) {
 544 ; CHECK-LABEL: @sse2_pslli_q_64(
 545 ; CHECK-NEXT:    ret <2 x i64> zeroinitializer
 546 ;
 547   %1 = tail call <2 x i64> @llvm.x86.sse2.pslli.q(<2 x i64> %v, i32 64)
 548   ret <2 x i64> %1
 549 }
 550
 551 define <16 x i16> @avx2_pslli_w_0(<16 x i16> %v) {
 552 ; CHECK-LABEL: @avx2_pslli_w_0(
 553 ; CHECK-NEXT:    ret <16 x i16> [[V:%.*]]
 554 ;
 555   %1 = tail call <16 x i16> @llvm.x86.avx2.pslli.w(<16 x i16> %v, i32 0)
 556   ret <16 x i16> %1
 557 }
 558
 559 define <16 x i16> @avx2_pslli_w_15(<16 x i16> %v) {
 560 ; CHECK-LABEL: @avx2_pslli_w_15(
 561 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <16 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
 562 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
 563 ;
 564   %1 = tail call <16 x i16> @llvm.x86.avx2.pslli.w(<16 x i16> %v, i32 15)
 565   ret <16 x i16> %1
 566 }
 567
 568 define <16 x i16> @avx2_pslli_w_64(<16 x i16> %v) {
 569 ; CHECK-LABEL: @avx2_pslli_w_64(
 570 ; CHECK-NEXT:    ret <16 x i16> zeroinitializer
 571 ;
 572   %1 = tail call <16 x i16> @llvm.x86.avx2.pslli.w(<16 x i16> %v, i32 64)
 573   ret <16 x i16> %1
 574 }
 575
 576 define <8 x i32> @avx2_pslli_d_0(<8 x i32> %v) {
 577 ; CHECK-LABEL: @avx2_pslli_d_0(
 578 ; CHECK-NEXT:    ret <8 x i32> [[V:%.*]]
 579 ;
 580   %1 = tail call <8 x i32> @llvm.x86.avx2.pslli.d(<8 x i32> %v, i32 0)
 581   ret <8 x i32> %1
 582 }
 583
 584 define <8 x i32> @avx2_pslli_d_15(<8 x i32> %v) {
 585 ; CHECK-LABEL: @avx2_pslli_d_15(
 586 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <8 x i32> [[V:%.*]], <i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15>
 587 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
 588 ;
 589   %1 = tail call <8 x i32> @llvm.x86.avx2.pslli.d(<8 x i32> %v, i32 15)
 590   ret <8 x i32> %1
 591 }
 592
 593 define <8 x i32> @avx2_pslli_d_64(<8 x i32> %v) {
 594 ; CHECK-LABEL: @avx2_pslli_d_64(
 595 ; CHECK-NEXT:    ret <8 x i32> zeroinitializer
 596 ;
 597   %1 = tail call <8 x i32> @llvm.x86.avx2.pslli.d(<8 x i32> %v, i32 64)
 598   ret <8 x i32> %1
 599 }
 600
 601 define <4 x i64> @avx2_pslli_q_0(<4 x i64> %v) {
 602 ; CHECK-LABEL: @avx2_pslli_q_0(
 603 ; CHECK-NEXT:    ret <4 x i64> [[V:%.*]]
 604 ;
 605   %1 = tail call <4 x i64> @llvm.x86.avx2.pslli.q(<4 x i64> %v, i32 0)
 606   ret <4 x i64> %1
 607 }
 608
 609 define <4 x i64> @avx2_pslli_q_15(<4 x i64> %v) {
 610 ; CHECK-LABEL: @avx2_pslli_q_15(
 611 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <4 x i64> [[V:%.*]], <i64 15, i64 15, i64 15, i64 15>
 612 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
 613 ;
 614   %1 = tail call <4 x i64> @llvm.x86.avx2.pslli.q(<4 x i64> %v, i32 15)
 615   ret <4 x i64> %1
 616 }
 617
 618 define <4 x i64> @avx2_pslli_q_64(<4 x i64> %v) {
 619 ; CHECK-LABEL: @avx2_pslli_q_64(
 620 ; CHECK-NEXT:    ret <4 x i64> zeroinitializer
 621 ;
 622   %1 = tail call <4 x i64> @llvm.x86.avx2.pslli.q(<4 x i64> %v, i32 64)
 623   ret <4 x i64> %1
 624 }
 625
 626 define <32 x i16> @avx512_pslli_w_512_0(<32 x i16> %v) {
 627 ; CHECK-LABEL: @avx512_pslli_w_512_0(
 628 ; CHECK-NEXT:    ret <32 x i16> [[V:%.*]]
 629 ;
 630   %1 = tail call <32 x i16> @llvm.x86.avx512.pslli.w.512(<32 x i16> %v, i32 0)
 631   ret <32 x i16> %1
 632 }
 633
 634 define <32 x i16> @avx512_pslli_w_512_15(<32 x i16> %v) {
 635 ; CHECK-LABEL: @avx512_pslli_w_512_15(
 636 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <32 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
 637 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
 638 ;
 639   %1 = tail call <32 x i16> @llvm.x86.avx512.pslli.w.512(<32 x i16> %v, i32 15)
 640   ret <32 x i16> %1
 641 }
 642
 643 define <32 x i16> @avx512_pslli_w_512_64(<32 x i16> %v) {
 644 ; CHECK-LABEL: @avx512_pslli_w_512_64(
 645 ; CHECK-NEXT:    ret <32 x i16> zeroinitializer
 646 ;
 647   %1 = tail call <32 x i16> @llvm.x86.avx512.pslli.w.512(<32 x i16> %v, i32 64)
 648   ret <32 x i16> %1
 649 }
 650
 651 define <16 x i32> @avx512_pslli_d_512_0(<16 x i32> %v) {
 652 ; CHECK-LABEL: @avx512_pslli_d_512_0(
 653 ; CHECK-NEXT:    ret <16 x i32> [[V:%.*]]
 654 ;
 655   %1 = tail call <16 x i32> @llvm.x86.avx512.pslli.d.512(<16 x i32> %v, i32 0)
 656   ret <16 x i32> %1
 657 }
 658
 659 define <16 x i32> @avx512_pslli_d_512_15(<16 x i32> %v) {
 660 ; CHECK-LABEL: @avx512_pslli_d_512_15(
 661 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <16 x i32> [[V:%.*]], <i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15>
 662 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
 663 ;
 664   %1 = tail call <16 x i32> @llvm.x86.avx512.pslli.d.512(<16 x i32> %v, i32 15)
 665   ret <16 x i32> %1
 666 }
 667
 668 define <16 x i32> @avx512_pslli_d_512_64(<16 x i32> %v) {
 669 ; CHECK-LABEL: @avx512_pslli_d_512_64(
 670 ; CHECK-NEXT:    ret <16 x i32> zeroinitializer
 671 ;
 672   %1 = tail call <16 x i32> @llvm.x86.avx512.pslli.d.512(<16 x i32> %v, i32 64)
 673   ret <16 x i32> %1
 674 }
 675
 676 define <8 x i64> @avx512_pslli_q_512_0(<8 x i64> %v) {
 677 ; CHECK-LABEL: @avx512_pslli_q_512_0(
 678 ; CHECK-NEXT:    ret <8 x i64> [[V:%.*]]
 679 ;
 680   %1 = tail call <8 x i64> @llvm.x86.avx512.pslli.q.512(<8 x i64> %v, i32 0)
 681   ret <8 x i64> %1
 682 }
 683
 684 define <8 x i64> @avx512_pslli_q_512_15(<8 x i64> %v) {
 685 ; CHECK-LABEL: @avx512_pslli_q_512_15(
 686 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <8 x i64> [[V:%.*]], <i64 15, i64 15, i64 15, i64 15, i64 15, i64 15, i64 15, i64 15>
 687 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
 688 ;
 689   %1 = tail call <8 x i64> @llvm.x86.avx512.pslli.q.512(<8 x i64> %v, i32 15)
 690   ret <8 x i64> %1
 691 }
 692
 693 define <8 x i64> @avx512_pslli_q_512_64(<8 x i64> %v) {
 694 ; CHECK-LABEL: @avx512_pslli_q_512_64(
 695 ; CHECK-NEXT:    ret <8 x i64> zeroinitializer
 696 ;
 697   %1 = tail call <8 x i64> @llvm.x86.avx512.pslli.q.512(<8 x i64> %v, i32 64)
 698   ret <8 x i64> %1
 699 }
 700
 701 ;
 702 ; ASHR - Constant Vector
 703 ;
 704
 705 define <8 x i16> @sse2_psra_w_0(<8 x i16> %v) {
 706 ; CHECK-LABEL: @sse2_psra_w_0(
 707 ; CHECK-NEXT:    ret <8 x i16> [[V:%.*]]
 708 ;
 709   %1 = tail call <8 x i16> @llvm.x86.sse2.psra.w(<8 x i16> %v, <8 x i16> zeroinitializer)
 710   ret <8 x i16> %1
 711 }
 712
 713 define <8 x i16> @sse2_psra_w_15(<8 x i16> %v) {
 714 ; CHECK-LABEL: @sse2_psra_w_15(
 715 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
 716 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
 717 ;
 718   %1 = tail call <8 x i16> @llvm.x86.sse2.psra.w(<8 x i16> %v, <8 x i16> <i16 15, i16 0, i16 0, i16 0, i16 9999, i16 9999, i16 9999, i16 9999>)
 719   ret <8 x i16> %1
 720 }
 721
 722 define <8 x i16> @sse2_psra_w_15_splat(<8 x i16> %v) {
 723 ; CHECK-LABEL: @sse2_psra_w_15_splat(
 724 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
 725 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
 726 ;
 727   %1 = tail call <8 x i16> @llvm.x86.sse2.psra.w(<8 x i16> %v, <8 x i16> <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>)
 728   ret <8 x i16> %1
 729 }
 730
 731 define <8 x i16> @sse2_psra_w_64(<8 x i16> %v) {
 732 ; CHECK-LABEL: @sse2_psra_w_64(
 733 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
 734 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
 735 ;
 736   %1 = tail call <8 x i16> @llvm.x86.sse2.psra.w(<8 x i16> %v, <8 x i16> <i16 64, i16 0, i16 0, i16 0, i16 9999, i16 9999, i16 9999, i16 9999>)
 737   ret <8 x i16> %1
 738 }
 739
 740 define <4 x i32> @sse2_psra_d_0(<4 x i32> %v) {
 741 ; CHECK-LABEL: @sse2_psra_d_0(
 742 ; CHECK-NEXT:    ret <4 x i32> [[V:%.*]]
 743 ;
 744   %1 = tail call <4 x i32> @llvm.x86.sse2.psra.d(<4 x i32> %v, <4 x i32> zeroinitializer)
 745   ret <4 x i32> %1
 746 }
 747
 748 define <4 x i32> @sse2_psra_d_15(<4 x i32> %v) {
 749 ; CHECK-LABEL: @sse2_psra_d_15(
 750 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <4 x i32> [[V:%.*]], <i32 15, i32 15, i32 15, i32 15>
 751 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
 752 ;
 753   %1 = tail call <4 x i32> @llvm.x86.sse2.psra.d(<4 x i32> %v, <4 x i32> <i32 15, i32 0, i32 9999, i32 9999>)
 754   ret <4 x i32> %1
 755 }
 756
 757 define <4 x i32> @sse2_psra_d_15_splat(<4 x i32> %v) {
 758 ; CHECK-LABEL: @sse2_psra_d_15_splat(
 759 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <4 x i32> [[V:%.*]], <i32 31, i32 31, i32 31, i32 31>
 760 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
 761 ;
 762   %1 = tail call <4 x i32> @llvm.x86.sse2.psra.d(<4 x i32> %v, <4 x i32> <i32 15, i32 15, i32 15, i32 15>)
 763   ret <4 x i32> %1
 764 }
 765
 766 define <4 x i32> @sse2_psra_d_64(<4 x i32> %v) {
 767 ; CHECK-LABEL: @sse2_psra_d_64(
 768 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <4 x i32> [[V:%.*]], <i32 31, i32 31, i32 31, i32 31>
 769 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
 770 ;
 771   %1 = tail call <4 x i32> @llvm.x86.sse2.psra.d(<4 x i32> %v, <4 x i32> <i32 64, i32 0, i32 9999, i32 9999>)
 772   ret <4 x i32> %1
 773 }
 774
 775 define <16 x i16> @avx2_psra_w_0(<16 x i16> %v) {
 776 ; CHECK-LABEL: @avx2_psra_w_0(
 777 ; CHECK-NEXT:    ret <16 x i16> [[V:%.*]]
 778 ;
 779   %1 = tail call <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16> %v, <8 x i16> zeroinitializer)
 780   ret <16 x i16> %1
 781 }
 782
 783 define <16 x i16> @avx2_psra_w_15(<16 x i16> %v) {
 784 ; CHECK-LABEL: @avx2_psra_w_15(
 785 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <16 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
 786 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
 787 ;
 788   %1 = tail call <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16> %v, <8 x i16> <i16 15, i16 0, i16 0, i16 0, i16 9999, i16 9999, i16 9999, i16 9999>)
 789   ret <16 x i16> %1
 790 }
 791
 792 define <16 x i16> @avx2_psra_w_15_splat(<16 x i16> %v) {
 793 ; CHECK-LABEL: @avx2_psra_w_15_splat(
 794 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <16 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
 795 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
 796 ;
 797   %1 = tail call <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16> %v, <8 x i16> <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>)
 798   ret <16 x i16> %1
 799 }
 800
 801 define <16 x i16> @avx2_psra_w_64(<16 x i16> %v) {
 802 ; CHECK-LABEL: @avx2_psra_w_64(
 803 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <16 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
 804 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
 805 ;
 806   %1 = tail call <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16> %v, <8 x i16> <i16 64, i16 0, i16 0, i16 0, i16 9999, i16 9999, i16 9999, i16 9999>)
 807   ret <16 x i16> %1
 808 }
 809
 810 define <8 x i32> @avx2_psra_d_0(<8 x i32> %v) {
 811 ; CHECK-LABEL: @avx2_psra_d_0(
 812 ; CHECK-NEXT:    ret <8 x i32> [[V:%.*]]
 813 ;
 814   %1 = tail call <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32> %v, <4 x i32> zeroinitializer)
 815   ret <8 x i32> %1
 816 }
 817
 818 define <8 x i32> @avx2_psra_d_15(<8 x i32> %v) {
 819 ; CHECK-LABEL: @avx2_psra_d_15(
 820 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i32> [[V:%.*]], <i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15>
 821 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
 822 ;
 823   %1 = tail call <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32> %v, <4 x i32> <i32 15, i32 0, i32 9999, i32 9999>)
 824   ret <8 x i32> %1
 825 }
 826
 827 define <8 x i32> @avx2_psra_d_15_splat(<8 x i32> %v) {
 828 ; CHECK-LABEL: @avx2_psra_d_15_splat(
 829 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i32> [[V:%.*]], <i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31>
 830 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
 831 ;
 832   %1 = tail call <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32> %v, <4 x i32> <i32 15, i32 15, i32 15, i32 15>)
 833   ret <8 x i32> %1
 834 }
 835
 836 define <8 x i32> @avx2_psra_d_64(<8 x i32> %v) {
 837 ; CHECK-LABEL: @avx2_psra_d_64(
 838 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i32> [[V:%.*]], <i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31>
 839 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
 840 ;
 841   %1 = tail call <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32> %v, <4 x i32> <i32 64, i32 0, i32 9999, i32 9999>)
 842   ret <8 x i32> %1
 843 }
 844
 845 define <2 x i64> @avx512_psra_q_128_0(<2 x i64> %v) {
 846 ; CHECK-LABEL: @avx512_psra_q_128_0(
 847 ; CHECK-NEXT:    ret <2 x i64> [[V:%.*]]
 848 ;
 849   %1 = tail call <2 x i64> @llvm.x86.avx512.psra.q.128(<2 x i64> %v, <2 x i64> zeroinitializer)
 850   ret <2 x i64> %1
 851 }
 852
 853 define <2 x i64> @avx512_psra_q_128_15(<2 x i64> %v) {
 854 ; CHECK-LABEL: @avx512_psra_q_128_15(
 855 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <2 x i64> [[V:%.*]], <i64 15, i64 15>
 856 ; CHECK-NEXT:    ret <2 x i64> [[TMP1]]
 857 ;
 858   %1 = tail call <2 x i64> @llvm.x86.avx512.psra.q.128(<2 x i64> %v, <2 x i64> <i64 15, i64 9999>)
 859   ret <2 x i64> %1
 860 }
 861
 862 define <2 x i64> @avx512_psra_q_128_64(<2 x i64> %v) {
 863 ; CHECK-LABEL: @avx512_psra_q_128_64(
 864 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <2 x i64> [[V:%.*]], <i64 63, i64 63>
 865 ; CHECK-NEXT:    ret <2 x i64> [[TMP1]]
 866 ;
 867   %1 = tail call <2 x i64> @llvm.x86.avx512.psra.q.128(<2 x i64> %v, <2 x i64> <i64 64, i64 9999>)
 868   ret <2 x i64> %1
 869 }
 870
 871 define <4 x i64> @avx512_psra_q_256_0(<4 x i64> %v) {
 872 ; CHECK-LABEL: @avx512_psra_q_256_0(
 873 ; CHECK-NEXT:    ret <4 x i64> [[V:%.*]]
 874 ;
 875   %1 = tail call <4 x i64> @llvm.x86.avx512.psra.q.256(<4 x i64> %v, <2 x i64> zeroinitializer)
 876   ret <4 x i64> %1
 877 }
 878
 879 define <4 x i64> @avx512_psra_q_256_15(<4 x i64> %v) {
 880 ; CHECK-LABEL: @avx512_psra_q_256_15(
 881 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <4 x i64> [[V:%.*]], <i64 15, i64 15, i64 15, i64 15>
 882 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
 883 ;
 884   %1 = tail call <4 x i64> @llvm.x86.avx512.psra.q.256(<4 x i64> %v, <2 x i64> <i64 15, i64 9999>)
 885   ret <4 x i64> %1
 886 }
 887
 888 define <4 x i64> @avx512_psra_q_256_64(<4 x i64> %v) {
 889 ; CHECK-LABEL: @avx512_psra_q_256_64(
 890 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <4 x i64> [[V:%.*]], <i64 63, i64 63, i64 63, i64 63>
 891 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
 892 ;
 893   %1 = tail call <4 x i64> @llvm.x86.avx512.psra.q.256(<4 x i64> %v, <2 x i64> <i64 64, i64 9999>)
 894   ret <4 x i64> %1
 895 }
 896
 897 define <32 x i16> @avx512_psra_w_512_0(<32 x i16> %v) {
 898 ; CHECK-LABEL: @avx512_psra_w_512_0(
 899 ; CHECK-NEXT:    ret <32 x i16> [[V:%.*]]
 900 ;
 901   %1 = tail call <32 x i16> @llvm.x86.avx512.psra.w.512(<32 x i16> %v, <8 x i16> zeroinitializer)
 902   ret <32 x i16> %1
 903 }
 904
 905 define <32 x i16> @avx512_psra_w_512_15(<32 x i16> %v) {
 906 ; CHECK-LABEL: @avx512_psra_w_512_15(
 907 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <32 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
 908 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
 909 ;
 910   %1 = tail call <32 x i16> @llvm.x86.avx512.psra.w.512(<32 x i16> %v, <8 x i16> <i16 15, i16 0, i16 0, i16 0, i16 9999, i16 9999, i16 9999, i16 9999>)
 911   ret <32 x i16> %1
 912 }
 913
 914 define <32 x i16> @avx512_psra_w_512_15_splat(<32 x i16> %v) {
 915 ; CHECK-LABEL: @avx512_psra_w_512_15_splat(
 916 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <32 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
 917 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
 918 ;
 919   %1 = tail call <32 x i16> @llvm.x86.avx512.psra.w.512(<32 x i16> %v, <8 x i16> <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>)
 920   ret <32 x i16> %1
 921 }
 922
 923 define <32 x i16> @avx512_psra_w_512_64(<32 x i16> %v) {
 924 ; CHECK-LABEL: @avx512_psra_w_512_64(
 925 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <32 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
 926 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
 927 ;
 928   %1 = tail call <32 x i16> @llvm.x86.avx512.psra.w.512(<32 x i16> %v, <8 x i16> <i16 64, i16 0, i16 0, i16 0, i16 9999, i16 9999, i16 9999, i16 9999>)
 929   ret <32 x i16> %1
 930 }
 931
 932 define <16 x i32> @avx512_psra_d_512_0(<16 x i32> %v) {
 933 ; CHECK-LABEL: @avx512_psra_d_512_0(
 934 ; CHECK-NEXT:    ret <16 x i32> [[V:%.*]]
 935 ;
 936   %1 = tail call <16 x i32> @llvm.x86.avx512.psra.d.512(<16 x i32> %v, <4 x i32> zeroinitializer)
 937   ret <16 x i32> %1
 938 }
 939
 940 define <16 x i32> @avx512_psra_d_512_15(<16 x i32> %v) {
 941 ; CHECK-LABEL: @avx512_psra_d_512_15(
 942 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <16 x i32> [[V:%.*]], <i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15>
 943 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
 944 ;
 945   %1 = tail call <16 x i32> @llvm.x86.avx512.psra.d.512(<16 x i32> %v, <4 x i32> <i32 15, i32 0, i32 9999, i32 9999>)
 946   ret <16 x i32> %1
 947 }
 948
 949 define <16 x i32> @avx512_psra_d_512_15_splat(<16 x i32> %v) {
 950 ; CHECK-LABEL: @avx512_psra_d_512_15_splat(
 951 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <16 x i32> [[V:%.*]], <i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31>
 952 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
 953 ;
 954   %1 = tail call <16 x i32> @llvm.x86.avx512.psra.d.512(<16 x i32> %v, <4 x i32> <i32 15, i32 15, i32 15, i32 15>)
 955   ret <16 x i32> %1
 956 }
 957
 958 define <16 x i32> @avx512_psra_d_512_64(<16 x i32> %v) {
 959 ; CHECK-LABEL: @avx512_psra_d_512_64(
 960 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <16 x i32> [[V:%.*]], <i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31>
 961 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
 962 ;
 963   %1 = tail call <16 x i32> @llvm.x86.avx512.psra.d.512(<16 x i32> %v, <4 x i32> <i32 64, i32 0, i32 9999, i32 9999>)
 964   ret <16 x i32> %1
 965 }
 966
 967 define <8 x i64> @avx512_psra_q_512_0(<8 x i64> %v) {
 968 ; CHECK-LABEL: @avx512_psra_q_512_0(
 969 ; CHECK-NEXT:    ret <8 x i64> [[V:%.*]]
 970 ;
 971   %1 = tail call <8 x i64> @llvm.x86.avx512.psra.q.512(<8 x i64> %v, <2 x i64> zeroinitializer)
 972   ret <8 x i64> %1
 973 }
 974
 975 define <8 x i64> @avx512_psra_q_512_15(<8 x i64> %v) {
 976 ; CHECK-LABEL: @avx512_psra_q_512_15(
 977 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i64> [[V:%.*]], <i64 15, i64 15, i64 15, i64 15, i64 15, i64 15, i64 15, i64 15>
 978 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
 979 ;
 980   %1 = tail call <8 x i64> @llvm.x86.avx512.psra.q.512(<8 x i64> %v, <2 x i64> <i64 15, i64 9999>)
 981   ret <8 x i64> %1
 982 }
 983
 984 define <8 x i64> @avx512_psra_q_512_64(<8 x i64> %v) {
 985 ; CHECK-LABEL: @avx512_psra_q_512_64(
 986 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i64> [[V:%.*]], <i64 63, i64 63, i64 63, i64 63, i64 63, i64 63, i64 63, i64 63>
 987 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
 988 ;
 989   %1 = tail call <8 x i64> @llvm.x86.avx512.psra.q.512(<8 x i64> %v, <2 x i64> <i64 64, i64 9999>)
 990   ret <8 x i64> %1
 991 }
 992
 993 ;
 994 ; LSHR - Constant Vector
 995 ;
 996
 997 define <8 x i16> @sse2_psrl_w_0(<8 x i16> %v) {
 998 ; CHECK-LABEL: @sse2_psrl_w_0(
 999 ; CHECK-NEXT:    ret <8 x i16> [[V:%.*]]
1000 ;
1001   %1 = tail call <8 x i16> @llvm.x86.sse2.psrl.w(<8 x i16> %v, <8 x i16> zeroinitializer)
1002   ret <8 x i16> %1
1003 }
1004
1005 define <8 x i16> @sse2_psrl_w_15(<8 x i16> %v) {
1006 ; CHECK-LABEL: @sse2_psrl_w_15(
1007 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <8 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
1008 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
1009 ;
1010   %1 = tail call <8 x i16> @llvm.x86.sse2.psrl.w(<8 x i16> %v, <8 x i16> <i16 15, i16 0, i16 0, i16 0, i16 9999, i16 9999, i16 9999, i16 9999>)
1011   ret <8 x i16> %1
1012 }
1013
1014 define <8 x i16> @sse2_psrl_w_15_splat(<8 x i16> %v) {
1015 ; CHECK-LABEL: @sse2_psrl_w_15_splat(
1016 ; CHECK-NEXT:    ret <8 x i16> zeroinitializer
1017 ;
1018   %1 = tail call <8 x i16> @llvm.x86.sse2.psrl.w(<8 x i16> %v, <8 x i16> <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>)
1019   ret <8 x i16> %1
1020 }
1021
1022 define <8 x i16> @sse2_psrl_w_64(<8 x i16> %v) {
1023 ; CHECK-LABEL: @sse2_psrl_w_64(
1024 ; CHECK-NEXT:    ret <8 x i16> zeroinitializer
1025 ;
1026   %1 = tail call <8 x i16> @llvm.x86.sse2.psrl.w(<8 x i16> %v, <8 x i16> <i16 64, i16 0, i16 0, i16 0, i16 9999, i16 9999, i16 9999, i16 9999>)
1027   ret <8 x i16> %1
1028 }
1029
1030 define <4 x i32> @sse2_psrl_d_0(<4 x i32> %v) {
1031 ; CHECK-LABEL: @sse2_psrl_d_0(
1032 ; CHECK-NEXT:    ret <4 x i32> [[V:%.*]]
1033 ;
1034   %1 = tail call <4 x i32> @llvm.x86.sse2.psrl.d(<4 x i32> %v, <4 x i32> zeroinitializer)
1035   ret <4 x i32> %1
1036 }
1037
1038 define <4 x i32> @sse2_psrl_d_15(<4 x i32> %v) {
1039 ; CHECK-LABEL: @sse2_psrl_d_15(
1040 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <4 x i32> [[V:%.*]], <i32 15, i32 15, i32 15, i32 15>
1041 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
1042 ;
1043   %1 = tail call <4 x i32> @llvm.x86.sse2.psrl.d(<4 x i32> %v, <4 x i32> <i32 15, i32 0, i32 9999, i32 9999>)
1044   ret <4 x i32> %1
1045 }
1046
1047 define <4 x i32> @sse2_psrl_d_15_splat(<4 x i32> %v) {
1048 ; CHECK-LABEL: @sse2_psrl_d_15_splat(
1049 ; CHECK-NEXT:    ret <4 x i32> zeroinitializer
1050 ;
1051   %1 = tail call <4 x i32> @llvm.x86.sse2.psrl.d(<4 x i32> %v, <4 x i32> <i32 15, i32 15, i32 15, i32 15>)
1052   ret <4 x i32> %1
1053 }
1054
1055 define <4 x i32> @sse2_psrl_d_64(<4 x i32> %v) {
1056 ; CHECK-LABEL: @sse2_psrl_d_64(
1057 ; CHECK-NEXT:    ret <4 x i32> zeroinitializer
1058 ;
1059   %1 = tail call <4 x i32> @llvm.x86.sse2.psrl.d(<4 x i32> %v, <4 x i32> <i32 64, i32 0, i32 9999, i32 9999>)
1060   ret <4 x i32> %1
1061 }
1062
1063 define <2 x i64> @sse2_psrl_q_0(<2 x i64> %v) {
1064 ; CHECK-LABEL: @sse2_psrl_q_0(
1065 ; CHECK-NEXT:    ret <2 x i64> [[V:%.*]]
1066 ;
1067   %1 = tail call <2 x i64> @llvm.x86.sse2.psrl.q(<2 x i64> %v, <2 x i64> zeroinitializer)
1068   ret <2 x i64> %1
1069 }
1070
1071 define <2 x i64> @sse2_psrl_q_15(<2 x i64> %v) {
1072 ; CHECK-LABEL: @sse2_psrl_q_15(
1073 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <2 x i64> [[V:%.*]], <i64 15, i64 15>
1074 ; CHECK-NEXT:    ret <2 x i64> [[TMP1]]
1075 ;
1076   %1 = tail call <2 x i64> @llvm.x86.sse2.psrl.q(<2 x i64> %v, <2 x i64> <i64 15, i64 9999>)
1077   ret <2 x i64> %1
1078 }
1079
1080 define <2 x i64> @sse2_psrl_q_64(<2 x i64> %v) {
1081 ; CHECK-LABEL: @sse2_psrl_q_64(
1082 ; CHECK-NEXT:    ret <2 x i64> zeroinitializer
1083 ;
1084   %1 = tail call <2 x i64> @llvm.x86.sse2.psrl.q(<2 x i64> %v, <2 x i64> <i64 64, i64 9999>)
1085   ret <2 x i64> %1
1086 }
1087
1088 define <16 x i16> @avx2_psrl_w_0(<16 x i16> %v) {
1089 ; CHECK-LABEL: @avx2_psrl_w_0(
1090 ; CHECK-NEXT:    ret <16 x i16> [[V:%.*]]
1091 ;
1092   %1 = tail call <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16> %v, <8 x i16> zeroinitializer)
1093   ret <16 x i16> %1
1094 }
1095
1096 define <16 x i16> @avx2_psrl_w_15(<16 x i16> %v) {
1097 ; CHECK-LABEL: @avx2_psrl_w_15(
1098 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <16 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
1099 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
1100 ;
1101   %1 = tail call <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16> %v, <8 x i16> <i16 15, i16 0, i16 0, i16 0, i16 9999, i16 9999, i16 9999, i16 9999>)
1102   ret <16 x i16> %1
1103 }
1104
1105 define <16 x i16> @avx2_psrl_w_15_splat(<16 x i16> %v) {
1106 ; CHECK-LABEL: @avx2_psrl_w_15_splat(
1107 ; CHECK-NEXT:    ret <16 x i16> zeroinitializer
1108 ;
1109   %1 = tail call <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16> %v, <8 x i16> <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>)
1110   ret <16 x i16> %1
1111 }
1112
1113 define <16 x i16> @avx2_psrl_w_64(<16 x i16> %v) {
1114 ; CHECK-LABEL: @avx2_psrl_w_64(
1115 ; CHECK-NEXT:    ret <16 x i16> zeroinitializer
1116 ;
1117   %1 = tail call <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16> %v, <8 x i16> <i16 64, i16 0, i16 0, i16 0, i16 9999, i16 9999, i16 9999, i16 9999>)
1118   ret <16 x i16> %1
1119 }
1120
1121 define <8 x i32> @avx2_psrl_d_0(<8 x i32> %v) {
1122 ; CHECK-LABEL: @avx2_psrl_d_0(
1123 ; CHECK-NEXT:    ret <8 x i32> [[V:%.*]]
1124 ;
1125   %1 = tail call <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32> %v, <4 x i32> zeroinitializer)
1126   ret <8 x i32> %1
1127 }
1128
1129 define <8 x i32> @avx2_psrl_d_15(<8 x i32> %v) {
1130 ; CHECK-LABEL: @avx2_psrl_d_15(
1131 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <8 x i32> [[V:%.*]], <i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15>
1132 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
1133 ;
1134   %1 = tail call <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32> %v, <4 x i32> <i32 15, i32 0, i32 9999, i32 9999>)
1135   ret <8 x i32> %1
1136 }
1137
1138 define <8 x i32> @avx2_psrl_d_15_splat(<8 x i32> %v) {
1139 ; CHECK-LABEL: @avx2_psrl_d_15_splat(
1140 ; CHECK-NEXT:    ret <8 x i32> zeroinitializer
1141 ;
1142   %1 = tail call <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32> %v, <4 x i32> <i32 15, i32 15, i32 15, i32 15>)
1143   ret <8 x i32> %1
1144 }
1145
1146 define <8 x i32> @avx2_psrl_d_64(<8 x i32> %v) {
1147 ; CHECK-LABEL: @avx2_psrl_d_64(
1148 ; CHECK-NEXT:    ret <8 x i32> zeroinitializer
1149 ;
1150   %1 = tail call <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32> %v, <4 x i32> <i32 64, i32 0, i32 9999, i32 9999>)
1151   ret <8 x i32> %1
1152 }
1153
1154 define <4 x i64> @avx2_psrl_q_0(<4 x i64> %v) {
1155 ; CHECK-LABEL: @avx2_psrl_q_0(
1156 ; CHECK-NEXT:    ret <4 x i64> [[V:%.*]]
1157 ;
1158   %1 = tail call <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64> %v, <2 x i64> zeroinitializer)
1159   ret <4 x i64> %1
1160 }
1161
1162 define <4 x i64> @avx2_psrl_q_15(<4 x i64> %v) {
1163 ; CHECK-LABEL: @avx2_psrl_q_15(
1164 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <4 x i64> [[V:%.*]], <i64 15, i64 15, i64 15, i64 15>
1165 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
1166 ;
1167   %1 = tail call <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64> %v, <2 x i64> <i64 15, i64 9999>)
1168   ret <4 x i64> %1
1169 }
1170
1171 define <4 x i64> @avx2_psrl_q_64(<4 x i64> %v) {
1172 ; CHECK-LABEL: @avx2_psrl_q_64(
1173 ; CHECK-NEXT:    ret <4 x i64> zeroinitializer
1174 ;
1175   %1 = tail call <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64> %v, <2 x i64> <i64 64, i64 9999>)
1176   ret <4 x i64> %1
1177 }
1178
1179 define <32 x i16> @avx512_psrl_w_512_0(<32 x i16> %v) {
1180 ; CHECK-LABEL: @avx512_psrl_w_512_0(
1181 ; CHECK-NEXT:    ret <32 x i16> [[V:%.*]]
1182 ;
1183   %1 = tail call <32 x i16> @llvm.x86.avx512.psrl.w.512(<32 x i16> %v, <8 x i16> zeroinitializer)
1184   ret <32 x i16> %1
1185 }
1186
1187 define <32 x i16> @avx512_psrl_w_512_15(<32 x i16> %v) {
1188 ; CHECK-LABEL: @avx512_psrl_w_512_15(
1189 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <32 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
1190 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
1191 ;
1192   %1 = tail call <32 x i16> @llvm.x86.avx512.psrl.w.512(<32 x i16> %v, <8 x i16> <i16 15, i16 0, i16 0, i16 0, i16 9999, i16 9999, i16 9999, i16 9999>)
1193   ret <32 x i16> %1
1194 }
1195
1196 define <32 x i16> @avx512_psrl_w_512_15_splat(<32 x i16> %v) {
1197 ; CHECK-LABEL: @avx512_psrl_w_512_15_splat(
1198 ; CHECK-NEXT:    ret <32 x i16> zeroinitializer
1199 ;
1200   %1 = tail call <32 x i16> @llvm.x86.avx512.psrl.w.512(<32 x i16> %v, <8 x i16> <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>)
1201   ret <32 x i16> %1
1202 }
1203
1204 define <32 x i16> @avx512_psrl_w_512_64(<32 x i16> %v) {
1205 ; CHECK-LABEL: @avx512_psrl_w_512_64(
1206 ; CHECK-NEXT:    ret <32 x i16> zeroinitializer
1207 ;
1208   %1 = tail call <32 x i16> @llvm.x86.avx512.psrl.w.512(<32 x i16> %v, <8 x i16> <i16 64, i16 0, i16 0, i16 0, i16 9999, i16 9999, i16 9999, i16 9999>)
1209   ret <32 x i16> %1
1210 }
1211
1212 define <16 x i32> @avx512_psrl_d_512_0(<16 x i32> %v) {
1213 ; CHECK-LABEL: @avx512_psrl_d_512_0(
1214 ; CHECK-NEXT:    ret <16 x i32> [[V:%.*]]
1215 ;
1216   %1 = tail call <16 x i32> @llvm.x86.avx512.psrl.d.512(<16 x i32> %v, <4 x i32> zeroinitializer)
1217   ret <16 x i32> %1
1218 }
1219
1220 define <16 x i32> @avx512_psrl_d_512_15(<16 x i32> %v) {
1221 ; CHECK-LABEL: @avx512_psrl_d_512_15(
1222 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <16 x i32> [[V:%.*]], <i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15>
1223 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
1224 ;
1225   %1 = tail call <16 x i32> @llvm.x86.avx512.psrl.d.512(<16 x i32> %v, <4 x i32> <i32 15, i32 0, i32 9999, i32 9999>)
1226   ret <16 x i32> %1
1227 }
1228
1229 define <16 x i32> @avx512_psrl_d_512_15_splat(<16 x i32> %v) {
1230 ; CHECK-LABEL: @avx512_psrl_d_512_15_splat(
1231 ; CHECK-NEXT:    ret <16 x i32> zeroinitializer
1232 ;
1233   %1 = tail call <16 x i32> @llvm.x86.avx512.psrl.d.512(<16 x i32> %v, <4 x i32> <i32 15, i32 15, i32 15, i32 15>)
1234   ret <16 x i32> %1
1235 }
1236
1237 define <16 x i32> @avx512_psrl_d_512_64(<16 x i32> %v) {
1238 ; CHECK-LABEL: @avx512_psrl_d_512_64(
1239 ; CHECK-NEXT:    ret <16 x i32> zeroinitializer
1240 ;
1241   %1 = tail call <16 x i32> @llvm.x86.avx512.psrl.d.512(<16 x i32> %v, <4 x i32> <i32 64, i32 0, i32 9999, i32 9999>)
1242   ret <16 x i32> %1
1243 }
1244
1245 define <8 x i64> @avx512_psrl_q_512_0(<8 x i64> %v) {
1246 ; CHECK-LABEL: @avx512_psrl_q_512_0(
1247 ; CHECK-NEXT:    ret <8 x i64> [[V:%.*]]
1248 ;
1249   %1 = tail call <8 x i64> @llvm.x86.avx512.psrl.q.512(<8 x i64> %v, <2 x i64> zeroinitializer)
1250   ret <8 x i64> %1
1251 }
1252
1253 define <8 x i64> @avx512_psrl_q_512_15(<8 x i64> %v) {
1254 ; CHECK-LABEL: @avx512_psrl_q_512_15(
1255 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <8 x i64> [[V:%.*]], <i64 15, i64 15, i64 15, i64 15, i64 15, i64 15, i64 15, i64 15>
1256 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
1257 ;
1258   %1 = tail call <8 x i64> @llvm.x86.avx512.psrl.q.512(<8 x i64> %v, <2 x i64> <i64 15, i64 9999>)
1259   ret <8 x i64> %1
1260 }
1261
1262 define <8 x i64> @avx512_psrl_q_512_64(<8 x i64> %v) {
1263 ; CHECK-LABEL: @avx512_psrl_q_512_64(
1264 ; CHECK-NEXT:    ret <8 x i64> zeroinitializer
1265 ;
1266   %1 = tail call <8 x i64> @llvm.x86.avx512.psrl.q.512(<8 x i64> %v, <2 x i64> <i64 64, i64 9999>)
1267   ret <8 x i64> %1
1268 }
1269
1270 ;
1271 ; SHL - Constant Vector
1272 ;
1273
1274 define <8 x i16> @sse2_psll_w_0(<8 x i16> %v) {
1275 ; CHECK-LABEL: @sse2_psll_w_0(
1276 ; CHECK-NEXT:    ret <8 x i16> [[V:%.*]]
1277 ;
1278   %1 = tail call <8 x i16> @llvm.x86.sse2.psll.w(<8 x i16> %v, <8 x i16> zeroinitializer)
1279   ret <8 x i16> %1
1280 }
1281
1282 define <8 x i16> @sse2_psll_w_15(<8 x i16> %v) {
1283 ; CHECK-LABEL: @sse2_psll_w_15(
1284 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <8 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
1285 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
1286 ;
1287   %1 = tail call <8 x i16> @llvm.x86.sse2.psll.w(<8 x i16> %v, <8 x i16> <i16 15, i16 0, i16 0, i16 0, i16 9999, i16 9999, i16 9999, i16 9999>)
1288   ret <8 x i16> %1
1289 }
1290
1291 define <8 x i16> @sse2_psll_w_15_splat(<8 x i16> %v) {
1292 ; CHECK-LABEL: @sse2_psll_w_15_splat(
1293 ; CHECK-NEXT:    ret <8 x i16> zeroinitializer
1294 ;
1295   %1 = tail call <8 x i16> @llvm.x86.sse2.psll.w(<8 x i16> %v, <8 x i16> <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>)
1296   ret <8 x i16> %1
1297 }
1298
1299 define <8 x i16> @sse2_psll_w_64(<8 x i16> %v) {
1300 ; CHECK-LABEL: @sse2_psll_w_64(
1301 ; CHECK-NEXT:    ret <8 x i16> zeroinitializer
1302 ;
1303   %1 = tail call <8 x i16> @llvm.x86.sse2.psll.w(<8 x i16> %v, <8 x i16> <i16 64, i16 0, i16 0, i16 0, i16 9999, i16 9999, i16 9999, i16 9999>)
1304   ret <8 x i16> %1
1305 }
1306
1307 define <4 x i32> @sse2_psll_d_0(<4 x i32> %v) {
1308 ; CHECK-LABEL: @sse2_psll_d_0(
1309 ; CHECK-NEXT:    ret <4 x i32> [[V:%.*]]
1310 ;
1311   %1 = tail call <4 x i32> @llvm.x86.sse2.psll.d(<4 x i32> %v, <4 x i32> zeroinitializer)
1312   ret <4 x i32> %1
1313 }
1314
1315 define <4 x i32> @sse2_psll_d_15(<4 x i32> %v) {
1316 ; CHECK-LABEL: @sse2_psll_d_15(
1317 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <4 x i32> [[V:%.*]], <i32 15, i32 15, i32 15, i32 15>
1318 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
1319 ;
1320   %1 = tail call <4 x i32> @llvm.x86.sse2.psll.d(<4 x i32> %v, <4 x i32> <i32 15, i32 0, i32 9999, i32 9999>)
1321   ret <4 x i32> %1
1322 }
1323
1324 define <4 x i32> @sse2_psll_d_15_splat(<4 x i32> %v) {
1325 ; CHECK-LABEL: @sse2_psll_d_15_splat(
1326 ; CHECK-NEXT:    ret <4 x i32> zeroinitializer
1327 ;
1328   %1 = tail call <4 x i32> @llvm.x86.sse2.psll.d(<4 x i32> %v, <4 x i32> <i32 15, i32 15, i32 15, i32 15>)
1329   ret <4 x i32> %1
1330 }
1331
1332 define <4 x i32> @sse2_psll_d_64(<4 x i32> %v) {
1333 ; CHECK-LABEL: @sse2_psll_d_64(
1334 ; CHECK-NEXT:    ret <4 x i32> zeroinitializer
1335 ;
1336   %1 = tail call <4 x i32> @llvm.x86.sse2.psll.d(<4 x i32> %v, <4 x i32> <i32 64, i32 0, i32 9999, i32 9999>)
1337   ret <4 x i32> %1
1338 }
1339
1340 define <2 x i64> @sse2_psll_q_0(<2 x i64> %v) {
1341 ; CHECK-LABEL: @sse2_psll_q_0(
1342 ; CHECK-NEXT:    ret <2 x i64> [[V:%.*]]
1343 ;
1344   %1 = tail call <2 x i64> @llvm.x86.sse2.psll.q(<2 x i64> %v, <2 x i64> zeroinitializer)
1345   ret <2 x i64> %1
1346 }
1347
1348 define <2 x i64> @sse2_psll_q_15(<2 x i64> %v) {
1349 ; CHECK-LABEL: @sse2_psll_q_15(
1350 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <2 x i64> [[V:%.*]], <i64 15, i64 15>
1351 ; CHECK-NEXT:    ret <2 x i64> [[TMP1]]
1352 ;
1353   %1 = tail call <2 x i64> @llvm.x86.sse2.psll.q(<2 x i64> %v, <2 x i64> <i64 15, i64 9999>)
1354   ret <2 x i64> %1
1355 }
1356
1357 define <2 x i64> @sse2_psll_q_64(<2 x i64> %v) {
1358 ; CHECK-LABEL: @sse2_psll_q_64(
1359 ; CHECK-NEXT:    ret <2 x i64> zeroinitializer
1360 ;
1361   %1 = tail call <2 x i64> @llvm.x86.sse2.psll.q(<2 x i64> %v, <2 x i64> <i64 64, i64 9999>)
1362   ret <2 x i64> %1
1363 }
1364
1365 define <16 x i16> @avx2_psll_w_0(<16 x i16> %v) {
1366 ; CHECK-LABEL: @avx2_psll_w_0(
1367 ; CHECK-NEXT:    ret <16 x i16> [[V:%.*]]
1368 ;
1369   %1 = tail call <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16> %v, <8 x i16> zeroinitializer)
1370   ret <16 x i16> %1
1371 }
1372
1373 define <16 x i16> @avx2_psll_w_15(<16 x i16> %v) {
1374 ; CHECK-LABEL: @avx2_psll_w_15(
1375 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <16 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
1376 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
1377 ;
1378   %1 = tail call <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16> %v, <8 x i16> <i16 15, i16 0, i16 0, i16 0, i16 9999, i16 9999, i16 9999, i16 9999>)
1379   ret <16 x i16> %1
1380 }
1381
1382 define <16 x i16> @avx2_psll_w_15_splat(<16 x i16> %v) {
1383 ; CHECK-LABEL: @avx2_psll_w_15_splat(
1384 ; CHECK-NEXT:    ret <16 x i16> zeroinitializer
1385 ;
1386   %1 = tail call <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16> %v, <8 x i16> <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>)
1387   ret <16 x i16> %1
1388 }
1389
1390 define <16 x i16> @avx2_psll_w_64(<16 x i16> %v) {
1391 ; CHECK-LABEL: @avx2_psll_w_64(
1392 ; CHECK-NEXT:    ret <16 x i16> zeroinitializer
1393 ;
1394   %1 = tail call <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16> %v, <8 x i16> <i16 64, i16 0, i16 0, i16 0, i16 9999, i16 9999, i16 9999, i16 9999>)
1395   ret <16 x i16> %1
1396 }
1397
1398 define <8 x i32> @avx2_psll_d_0(<8 x i32> %v) {
1399 ; CHECK-LABEL: @avx2_psll_d_0(
1400 ; CHECK-NEXT:    ret <8 x i32> [[V:%.*]]
1401 ;
1402   %1 = tail call <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32> %v, <4 x i32> zeroinitializer)
1403   ret <8 x i32> %1
1404 }
1405
1406 define <8 x i32> @avx2_psll_d_15(<8 x i32> %v) {
1407 ; CHECK-LABEL: @avx2_psll_d_15(
1408 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <8 x i32> [[V:%.*]], <i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15>
1409 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
1410 ;
1411   %1 = tail call <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32> %v, <4 x i32> <i32 15, i32 0, i32 9999, i32 9999>)
1412   ret <8 x i32> %1
1413 }
1414
1415 define <8 x i32> @avx2_psll_d_15_splat(<8 x i32> %v) {
1416 ; CHECK-LABEL: @avx2_psll_d_15_splat(
1417 ; CHECK-NEXT:    ret <8 x i32> zeroinitializer
1418 ;
1419   %1 = tail call <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32> %v, <4 x i32> <i32 15, i32 15, i32 15, i32 15>)
1420   ret <8 x i32> %1
1421 }
1422
1423 define <8 x i32> @avx2_psll_d_64(<8 x i32> %v) {
1424 ; CHECK-LABEL: @avx2_psll_d_64(
1425 ; CHECK-NEXT:    ret <8 x i32> zeroinitializer
1426 ;
1427   %1 = tail call <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32> %v, <4 x i32> <i32 64, i32 0, i32 9999, i32 9999>)
1428   ret <8 x i32> %1
1429 }
1430
1431 define <4 x i64> @avx2_psll_q_0(<4 x i64> %v) {
1432 ; CHECK-LABEL: @avx2_psll_q_0(
1433 ; CHECK-NEXT:    ret <4 x i64> [[V:%.*]]
1434 ;
1435   %1 = tail call <4 x i64> @llvm.x86.avx2.psll.q(<4 x i64> %v, <2 x i64> zeroinitializer)
1436   ret <4 x i64> %1
1437 }
1438
1439 define <4 x i64> @avx2_psll_q_15(<4 x i64> %v) {
1440 ; CHECK-LABEL: @avx2_psll_q_15(
1441 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <4 x i64> [[V:%.*]], <i64 15, i64 15, i64 15, i64 15>
1442 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
1443 ;
1444   %1 = tail call <4 x i64> @llvm.x86.avx2.psll.q(<4 x i64> %v, <2 x i64> <i64 15, i64 9999>)
1445   ret <4 x i64> %1
1446 }
1447
1448 define <4 x i64> @avx2_psll_q_64(<4 x i64> %v) {
1449 ; CHECK-LABEL: @avx2_psll_q_64(
1450 ; CHECK-NEXT:    ret <4 x i64> zeroinitializer
1451 ;
1452   %1 = tail call <4 x i64> @llvm.x86.avx2.psll.q(<4 x i64> %v, <2 x i64> <i64 64, i64 9999>)
1453   ret <4 x i64> %1
1454 }
1455
1456 define <32 x i16> @avx512_psll_w_512_0(<32 x i16> %v) {
1457 ; CHECK-LABEL: @avx512_psll_w_512_0(
1458 ; CHECK-NEXT:    ret <32 x i16> [[V:%.*]]
1459 ;
1460   %1 = tail call <32 x i16> @llvm.x86.avx512.psll.w.512(<32 x i16> %v, <8 x i16> zeroinitializer)
1461   ret <32 x i16> %1
1462 }
1463
1464 define <32 x i16> @avx512_psll_w_512_15(<32 x i16> %v) {
1465 ; CHECK-LABEL: @avx512_psll_w_512_15(
1466 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <32 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
1467 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
1468 ;
1469   %1 = tail call <32 x i16> @llvm.x86.avx512.psll.w.512(<32 x i16> %v, <8 x i16> <i16 15, i16 0, i16 0, i16 0, i16 9999, i16 9999, i16 9999, i16 9999>)
1470   ret <32 x i16> %1
1471 }
1472
1473 define <32 x i16> @avx512_psll_w_15_512_splat(<32 x i16> %v) {
1474 ; CHECK-LABEL: @avx512_psll_w_15_512_splat(
1475 ; CHECK-NEXT:    ret <32 x i16> zeroinitializer
1476 ;
1477   %1 = tail call <32 x i16> @llvm.x86.avx512.psll.w.512(<32 x i16> %v, <8 x i16> <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>)
1478   ret <32 x i16> %1
1479 }
1480
1481 define <32 x i16> @avx512_psll_w_512_64(<32 x i16> %v) {
1482 ; CHECK-LABEL: @avx512_psll_w_512_64(
1483 ; CHECK-NEXT:    ret <32 x i16> zeroinitializer
1484 ;
1485   %1 = tail call <32 x i16> @llvm.x86.avx512.psll.w.512(<32 x i16> %v, <8 x i16> <i16 64, i16 0, i16 0, i16 0, i16 9999, i16 9999, i16 9999, i16 9999>)
1486   ret <32 x i16> %1
1487 }
1488
1489 define <16 x i32> @avx512_psll_d_512_0(<16 x i32> %v) {
1490 ; CHECK-LABEL: @avx512_psll_d_512_0(
1491 ; CHECK-NEXT:    ret <16 x i32> [[V:%.*]]
1492 ;
1493   %1 = tail call <16 x i32> @llvm.x86.avx512.psll.d.512(<16 x i32> %v, <4 x i32> zeroinitializer)
1494   ret <16 x i32> %1
1495 }
1496
1497 define <16 x i32> @avx512_psll_d_512_15(<16 x i32> %v) {
1498 ; CHECK-LABEL: @avx512_psll_d_512_15(
1499 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <16 x i32> [[V:%.*]], <i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15>
1500 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
1501 ;
1502   %1 = tail call <16 x i32> @llvm.x86.avx512.psll.d.512(<16 x i32> %v, <4 x i32> <i32 15, i32 0, i32 9999, i32 9999>)
1503   ret <16 x i32> %1
1504 }
1505
1506 define <16 x i32> @avx512_psll_d_512_15_splat(<16 x i32> %v) {
1507 ; CHECK-LABEL: @avx512_psll_d_512_15_splat(
1508 ; CHECK-NEXT:    ret <16 x i32> zeroinitializer
1509 ;
1510   %1 = tail call <16 x i32> @llvm.x86.avx512.psll.d.512(<16 x i32> %v, <4 x i32> <i32 15, i32 15, i32 15, i32 15>)
1511   ret <16 x i32> %1
1512 }
1513
1514 define <16 x i32> @avx512_psll_d_512_64(<16 x i32> %v) {
1515 ; CHECK-LABEL: @avx512_psll_d_512_64(
1516 ; CHECK-NEXT:    ret <16 x i32> zeroinitializer
1517 ;
1518   %1 = tail call <16 x i32> @llvm.x86.avx512.psll.d.512(<16 x i32> %v, <4 x i32> <i32 64, i32 0, i32 9999, i32 9999>)
1519   ret <16 x i32> %1
1520 }
1521
1522 define <8 x i64> @avx512_psll_q_512_0(<8 x i64> %v) {
1523 ; CHECK-LABEL: @avx512_psll_q_512_0(
1524 ; CHECK-NEXT:    ret <8 x i64> [[V:%.*]]
1525 ;
1526   %1 = tail call <8 x i64> @llvm.x86.avx512.psll.q.512(<8 x i64> %v, <2 x i64> zeroinitializer)
1527   ret <8 x i64> %1
1528 }
1529
1530 define <8 x i64> @avx512_psll_q_512_15(<8 x i64> %v) {
1531 ; CHECK-LABEL: @avx512_psll_q_512_15(
1532 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <8 x i64> [[V:%.*]], <i64 15, i64 15, i64 15, i64 15, i64 15, i64 15, i64 15, i64 15>
1533 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
1534 ;
1535   %1 = tail call <8 x i64> @llvm.x86.avx512.psll.q.512(<8 x i64> %v, <2 x i64> <i64 15, i64 9999>)
1536   ret <8 x i64> %1
1537 }
1538
1539 define <8 x i64> @avx512_psll_q_512_64(<8 x i64> %v) {
1540 ; CHECK-LABEL: @avx512_psll_q_512_64(
1541 ; CHECK-NEXT:    ret <8 x i64> zeroinitializer
1542 ;
1543   %1 = tail call <8 x i64> @llvm.x86.avx512.psll.q.512(<8 x i64> %v, <2 x i64> <i64 64, i64 9999>)
1544   ret <8 x i64> %1
1545 }
1546
1547 ;
1548 ; ASHR - Constant Per-Element Vector
1549 ;
1550
1551 define <4 x i32> @avx2_psrav_d_128_0(<4 x i32> %v) {
1552 ; CHECK-LABEL: @avx2_psrav_d_128_0(
1553 ; CHECK-NEXT:    ret <4 x i32> [[V:%.*]]
1554 ;
1555   %1 = tail call <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32> %v, <4 x i32> zeroinitializer)
1556   ret <4 x i32> %1
1557 }
1558
1559 define <8 x i32> @avx2_psrav_d_256_0(<8 x i32> %v) {
1560 ; CHECK-LABEL: @avx2_psrav_d_256_0(
1561 ; CHECK-NEXT:    ret <8 x i32> [[V:%.*]]
1562 ;
1563   %1 = tail call <8 x i32> @llvm.x86.avx2.psrav.d.256(<8 x i32> %v, <8 x i32> zeroinitializer)
1564   ret <8 x i32> %1
1565 }
1566
1567 define <16 x i32> @avx512_psrav_d_512_0(<16 x i32> %v) {
1568 ; CHECK-LABEL: @avx512_psrav_d_512_0(
1569 ; CHECK-NEXT:    ret <16 x i32> [[V:%.*]]
1570 ;
1571   %1 = tail call <16 x i32> @llvm.x86.avx512.psrav.d.512(<16 x i32> %v, <16 x i32> zeroinitializer)
1572   ret <16 x i32> %1
1573 }
1574
1575 define <4 x i32> @avx2_psrav_d_128_var(<4 x i32> %v) {
1576 ; CHECK-LABEL: @avx2_psrav_d_128_var(
1577 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <4 x i32> [[V:%.*]], <i32 0, i32 8, i32 16, i32 31>
1578 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
1579 ;
1580   %1 = tail call <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32> %v, <4 x i32> <i32 0, i32 8, i32 16, i32 64>)
1581   ret <4 x i32> %1
1582 }
1583
1584 define <8 x i32> @avx2_psrav_d_256_var(<8 x i32> %v) {
1585 ; CHECK-LABEL: @avx2_psrav_d_256_var(
1586 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i32> [[V:%.*]], <i32 0, i32 8, i32 16, i32 24, i32 31, i32 24, i32 8, i32 0>
1587 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
1588 ;
1589   %1 = tail call <8 x i32> @llvm.x86.avx2.psrav.d.256(<8 x i32> %v, <8 x i32> <i32 0, i32 8, i32 16, i32 24, i32 32, i32 24, i32 8, i32 0>)
1590   ret <8 x i32> %1
1591 }
1592
1593 define <16 x i32> @avx512_psrav_d_512_var(<16 x i32> %v) {
1594 ; CHECK-LABEL: @avx512_psrav_d_512_var(
1595 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <16 x i32> [[V:%.*]], <i32 0, i32 8, i32 16, i32 24, i32 31, i32 24, i32 8, i32 0, i32 0, i32 8, i32 16, i32 24, i32 31, i32 24, i32 8, i32 0>
1596 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
1597 ;
1598   %1 = tail call <16 x i32> @llvm.x86.avx512.psrav.d.512(<16 x i32> %v, <16 x i32> <i32 0, i32 8, i32 16, i32 24, i32 32, i32 24, i32 8, i32 0, i32 0, i32 8, i32 16, i32 24, i32 32, i32 24, i32 8, i32 0>)
1599   ret <16 x i32> %1
1600 }
1601
1602 define <4 x i32> @avx2_psrav_d_128_allbig(<4 x i32> %v) {
1603 ; CHECK-LABEL: @avx2_psrav_d_128_allbig(
1604 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <4 x i32> [[V:%.*]], <i32 31, i32 31, i32 31, i32 undef>
1605 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
1606 ;
1607   %1 = tail call <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32> %v, <4 x i32> <i32 32, i32 100, i32 -255, i32 poison>)
1608   ret <4 x i32> %1
1609 }
1610
1611 define <8 x i32> @avx2_psrav_d_256_allbig(<8 x i32> %v) {
1612 ; CHECK-LABEL: @avx2_psrav_d_256_allbig(
1613 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i32> [[V:%.*]], <i32 undef, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31>
1614 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
1615 ;
1616   %1 = tail call <8 x i32> @llvm.x86.avx2.psrav.d.256(<8 x i32> %v, <8 x i32> <i32 poison, i32 100, i32 255, i32 55555, i32 -32, i32 -100, i32 -255, i32 -55555>)
1617   ret <8 x i32> %1
1618 }
1619
1620 define <16 x i32> @avx512_psrav_d_512_allbig(<16 x i32> %v) {
1621 ; CHECK-LABEL: @avx512_psrav_d_512_allbig(
1622 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <16 x i32> [[V:%.*]], <i32 undef, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 undef, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31, i32 31>
1623 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
1624 ;
1625   %1 = tail call <16 x i32> @llvm.x86.avx512.psrav.d.512(<16 x i32> %v, <16 x i32> <i32 poison, i32 100, i32 255, i32 55555, i32 -32, i32 -100, i32 -255, i32 -55555, i32 poison, i32 100, i32 255, i32 55555, i32 -32, i32 -100, i32 -255, i32 -55555>)
1626   ret <16 x i32> %1
1627 }
1628
1629 define <4 x i32> @avx2_psrav_d_128_poison(<4 x i32> %v) {
1630 ; CHECK-LABEL: @avx2_psrav_d_128_poison(
1631 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <4 x i32> [[V:%.*]], <i32 undef, i32 8, i32 16, i32 31>
1632 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
1633 ;
1634   %1 = insertelement <4 x i32> <i32 0, i32 8, i32 16, i32 64>, i32 poison, i32 0
1635   %2 = tail call <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32> %v, <4 x i32> %1)
1636   ret <4 x i32> %2
1637 }
1638
1639 define <8 x i32> @avx2_psrav_d_256_poison(<8 x i32> %v) {
1640 ; CHECK-LABEL: @avx2_psrav_d_256_poison(
1641 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i32> [[V:%.*]], <i32 0, i32 undef, i32 16, i32 24, i32 31, i32 24, i32 8, i32 0>
1642 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
1643 ;
1644   %1 = insertelement <8 x i32> <i32 0, i32 8, i32 16, i32 24, i32 32, i32 24, i32 8, i32 0>, i32 poison, i32 1
1645   %2 = tail call <8 x i32> @llvm.x86.avx2.psrav.d.256(<8 x i32> %v, <8 x i32> %1)
1646   ret <8 x i32> %2
1647 }
1648
1649 define <16 x i32> @avx512_psrav_d_512_poison(<16 x i32> %v) {
1650 ; CHECK-LABEL: @avx512_psrav_d_512_poison(
1651 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <16 x i32> [[V:%.*]], <i32 0, i32 undef, i32 16, i32 24, i32 31, i32 24, i32 8, i32 0, i32 0, i32 8, i32 16, i32 24, i32 31, i32 24, i32 8, i32 0>
1652 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
1653 ;
1654   %1 = insertelement <16 x i32> <i32 0, i32 8, i32 16, i32 24, i32 32, i32 24, i32 8, i32 0, i32 0, i32 8, i32 16, i32 24, i32 32, i32 24, i32 8, i32 0>, i32 poison, i32 1
1655   %2 = tail call <16 x i32> @llvm.x86.avx512.psrav.d.512(<16 x i32> %v, <16 x i32> %1)
1656   ret <16 x i32> %2
1657 }
1658
1659 define <2 x i64> @avx512_psrav_q_128_0(<2 x i64> %v) {
1660 ; CHECK-LABEL: @avx512_psrav_q_128_0(
1661 ; CHECK-NEXT:    ret <2 x i64> [[V:%.*]]
1662 ;
1663   %1 = tail call <2 x i64> @llvm.x86.avx512.psrav.q.128(<2 x i64> %v, <2 x i64> zeroinitializer)
1664   ret <2 x i64> %1
1665 }
1666
1667 define <4 x i64> @avx512_psrav_q_256_0(<4 x i64> %v) {
1668 ; CHECK-LABEL: @avx512_psrav_q_256_0(
1669 ; CHECK-NEXT:    ret <4 x i64> [[V:%.*]]
1670 ;
1671   %1 = tail call <4 x i64> @llvm.x86.avx512.psrav.q.256(<4 x i64> %v, <4 x i64> zeroinitializer)
1672   ret <4 x i64> %1
1673 }
1674
1675 define <2 x i64> @avx512_psrav_q_128_var(<2 x i64> %v) {
1676 ; CHECK-LABEL: @avx512_psrav_q_128_var(
1677 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <2 x i64> [[V:%.*]], <i64 0, i64 8>
1678 ; CHECK-NEXT:    ret <2 x i64> [[TMP1]]
1679 ;
1680   %1 = tail call <2 x i64> @llvm.x86.avx512.psrav.q.128(<2 x i64> %v, <2 x i64> <i64 0, i64 8>)
1681   ret <2 x i64> %1
1682 }
1683
1684 define <4 x i64> @avx512_psrav_q_256_var(<4 x i64> %v) {
1685 ; CHECK-LABEL: @avx512_psrav_q_256_var(
1686 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <4 x i64> [[V:%.*]], <i64 0, i64 8, i64 16, i64 31>
1687 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
1688 ;
1689   %1 = tail call <4 x i64> @llvm.x86.avx512.psrav.q.256(<4 x i64> %v, <4 x i64> <i64 0, i64 8, i64 16, i64 31>)
1690   ret <4 x i64> %1
1691 }
1692
1693 define <2 x i64> @avx512_psrav_q_128_allbig(<2 x i64> %v) {
1694 ; CHECK-LABEL: @avx512_psrav_q_128_allbig(
1695 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <2 x i64> [[V:%.*]], <i64 63, i64 undef>
1696 ; CHECK-NEXT:    ret <2 x i64> [[TMP1]]
1697 ;
1698   %1 = tail call <2 x i64> @llvm.x86.avx512.psrav.q.128(<2 x i64> %v, <2 x i64> <i64 64, i64 poison>)
1699   ret <2 x i64> %1
1700 }
1701
1702 define <4 x i64> @avx512_psrav_q_256_allbig(<4 x i64> %v) {
1703 ; CHECK-LABEL: @avx512_psrav_q_256_allbig(
1704 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <4 x i64> [[V:%.*]], <i64 63, i64 undef, i64 63, i64 63>
1705 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
1706 ;
1707   %1 = tail call <4 x i64> @llvm.x86.avx512.psrav.q.256(<4 x i64> %v, <4 x i64> <i64 64, i64 poison, i64 -128, i64 -60>)
1708   ret <4 x i64> %1
1709 }
1710
1711 define <2 x i64> @avx512_psrav_q_128_poison(<2 x i64> %v) {
1712 ; CHECK-LABEL: @avx512_psrav_q_128_poison(
1713 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <2 x i64> [[V:%.*]], <i64 undef, i64 8>
1714 ; CHECK-NEXT:    ret <2 x i64> [[TMP1]]
1715 ;
1716   %1 = insertelement <2 x i64> <i64 0, i64 8>, i64 poison, i64 0
1717   %2 = tail call <2 x i64> @llvm.x86.avx512.psrav.q.128(<2 x i64> %v, <2 x i64> %1)
1718   ret <2 x i64> %2
1719 }
1720
1721 define <4 x i64> @avx512_psrav_q_256_poison(<4 x i64> %v) {
1722 ; CHECK-LABEL: @avx512_psrav_q_256_poison(
1723 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <4 x i64> [[V:%.*]], <i64 undef, i64 8, i64 16, i64 31>
1724 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
1725 ;
1726   %1 = insertelement <4 x i64> <i64 0, i64 8, i64 16, i64 31>, i64 poison, i64 0
1727   %2 = tail call <4 x i64> @llvm.x86.avx512.psrav.q.256(<4 x i64> %v, <4 x i64> %1)
1728   ret <4 x i64> %2
1729 }
1730
1731 define <8 x i64> @avx512_psrav_q_512_0(<8 x i64> %v) {
1732 ; CHECK-LABEL: @avx512_psrav_q_512_0(
1733 ; CHECK-NEXT:    ret <8 x i64> [[V:%.*]]
1734 ;
1735   %1 = tail call <8 x i64> @llvm.x86.avx512.psrav.q.512(<8 x i64> %v, <8 x i64> zeroinitializer)
1736   ret <8 x i64> %1
1737 }
1738
1739 define <8 x i64> @avx512_psrav_q_512_var(<8 x i64> %v) {
1740 ; CHECK-LABEL: @avx512_psrav_q_512_var(
1741 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i64> [[V:%.*]], <i64 0, i64 8, i64 16, i64 31, i64 0, i64 8, i64 16, i64 31>
1742 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
1743 ;
1744   %1 = tail call <8 x i64> @llvm.x86.avx512.psrav.q.512(<8 x i64> %v, <8 x i64> <i64 0, i64 8, i64 16, i64 31, i64 0, i64 8, i64 16, i64 31>)
1745   ret <8 x i64> %1
1746 }
1747
1748 define <8 x i64> @avx512_psrav_q_512_allbig(<8 x i64> %v) {
1749 ; CHECK-LABEL: @avx512_psrav_q_512_allbig(
1750 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i64> [[V:%.*]], <i64 63, i64 undef, i64 63, i64 63, i64 63, i64 undef, i64 63, i64 63>
1751 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
1752 ;
1753   %1 = tail call <8 x i64> @llvm.x86.avx512.psrav.q.512(<8 x i64> %v, <8 x i64> <i64 64, i64 poison, i64 -128, i64 -60, i64 64, i64 poison, i64 -128, i64 -60>)
1754   ret <8 x i64> %1
1755 }
1756
1757 define <8 x i64> @avx512_psrav_q_512_poison(<8 x i64> %v) {
1758 ; CHECK-LABEL: @avx512_psrav_q_512_poison(
1759 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i64> [[V:%.*]], <i64 undef, i64 8, i64 16, i64 31, i64 0, i64 8, i64 16, i64 31>
1760 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
1761 ;
1762   %1 = insertelement <8 x i64> <i64 0, i64 8, i64 16, i64 31, i64 0, i64 8, i64 16, i64 31>, i64 poison, i64 0
1763   %2 = tail call <8 x i64> @llvm.x86.avx512.psrav.q.512(<8 x i64> %v, <8 x i64> %1)
1764   ret <8 x i64> %2
1765 }
1766
1767 define <8 x i16> @avx512_psrav_w_128_0(<8 x i16> %v) {
1768 ; CHECK-LABEL: @avx512_psrav_w_128_0(
1769 ; CHECK-NEXT:    ret <8 x i16> [[V:%.*]]
1770 ;
1771   %1 = tail call <8 x i16> @llvm.x86.avx512.psrav.w.128(<8 x i16> %v, <8 x i16> zeroinitializer)
1772   ret <8 x i16> %1
1773 }
1774
1775 define <8 x i16> @avx512_psrav_w_128_var(<8 x i16> %v) {
1776 ; CHECK-LABEL: @avx512_psrav_w_128_var(
1777 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i16> [[V:%.*]], <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>
1778 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
1779 ;
1780   %1 = tail call <8 x i16> @llvm.x86.avx512.psrav.w.128(<8 x i16> %v, <8 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>)
1781   ret <8 x i16> %1
1782 }
1783
1784 define <8 x i16> @avx512_psrav_w_128_allbig(<8 x i16> %v) {
1785 ; CHECK-LABEL: @avx512_psrav_w_128_allbig(
1786 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 undef>
1787 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
1788 ;
1789   %1 = tail call <8 x i16> @llvm.x86.avx512.psrav.w.128(<8 x i16> %v, <8 x i16> <i16 20, i16 -1, i16 -2, i16 33, i16 44, i16 55, i16 66, i16 poison>)
1790   ret <8 x i16> %1
1791 }
1792
1793 define <8 x i16> @avx512_psrav_w_128_poison(<8 x i16> %v) {
1794 ; CHECK-LABEL: @avx512_psrav_w_128_poison(
1795 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <8 x i16> [[V:%.*]], <i16 undef, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>
1796 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
1797 ;
1798   %1 = insertelement <8 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>, i16 poison, i64 0
1799   %2 = tail call <8 x i16> @llvm.x86.avx512.psrav.w.128(<8 x i16> %v, <8 x i16> %1)
1800   ret <8 x i16> %2
1801 }
1802
1803 define <16 x i16> @avx512_psrav_w_256_0(<16 x i16> %v) {
1804 ; CHECK-LABEL: @avx512_psrav_w_256_0(
1805 ; CHECK-NEXT:    ret <16 x i16> [[V:%.*]]
1806 ;
1807   %1 = tail call <16 x i16> @llvm.x86.avx512.psrav.w.256(<16 x i16> %v, <16 x i16> zeroinitializer)
1808   ret <16 x i16> %1
1809 }
1810
1811 define <16 x i16> @avx512_psrav_w_256_var(<16 x i16> %v) {
1812 ; CHECK-LABEL: @avx512_psrav_w_256_var(
1813 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <16 x i16> [[V:%.*]], <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15>
1814 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
1815 ;
1816   %1 = tail call <16 x i16> @llvm.x86.avx512.psrav.w.256(<16 x i16> %v, <16 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15>)
1817   ret <16 x i16> %1
1818 }
1819
1820 define <16 x i16> @avx512_psrav_w_256_allbig(<16 x i16> %v) {
1821 ; CHECK-LABEL: @avx512_psrav_w_256_allbig(
1822 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <16 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 undef, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15>
1823 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
1824 ;
1825   %1 = tail call <16 x i16> @llvm.x86.avx512.psrav.w.256(<16 x i16> %v, <16 x i16> <i16 20, i16 -1, i16 -2, i16 33, i16 44, i16 55, i16 66, i16 -7, i16 poison, i16 64, i16 -10, i16 256, i16 16, i16 28, i16 65535, i16 32767>)
1826   ret <16 x i16> %1
1827 }
1828
1829 define <16 x i16> @avx512_psrav_w_256_poison(<16 x i16> %v) {
1830 ; CHECK-LABEL: @avx512_psrav_w_256_poison(
1831 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <16 x i16> [[V:%.*]], <i16 undef, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15>
1832 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
1833 ;
1834   %1 = insertelement <16 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15>, i16 poison, i64 0
1835   %2 = tail call <16 x i16> @llvm.x86.avx512.psrav.w.256(<16 x i16> %v, <16 x i16> %1)
1836   ret <16 x i16> %2
1837 }
1838
1839 define <32 x i16> @avx512_psrav_w_512_0(<32 x i16> %v) {
1840 ; CHECK-LABEL: @avx512_psrav_w_512_0(
1841 ; CHECK-NEXT:    ret <32 x i16> [[V:%.*]]
1842 ;
1843   %1 = tail call <32 x i16> @llvm.x86.avx512.psrav.w.512(<32 x i16> %v, <32 x i16> zeroinitializer)
1844   ret <32 x i16> %1
1845 }
1846
1847 define <32 x i16> @avx512_psrav_w_512_var(<32 x i16> %v) {
1848 ; CHECK-LABEL: @avx512_psrav_w_512_var(
1849 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <32 x i16> [[V:%.*]], <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15, i16 15, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9, i16 8, i16 7, i16 6, i16 5, i16 4, i16 3, i16 2, i16 1, i16 0>
1850 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
1851 ;
1852   %1 = tail call <32 x i16> @llvm.x86.avx512.psrav.w.512(<32 x i16> %v, <32 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15, i16 15, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9, i16 8, i16 7, i16 6, i16 5, i16 4, i16 3, i16 2, i16 1, i16 0>)
1853   ret <32 x i16> %1
1854 }
1855
1856 define <32 x i16> @avx512_psrav_w_512_allbig(<32 x i16> %v) {
1857 ; CHECK-LABEL: @avx512_psrav_w_512_allbig(
1858 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <32 x i16> [[V:%.*]], <i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 undef, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 undef, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 15, i16 undef, i16 15, i16 15, i16 undef, i16 15, i16 15>
1859 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
1860 ;
1861   %1 = tail call <32 x i16> @llvm.x86.avx512.psrav.w.512(<32 x i16> %v, <32 x i16> <i16 20, i16 -1, i16 -2, i16 33, i16 44, i16 55, i16 66, i16 -7, i16 poison, i16 64, i16 -10, i16 128, i16 16, i16 28, i16 65535, i16 32767, i16 56, i16 -14, i16 poison, i16 16, i16 67, i16 567, i16 -32768, i16 4096, i16 8192, i16 -12345, i16 poison, i16 345, i16 123, i16 poison, i16 1024, i16 54321>)
1862   ret <32 x i16> %1
1863 }
1864
1865 define <32 x i16> @avx512_psrav_w_512_poison(<32 x i16> %v) {
1866 ; CHECK-LABEL: @avx512_psrav_w_512_poison(
1867 ; CHECK-NEXT:    [[TMP1:%.*]] = ashr <32 x i16> [[V:%.*]], <i16 undef, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15, i16 15, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9, i16 8, i16 7, i16 6, i16 5, i16 4, i16 3, i16 2, i16 1, i16 0>
1868 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
1869 ;
1870   %1 = insertelement <32 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15, i16 15, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9, i16 8, i16 7, i16 6, i16 5, i16 4, i16 3, i16 2, i16 1, i16 0>, i16 poison, i64 0
1871   %2 = tail call <32 x i16> @llvm.x86.avx512.psrav.w.512(<32 x i16> %v, <32 x i16> %1)
1872   ret <32 x i16> %2
1873 }
1874
1875 ;
1876 ; LSHR - Constant Per-Element Vector
1877 ;
1878
1879 define <4 x i32> @avx2_psrlv_d_128_0(<4 x i32> %v) {
1880 ; CHECK-LABEL: @avx2_psrlv_d_128_0(
1881 ; CHECK-NEXT:    ret <4 x i32> [[V:%.*]]
1882 ;
1883   %1 = tail call <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32> %v, <4 x i32> zeroinitializer)
1884   ret <4 x i32> %1
1885 }
1886
1887 define <8 x i32> @avx2_psrlv_d_256_0(<8 x i32> %v) {
1888 ; CHECK-LABEL: @avx2_psrlv_d_256_0(
1889 ; CHECK-NEXT:    ret <8 x i32> [[V:%.*]]
1890 ;
1891   %1 = tail call <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32> %v, <8 x i32> zeroinitializer)
1892   ret <8 x i32> %1
1893 }
1894
1895 define <4 x i32> @avx2_psrlv_d_128_var(<4 x i32> %v) {
1896 ; CHECK-LABEL: @avx2_psrlv_d_128_var(
1897 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <4 x i32> [[V:%.*]], <i32 0, i32 8, i32 16, i32 31>
1898 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
1899 ;
1900   %1 = tail call <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32> %v, <4 x i32> <i32 0, i32 8, i32 16, i32 31>)
1901   ret <4 x i32> %1
1902 }
1903
1904 define <8 x i32> @avx2_psrlv_d_256_var(<8 x i32> %v) {
1905 ; CHECK-LABEL: @avx2_psrlv_d_256_var(
1906 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <8 x i32> [[V:%.*]], <i32 0, i32 8, i32 16, i32 24, i32 31, i32 24, i32 8, i32 0>
1907 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
1908 ;
1909   %1 = tail call <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32> %v, <8 x i32> <i32 0, i32 8, i32 16, i32 24, i32 31, i32 24, i32 8, i32 0>)
1910   ret <8 x i32> %1
1911 }
1912
1913 define <4 x i32> @avx2_psrlv_d_128_big(<4 x i32> %v) {
1914 ; CHECK-LABEL: @avx2_psrlv_d_128_big(
1915 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32> [[V:%.*]], <4 x i32> <i32 0, i32 8, i32 16, i32 64>)
1916 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
1917 ;
1918   %1 = tail call <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32> %v, <4 x i32> <i32 0, i32 8, i32 16, i32 64>)
1919   ret <4 x i32> %1
1920 }
1921
1922 define <8 x i32> @avx2_psrlv_d_256_big(<8 x i32> %v) {
1923 ; CHECK-LABEL: @avx2_psrlv_d_256_big(
1924 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32> [[V:%.*]], <8 x i32> <i32 0, i32 8, i32 16, i32 64, i32 31, i32 24, i32 8, i32 0>)
1925 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
1926 ;
1927   %1 = tail call <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32> %v, <8 x i32> <i32 0, i32 8, i32 16, i32 64, i32 31, i32 24, i32 8, i32 0>)
1928   ret <8 x i32> %1
1929 }
1930
1931 define <4 x i32> @avx2_psrlv_d_128_allbig(<4 x i32> %v) {
1932 ; CHECK-LABEL: @avx2_psrlv_d_128_allbig(
1933 ; CHECK-NEXT:    ret <4 x i32> <i32 0, i32 0, i32 0, i32 undef>
1934 ;
1935   %1 = tail call <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32> %v, <4 x i32> <i32 32, i32 100, i32 -255, i32 poison>)
1936   ret <4 x i32> %1
1937 }
1938
1939 define <8 x i32> @avx2_psrlv_d_256_allbig(<8 x i32> %v) {
1940 ; CHECK-LABEL: @avx2_psrlv_d_256_allbig(
1941 ; CHECK-NEXT:    ret <8 x i32> <i32 undef, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0>
1942 ;
1943   %1 = tail call <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32> %v, <8 x i32> <i32 poison, i32 100, i32 255, i32 55555, i32 -32, i32 -100, i32 -255, i32 -55555>)
1944   ret <8 x i32> %1
1945 }
1946
1947 define <4 x i32> @avx2_psrlv_d_128_poison(<4 x i32> %v) {
1948 ; CHECK-LABEL: @avx2_psrlv_d_128_poison(
1949 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <4 x i32> [[V:%.*]], <i32 undef, i32 8, i32 16, i32 31>
1950 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
1951 ;
1952   %1 = insertelement <4 x i32> <i32 0, i32 8, i32 16, i32 31>, i32 poison, i32 0
1953   %2 = tail call <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32> %v, <4 x i32> %1)
1954   ret <4 x i32> %2
1955 }
1956
1957 define <8 x i32> @avx2_psrlv_d_256_poison(<8 x i32> %v) {
1958 ; CHECK-LABEL: @avx2_psrlv_d_256_poison(
1959 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <8 x i32> [[V:%.*]], <i32 0, i32 undef, i32 16, i32 31, i32 31, i32 24, i32 8, i32 0>
1960 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
1961 ;
1962   %1 = insertelement <8 x i32> <i32 0, i32 8, i32 16, i32 31, i32 31, i32 24, i32 8, i32 0>, i32 poison, i32 1
1963   %2 = tail call <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32> %v, <8 x i32> %1)
1964   ret <8 x i32> %2
1965 }
1966
1967 define <2 x i64> @avx2_psrlv_q_128_0(<2 x i64> %v) {
1968 ; CHECK-LABEL: @avx2_psrlv_q_128_0(
1969 ; CHECK-NEXT:    ret <2 x i64> [[V:%.*]]
1970 ;
1971   %1 = tail call <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64> %v, <2 x i64> zeroinitializer)
1972   ret <2 x i64> %1
1973 }
1974
1975 define <4 x i64> @avx2_psrlv_q_256_0(<4 x i64> %v) {
1976 ; CHECK-LABEL: @avx2_psrlv_q_256_0(
1977 ; CHECK-NEXT:    ret <4 x i64> [[V:%.*]]
1978 ;
1979   %1 = tail call <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64> %v, <4 x i64> zeroinitializer)
1980   ret <4 x i64> %1
1981 }
1982
1983 define <2 x i64> @avx2_psrlv_q_128_var(<2 x i64> %v) {
1984 ; CHECK-LABEL: @avx2_psrlv_q_128_var(
1985 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <2 x i64> [[V:%.*]], <i64 0, i64 8>
1986 ; CHECK-NEXT:    ret <2 x i64> [[TMP1]]
1987 ;
1988   %1 = tail call <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64> %v, <2 x i64> <i64 0, i64 8>)
1989   ret <2 x i64> %1
1990 }
1991
1992 define <4 x i64> @avx2_psrlv_q_256_var(<4 x i64> %v) {
1993 ; CHECK-LABEL: @avx2_psrlv_q_256_var(
1994 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <4 x i64> [[V:%.*]], <i64 0, i64 8, i64 16, i64 31>
1995 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
1996 ;
1997   %1 = tail call <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64> %v, <4 x i64> <i64 0, i64 8, i64 16, i64 31>)
1998   ret <4 x i64> %1
1999 }
2000
2001 define <2 x i64> @avx2_psrlv_q_128_big(<2 x i64> %v) {
2002 ; CHECK-LABEL: @avx2_psrlv_q_128_big(
2003 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64> [[V:%.*]], <2 x i64> <i64 0, i64 128>)
2004 ; CHECK-NEXT:    ret <2 x i64> [[TMP1]]
2005 ;
2006   %1 = tail call <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64> %v, <2 x i64> <i64 0, i64 128>)
2007   ret <2 x i64> %1
2008 }
2009
2010 define <4 x i64> @avx2_psrlv_q_256_big(<4 x i64> %v) {
2011 ; CHECK-LABEL: @avx2_psrlv_q_256_big(
2012 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64> [[V:%.*]], <4 x i64> <i64 0, i64 8, i64 16, i64 64>)
2013 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
2014 ;
2015   %1 = tail call <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64> %v, <4 x i64> <i64 0, i64 8, i64 16, i64 64>)
2016   ret <4 x i64> %1
2017 }
2018
2019 define <2 x i64> @avx2_psrlv_q_128_allbig(<2 x i64> %v) {
2020 ; CHECK-LABEL: @avx2_psrlv_q_128_allbig(
2021 ; CHECK-NEXT:    ret <2 x i64> zeroinitializer
2022 ;
2023   %1 = tail call <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64> %v, <2 x i64> <i64 128, i64 -64>)
2024   ret <2 x i64> %1
2025 }
2026
2027 define <4 x i64> @avx2_psrlv_q_256_allbig(<4 x i64> %v) {
2028 ; CHECK-LABEL: @avx2_psrlv_q_256_allbig(
2029 ; CHECK-NEXT:    ret <4 x i64> <i64 0, i64 undef, i64 0, i64 0>
2030 ;
2031   %1 = tail call <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64> %v, <4 x i64> <i64 64, i64 poison, i64 -128, i64 -60>)
2032   ret <4 x i64> %1
2033 }
2034
2035 ; The shift amount is 0 (the poison lane could be 0), so we return the unshifted input.
2036
2037 define <2 x i64> @avx2_psrlv_q_128_poison(<2 x i64> %v) {
2038 ; CHECK-LABEL: @avx2_psrlv_q_128_poison(
2039 ; CHECK-NEXT:    ret <2 x i64> [[V:%.*]]
2040 ;
2041   %1 = insertelement <2 x i64> <i64 0, i64 8>, i64 poison, i64 1
2042   %2 = tail call <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64> %v, <2 x i64> %1)
2043   ret <2 x i64> %2
2044 }
2045
2046 define <4 x i64> @avx2_psrlv_q_256_poison(<4 x i64> %v) {
2047 ; CHECK-LABEL: @avx2_psrlv_q_256_poison(
2048 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <4 x i64> [[V:%.*]], <i64 undef, i64 8, i64 16, i64 31>
2049 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
2050 ;
2051   %1 = insertelement <4 x i64> <i64 0, i64 8, i64 16, i64 31>, i64 poison, i64 0
2052   %2 = tail call <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64> %v, <4 x i64> %1)
2053   ret <4 x i64> %2
2054 }
2055
2056 define <16 x i32> @avx2_psrlv_d_512_0(<16 x i32> %v) {
2057 ; CHECK-LABEL: @avx2_psrlv_d_512_0(
2058 ; CHECK-NEXT:    ret <16 x i32> [[V:%.*]]
2059 ;
2060   %1 = tail call <16 x i32> @llvm.x86.avx512.psrlv.d.512(<16 x i32> %v, <16 x i32> zeroinitializer)
2061   ret <16 x i32> %1
2062 }
2063
2064 define <16 x i32> @avx512_psrlv_d_512_var(<16 x i32> %v) {
2065 ; CHECK-LABEL: @avx512_psrlv_d_512_var(
2066 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <16 x i32> [[V:%.*]], <i32 0, i32 8, i32 16, i32 24, i32 31, i32 24, i32 8, i32 0, i32 0, i32 8, i32 16, i32 24, i32 31, i32 24, i32 8, i32 0>
2067 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
2068 ;
2069   %1 = tail call <16 x i32> @llvm.x86.avx512.psrlv.d.512(<16 x i32> %v, <16 x i32> <i32 0, i32 8, i32 16, i32 24, i32 31, i32 24, i32 8, i32 0, i32 0, i32 8, i32 16, i32 24, i32 31, i32 24, i32 8, i32 0>)
2070   ret <16 x i32> %1
2071 }
2072
2073 define <16 x i32> @avx512_psrlv_d_512_big(<16 x i32> %v) {
2074 ; CHECK-LABEL: @avx512_psrlv_d_512_big(
2075 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <16 x i32> @llvm.x86.avx512.psrlv.d.512(<16 x i32> [[V:%.*]], <16 x i32> <i32 0, i32 8, i32 16, i32 64, i32 31, i32 24, i32 8, i32 0, i32 0, i32 8, i32 16, i32 64, i32 31, i32 24, i32 8, i32 0>)
2076 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
2077 ;
2078   %1 = tail call <16 x i32> @llvm.x86.avx512.psrlv.d.512(<16 x i32> %v, <16 x i32> <i32 0, i32 8, i32 16, i32 64, i32 31, i32 24, i32 8, i32 0, i32 0, i32 8, i32 16, i32 64, i32 31, i32 24, i32 8, i32 0>)
2079   ret <16 x i32> %1
2080 }
2081
2082 define <16 x i32> @avx512_psrlv_d_512_allbig(<16 x i32> %v) {
2083 ; CHECK-LABEL: @avx512_psrlv_d_512_allbig(
2084 ; CHECK-NEXT:    ret <16 x i32> <i32 undef, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 undef, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0>
2085 ;
2086   %1 = tail call <16 x i32> @llvm.x86.avx512.psrlv.d.512(<16 x i32> %v, <16 x i32> <i32 poison, i32 100, i32 255, i32 55555, i32 -32, i32 -100, i32 -255, i32 -55555, i32 poison, i32 100, i32 255, i32 55555, i32 -32, i32 -100, i32 -255, i32 -55555>)
2087   ret <16 x i32> %1
2088 }
2089
2090 define <16 x i32> @avx512_psrlv_d_512_poison(<16 x i32> %v) {
2091 ; CHECK-LABEL: @avx512_psrlv_d_512_poison(
2092 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <16 x i32> [[V:%.*]], <i32 0, i32 undef, i32 16, i32 31, i32 31, i32 24, i32 8, i32 0, i32 0, i32 8, i32 16, i32 31, i32 31, i32 24, i32 8, i32 0>
2093 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
2094 ;
2095   %1 = insertelement <16 x i32> <i32 0, i32 8, i32 16, i32 31, i32 31, i32 24, i32 8, i32 0, i32 0, i32 8, i32 16, i32 31, i32 31, i32 24, i32 8, i32 0>, i32 poison, i32 1
2096   %2 = tail call <16 x i32> @llvm.x86.avx512.psrlv.d.512(<16 x i32> %v, <16 x i32> %1)
2097   ret <16 x i32> %2
2098 }
2099
2100 define <8 x i64> @avx512_psrlv_q_512_0(<8 x i64> %v) {
2101 ; CHECK-LABEL: @avx512_psrlv_q_512_0(
2102 ; CHECK-NEXT:    ret <8 x i64> [[V:%.*]]
2103 ;
2104   %1 = tail call <8 x i64> @llvm.x86.avx512.psrlv.q.512(<8 x i64> %v, <8 x i64> zeroinitializer)
2105   ret <8 x i64> %1
2106 }
2107
2108 define <8 x i64> @avx512_psrlv_q_512_var(<8 x i64> %v) {
2109 ; CHECK-LABEL: @avx512_psrlv_q_512_var(
2110 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <8 x i64> [[V:%.*]], <i64 0, i64 8, i64 16, i64 31, i64 0, i64 8, i64 16, i64 31>
2111 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
2112 ;
2113   %1 = tail call <8 x i64> @llvm.x86.avx512.psrlv.q.512(<8 x i64> %v, <8 x i64> <i64 0, i64 8, i64 16, i64 31, i64 0, i64 8, i64 16, i64 31>)
2114   ret <8 x i64> %1
2115 }
2116
2117 define <8 x i64> @avx512_psrlv_q_512_big(<8 x i64> %v) {
2118 ; CHECK-LABEL: @avx512_psrlv_q_512_big(
2119 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <8 x i64> @llvm.x86.avx512.psrlv.q.512(<8 x i64> [[V:%.*]], <8 x i64> <i64 0, i64 8, i64 16, i64 64, i64 0, i64 8, i64 16, i64 64>)
2120 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
2121 ;
2122   %1 = tail call <8 x i64> @llvm.x86.avx512.psrlv.q.512(<8 x i64> %v, <8 x i64> <i64 0, i64 8, i64 16, i64 64, i64 0, i64 8, i64 16, i64 64>)
2123   ret <8 x i64> %1
2124 }
2125
2126 define <8 x i64> @avx512_psrlv_q_512_allbig(<8 x i64> %v) {
2127 ; CHECK-LABEL: @avx512_psrlv_q_512_allbig(
2128 ; CHECK-NEXT:    ret <8 x i64> <i64 0, i64 undef, i64 0, i64 0, i64 0, i64 undef, i64 0, i64 0>
2129 ;
2130   %1 = tail call <8 x i64> @llvm.x86.avx512.psrlv.q.512(<8 x i64> %v, <8 x i64> <i64 64, i64 poison, i64 -128, i64 -60, i64 64, i64 poison, i64 -128, i64 -60>)
2131   ret <8 x i64> %1
2132 }
2133
2134 define <8 x i64> @avx512_psrlv_q_512_poison(<8 x i64> %v) {
2135 ; CHECK-LABEL: @avx512_psrlv_q_512_poison(
2136 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <8 x i64> [[V:%.*]], <i64 undef, i64 8, i64 16, i64 31, i64 0, i64 8, i64 16, i64 31>
2137 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
2138 ;
2139   %1 = insertelement <8 x i64> <i64 0, i64 8, i64 16, i64 31, i64 0, i64 8, i64 16, i64 31>, i64 poison, i64 0
2140   %2 = tail call <8 x i64> @llvm.x86.avx512.psrlv.q.512(<8 x i64> %v, <8 x i64> %1)
2141   ret <8 x i64> %2
2142 }
2143
2144 define <8 x i16> @avx512_psrlv_w_128_0(<8 x i16> %v) {
2145 ; CHECK-LABEL: @avx512_psrlv_w_128_0(
2146 ; CHECK-NEXT:    ret <8 x i16> [[V:%.*]]
2147 ;
2148   %1 = tail call <8 x i16> @llvm.x86.avx512.psrlv.w.128(<8 x i16> %v, <8 x i16> zeroinitializer)
2149   ret <8 x i16> %1
2150 }
2151
2152 define <8 x i16> @avx512_psrlv_w_128_var(<8 x i16> %v) {
2153 ; CHECK-LABEL: @avx512_psrlv_w_128_var(
2154 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <8 x i16> [[V:%.*]], <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>
2155 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
2156 ;
2157   %1 = tail call <8 x i16> @llvm.x86.avx512.psrlv.w.128(<8 x i16> %v, <8 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>)
2158   ret <8 x i16> %1
2159 }
2160
2161 define <8 x i16> @avx512_psrlv_w_128_big(<8 x i16> %v) {
2162 ; CHECK-LABEL: @avx512_psrlv_w_128_big(
2163 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <8 x i16> @llvm.x86.avx512.psrlv.w.128(<8 x i16> [[V:%.*]], <8 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 16>)
2164 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
2165 ;
2166   %1 = tail call <8 x i16> @llvm.x86.avx512.psrlv.w.128(<8 x i16> %v, <8 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 16>)
2167   ret <8 x i16> %1
2168 }
2169
2170 define <8 x i16> @avx512_psrlv_w_128_allbig(<8 x i16> %v) {
2171 ; CHECK-LABEL: @avx512_psrlv_w_128_allbig(
2172 ; CHECK-NEXT:    ret <8 x i16> <i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 undef>
2173 ;
2174   %1 = tail call <8 x i16> @llvm.x86.avx512.psrlv.w.128(<8 x i16> %v, <8 x i16> <i16 20, i16 -1, i16 -2, i16 33, i16 44, i16 55, i16 66, i16 poison>)
2175   ret <8 x i16> %1
2176 }
2177
2178 define <8 x i16> @avx512_psrlv_w_128_poison(<8 x i16> %v) {
2179 ; CHECK-LABEL: @avx512_psrlv_w_128_poison(
2180 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <8 x i16> [[V:%.*]], <i16 undef, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>
2181 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
2182 ;
2183   %1 = insertelement <8 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>, i16 poison, i64 0
2184   %2 = tail call <8 x i16> @llvm.x86.avx512.psrlv.w.128(<8 x i16> %v, <8 x i16> %1)
2185   ret <8 x i16> %2
2186 }
2187
2188 define <16 x i16> @avx512_psrlv_w_256_0(<16 x i16> %v) {
2189 ; CHECK-LABEL: @avx512_psrlv_w_256_0(
2190 ; CHECK-NEXT:    ret <16 x i16> [[V:%.*]]
2191 ;
2192   %1 = tail call <16 x i16> @llvm.x86.avx512.psrlv.w.256(<16 x i16> %v, <16 x i16> zeroinitializer)
2193   ret <16 x i16> %1
2194 }
2195
2196 define <16 x i16> @avx512_psrlv_w_256_var(<16 x i16> %v) {
2197 ; CHECK-LABEL: @avx512_psrlv_w_256_var(
2198 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <16 x i16> [[V:%.*]], <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15>
2199 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
2200 ;
2201   %1 = tail call <16 x i16> @llvm.x86.avx512.psrlv.w.256(<16 x i16> %v, <16 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15>)
2202   ret <16 x i16> %1
2203 }
2204
2205 define <16 x i16> @avx512_psrlv_w_256_big(<16 x i16> %v) {
2206 ; CHECK-LABEL: @avx512_psrlv_w_256_big(
2207 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <16 x i16> @llvm.x86.avx512.psrlv.w.256(<16 x i16> [[V:%.*]], <16 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 16>)
2208 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
2209 ;
2210   %1 = tail call <16 x i16> @llvm.x86.avx512.psrlv.w.256(<16 x i16> %v, <16 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 16>)
2211   ret <16 x i16> %1
2212 }
2213
2214 define <16 x i16> @avx512_psrlv_w_256_allbig(<16 x i16> %v) {
2215 ; CHECK-LABEL: @avx512_psrlv_w_256_allbig(
2216 ; CHECK-NEXT:    ret <16 x i16> <i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 undef, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0>
2217 ;
2218   %1 = tail call <16 x i16> @llvm.x86.avx512.psrlv.w.256(<16 x i16> %v, <16 x i16> <i16 20, i16 -1, i16 -2, i16 33, i16 44, i16 55, i16 66, i16 -7, i16 poison, i16 64, i16 -10, i16 256, i16 16, i16 28, i16 65535, i16 32767>)
2219   ret <16 x i16> %1
2220 }
2221
2222 define <16 x i16> @avx512_psrlv_w_256_poison(<16 x i16> %v) {
2223 ; CHECK-LABEL: @avx512_psrlv_w_256_poison(
2224 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <16 x i16> [[V:%.*]], <i16 undef, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15>
2225 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
2226 ;
2227   %1 = insertelement <16 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15>, i16 poison, i64 0
2228   %2 = tail call <16 x i16> @llvm.x86.avx512.psrlv.w.256(<16 x i16> %v, <16 x i16> %1)
2229   ret <16 x i16> %2
2230 }
2231
2232 define <32 x i16> @avx512_psrlv_w_512_0(<32 x i16> %v) {
2233 ; CHECK-LABEL: @avx512_psrlv_w_512_0(
2234 ; CHECK-NEXT:    ret <32 x i16> [[V:%.*]]
2235 ;
2236   %1 = tail call <32 x i16> @llvm.x86.avx512.psrlv.w.512(<32 x i16> %v, <32 x i16> zeroinitializer)
2237   ret <32 x i16> %1
2238 }
2239
2240 define <32 x i16> @avx512_psrlv_w_512_var(<32 x i16> %v) {
2241 ; CHECK-LABEL: @avx512_psrlv_w_512_var(
2242 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <32 x i16> [[V:%.*]], <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15, i16 15, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9, i16 8, i16 7, i16 6, i16 5, i16 4, i16 3, i16 2, i16 1, i16 0>
2243 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
2244 ;
2245   %1 = tail call <32 x i16> @llvm.x86.avx512.psrlv.w.512(<32 x i16> %v, <32 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15, i16 15, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9, i16 8, i16 7, i16 6, i16 5, i16 4, i16 3, i16 2, i16 1, i16 0>)
2246   ret <32 x i16> %1
2247 }
2248
2249 define <32 x i16> @avx512_psrlv_w_512_big(<32 x i16> %v) {
2250 ; CHECK-LABEL: @avx512_psrlv_w_512_big(
2251 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <32 x i16> @llvm.x86.avx512.psrlv.w.512(<32 x i16> [[V:%.*]], <32 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15, i16 16, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9, i16 8, i16 7, i16 6, i16 5, i16 4, i16 3, i16 2, i16 1, i16 0>)
2252 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
2253 ;
2254   %1 = tail call <32 x i16> @llvm.x86.avx512.psrlv.w.512(<32 x i16> %v, <32 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15, i16 16, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9, i16 8, i16 7, i16 6, i16 5, i16 4, i16 3, i16 2, i16 1, i16 0>)
2255   ret <32 x i16> %1
2256 }
2257
2258 define <32 x i16> @avx512_psrlv_w_512_allbig(<32 x i16> %v) {
2259 ; CHECK-LABEL: @avx512_psrlv_w_512_allbig(
2260 ; CHECK-NEXT:    ret <32 x i16> <i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 undef, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 undef, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 undef, i16 0, i16 0, i16 undef, i16 0, i16 0>
2261 ;
2262   %1 = tail call <32 x i16> @llvm.x86.avx512.psrlv.w.512(<32 x i16> %v, <32 x i16> <i16 20, i16 -1, i16 -2, i16 33, i16 44, i16 55, i16 66, i16 -7, i16 poison, i16 64, i16 -10, i16 128, i16 16, i16 28, i16 65535, i16 32767, i16 56, i16 -14, i16 poison, i16 16, i16 67, i16 567, i16 -32768, i16 4096, i16 8192, i16 -12345, i16 poison, i16 345, i16 123, i16 poison, i16 1024, i16 54321>)
2263   ret <32 x i16> %1
2264 }
2265
2266 define <32 x i16> @avx512_psrlv_w_512_poison(<32 x i16> %v) {
2267 ; CHECK-LABEL: @avx512_psrlv_w_512_poison(
2268 ; CHECK-NEXT:    [[TMP1:%.*]] = lshr <32 x i16> [[V:%.*]], <i16 undef, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15, i16 15, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9, i16 8, i16 7, i16 6, i16 5, i16 4, i16 3, i16 2, i16 1, i16 0>
2269 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
2270 ;
2271   %1 = insertelement <32 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15, i16 15, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9, i16 8, i16 7, i16 6, i16 5, i16 4, i16 3, i16 2, i16 1, i16 0>, i16 poison, i64 0
2272   %2 = tail call <32 x i16> @llvm.x86.avx512.psrlv.w.512(<32 x i16> %v, <32 x i16> %1)
2273   ret <32 x i16> %2
2274 }
2275
2276 ;
2277 ; SHL - Constant Per-Element Vector
2278 ;
2279
2280 define <4 x i32> @avx2_psllv_d_128_0(<4 x i32> %v) {
2281 ; CHECK-LABEL: @avx2_psllv_d_128_0(
2282 ; CHECK-NEXT:    ret <4 x i32> [[V:%.*]]
2283 ;
2284   %1 = tail call <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32> %v, <4 x i32> zeroinitializer)
2285   ret <4 x i32> %1
2286 }
2287
2288 define <8 x i32> @avx2_psllv_d_256_0(<8 x i32> %v) {
2289 ; CHECK-LABEL: @avx2_psllv_d_256_0(
2290 ; CHECK-NEXT:    ret <8 x i32> [[V:%.*]]
2291 ;
2292   %1 = tail call <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32> %v, <8 x i32> zeroinitializer)
2293   ret <8 x i32> %1
2294 }
2295
2296 define <4 x i32> @avx2_psllv_d_128_var(<4 x i32> %v) {
2297 ; CHECK-LABEL: @avx2_psllv_d_128_var(
2298 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <4 x i32> [[V:%.*]], <i32 0, i32 8, i32 16, i32 31>
2299 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
2300 ;
2301   %1 = tail call <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32> %v, <4 x i32> <i32 0, i32 8, i32 16, i32 31>)
2302   ret <4 x i32> %1
2303 }
2304
2305 define <8 x i32> @avx2_psllv_d_256_var(<8 x i32> %v) {
2306 ; CHECK-LABEL: @avx2_psllv_d_256_var(
2307 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <8 x i32> [[V:%.*]], <i32 0, i32 8, i32 16, i32 24, i32 31, i32 24, i32 8, i32 0>
2308 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
2309 ;
2310   %1 = tail call <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32> %v, <8 x i32> <i32 0, i32 8, i32 16, i32 24, i32 31, i32 24, i32 8, i32 0>)
2311   ret <8 x i32> %1
2312 }
2313
2314 define <4 x i32> @avx2_psllv_d_128_big(<4 x i32> %v) {
2315 ; CHECK-LABEL: @avx2_psllv_d_128_big(
2316 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32> [[V:%.*]], <4 x i32> <i32 0, i32 8, i32 16, i32 64>)
2317 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
2318 ;
2319   %1 = tail call <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32> %v, <4 x i32> <i32 0, i32 8, i32 16, i32 64>)
2320   ret <4 x i32> %1
2321 }
2322
2323 define <8 x i32> @avx2_psllv_d_256_big(<8 x i32> %v) {
2324 ; CHECK-LABEL: @avx2_psllv_d_256_big(
2325 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32> [[V:%.*]], <8 x i32> <i32 0, i32 8, i32 16, i32 64, i32 31, i32 24, i32 8, i32 0>)
2326 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
2327 ;
2328   %1 = tail call <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32> %v, <8 x i32> <i32 0, i32 8, i32 16, i32 64, i32 31, i32 24, i32 8, i32 0>)
2329   ret <8 x i32> %1
2330 }
2331
2332 define <4 x i32> @avx2_psllv_d_128_allbig(<4 x i32> %v) {
2333 ; CHECK-LABEL: @avx2_psllv_d_128_allbig(
2334 ; CHECK-NEXT:    ret <4 x i32> <i32 0, i32 0, i32 0, i32 undef>
2335 ;
2336   %1 = tail call <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32> %v, <4 x i32> <i32 32, i32 100, i32 -255, i32 poison>)
2337   ret <4 x i32> %1
2338 }
2339
2340 define <8 x i32> @avx2_psllv_d_256_allbig(<8 x i32> %v) {
2341 ; CHECK-LABEL: @avx2_psllv_d_256_allbig(
2342 ; CHECK-NEXT:    ret <8 x i32> <i32 undef, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0>
2343 ;
2344   %1 = tail call <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32> %v, <8 x i32> <i32 poison, i32 100, i32 255, i32 55555, i32 -32, i32 -100, i32 -255, i32 -55555>)
2345   ret <8 x i32> %1
2346 }
2347
2348 define <4 x i32> @avx2_psllv_d_128_poison(<4 x i32> %v) {
2349 ; CHECK-LABEL: @avx2_psllv_d_128_poison(
2350 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <4 x i32> [[V:%.*]], <i32 undef, i32 8, i32 16, i32 31>
2351 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
2352 ;
2353   %1 = insertelement <4 x i32> <i32 0, i32 8, i32 16, i32 31>, i32 poison, i32 0
2354   %2 = tail call <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32> %v, <4 x i32> %1)
2355   ret <4 x i32> %2
2356 }
2357
2358 define <8 x i32> @avx2_psllv_d_256_poison(<8 x i32> %v) {
2359 ; CHECK-LABEL: @avx2_psllv_d_256_poison(
2360 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <8 x i32> [[V:%.*]], <i32 0, i32 undef, i32 16, i32 31, i32 31, i32 24, i32 8, i32 0>
2361 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
2362 ;
2363   %1 = insertelement <8 x i32> <i32 0, i32 8, i32 16, i32 31, i32 31, i32 24, i32 8, i32 0>, i32 poison, i32 1
2364   %2 = tail call <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32> %v, <8 x i32> %1)
2365   ret <8 x i32> %2
2366 }
2367
2368 define <2 x i64> @avx2_psllv_q_128_0(<2 x i64> %v) {
2369 ; CHECK-LABEL: @avx2_psllv_q_128_0(
2370 ; CHECK-NEXT:    ret <2 x i64> [[V:%.*]]
2371 ;
2372   %1 = tail call <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64> %v, <2 x i64> zeroinitializer)
2373   ret <2 x i64> %1
2374 }
2375
2376 define <4 x i64> @avx2_psllv_q_256_0(<4 x i64> %v) {
2377 ; CHECK-LABEL: @avx2_psllv_q_256_0(
2378 ; CHECK-NEXT:    ret <4 x i64> [[V:%.*]]
2379 ;
2380   %1 = tail call <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64> %v, <4 x i64> zeroinitializer)
2381   ret <4 x i64> %1
2382 }
2383
2384 define <2 x i64> @avx2_psllv_q_128_var(<2 x i64> %v) {
2385 ; CHECK-LABEL: @avx2_psllv_q_128_var(
2386 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <2 x i64> [[V:%.*]], <i64 0, i64 8>
2387 ; CHECK-NEXT:    ret <2 x i64> [[TMP1]]
2388 ;
2389   %1 = tail call <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64> %v, <2 x i64> <i64 0, i64 8>)
2390   ret <2 x i64> %1
2391 }
2392
2393 define <4 x i64> @avx2_psllv_q_256_var(<4 x i64> %v) {
2394 ; CHECK-LABEL: @avx2_psllv_q_256_var(
2395 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <4 x i64> [[V:%.*]], <i64 0, i64 8, i64 16, i64 31>
2396 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
2397 ;
2398   %1 = tail call <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64> %v, <4 x i64> <i64 0, i64 8, i64 16, i64 31>)
2399   ret <4 x i64> %1
2400 }
2401
2402 define <2 x i64> @avx2_psllv_q_128_big(<2 x i64> %v) {
2403 ; CHECK-LABEL: @avx2_psllv_q_128_big(
2404 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64> [[V:%.*]], <2 x i64> <i64 0, i64 128>)
2405 ; CHECK-NEXT:    ret <2 x i64> [[TMP1]]
2406 ;
2407   %1 = tail call <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64> %v, <2 x i64> <i64 0, i64 128>)
2408   ret <2 x i64> %1
2409 }
2410
2411 define <4 x i64> @avx2_psllv_q_256_big(<4 x i64> %v) {
2412 ; CHECK-LABEL: @avx2_psllv_q_256_big(
2413 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64> [[V:%.*]], <4 x i64> <i64 0, i64 8, i64 16, i64 64>)
2414 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
2415 ;
2416   %1 = tail call <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64> %v, <4 x i64> <i64 0, i64 8, i64 16, i64 64>)
2417   ret <4 x i64> %1
2418 }
2419
2420 define <2 x i64> @avx2_psllv_q_128_allbig(<2 x i64> %v) {
2421 ; CHECK-LABEL: @avx2_psllv_q_128_allbig(
2422 ; CHECK-NEXT:    ret <2 x i64> zeroinitializer
2423 ;
2424   %1 = tail call <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64> %v, <2 x i64> <i64 128, i64 -64>)
2425   ret <2 x i64> %1
2426 }
2427
2428 define <4 x i64> @avx2_psllv_q_256_allbig(<4 x i64> %v) {
2429 ; CHECK-LABEL: @avx2_psllv_q_256_allbig(
2430 ; CHECK-NEXT:    ret <4 x i64> <i64 0, i64 undef, i64 0, i64 0>
2431 ;
2432   %1 = tail call <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64> %v, <4 x i64> <i64 64, i64 poison, i64 -128, i64 -60>)
2433   ret <4 x i64> %1
2434 }
2435
2436 ; The shift amount is 0 (the poison lane could be 0), so we return the unshifted input.
2437
2438 define <2 x i64> @avx2_psllv_q_128_poison(<2 x i64> %v) {
2439 ; CHECK-LABEL: @avx2_psllv_q_128_poison(
2440 ; CHECK-NEXT:    ret <2 x i64> [[V:%.*]]
2441 ;
2442   %1 = insertelement <2 x i64> <i64 0, i64 8>, i64 poison, i64 1
2443   %2 = tail call <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64> %v, <2 x i64> %1)
2444   ret <2 x i64> %2
2445 }
2446
2447 define <4 x i64> @avx2_psllv_q_256_poison(<4 x i64> %v) {
2448 ; CHECK-LABEL: @avx2_psllv_q_256_poison(
2449 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <4 x i64> [[V:%.*]], <i64 undef, i64 8, i64 16, i64 31>
2450 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
2451 ;
2452   %1 = insertelement <4 x i64> <i64 0, i64 8, i64 16, i64 31>, i64 poison, i64 0
2453   %2 = tail call <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64> %v, <4 x i64> %1)
2454   ret <4 x i64> %2
2455 }
2456
2457 define <16 x i32> @avx512_psllv_d_512_0(<16 x i32> %v) {
2458 ; CHECK-LABEL: @avx512_psllv_d_512_0(
2459 ; CHECK-NEXT:    ret <16 x i32> [[V:%.*]]
2460 ;
2461   %1 = tail call <16 x i32> @llvm.x86.avx512.psllv.d.512(<16 x i32> %v, <16 x i32> zeroinitializer)
2462   ret <16 x i32> %1
2463 }
2464
2465 define <16 x i32> @avx512_psllv_d_512_var(<16 x i32> %v) {
2466 ; CHECK-LABEL: @avx512_psllv_d_512_var(
2467 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <16 x i32> [[V:%.*]], <i32 0, i32 8, i32 16, i32 24, i32 31, i32 24, i32 8, i32 0, i32 0, i32 8, i32 16, i32 24, i32 31, i32 24, i32 8, i32 0>
2468 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
2469 ;
2470   %1 = tail call <16 x i32> @llvm.x86.avx512.psllv.d.512(<16 x i32> %v, <16 x i32> <i32 0, i32 8, i32 16, i32 24, i32 31, i32 24, i32 8, i32 0, i32 0, i32 8, i32 16, i32 24, i32 31, i32 24, i32 8, i32 0>)
2471   ret <16 x i32> %1
2472 }
2473
2474 define <16 x i32> @avx512_psllv_d_512_big(<16 x i32> %v) {
2475 ; CHECK-LABEL: @avx512_psllv_d_512_big(
2476 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <16 x i32> @llvm.x86.avx512.psllv.d.512(<16 x i32> [[V:%.*]], <16 x i32> <i32 0, i32 8, i32 16, i32 64, i32 31, i32 24, i32 8, i32 0, i32 0, i32 8, i32 16, i32 64, i32 31, i32 24, i32 8, i32 0>)
2477 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
2478 ;
2479   %1 = tail call <16 x i32> @llvm.x86.avx512.psllv.d.512(<16 x i32> %v, <16 x i32> <i32 0, i32 8, i32 16, i32 64, i32 31, i32 24, i32 8, i32 0, i32 0, i32 8, i32 16, i32 64, i32 31, i32 24, i32 8, i32 0>)
2480   ret <16 x i32> %1
2481 }
2482
2483 define <16 x i32> @avx512_psllv_d_512_allbig(<16 x i32> %v) {
2484 ; CHECK-LABEL: @avx512_psllv_d_512_allbig(
2485 ; CHECK-NEXT:    ret <16 x i32> <i32 undef, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 undef, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0>
2486 ;
2487   %1 = tail call <16 x i32> @llvm.x86.avx512.psllv.d.512(<16 x i32> %v, <16 x i32> <i32 poison, i32 100, i32 255, i32 55555, i32 -32, i32 -100, i32 -255, i32 -55555, i32 poison, i32 100, i32 255, i32 55555, i32 -32, i32 -100, i32 -255, i32 -55555>)
2488   ret <16 x i32> %1
2489 }
2490
2491 define <16 x i32> @avx512_psllv_d_512_poison(<16 x i32> %v) {
2492 ; CHECK-LABEL: @avx512_psllv_d_512_poison(
2493 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <16 x i32> [[V:%.*]], <i32 0, i32 undef, i32 16, i32 31, i32 31, i32 24, i32 8, i32 0, i32 0, i32 8, i32 16, i32 31, i32 31, i32 24, i32 8, i32 0>
2494 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
2495 ;
2496   %1 = insertelement <16 x i32> <i32 0, i32 8, i32 16, i32 31, i32 31, i32 24, i32 8, i32 0, i32 0, i32 8, i32 16, i32 31, i32 31, i32 24, i32 8, i32 0>, i32 poison, i32 1
2497   %2 = tail call <16 x i32> @llvm.x86.avx512.psllv.d.512(<16 x i32> %v, <16 x i32> %1)
2498   ret <16 x i32> %2
2499 }
2500
2501 define <8 x i64> @avx512_psllv_q_512_0(<8 x i64> %v) {
2502 ; CHECK-LABEL: @avx512_psllv_q_512_0(
2503 ; CHECK-NEXT:    ret <8 x i64> [[V:%.*]]
2504 ;
2505   %1 = tail call <8 x i64> @llvm.x86.avx512.psllv.q.512(<8 x i64> %v, <8 x i64> zeroinitializer)
2506   ret <8 x i64> %1
2507 }
2508
2509 define <8 x i64> @avx512_psllv_q_512_var(<8 x i64> %v) {
2510 ; CHECK-LABEL: @avx512_psllv_q_512_var(
2511 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <8 x i64> [[V:%.*]], <i64 0, i64 8, i64 16, i64 31, i64 0, i64 8, i64 16, i64 31>
2512 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
2513 ;
2514   %1 = tail call <8 x i64> @llvm.x86.avx512.psllv.q.512(<8 x i64> %v, <8 x i64> <i64 0, i64 8, i64 16, i64 31, i64 0, i64 8, i64 16, i64 31>)
2515   ret <8 x i64> %1
2516 }
2517
2518 define <8 x i64> @avx512_psllv_q_512_big(<8 x i64> %v) {
2519 ; CHECK-LABEL: @avx512_psllv_q_512_big(
2520 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <8 x i64> @llvm.x86.avx512.psllv.q.512(<8 x i64> [[V:%.*]], <8 x i64> <i64 0, i64 8, i64 16, i64 64, i64 0, i64 8, i64 16, i64 64>)
2521 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
2522 ;
2523   %1 = tail call <8 x i64> @llvm.x86.avx512.psllv.q.512(<8 x i64> %v, <8 x i64> <i64 0, i64 8, i64 16, i64 64, i64 0, i64 8, i64 16, i64 64>)
2524   ret <8 x i64> %1
2525 }
2526
2527 define <8 x i64> @avx512_psllv_q_512_allbig(<8 x i64> %v) {
2528 ; CHECK-LABEL: @avx512_psllv_q_512_allbig(
2529 ; CHECK-NEXT:    ret <8 x i64> <i64 0, i64 undef, i64 0, i64 0, i64 0, i64 undef, i64 0, i64 0>
2530 ;
2531   %1 = tail call <8 x i64> @llvm.x86.avx512.psllv.q.512(<8 x i64> %v, <8 x i64> <i64 64, i64 poison, i64 -128, i64 -60, i64 64, i64 poison, i64 -128, i64 -60>)
2532   ret <8 x i64> %1
2533 }
2534
2535 define <8 x i64> @avx512_psllv_q_512_poison(<8 x i64> %v) {
2536 ; CHECK-LABEL: @avx512_psllv_q_512_poison(
2537 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <8 x i64> [[V:%.*]], <i64 undef, i64 8, i64 16, i64 31, i64 0, i64 8, i64 16, i64 31>
2538 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
2539 ;
2540   %1 = insertelement <8 x i64> <i64 0, i64 8, i64 16, i64 31, i64 0, i64 8, i64 16, i64 31>, i64 poison, i64 0
2541   %2 = tail call <8 x i64> @llvm.x86.avx512.psllv.q.512(<8 x i64> %v, <8 x i64> %1)
2542   ret <8 x i64> %2
2543 }
2544
2545 define <8 x i16> @avx512_psllv_w_128_0(<8 x i16> %v) {
2546 ; CHECK-LABEL: @avx512_psllv_w_128_0(
2547 ; CHECK-NEXT:    ret <8 x i16> [[V:%.*]]
2548 ;
2549   %1 = tail call <8 x i16> @llvm.x86.avx512.psllv.w.128(<8 x i16> %v, <8 x i16> zeroinitializer)
2550   ret <8 x i16> %1
2551 }
2552
2553 define <8 x i16> @avx512_psllv_w_128_var(<8 x i16> %v) {
2554 ; CHECK-LABEL: @avx512_psllv_w_128_var(
2555 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <8 x i16> [[V:%.*]], <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>
2556 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
2557 ;
2558   %1 = tail call <8 x i16> @llvm.x86.avx512.psllv.w.128(<8 x i16> %v, <8 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>)
2559   ret <8 x i16> %1
2560 }
2561
2562 define <8 x i16> @avx512_psllv_w_128_big(<8 x i16> %v) {
2563 ; CHECK-LABEL: @avx512_psllv_w_128_big(
2564 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <8 x i16> @llvm.x86.avx512.psllv.w.128(<8 x i16> [[V:%.*]], <8 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 16>)
2565 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
2566 ;
2567   %1 = tail call <8 x i16> @llvm.x86.avx512.psllv.w.128(<8 x i16> %v, <8 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 16>)
2568   ret <8 x i16> %1
2569 }
2570
2571 define <8 x i16> @avx512_psllv_w_128_allbig(<8 x i16> %v) {
2572 ; CHECK-LABEL: @avx512_psllv_w_128_allbig(
2573 ; CHECK-NEXT:    ret <8 x i16> <i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 undef>
2574 ;
2575   %1 = tail call <8 x i16> @llvm.x86.avx512.psllv.w.128(<8 x i16> %v, <8 x i16> <i16 20, i16 -1, i16 -2, i16 33, i16 44, i16 55, i16 66, i16 poison>)
2576   ret <8 x i16> %1
2577 }
2578
2579 define <8 x i16> @avx512_psllv_w_128_poison(<8 x i16> %v) {
2580 ; CHECK-LABEL: @avx512_psllv_w_128_poison(
2581 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <8 x i16> [[V:%.*]], <i16 undef, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>
2582 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
2583 ;
2584   %1 = insertelement <8 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>, i16 poison, i64 0
2585   %2 = tail call <8 x i16> @llvm.x86.avx512.psllv.w.128(<8 x i16> %v, <8 x i16> %1)
2586   ret <8 x i16> %2
2587 }
2588
2589 define <16 x i16> @avx512_psllv_w_256_0(<16 x i16> %v) {
2590 ; CHECK-LABEL: @avx512_psllv_w_256_0(
2591 ; CHECK-NEXT:    ret <16 x i16> [[V:%.*]]
2592 ;
2593   %1 = tail call <16 x i16> @llvm.x86.avx512.psllv.w.256(<16 x i16> %v, <16 x i16> zeroinitializer)
2594   ret <16 x i16> %1
2595 }
2596
2597 define <16 x i16> @avx512_psllv_w_256_var(<16 x i16> %v) {
2598 ; CHECK-LABEL: @avx512_psllv_w_256_var(
2599 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <16 x i16> [[V:%.*]], <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15>
2600 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
2601 ;
2602   %1 = tail call <16 x i16> @llvm.x86.avx512.psllv.w.256(<16 x i16> %v, <16 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15>)
2603   ret <16 x i16> %1
2604 }
2605
2606 define <16 x i16> @avx512_psllv_w_256_big(<16 x i16> %v) {
2607 ; CHECK-LABEL: @avx512_psllv_w_256_big(
2608 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <16 x i16> @llvm.x86.avx512.psllv.w.256(<16 x i16> [[V:%.*]], <16 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 16>)
2609 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
2610 ;
2611   %1 = tail call <16 x i16> @llvm.x86.avx512.psllv.w.256(<16 x i16> %v, <16 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 16>)
2612   ret <16 x i16> %1
2613 }
2614
2615 define <16 x i16> @avx512_psllv_w_256_allbig(<16 x i16> %v) {
2616 ; CHECK-LABEL: @avx512_psllv_w_256_allbig(
2617 ; CHECK-NEXT:    ret <16 x i16> <i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 undef, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0>
2618 ;
2619   %1 = tail call <16 x i16> @llvm.x86.avx512.psllv.w.256(<16 x i16> %v, <16 x i16> <i16 20, i16 -1, i16 -2, i16 33, i16 44, i16 55, i16 66, i16 -7, i16 poison, i16 64, i16 -10, i16 256, i16 16, i16 28, i16 65535, i16 32767>)
2620   ret <16 x i16> %1
2621 }
2622
2623 define <16 x i16> @avx512_psllv_w_256_poison(<16 x i16> %v) {
2624 ; CHECK-LABEL: @avx512_psllv_w_256_poison(
2625 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <16 x i16> [[V:%.*]], <i16 undef, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15>
2626 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
2627 ;
2628   %1 = insertelement <16 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15>, i16 poison, i64 0
2629   %2 = tail call <16 x i16> @llvm.x86.avx512.psllv.w.256(<16 x i16> %v, <16 x i16> %1)
2630   ret <16 x i16> %2
2631 }
2632
2633 define <32 x i16> @avx512_psllv_w_512_0(<32 x i16> %v) {
2634 ; CHECK-LABEL: @avx512_psllv_w_512_0(
2635 ; CHECK-NEXT:    ret <32 x i16> [[V:%.*]]
2636 ;
2637   %1 = tail call <32 x i16> @llvm.x86.avx512.psllv.w.512(<32 x i16> %v, <32 x i16> zeroinitializer)
2638   ret <32 x i16> %1
2639 }
2640
2641 define <32 x i16> @avx512_psllv_w_512_var(<32 x i16> %v) {
2642 ; CHECK-LABEL: @avx512_psllv_w_512_var(
2643 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <32 x i16> [[V:%.*]], <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15, i16 15, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9, i16 8, i16 7, i16 6, i16 5, i16 4, i16 3, i16 2, i16 1, i16 0>
2644 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
2645 ;
2646   %1 = tail call <32 x i16> @llvm.x86.avx512.psllv.w.512(<32 x i16> %v, <32 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15, i16 15, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9, i16 8, i16 7, i16 6, i16 5, i16 4, i16 3, i16 2, i16 1, i16 0>)
2647   ret <32 x i16> %1
2648 }
2649
2650 define <32 x i16> @avx512_psllv_w_512_big(<32 x i16> %v) {
2651 ; CHECK-LABEL: @avx512_psllv_w_512_big(
2652 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <32 x i16> @llvm.x86.avx512.psllv.w.512(<32 x i16> [[V:%.*]], <32 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15, i16 16, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9, i16 8, i16 7, i16 6, i16 5, i16 4, i16 3, i16 2, i16 1, i16 0>)
2653 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
2654 ;
2655   %1 = tail call <32 x i16> @llvm.x86.avx512.psllv.w.512(<32 x i16> %v, <32 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15, i16 16, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9, i16 8, i16 7, i16 6, i16 5, i16 4, i16 3, i16 2, i16 1, i16 0>)
2656   ret <32 x i16> %1
2657 }
2658
2659 define <32 x i16> @avx512_psllv_w_512_allbig(<32 x i16> %v) {
2660 ; CHECK-LABEL: @avx512_psllv_w_512_allbig(
2661 ; CHECK-NEXT:    ret <32 x i16> <i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 undef, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 undef, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 0, i16 undef, i16 0, i16 0, i16 undef, i16 0, i16 0>
2662 ;
2663   %1 = tail call <32 x i16> @llvm.x86.avx512.psllv.w.512(<32 x i16> %v, <32 x i16> <i16 20, i16 -1, i16 -2, i16 33, i16 44, i16 55, i16 66, i16 -7, i16 poison, i16 64, i16 -10, i16 128, i16 16, i16 28, i16 65535, i16 32767, i16 56, i16 -14, i16 poison, i16 16, i16 67, i16 567, i16 -32768, i16 4096, i16 8192, i16 -12345, i16 poison, i16 345, i16 123, i16 poison, i16 1024, i16 54321>)
2664   ret <32 x i16> %1
2665 }
2666
2667 define <32 x i16> @avx512_psllv_w_512_poison(<32 x i16> %v) {
2668 ; CHECK-LABEL: @avx512_psllv_w_512_poison(
2669 ; CHECK-NEXT:    [[TMP1:%.*]] = shl <32 x i16> [[V:%.*]], <i16 undef, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15, i16 15, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9, i16 8, i16 7, i16 6, i16 5, i16 4, i16 3, i16 2, i16 1, i16 0>
2670 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
2671 ;
2672   %1 = insertelement <32 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15, i16 15, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9, i16 8, i16 7, i16 6, i16 5, i16 4, i16 3, i16 2, i16 1, i16 0>, i16 poison, i64 0
2673   %2 = tail call <32 x i16> @llvm.x86.avx512.psllv.w.512(<32 x i16> %v, <32 x i16> %1)
2674   ret <32 x i16> %2
2675 }
2676
2677 ;
2678 ; Vector Masked Shift Amounts
2679 ;
2680
2681 define <8 x i16> @sse2_psra_w_128_masked(<8 x i16> %v, <8 x i16> %a) {
2682 ; CHECK-LABEL: @sse2_psra_w_128_masked(
2683 ; CHECK-NEXT:    [[TMP1:%.*]] = and <8 x i16> [[A:%.*]], <i16 15, i16 poison, i16 poison, i16 poison, i16 poison, i16 poison, i16 poison, i16 poison>
2684 ; CHECK-NEXT:    [[TMP2:%.*]] = shufflevector <8 x i16> [[TMP1]], <8 x i16> poison, <8 x i32> zeroinitializer
2685 ; CHECK-NEXT:    [[TMP3:%.*]] = ashr <8 x i16> [[V:%.*]], [[TMP2]]
2686 ; CHECK-NEXT:    ret <8 x i16> [[TMP3]]
2687 ;
2688   %1 = and <8 x i16> %a, <i16 15, i16 0, i16 0, i16 0, i16 poison, i16 poison, i16 poison, i16 poison>
2689   %2 = tail call <8 x i16> @llvm.x86.sse2.psra.w(<8 x i16> %v, <8 x i16> %1)
2690   ret <8 x i16> %2
2691 }
2692
2693 define <8 x i32> @avx2_psra_d_256_masked(<8 x i32> %v, <4 x i32> %a) {
2694 ; CHECK-LABEL: @avx2_psra_d_256_masked(
2695 ; CHECK-NEXT:    [[TMP1:%.*]] = and <4 x i32> [[A:%.*]], <i32 31, i32 poison, i32 poison, i32 poison>
2696 ; CHECK-NEXT:    [[TMP2:%.*]] = shufflevector <4 x i32> [[TMP1]], <4 x i32> poison, <8 x i32> zeroinitializer
2697 ; CHECK-NEXT:    [[TMP3:%.*]] = ashr <8 x i32> [[V:%.*]], [[TMP2]]
2698 ; CHECK-NEXT:    ret <8 x i32> [[TMP3]]
2699 ;
2700   %1 = and <4 x i32> %a, <i32 31, i32 0, i32 poison, i32 poison>
2701   %2 = tail call <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32> %v, <4 x i32> %1)
2702   ret <8 x i32> %2
2703 }
2704
2705 define <8 x i64> @avx512_psra_q_512_masked(<8 x i64> %v, <2 x i64> %a) {
2706 ; CHECK-LABEL: @avx512_psra_q_512_masked(
2707 ; CHECK-NEXT:    [[TMP1:%.*]] = and <2 x i64> [[A:%.*]], <i64 63, i64 poison>
2708 ; CHECK-NEXT:    [[TMP2:%.*]] = shufflevector <2 x i64> [[TMP1]], <2 x i64> poison, <8 x i32> zeroinitializer
2709 ; CHECK-NEXT:    [[TMP3:%.*]] = ashr <8 x i64> [[V:%.*]], [[TMP2]]
2710 ; CHECK-NEXT:    ret <8 x i64> [[TMP3]]
2711 ;
2712   %1 = and <2 x i64> %a, <i64 63, i64 poison>
2713   %2 = tail call <8 x i64> @llvm.x86.avx512.psra.q.512(<8 x i64> %v, <2 x i64> %1)
2714   ret <8 x i64> %2
2715 }
2716
2717 define <4 x i32> @sse2_psrl_d_128_masked(<4 x i32> %v, <4 x i32> %a) {
2718 ; CHECK-LABEL: @sse2_psrl_d_128_masked(
2719 ; CHECK-NEXT:    [[TMP1:%.*]] = and <4 x i32> [[A:%.*]], <i32 31, i32 poison, i32 poison, i32 poison>
2720 ; CHECK-NEXT:    [[TMP2:%.*]] = shufflevector <4 x i32> [[TMP1]], <4 x i32> poison, <4 x i32> zeroinitializer
2721 ; CHECK-NEXT:    [[TMP3:%.*]] = lshr <4 x i32> [[V:%.*]], [[TMP2]]
2722 ; CHECK-NEXT:    ret <4 x i32> [[TMP3]]
2723 ;
2724   %1 = and <4 x i32> %a, <i32 31, i32 0, i32 poison, i32 poison>
2725   %2 = tail call <4 x i32> @llvm.x86.sse2.psrl.d(<4 x i32> %v, <4 x i32> %1)
2726   ret <4 x i32> %2
2727 }
2728
2729 define <4 x i64> @avx2_psrl_q_256_masked(<4 x i64> %v, <2 x i64> %a) {
2730 ; CHECK-LABEL: @avx2_psrl_q_256_masked(
2731 ; CHECK-NEXT:    [[TMP1:%.*]] = and <2 x i64> [[A:%.*]], <i64 63, i64 poison>
2732 ; CHECK-NEXT:    [[TMP2:%.*]] = shufflevector <2 x i64> [[TMP1]], <2 x i64> poison, <4 x i32> zeroinitializer
2733 ; CHECK-NEXT:    [[TMP3:%.*]] = lshr <4 x i64> [[V:%.*]], [[TMP2]]
2734 ; CHECK-NEXT:    ret <4 x i64> [[TMP3]]
2735 ;
2736   %1 = and <2 x i64> %a, <i64 63, i64 poison>
2737   %2 = tail call <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64> %v, <2 x i64> %1)
2738   ret <4 x i64> %2
2739 }
2740
2741 define <32 x i16> @avx512_psrl_w_512_masked(<32 x i16> %v, <8 x i16> %a) {
2742 ; CHECK-LABEL: @avx512_psrl_w_512_masked(
2743 ; CHECK-NEXT:    [[TMP1:%.*]] = and <8 x i16> [[A:%.*]], <i16 15, i16 poison, i16 poison, i16 poison, i16 poison, i16 poison, i16 poison, i16 poison>
2744 ; CHECK-NEXT:    [[TMP2:%.*]] = shufflevector <8 x i16> [[TMP1]], <8 x i16> poison, <32 x i32> zeroinitializer
2745 ; CHECK-NEXT:    [[TMP3:%.*]] = lshr <32 x i16> [[V:%.*]], [[TMP2]]
2746 ; CHECK-NEXT:    ret <32 x i16> [[TMP3]]
2747 ;
2748   %1 = and <8 x i16> %a, <i16 15, i16 0, i16 0, i16 0, i16 poison, i16 poison, i16 poison, i16 poison>
2749   %2 = tail call <32 x i16> @llvm.x86.avx512.psrl.w.512(<32 x i16> %v, <8 x i16> %1)
2750   ret <32 x i16> %2
2751 }
2752
2753 define <2 x i64> @sse2_psll_q_128_masked(<2 x i64> %v, <2 x i64> %a) {
2754 ; CHECK-LABEL: @sse2_psll_q_128_masked(
2755 ; CHECK-NEXT:    [[TMP1:%.*]] = and <2 x i64> [[A:%.*]], <i64 63, i64 poison>
2756 ; CHECK-NEXT:    [[TMP2:%.*]] = shufflevector <2 x i64> [[TMP1]], <2 x i64> poison, <2 x i32> zeroinitializer
2757 ; CHECK-NEXT:    [[TMP3:%.*]] = shl <2 x i64> [[V:%.*]], [[TMP2]]
2758 ; CHECK-NEXT:    ret <2 x i64> [[TMP3]]
2759 ;
2760   %1 = and <2 x i64> %a, <i64 63, i64 poison>
2761   %2 = tail call <2 x i64> @llvm.x86.sse2.psll.q(<2 x i64> %v, <2 x i64> %1)
2762   ret <2 x i64> %2
2763 }
2764
2765 define <16 x i16> @avx2_psll_w_256_masked(<16 x i16> %v, <8 x i16> %a) {
2766 ; CHECK-LABEL: @avx2_psll_w_256_masked(
2767 ; CHECK-NEXT:    [[TMP1:%.*]] = and <8 x i16> [[A:%.*]], <i16 15, i16 poison, i16 poison, i16 poison, i16 poison, i16 poison, i16 poison, i16 poison>
2768 ; CHECK-NEXT:    [[TMP2:%.*]] = shufflevector <8 x i16> [[TMP1]], <8 x i16> poison, <16 x i32> zeroinitializer
2769 ; CHECK-NEXT:    [[TMP3:%.*]] = shl <16 x i16> [[V:%.*]], [[TMP2]]
2770 ; CHECK-NEXT:    ret <16 x i16> [[TMP3]]
2771 ;
2772   %1 = and <8 x i16> %a, <i16 15, i16 0, i16 0, i16 0, i16 poison, i16 poison, i16 poison, i16 poison>
2773   %2 = tail call <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16> %v, <8 x i16> %1)
2774   ret <16 x i16> %2
2775 }
2776
2777 define <16 x i32> @avx512_psll_d_512_masked(<16 x i32> %v, <4 x i32> %a) {
2778 ; CHECK-LABEL: @avx512_psll_d_512_masked(
2779 ; CHECK-NEXT:    [[TMP1:%.*]] = and <4 x i32> [[A:%.*]], <i32 31, i32 poison, i32 poison, i32 poison>
2780 ; CHECK-NEXT:    [[TMP2:%.*]] = shufflevector <4 x i32> [[TMP1]], <4 x i32> poison, <16 x i32> zeroinitializer
2781 ; CHECK-NEXT:    [[TMP3:%.*]] = shl <16 x i32> [[V:%.*]], [[TMP2]]
2782 ; CHECK-NEXT:    ret <16 x i32> [[TMP3]]
2783 ;
2784   %1 = and <4 x i32> %a, <i32 31, i32 0, i32 poison, i32 poison>
2785   %2 = tail call <16 x i32> @llvm.x86.avx512.psll.d.512(<16 x i32> %v, <4 x i32> %1)
2786   ret <16 x i32> %2
2787 }
2788
2789 define <8 x i16> @sse2_psrai_w_128_masked(<8 x i16> %v, i32 %a) {
2790 ; CHECK-LABEL: @sse2_psrai_w_128_masked(
2791 ; CHECK-NEXT:    [[TMP1:%.*]] = trunc i32 [[A:%.*]] to i16
2792 ; CHECK-NEXT:    [[TMP2:%.*]] = and i16 [[TMP1]], 15
2793 ; CHECK-NEXT:    [[DOTSPLATINSERT:%.*]] = insertelement <8 x i16> poison, i16 [[TMP2]], i32 0
2794 ; CHECK-NEXT:    [[DOTSPLAT:%.*]] = shufflevector <8 x i16> [[DOTSPLATINSERT]], <8 x i16> poison, <8 x i32> zeroinitializer
2795 ; CHECK-NEXT:    [[TMP3:%.*]] = ashr <8 x i16> [[V:%.*]], [[DOTSPLAT]]
2796 ; CHECK-NEXT:    ret <8 x i16> [[TMP3]]
2797 ;
2798   %1 = and i32 %a, 15
2799   %2 = tail call <8 x i16> @llvm.x86.sse2.psrai.w(<8 x i16> %v, i32 %1)
2800   ret <8 x i16> %2
2801 }
2802
2803 define <8 x i32> @avx2_psrai_d_256_masked(<8 x i32> %v, i32 %a) {
2804 ; CHECK-LABEL: @avx2_psrai_d_256_masked(
2805 ; CHECK-NEXT:    [[TMP1:%.*]] = and i32 [[A:%.*]], 31
2806 ; CHECK-NEXT:    [[DOTSPLATINSERT:%.*]] = insertelement <8 x i32> poison, i32 [[TMP1]], i32 0
2807 ; CHECK-NEXT:    [[DOTSPLAT:%.*]] = shufflevector <8 x i32> [[DOTSPLATINSERT]], <8 x i32> poison, <8 x i32> zeroinitializer
2808 ; CHECK-NEXT:    [[TMP2:%.*]] = ashr <8 x i32> [[V:%.*]], [[DOTSPLAT]]
2809 ; CHECK-NEXT:    ret <8 x i32> [[TMP2]]
2810 ;
2811   %1 = and i32 %a, 31
2812   %2 = tail call <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32> %v, i32 %1)
2813   ret <8 x i32> %2
2814 }
2815
2816 define <8 x i64> @avx512_psrai_q_512_masked(<8 x i64> %v, i32 %a) {
2817 ; CHECK-LABEL: @avx512_psrai_q_512_masked(
2818 ; CHECK-NEXT:    [[TMP1:%.*]] = and i32 [[A:%.*]], 63
2819 ; CHECK-NEXT:    [[TMP2:%.*]] = zext i32 [[TMP1]] to i64
2820 ; CHECK-NEXT:    [[DOTSPLATINSERT:%.*]] = insertelement <8 x i64> poison, i64 [[TMP2]], i32 0
2821 ; CHECK-NEXT:    [[DOTSPLAT:%.*]] = shufflevector <8 x i64> [[DOTSPLATINSERT]], <8 x i64> poison, <8 x i32> zeroinitializer
2822 ; CHECK-NEXT:    [[TMP3:%.*]] = ashr <8 x i64> [[V:%.*]], [[DOTSPLAT]]
2823 ; CHECK-NEXT:    ret <8 x i64> [[TMP3]]
2824 ;
2825   %1 = and i32 %a, 63
2826   %2 = tail call <8 x i64> @llvm.x86.avx512.psrai.q.512(<8 x i64> %v, i32 %1)
2827   ret <8 x i64> %2
2828 }
2829
2830 define <4 x i32> @sse2_psrli_d_128_masked(<4 x i32> %v, i32 %a) {
2831 ; CHECK-LABEL: @sse2_psrli_d_128_masked(
2832 ; CHECK-NEXT:    [[TMP1:%.*]] = and i32 [[A:%.*]], 31
2833 ; CHECK-NEXT:    [[DOTSPLATINSERT:%.*]] = insertelement <4 x i32> poison, i32 [[TMP1]], i32 0
2834 ; CHECK-NEXT:    [[DOTSPLAT:%.*]] = shufflevector <4 x i32> [[DOTSPLATINSERT]], <4 x i32> poison, <4 x i32> zeroinitializer
2835 ; CHECK-NEXT:    [[TMP2:%.*]] = lshr <4 x i32> [[V:%.*]], [[DOTSPLAT]]
2836 ; CHECK-NEXT:    ret <4 x i32> [[TMP2]]
2837 ;
2838   %1 = and i32 %a, 31
2839   %2 = tail call <4 x i32> @llvm.x86.sse2.psrli.d(<4 x i32> %v, i32 %1)
2840   ret <4 x i32> %2
2841 }
2842
2843 define <4 x i64> @avx2_psrli_q_256_masked(<4 x i64> %v, i32 %a) {
2844 ; CHECK-LABEL: @avx2_psrli_q_256_masked(
2845 ; CHECK-NEXT:    [[TMP1:%.*]] = and i32 [[A:%.*]], 63
2846 ; CHECK-NEXT:    [[TMP2:%.*]] = zext i32 [[TMP1]] to i64
2847 ; CHECK-NEXT:    [[DOTSPLATINSERT:%.*]] = insertelement <4 x i64> poison, i64 [[TMP2]], i32 0
2848 ; CHECK-NEXT:    [[DOTSPLAT:%.*]] = shufflevector <4 x i64> [[DOTSPLATINSERT]], <4 x i64> poison, <4 x i32> zeroinitializer
2849 ; CHECK-NEXT:    [[TMP3:%.*]] = lshr <4 x i64> [[V:%.*]], [[DOTSPLAT]]
2850 ; CHECK-NEXT:    ret <4 x i64> [[TMP3]]
2851 ;
2852   %1 = and i32 %a, 63
2853   %2 = tail call <4 x i64> @llvm.x86.avx2.psrli.q(<4 x i64> %v, i32 %1)
2854   ret <4 x i64> %2
2855 }
2856
2857 define <32 x i16> @avx512_psrli_w_512_masked(<32 x i16> %v, i32 %a) {
2858 ; CHECK-LABEL: @avx512_psrli_w_512_masked(
2859 ; CHECK-NEXT:    [[TMP1:%.*]] = trunc i32 [[A:%.*]] to i16
2860 ; CHECK-NEXT:    [[TMP2:%.*]] = and i16 [[TMP1]], 15
2861 ; CHECK-NEXT:    [[DOTSPLATINSERT:%.*]] = insertelement <32 x i16> poison, i16 [[TMP2]], i32 0
2862 ; CHECK-NEXT:    [[DOTSPLAT:%.*]] = shufflevector <32 x i16> [[DOTSPLATINSERT]], <32 x i16> poison, <32 x i32> zeroinitializer
2863 ; CHECK-NEXT:    [[TMP3:%.*]] = lshr <32 x i16> [[V:%.*]], [[DOTSPLAT]]
2864 ; CHECK-NEXT:    ret <32 x i16> [[TMP3]]
2865 ;
2866   %1 = and i32 %a, 15
2867   %2 = tail call <32 x i16> @llvm.x86.avx512.psrli.w.512(<32 x i16> %v, i32 %1)
2868   ret <32 x i16> %2
2869 }
2870
2871 define <2 x i64> @sse2_pslli_q_128_masked(<2 x i64> %v, i32 %a) {
2872 ; CHECK-LABEL: @sse2_pslli_q_128_masked(
2873 ; CHECK-NEXT:    [[TMP1:%.*]] = and i32 [[A:%.*]], 63
2874 ; CHECK-NEXT:    [[TMP2:%.*]] = zext i32 [[TMP1]] to i64
2875 ; CHECK-NEXT:    [[DOTSPLATINSERT:%.*]] = insertelement <2 x i64> poison, i64 [[TMP2]], i32 0
2876 ; CHECK-NEXT:    [[DOTSPLAT:%.*]] = shufflevector <2 x i64> [[DOTSPLATINSERT]], <2 x i64> poison, <2 x i32> zeroinitializer
2877 ; CHECK-NEXT:    [[TMP3:%.*]] = shl <2 x i64> [[V:%.*]], [[DOTSPLAT]]
2878 ; CHECK-NEXT:    ret <2 x i64> [[TMP3]]
2879 ;
2880   %1 = and i32 %a, 63
2881   %2 = tail call <2 x i64> @llvm.x86.sse2.pslli.q(<2 x i64> %v, i32 %1)
2882   ret <2 x i64> %2
2883 }
2884
2885 define <16 x i16> @avx2_pslli_w_256_masked(<16 x i16> %v, i32 %a) {
2886 ; CHECK-LABEL: @avx2_pslli_w_256_masked(
2887 ; CHECK-NEXT:    [[TMP1:%.*]] = trunc i32 [[A:%.*]] to i16
2888 ; CHECK-NEXT:    [[TMP2:%.*]] = and i16 [[TMP1]], 15
2889 ; CHECK-NEXT:    [[DOTSPLATINSERT:%.*]] = insertelement <16 x i16> poison, i16 [[TMP2]], i32 0
2890 ; CHECK-NEXT:    [[DOTSPLAT:%.*]] = shufflevector <16 x i16> [[DOTSPLATINSERT]], <16 x i16> poison, <16 x i32> zeroinitializer
2891 ; CHECK-NEXT:    [[TMP3:%.*]] = shl <16 x i16> [[V:%.*]], [[DOTSPLAT]]
2892 ; CHECK-NEXT:    ret <16 x i16> [[TMP3]]
2893 ;
2894   %1 = and i32 %a, 15
2895   %2 = tail call <16 x i16> @llvm.x86.avx2.pslli.w(<16 x i16> %v, i32 %1)
2896   ret <16 x i16> %2
2897 }
2898
2899 define <16 x i32> @avx512_pslli_d_512_masked(<16 x i32> %v, i32 %a) {
2900 ; CHECK-LABEL: @avx512_pslli_d_512_masked(
2901 ; CHECK-NEXT:    [[TMP1:%.*]] = and i32 [[A:%.*]], 31
2902 ; CHECK-NEXT:    [[DOTSPLATINSERT:%.*]] = insertelement <16 x i32> poison, i32 [[TMP1]], i32 0
2903 ; CHECK-NEXT:    [[DOTSPLAT:%.*]] = shufflevector <16 x i32> [[DOTSPLATINSERT]], <16 x i32> poison, <16 x i32> zeroinitializer
2904 ; CHECK-NEXT:    [[TMP2:%.*]] = shl <16 x i32> [[V:%.*]], [[DOTSPLAT]]
2905 ; CHECK-NEXT:    ret <16 x i32> [[TMP2]]
2906 ;
2907   %1 = and i32 %a, 31
2908   %2 = tail call <16 x i32> @llvm.x86.avx512.pslli.d.512(<16 x i32> %v, i32 %1)
2909   ret <16 x i32> %2
2910 }
2911
2912 define <4 x i32> @avx2_psrav_d_128_masked(<4 x i32> %v, <4 x i32> %a) {
2913 ; CHECK-LABEL: @avx2_psrav_d_128_masked(
2914 ; CHECK-NEXT:    [[TMP1:%.*]] = and <4 x i32> [[A:%.*]], <i32 31, i32 31, i32 31, i32 31>
2915 ; CHECK-NEXT:    [[TMP2:%.*]] = ashr <4 x i32> [[V:%.*]], [[TMP1]]
2916 ; CHECK-NEXT:    ret <4 x i32> [[TMP2]]
2917 ;
2918   %1 = and <4 x i32> %a, <i32 31, i32 31, i32 31, i32 31>
2919   %2 = tail call <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32> %v, <4 x i32> %1)
2920   ret <4 x i32> %2
2921 }
2922
2923 define <4 x i32> @avx2_psrav_d_128_masked_shuffle(<4 x i32> %v, <4 x i32> %a) {
2924 ; CHECK-LABEL: @avx2_psrav_d_128_masked_shuffle(
2925 ; CHECK-NEXT:    [[TMP1:%.*]] = and <4 x i32> [[A:%.*]], <i32 poison, i32 poison, i32 15, i32 31>
2926 ; CHECK-NEXT:    [[TMP2:%.*]] = shufflevector <4 x i32> [[TMP1]], <4 x i32> poison, <4 x i32> <i32 2, i32 3, i32 2, i32 3>
2927 ; CHECK-NEXT:    [[TMP3:%.*]] = ashr <4 x i32> [[V:%.*]], [[TMP2]]
2928 ; CHECK-NEXT:    ret <4 x i32> [[TMP3]]
2929 ;
2930   %1 = and <4 x i32> %a, <i32 poison, i32 poison, i32 15, i32 31>
2931   %2 = shufflevector <4 x i32> %1, <4 x i32> poison, <4 x i32> <i32 2, i32 3, i32 2, i32 3>
2932   %3 = tail call <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32> %v, <4 x i32> %2)
2933   ret <4 x i32> %3
2934 }
2935
2936 define <8 x i32> @avx2_psrav_d_256_masked(<8 x i32> %v, <8 x i32> %a) {
2937 ; CHECK-LABEL: @avx2_psrav_d_256_masked(
2938 ; CHECK-NEXT:    [[TMP1:%.*]] = and <8 x i32> [[A:%.*]], <i32 0, i32 1, i32 7, i32 15, i32 16, i32 30, i32 31, i32 31>
2939 ; CHECK-NEXT:    [[TMP2:%.*]] = ashr <8 x i32> [[V:%.*]], [[TMP1]]
2940 ; CHECK-NEXT:    ret <8 x i32> [[TMP2]]
2941 ;
2942   %1 = and <8 x i32> %a, <i32 0, i32 1, i32 7, i32 15, i32 16, i32 30, i32 31, i32 31>
2943   %2 = tail call <8 x i32> @llvm.x86.avx2.psrav.d.256(<8 x i32> %v, <8 x i32> %1)
2944   ret <8 x i32> %2
2945 }
2946
2947 define <32 x i16> @avx512_psrav_w_512_masked(<32 x i16> %v, <32 x i16> %a) {
2948 ; CHECK-LABEL: @avx512_psrav_w_512_masked(
2949 ; CHECK-NEXT:    [[TMP1:%.*]] = and <32 x i16> [[A:%.*]], <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>
2950 ; CHECK-NEXT:    [[TMP2:%.*]] = ashr <32 x i16> [[V:%.*]], [[TMP1]]
2951 ; CHECK-NEXT:    ret <32 x i16> [[TMP2]]
2952 ;
2953   %1 = and <32 x i16> %a, <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>
2954   %2 = tail call <32 x i16> @llvm.x86.avx512.psrav.w.512(<32 x i16> %v, <32 x i16> %1)
2955   ret <32 x i16> %2
2956 }
2957
2958 define <2 x i64> @avx2_psrlv_q_128_masked(<2 x i64> %v, <2 x i64> %a) {
2959 ; CHECK-LABEL: @avx2_psrlv_q_128_masked(
2960 ; CHECK-NEXT:    [[TMP1:%.*]] = and <2 x i64> [[A:%.*]], <i64 32, i64 63>
2961 ; CHECK-NEXT:    [[TMP2:%.*]] = lshr <2 x i64> [[V:%.*]], [[TMP1]]
2962 ; CHECK-NEXT:    ret <2 x i64> [[TMP2]]
2963 ;
2964   %1 = and <2 x i64> %a, <i64 32, i64 63>
2965   %2 = tail call <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64> %v, <2 x i64> %1)
2966   ret <2 x i64> %2
2967 }
2968
2969 define <8 x i32> @avx2_psrlv_d_256_masked(<8 x i32> %v, <8 x i32> %a) {
2970 ; CHECK-LABEL: @avx2_psrlv_d_256_masked(
2971 ; CHECK-NEXT:    [[TMP1:%.*]] = and <8 x i32> [[A:%.*]], <i32 0, i32 1, i32 7, i32 15, i32 16, i32 30, i32 31, i32 31>
2972 ; CHECK-NEXT:    [[TMP2:%.*]] = lshr <8 x i32> [[V:%.*]], [[TMP1]]
2973 ; CHECK-NEXT:    ret <8 x i32> [[TMP2]]
2974 ;
2975   %1 = and <8 x i32> %a, <i32 0, i32 1, i32 7, i32 15, i32 16, i32 30, i32 31, i32 31>
2976   %2 = tail call <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32> %v, <8 x i32> %1)
2977   ret <8 x i32> %2
2978 }
2979
2980 define <8 x i64> @avx512_psrlv_q_512_masked(<8 x i64> %v, <8 x i64> %a) {
2981 ; CHECK-LABEL: @avx512_psrlv_q_512_masked(
2982 ; CHECK-NEXT:    [[TMP1:%.*]] = and <8 x i64> [[A:%.*]], <i64 0, i64 1, i64 4, i64 16, i64 32, i64 47, i64 62, i64 63>
2983 ; CHECK-NEXT:    [[TMP2:%.*]] = lshr <8 x i64> [[V:%.*]], [[TMP1]]
2984 ; CHECK-NEXT:    ret <8 x i64> [[TMP2]]
2985 ;
2986   %1 = and <8 x i64> %a, <i64 0, i64 1, i64 4, i64 16, i64 32, i64 47, i64 62, i64 63>
2987   %2 = tail call <8 x i64> @llvm.x86.avx512.psrlv.q.512(<8 x i64> %v, <8 x i64> %1)
2988   ret <8 x i64> %2
2989 }
2990
2991 define <4 x i32> @avx2_psllv_d_128_masked(<4 x i32> %v, <4 x i32> %a) {
2992 ; CHECK-LABEL: @avx2_psllv_d_128_masked(
2993 ; CHECK-NEXT:    [[TMP1:%.*]] = and <4 x i32> [[A:%.*]], <i32 0, i32 15, i32 16, i32 31>
2994 ; CHECK-NEXT:    [[TMP2:%.*]] = shl <4 x i32> [[V:%.*]], [[TMP1]]
2995 ; CHECK-NEXT:    ret <4 x i32> [[TMP2]]
2996 ;
2997   %1 = and <4 x i32> %a, <i32 0, i32 15, i32 16, i32 31>
2998   %2 = tail call <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32> %v, <4 x i32> %1)
2999   ret <4 x i32> %2
3000 }
3001
3002 define <4 x i64> @avx2_psllv_q_256_masked(<4 x i64> %v, <4 x i64> %a) {
3003 ; CHECK-LABEL: @avx2_psllv_q_256_masked(
3004 ; CHECK-NEXT:    [[TMP1:%.*]] = and <4 x i64> [[A:%.*]], <i64 0, i64 16, i64 32, i64 63>
3005 ; CHECK-NEXT:    [[TMP2:%.*]] = shl <4 x i64> [[V:%.*]], [[TMP1]]
3006 ; CHECK-NEXT:    ret <4 x i64> [[TMP2]]
3007 ;
3008   %1 = and <4 x i64> %a, <i64 0, i64 16, i64 32, i64 63>
3009   %2 = tail call <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64> %v, <4 x i64> %1)
3010   ret <4 x i64> %2
3011 }
3012
3013 define <32 x i16> @avx512_psllv_w_512_masked(<32 x i16> %v, <32 x i16> %a) {
3014 ; CHECK-LABEL: @avx512_psllv_w_512_masked(
3015 ; CHECK-NEXT:    [[TMP1:%.*]] = and <32 x i16> [[A:%.*]], <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>
3016 ; CHECK-NEXT:    [[TMP2:%.*]] = shl <32 x i16> [[V:%.*]], [[TMP1]]
3017 ; CHECK-NEXT:    ret <32 x i16> [[TMP2]]
3018 ;
3019   %1 = and <32 x i16> %a, <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>
3020   %2 = tail call <32 x i16> @llvm.x86.avx512.psllv.w.512(<32 x i16> %v, <32 x i16> %1)
3021   ret <32 x i16> %2
3022 }
3023
3024 ;
3025 ; Vector Demanded Bits
3026 ;
3027
3028 define <8 x i16> @sse2_psra_w_var(<8 x i16> %v, <8 x i16> %a) {
3029 ; CHECK-LABEL: @sse2_psra_w_var(
3030 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <8 x i16> @llvm.x86.sse2.psra.w(<8 x i16> [[V:%.*]], <8 x i16> [[A:%.*]])
3031 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
3032 ;
3033   %1 = shufflevector <8 x i16> %a, <8 x i16> poison, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
3034   %2 = tail call <8 x i16> @llvm.x86.sse2.psra.w(<8 x i16> %v, <8 x i16> %1)
3035   ret <8 x i16> %2
3036 }
3037
3038 define <8 x i16> @sse2_psra_w_var_bc(<8 x i16> %v, <2 x i64> %a) {
3039 ; CHECK-LABEL: @sse2_psra_w_var_bc(
3040 ; CHECK-NEXT:    [[TMP1:%.*]] = bitcast <2 x i64> [[A:%.*]] to <8 x i16>
3041 ; CHECK-NEXT:    [[TMP2:%.*]] = tail call <8 x i16> @llvm.x86.sse2.psra.w(<8 x i16> [[V:%.*]], <8 x i16> [[TMP1]])
3042 ; CHECK-NEXT:    ret <8 x i16> [[TMP2]]
3043 ;
3044   %1 = shufflevector <2 x i64> %a, <2 x i64> poison, <2 x i32> <i32 0, i32 0>
3045   %2 = bitcast <2 x i64> %1 to <8 x i16>
3046   %3 = tail call <8 x i16> @llvm.x86.sse2.psra.w(<8 x i16> %v, <8 x i16> %2)
3047   ret <8 x i16> %3
3048 }
3049
3050 define <4 x i32> @sse2_psra_d_var(<4 x i32> %v, <4 x i32> %a) {
3051 ; CHECK-LABEL: @sse2_psra_d_var(
3052 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <4 x i32> @llvm.x86.sse2.psra.d(<4 x i32> [[V:%.*]], <4 x i32> [[A:%.*]])
3053 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
3054 ;
3055   %1 = shufflevector <4 x i32> %a, <4 x i32> poison, <4 x i32> <i32 0, i32 1, i32 0, i32 1>
3056   %2 = tail call <4 x i32> @llvm.x86.sse2.psra.d(<4 x i32> %v, <4 x i32> %1)
3057   ret <4 x i32> %2
3058 }
3059
3060 define <4 x i32> @sse2_psra_d_var_bc(<4 x i32> %v, <8 x i16> %a) {
3061 ; CHECK-LABEL: @sse2_psra_d_var_bc(
3062 ; CHECK-NEXT:    [[TMP1:%.*]] = bitcast <8 x i16> [[A:%.*]] to <4 x i32>
3063 ; CHECK-NEXT:    [[TMP2:%.*]] = tail call <4 x i32> @llvm.x86.sse2.psra.d(<4 x i32> [[V:%.*]], <4 x i32> [[TMP1]])
3064 ; CHECK-NEXT:    ret <4 x i32> [[TMP2]]
3065 ;
3066   %1 = shufflevector <8 x i16> %a, <8 x i16> poison, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
3067   %2 = bitcast <8 x i16> %1 to <4 x i32>
3068   %3 = tail call <4 x i32> @llvm.x86.sse2.psra.d(<4 x i32> %v, <4 x i32> %2)
3069   ret <4 x i32> %3
3070 }
3071
3072 define <16 x i16> @avx2_psra_w_var(<16 x i16> %v, <8 x i16> %a) {
3073 ; CHECK-LABEL: @avx2_psra_w_var(
3074 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16> [[V:%.*]], <8 x i16> [[A:%.*]])
3075 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
3076 ;
3077   %1 = shufflevector <8 x i16> %a, <8 x i16> poison, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
3078   %2 = tail call <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16> %v, <8 x i16> %1)
3079   ret <16 x i16> %2
3080 }
3081
3082 define <8 x i32> @avx2_psra_d_var(<8 x i32> %v, <4 x i32> %a) {
3083 ; CHECK-LABEL: @avx2_psra_d_var(
3084 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32> [[V:%.*]], <4 x i32> [[A:%.*]])
3085 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
3086 ;
3087   %1 = shufflevector <4 x i32> %a, <4 x i32> poison, <4 x i32> <i32 0, i32 1, i32 0, i32 1>
3088   %2 = tail call <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32> %v, <4 x i32> %1)
3089   ret <8 x i32> %2
3090 }
3091
3092 define <2 x i64> @avx512_psra_q_128_var(<2 x i64> %v, <2 x i64> %a) {
3093 ; CHECK-LABEL: @avx512_psra_q_128_var(
3094 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <2 x i64> @llvm.x86.avx512.psra.q.128(<2 x i64> [[V:%.*]], <2 x i64> [[A:%.*]])
3095 ; CHECK-NEXT:    ret <2 x i64> [[TMP1]]
3096 ;
3097   %1 = shufflevector <2 x i64> %a, <2 x i64> poison, <2 x i32> <i32 0, i32 0>
3098   %2 = tail call <2 x i64> @llvm.x86.avx512.psra.q.128(<2 x i64> %v, <2 x i64> %1)
3099   ret <2 x i64> %2
3100 }
3101
3102 define <4 x i64> @avx512_psra_q_256_var(<4 x i64> %v, <2 x i64> %a) {
3103 ; CHECK-LABEL: @avx512_psra_q_256_var(
3104 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <4 x i64> @llvm.x86.avx512.psra.q.256(<4 x i64> [[V:%.*]], <2 x i64> [[A:%.*]])
3105 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
3106 ;
3107   %1 = shufflevector <2 x i64> %a, <2 x i64> poison, <2 x i32> <i32 0, i32 0>
3108   %2 = tail call <4 x i64> @llvm.x86.avx512.psra.q.256(<4 x i64> %v, <2 x i64> %1)
3109   ret <4 x i64> %2
3110 }
3111
3112 define <32 x i16> @avx512_psra_w_512_var(<32 x i16> %v, <8 x i16> %a) {
3113 ; CHECK-LABEL: @avx512_psra_w_512_var(
3114 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <32 x i16> @llvm.x86.avx512.psra.w.512(<32 x i16> [[V:%.*]], <8 x i16> [[A:%.*]])
3115 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
3116 ;
3117   %1 = shufflevector <8 x i16> %a, <8 x i16> poison, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
3118   %2 = tail call <32 x i16> @llvm.x86.avx512.psra.w.512(<32 x i16> %v, <8 x i16> %1)
3119   ret <32 x i16> %2
3120 }
3121
3122 define <16 x i32> @avx512_psra_d_512_var(<16 x i32> %v, <4 x i32> %a) {
3123 ; CHECK-LABEL: @avx512_psra_d_512_var(
3124 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <16 x i32> @llvm.x86.avx512.psra.d.512(<16 x i32> [[V:%.*]], <4 x i32> [[A:%.*]])
3125 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
3126 ;
3127   %1 = shufflevector <4 x i32> %a, <4 x i32> poison, <4 x i32> <i32 0, i32 1, i32 0, i32 1>
3128   %2 = tail call <16 x i32> @llvm.x86.avx512.psra.d.512(<16 x i32> %v, <4 x i32> %1)
3129   ret <16 x i32> %2
3130 }
3131
3132 define <8 x i64> @avx512_psra_q_512_var(<8 x i64> %v, <2 x i64> %a) {
3133 ; CHECK-LABEL: @avx512_psra_q_512_var(
3134 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <8 x i64> @llvm.x86.avx512.psra.q.512(<8 x i64> [[V:%.*]], <2 x i64> [[A:%.*]])
3135 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
3136 ;
3137   %1 = shufflevector <2 x i64> %a, <2 x i64> poison, <2 x i32> <i32 0, i32 0>
3138   %2 = tail call <8 x i64> @llvm.x86.avx512.psra.q.512(<8 x i64> %v, <2 x i64> %1)
3139   ret <8 x i64> %2
3140 }
3141
3142 define <8 x i16> @sse2_psrl_w_var(<8 x i16> %v, <8 x i16> %a) {
3143 ; CHECK-LABEL: @sse2_psrl_w_var(
3144 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <8 x i16> @llvm.x86.sse2.psrl.w(<8 x i16> [[V:%.*]], <8 x i16> [[A:%.*]])
3145 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
3146 ;
3147   %1 = shufflevector <8 x i16> %a, <8 x i16> poison, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
3148   %2 = tail call <8 x i16> @llvm.x86.sse2.psrl.w(<8 x i16> %v, <8 x i16> %1)
3149   ret <8 x i16> %2
3150 }
3151
3152 define <4 x i32> @sse2_psrl_d_var(<4 x i32> %v, <4 x i32> %a) {
3153 ; CHECK-LABEL: @sse2_psrl_d_var(
3154 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <4 x i32> @llvm.x86.sse2.psrl.d(<4 x i32> [[V:%.*]], <4 x i32> [[A:%.*]])
3155 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
3156 ;
3157   %1 = shufflevector <4 x i32> %a, <4 x i32> poison, <4 x i32> <i32 0, i32 1, i32 0, i32 1>
3158   %2 = tail call <4 x i32> @llvm.x86.sse2.psrl.d(<4 x i32> %v, <4 x i32> %1)
3159   ret <4 x i32> %2
3160 }
3161
3162 define <2 x i64> @sse2_psrl_q_var(<2 x i64> %v, <2 x i64> %a) {
3163 ; CHECK-LABEL: @sse2_psrl_q_var(
3164 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <2 x i64> @llvm.x86.sse2.psrl.q(<2 x i64> [[V:%.*]], <2 x i64> [[A:%.*]])
3165 ; CHECK-NEXT:    ret <2 x i64> [[TMP1]]
3166 ;
3167   %1 = shufflevector <2 x i64> %a, <2 x i64> poison, <2 x i32> <i32 0, i32 0>
3168   %2 = tail call <2 x i64> @llvm.x86.sse2.psrl.q(<2 x i64> %v, <2 x i64> %1)
3169   ret <2 x i64> %2
3170 }
3171
3172 define <16 x i16> @avx2_psrl_w_var(<16 x i16> %v, <8 x i16> %a) {
3173 ; CHECK-LABEL: @avx2_psrl_w_var(
3174 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16> [[V:%.*]], <8 x i16> [[A:%.*]])
3175 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
3176 ;
3177   %1 = shufflevector <8 x i16> %a, <8 x i16> poison, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
3178   %2 = tail call <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16> %v, <8 x i16> %1)
3179   ret <16 x i16> %2
3180 }
3181
3182 define <16 x i16> @avx2_psrl_w_var_bc(<16 x i16> %v, <16 x i8> %a) {
3183 ; CHECK-LABEL: @avx2_psrl_w_var_bc(
3184 ; CHECK-NEXT:    [[TMP1:%.*]] = bitcast <16 x i8> [[A:%.*]] to <8 x i16>
3185 ; CHECK-NEXT:    [[TMP2:%.*]] = tail call <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16> [[V:%.*]], <8 x i16> [[TMP1]])
3186 ; CHECK-NEXT:    ret <16 x i16> [[TMP2]]
3187 ;
3188   %1 = shufflevector <16 x i8> %a, <16 x i8> poison, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
3189   %2 = bitcast <16 x i8> %1 to <8 x i16>
3190   %3 = tail call <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16> %v, <8 x i16> %2)
3191   ret <16 x i16> %3
3192 }
3193
3194 define <8 x i32> @avx2_psrl_d_var(<8 x i32> %v, <4 x i32> %a) {
3195 ; CHECK-LABEL: @avx2_psrl_d_var(
3196 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32> [[V:%.*]], <4 x i32> [[A:%.*]])
3197 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
3198 ;
3199   %1 = shufflevector <4 x i32> %a, <4 x i32> poison, <4 x i32> <i32 0, i32 1, i32 0, i32 1>
3200   %2 = tail call <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32> %v, <4 x i32> %1)
3201   ret <8 x i32> %2
3202 }
3203
3204 define <8 x i32> @avx2_psrl_d_var_bc(<8 x i32> %v, <2 x i64> %a) {
3205 ; CHECK-LABEL: @avx2_psrl_d_var_bc(
3206 ; CHECK-NEXT:    [[TMP1:%.*]] = bitcast <2 x i64> [[A:%.*]] to <4 x i32>
3207 ; CHECK-NEXT:    [[TMP2:%.*]] = tail call <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32> [[V:%.*]], <4 x i32> [[TMP1]])
3208 ; CHECK-NEXT:    ret <8 x i32> [[TMP2]]
3209 ;
3210   %1 = shufflevector <2 x i64> %a, <2 x i64> poison, <2 x i32> <i32 0, i32 0>
3211   %2 = bitcast <2 x i64> %1 to <4 x i32>
3212   %3 = tail call <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32> %v, <4 x i32> %2)
3213   ret <8 x i32> %3
3214 }
3215
3216 define <4 x i64> @avx2_psrl_q_var(<4 x i64> %v, <2 x i64> %a) {
3217 ; CHECK-LABEL: @avx2_psrl_q_var(
3218 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64> [[V:%.*]], <2 x i64> [[A:%.*]])
3219 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
3220 ;
3221   %1 = shufflevector <2 x i64> %a, <2 x i64> poison, <2 x i32> <i32 0, i32 0>
3222   %2 = tail call <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64> %v, <2 x i64> %1)
3223   ret <4 x i64> %2
3224 }
3225
3226 define <32 x i16> @avx512_psrl_w_512_var(<32 x i16> %v, <8 x i16> %a) {
3227 ; CHECK-LABEL: @avx512_psrl_w_512_var(
3228 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <32 x i16> @llvm.x86.avx512.psrl.w.512(<32 x i16> [[V:%.*]], <8 x i16> [[A:%.*]])
3229 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
3230 ;
3231   %1 = shufflevector <8 x i16> %a, <8 x i16> poison, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
3232   %2 = tail call <32 x i16> @llvm.x86.avx512.psrl.w.512(<32 x i16> %v, <8 x i16> %1)
3233   ret <32 x i16> %2
3234 }
3235
3236 define <32 x i16> @avx512_psrl_w_512_var_bc(<32 x i16> %v, <16 x i8> %a) {
3237 ; CHECK-LABEL: @avx512_psrl_w_512_var_bc(
3238 ; CHECK-NEXT:    [[TMP1:%.*]] = bitcast <16 x i8> [[A:%.*]] to <8 x i16>
3239 ; CHECK-NEXT:    [[TMP2:%.*]] = tail call <32 x i16> @llvm.x86.avx512.psrl.w.512(<32 x i16> [[V:%.*]], <8 x i16> [[TMP1]])
3240 ; CHECK-NEXT:    ret <32 x i16> [[TMP2]]
3241 ;
3242   %1 = shufflevector <16 x i8> %a, <16 x i8> poison, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
3243   %2 = bitcast <16 x i8> %1 to <8 x i16>
3244   %3 = tail call <32 x i16> @llvm.x86.avx512.psrl.w.512(<32 x i16> %v, <8 x i16> %2)
3245   ret <32 x i16> %3
3246 }
3247
3248 define <16 x i32> @avx512_psrl_d_512_var(<16 x i32> %v, <4 x i32> %a) {
3249 ; CHECK-LABEL: @avx512_psrl_d_512_var(
3250 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <16 x i32> @llvm.x86.avx512.psrl.d.512(<16 x i32> [[V:%.*]], <4 x i32> [[A:%.*]])
3251 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
3252 ;
3253   %1 = shufflevector <4 x i32> %a, <4 x i32> poison, <4 x i32> <i32 0, i32 1, i32 0, i32 1>
3254   %2 = tail call <16 x i32> @llvm.x86.avx512.psrl.d.512(<16 x i32> %v, <4 x i32> %1)
3255   ret <16 x i32> %2
3256 }
3257
3258 define <16 x i32> @avx512_psrl_d_512_var_bc(<16 x i32> %v, <2 x i64> %a) {
3259 ; CHECK-LABEL: @avx512_psrl_d_512_var_bc(
3260 ; CHECK-NEXT:    [[TMP1:%.*]] = bitcast <2 x i64> [[A:%.*]] to <4 x i32>
3261 ; CHECK-NEXT:    [[TMP2:%.*]] = tail call <16 x i32> @llvm.x86.avx512.psrl.d.512(<16 x i32> [[V:%.*]], <4 x i32> [[TMP1]])
3262 ; CHECK-NEXT:    ret <16 x i32> [[TMP2]]
3263 ;
3264   %1 = shufflevector <2 x i64> %a, <2 x i64> poison, <2 x i32> <i32 0, i32 0>
3265   %2 = bitcast <2 x i64> %1 to <4 x i32>
3266   %3 = tail call <16 x i32> @llvm.x86.avx512.psrl.d.512(<16 x i32> %v, <4 x i32> %2)
3267   ret <16 x i32> %3
3268 }
3269
3270 define <8 x i64> @avx512_psrl_q_512_var(<8 x i64> %v, <2 x i64> %a) {
3271 ; CHECK-LABEL: @avx512_psrl_q_512_var(
3272 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <8 x i64> @llvm.x86.avx512.psrl.q.512(<8 x i64> [[V:%.*]], <2 x i64> [[A:%.*]])
3273 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
3274 ;
3275   %1 = shufflevector <2 x i64> %a, <2 x i64> poison, <2 x i32> <i32 0, i32 0>
3276   %2 = tail call <8 x i64> @llvm.x86.avx512.psrl.q.512(<8 x i64> %v, <2 x i64> %1)
3277   ret <8 x i64> %2
3278 }
3279
3280 define <8 x i16> @sse2_psll_w_var(<8 x i16> %v, <8 x i16> %a) {
3281 ; CHECK-LABEL: @sse2_psll_w_var(
3282 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <8 x i16> @llvm.x86.sse2.psll.w(<8 x i16> [[V:%.*]], <8 x i16> [[A:%.*]])
3283 ; CHECK-NEXT:    ret <8 x i16> [[TMP1]]
3284 ;
3285   %1 = shufflevector <8 x i16> %a, <8 x i16> poison, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
3286   %2 = tail call <8 x i16> @llvm.x86.sse2.psll.w(<8 x i16> %v, <8 x i16> %1)
3287   ret <8 x i16> %2
3288 }
3289
3290 define <4 x i32> @sse2_psll_d_var(<4 x i32> %v, <4 x i32> %a) {
3291 ; CHECK-LABEL: @sse2_psll_d_var(
3292 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <4 x i32> @llvm.x86.sse2.psll.d(<4 x i32> [[V:%.*]], <4 x i32> [[A:%.*]])
3293 ; CHECK-NEXT:    ret <4 x i32> [[TMP1]]
3294 ;
3295   %1 = shufflevector <4 x i32> %a, <4 x i32> poison, <4 x i32> <i32 0, i32 1, i32 0, i32 1>
3296   %2 = tail call <4 x i32> @llvm.x86.sse2.psll.d(<4 x i32> %v, <4 x i32> %1)
3297   ret <4 x i32> %2
3298 }
3299
3300 define <2 x i64> @sse2_psll_q_var(<2 x i64> %v, <2 x i64> %a) {
3301 ; CHECK-LABEL: @sse2_psll_q_var(
3302 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <2 x i64> @llvm.x86.sse2.psll.q(<2 x i64> [[V:%.*]], <2 x i64> [[A:%.*]])
3303 ; CHECK-NEXT:    ret <2 x i64> [[TMP1]]
3304 ;
3305   %1 = shufflevector <2 x i64> %a, <2 x i64> poison, <2 x i32> <i32 0, i32 0>
3306   %2 = tail call <2 x i64> @llvm.x86.sse2.psll.q(<2 x i64> %v, <2 x i64> %1)
3307   ret <2 x i64> %2
3308 }
3309
3310 define <16 x i16> @avx2_psll_w_var(<16 x i16> %v, <8 x i16> %a) {
3311 ; CHECK-LABEL: @avx2_psll_w_var(
3312 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16> [[V:%.*]], <8 x i16> [[A:%.*]])
3313 ; CHECK-NEXT:    ret <16 x i16> [[TMP1]]
3314 ;
3315   %1 = shufflevector <8 x i16> %a, <8 x i16> poison, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
3316   %2 = tail call <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16> %v, <8 x i16> %1)
3317   ret <16 x i16> %2
3318 }
3319
3320 define <8 x i32> @avx2_psll_d_var(<8 x i32> %v, <4 x i32> %a) {
3321 ; CHECK-LABEL: @avx2_psll_d_var(
3322 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32> [[V:%.*]], <4 x i32> [[A:%.*]])
3323 ; CHECK-NEXT:    ret <8 x i32> [[TMP1]]
3324 ;
3325   %1 = shufflevector <4 x i32> %a, <4 x i32> poison, <4 x i32> <i32 0, i32 1, i32 0, i32 1>
3326   %2 = tail call <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32> %v, <4 x i32> %1)
3327   ret <8 x i32> %2
3328 }
3329
3330 define <4 x i64> @avx2_psll_q_var(<4 x i64> %v, <2 x i64> %a) {
3331 ; CHECK-LABEL: @avx2_psll_q_var(
3332 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <4 x i64> @llvm.x86.avx2.psll.q(<4 x i64> [[V:%.*]], <2 x i64> [[A:%.*]])
3333 ; CHECK-NEXT:    ret <4 x i64> [[TMP1]]
3334 ;
3335   %1 = shufflevector <2 x i64> %a, <2 x i64> poison, <2 x i32> <i32 0, i32 0>
3336   %2 = tail call <4 x i64> @llvm.x86.avx2.psll.q(<4 x i64> %v, <2 x i64> %1)
3337   ret <4 x i64> %2
3338 }
3339
3340 define <32 x i16> @avx512_psll_w_512_var(<32 x i16> %v, <8 x i16> %a) {
3341 ; CHECK-LABEL: @avx512_psll_w_512_var(
3342 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <32 x i16> @llvm.x86.avx512.psll.w.512(<32 x i16> [[V:%.*]], <8 x i16> [[A:%.*]])
3343 ; CHECK-NEXT:    ret <32 x i16> [[TMP1]]
3344 ;
3345   %1 = shufflevector <8 x i16> %a, <8 x i16> poison, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
3346   %2 = tail call <32 x i16> @llvm.x86.avx512.psll.w.512(<32 x i16> %v, <8 x i16> %1)
3347   ret <32 x i16> %2
3348 }
3349
3350 define <16 x i32> @avx512_psll_d_512_var(<16 x i32> %v, <4 x i32> %a) {
3351 ; CHECK-LABEL: @avx512_psll_d_512_var(
3352 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <16 x i32> @llvm.x86.avx512.psll.d.512(<16 x i32> [[V:%.*]], <4 x i32> [[A:%.*]])
3353 ; CHECK-NEXT:    ret <16 x i32> [[TMP1]]
3354 ;
3355   %1 = shufflevector <4 x i32> %a, <4 x i32> poison, <4 x i32> <i32 0, i32 1, i32 0, i32 1>
3356   %2 = tail call <16 x i32> @llvm.x86.avx512.psll.d.512(<16 x i32> %v, <4 x i32> %1)
3357   ret <16 x i32> %2
3358 }
3359
3360 define <8 x i64> @avx512_psll_q_512_var(<8 x i64> %v, <2 x i64> %a) {
3361 ; CHECK-LABEL: @avx512_psll_q_512_var(
3362 ; CHECK-NEXT:    [[TMP1:%.*]] = tail call <8 x i64> @llvm.x86.avx512.psll.q.512(<8 x i64> [[V:%.*]], <2 x i64> [[A:%.*]])
3363 ; CHECK-NEXT:    ret <8 x i64> [[TMP1]]
3364 ;
3365   %1 = shufflevector <2 x i64> %a, <2 x i64> poison, <2 x i32> <i32 0, i32 0>
3366   %2 = tail call <8 x i64> @llvm.x86.avx512.psll.q.512(<8 x i64> %v, <2 x i64> %1)
3367   ret <8 x i64> %2
3368 }
3369
3370 ;
3371 ; Constant Folding
3372 ;
3373
3374 define <8 x i16> @test_sse2_psra_w_0(<8 x i16> %A) {
3375 ; CHECK-LABEL: @test_sse2_psra_w_0(
3376 ; CHECK-NEXT:    ret <8 x i16> [[A:%.*]]
3377 ;
3378   %1 = tail call <8 x i16> @llvm.x86.sse2.psrai.w(<8 x i16> %A, i32 0)
3379   %2 = tail call <8 x i16> @llvm.x86.sse2.psra.w(<8 x i16> %1, <8 x i16> <i16 0, i16 0, i16 0, i16 0, i16 7, i16 0, i16 0, i16 0>)
3380   %3 = tail call <8 x i16> @llvm.x86.sse2.psrai.w(<8 x i16> %2, i32 0)
3381   ret <8 x i16> %3
3382 }
3383
3384 define <8 x i16> @test_sse2_psra_w_8() {
3385 ; CHECK-LABEL: @test_sse2_psra_w_8(
3386 ; CHECK-NEXT:    ret <8 x i16> <i16 -128, i16 64, i16 32, i16 16, i16 -128, i16 64, i16 32, i16 16>
3387 ;
3388   %1 = bitcast <2 x i64> <i64 1152956690052710400, i64 1152956690052710400> to <8 x i16>
3389   %2 = tail call <8 x i16> @llvm.x86.sse2.psrai.w(<8 x i16> %1, i32 3)
3390   %3 = tail call <8 x i16> @llvm.x86.sse2.psra.w(<8 x i16> %2, <8 x i16> <i16 3, i16 0, i16 0, i16 0, i16 7, i16 0, i16 0, i16 0>)
3391   %4 = tail call <8 x i16> @llvm.x86.sse2.psrai.w(<8 x i16> %3, i32 2)
3392   ret <8 x i16> %4
3393 }
3394
3395 define <4 x i32> @test_sse2_psra_d_0(<4 x i32> %A) {
3396 ; CHECK-LABEL: @test_sse2_psra_d_0(
3397 ; CHECK-NEXT:    ret <4 x i32> [[A:%.*]]
3398 ;
3399   %1 = tail call <4 x i32> @llvm.x86.sse2.psrai.d(<4 x i32> %A, i32 0)
3400   %2 = tail call <4 x i32> @llvm.x86.sse2.psra.d(<4 x i32> %1, <4 x i32> <i32 0, i32 0, i32 7, i32 0>)
3401   %3 = tail call <4 x i32> @llvm.x86.sse2.psrai.d(<4 x i32> %1, i32 0)
3402   ret <4 x i32> %3
3403 }
3404
3405 define <4 x i32> @sse2_psra_d_8() {
3406 ; CHECK-LABEL: @sse2_psra_d_8(
3407 ; CHECK-NEXT:    ret <4 x i32> <i32 4194432, i32 1048608, i32 4194432, i32 1048608>
3408 ;
3409   %1 = bitcast <2 x i64> <i64 1152956690052710400, i64 1152956690052710400> to <4 x i32>
3410   %2 = tail call <4 x i32> @llvm.x86.sse2.psrai.d(<4 x i32> %1, i32 3)
3411   %3 = tail call <4 x i32> @llvm.x86.sse2.psra.d(<4 x i32> %2, <4 x i32> <i32 3, i32 0, i32 7, i32 0>)
3412   %4 = tail call <4 x i32> @llvm.x86.sse2.psrai.d(<4 x i32> %3, i32 2)
3413   ret <4 x i32> %4
3414 }
3415
3416 define <16 x i16> @test_avx2_psra_w_0(<16 x i16> %A) {
3417 ; CHECK-LABEL: @test_avx2_psra_w_0(
3418 ; CHECK-NEXT:    ret <16 x i16> [[A:%.*]]
3419 ;
3420   %1 = tail call <16 x i16> @llvm.x86.avx2.psrai.w(<16 x i16> %A, i32 0)
3421   %2 = tail call <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16> %1, <8 x i16> <i16 0, i16 0, i16 0, i16 0, i16 7, i16 0, i16 0, i16 0>)
3422   %3 = tail call <16 x i16> @llvm.x86.avx2.psrai.w(<16 x i16> %2, i32 0)
3423   ret <16 x i16> %3
3424 }
3425
3426 define <16 x i16> @test_avx2_psra_w_8(<16 x i16> %A) {
3427 ; CHECK-LABEL: @test_avx2_psra_w_8(
3428 ; CHECK-NEXT:    ret <16 x i16> <i16 -128, i16 64, i16 32, i16 16, i16 -128, i16 64, i16 32, i16 16, i16 -128, i16 64, i16 32, i16 16, i16 -128, i16 64, i16 32, i16 16>
3429 ;
3430   %1 = bitcast <4 x i64> <i64 1152956690052710400, i64 1152956690052710400, i64 1152956690052710400, i64 1152956690052710400> to <16 x i16>
3431   %2 = tail call <16 x i16> @llvm.x86.avx2.psrai.w(<16 x i16> %1, i32 3)
3432   %3 = tail call <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16> %2, <8 x i16> <i16 3, i16 0, i16 0, i16 0, i16 7, i16 0, i16 0, i16 0>)
3433   %4 = tail call <16 x i16> @llvm.x86.avx2.psrai.w(<16 x i16> %3, i32 2)
3434   ret <16 x i16> %4
3435 }
3436
3437 define <8 x i32> @test_avx2_psra_d_0(<8 x i32> %A) {
3438 ; CHECK-LABEL: @test_avx2_psra_d_0(
3439 ; CHECK-NEXT:    ret <8 x i32> [[A:%.*]]
3440 ;
3441   %1 = tail call <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32> %A, i32 0)
3442   %2 = tail call <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32> %1, <4 x i32> <i32 0, i32 0, i32 7, i32 0>)
3443   %3 = tail call <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32> %2, i32 0)
3444   ret <8 x i32> %3
3445 }
3446
3447 define <8 x i32> @test_avx2_psra_d_8() {
3448 ; CHECK-LABEL: @test_avx2_psra_d_8(
3449 ; CHECK-NEXT:    ret <8 x i32> <i32 4194432, i32 1048608, i32 4194432, i32 1048608, i32 4194432, i32 1048608, i32 4194432, i32 1048608>
3450 ;
3451   %1 = bitcast <4 x i64> <i64 1152956690052710400, i64 1152956690052710400, i64 1152956690052710400, i64 1152956690052710400> to <8 x i32>
3452   %2 = tail call <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32> %1, i32 3)
3453   %3 = tail call <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32> %2, <4 x i32> <i32 3, i32 0, i32 7, i32 0>)
3454   %4 = tail call <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32> %3, i32 2)
3455   ret <8 x i32> %4
3456 }
3457
3458 define <32 x i16> @test_avx512_psra_w_512_0(<32 x i16> %A) {
3459 ; CHECK-LABEL: @test_avx512_psra_w_512_0(
3460 ; CHECK-NEXT:    ret <32 x i16> [[A:%.*]]
3461 ;
3462   %1 = tail call <32 x i16> @llvm.x86.avx512.psrai.w.512(<32 x i16> %A, i32 0)
3463   %2 = tail call <32 x i16> @llvm.x86.avx512.psra.w.512(<32 x i16> %1, <8 x i16> <i16 0, i16 0, i16 0, i16 0, i16 7, i16 0, i16 0, i16 0>)
3464   %3 = tail call <32 x i16> @llvm.x86.avx512.psrai.w.512(<32 x i16> %2, i32 0)
3465   ret <32 x i16> %3
3466 }
3467
3468 define <32 x i16> @test_avx512_psra_w_512_8(<32 x i16> %A) {
3469 ; CHECK-LABEL: @test_avx512_psra_w_512_8(
3470 ; CHECK-NEXT:    ret <32 x i16> <i16 -128, i16 64, i16 32, i16 16, i16 -128, i16 64, i16 32, i16 16, i16 -128, i16 64, i16 32, i16 16, i16 -128, i16 64, i16 32, i16 16, i16 -128, i16 64, i16 32, i16 16, i16 -128, i16 64, i16 32, i16 16, i16 -128, i16 64, i16 32, i16 16, i16 -128, i16 64, i16 32, i16 16>
3471 ;
3472   %1 = bitcast <8 x i64> <i64 1152956690052710400, i64 1152956690052710400, i64 1152956690052710400, i64 1152956690052710400, i64 1152956690052710400, i64 1152956690052710400, i64 1152956690052710400, i64 1152956690052710400> to <32 x i16>
3473   %2 = tail call <32 x i16> @llvm.x86.avx512.psrai.w.512(<32 x i16> %1, i32 3)
3474   %3 = tail call <32 x i16> @llvm.x86.avx512.psra.w.512(<32 x i16> %2, <8 x i16> <i16 3, i16 0, i16 0, i16 0, i16 7, i16 0, i16 0, i16 0>)
3475   %4 = tail call <32 x i16> @llvm.x86.avx512.psrai.w.512(<32 x i16> %3, i32 2)
3476   ret <32 x i16> %4
3477 }
3478
3479 define <16 x i32> @test_avx512_psra_d_512_0(<16 x i32> %A) {
3480 ; CHECK-LABEL: @test_avx512_psra_d_512_0(
3481 ; CHECK-NEXT:    ret <16 x i32> [[A:%.*]]
3482 ;
3483   %1 = tail call <16 x i32> @llvm.x86.avx512.psrai.d.512(<16 x i32> %A, i32 0)
3484   %2 = tail call <16 x i32> @llvm.x86.avx512.psra.d.512(<16 x i32> %1, <4 x i32> <i32 0, i32 0, i32 7, i32 0>)
3485   %3 = tail call <16 x i32> @llvm.x86.avx512.psrai.d.512(<16 x i32> %2, i32 0)
3486   ret <16 x i32> %3
3487 }
3488
3489 define <16 x i32> @test_avx512_psra_d_512_8() {
3490 ; CHECK-LABEL: @test_avx512_psra_d_512_8(
3491 ; CHECK-NEXT:    ret <16 x i32> <i32 4194432, i32 1048608, i32 4194432, i32 1048608, i32 4194432, i32 1048608, i32 4194432, i32 1048608, i32 4194432, i32 1048608, i32 4194432, i32 1048608, i32 4194432, i32 1048608, i32 4194432, i32 1048608>
3492 ;
3493   %1 = bitcast <8 x i64> <i64 1152956690052710400, i64 1152956690052710400, i64 1152956690052710400, i64 1152956690052710400, i64 1152956690052710400, i64 1152956690052710400, i64 1152956690052710400, i64 1152956690052710400> to <16 x i32>
3494   %2 = tail call <16 x i32> @llvm.x86.avx512.psrai.d.512(<16 x i32> %1, i32 3)
3495   %3 = tail call <16 x i32> @llvm.x86.avx512.psra.d.512(<16 x i32> %2, <4 x i32> <i32 3, i32 0, i32 7, i32 0>)
3496   %4 = tail call <16 x i32> @llvm.x86.avx512.psrai.d.512(<16 x i32> %3, i32 2)
3497   ret <16 x i32> %4
3498 }
3499
3500 ;
3501 ; Old Tests
3502 ;
3503
3504 define <2 x i64> @test_sse2_1() {
3505 ; CHECK-LABEL: @test_sse2_1(
3506 ; CHECK-NEXT:    ret <2 x i64> <i64 72058418680037440, i64 144117112246370624>
3507 ;
3508   %S = bitcast i32 1 to i32
3509   %1 = zext i32 %S to i64
3510   %2 = insertelement <2 x i64> poison, i64 %1, i32 0
3511   %3 = insertelement <2 x i64> %2, i64 0, i32 1
3512   %4 = bitcast <2 x i64> %3 to <8 x i16>
3513   %5 = tail call <8 x i16> @llvm.x86.sse2.psll.w(<8 x i16> <i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8>, <8 x i16> %4)
3514   %6 = bitcast <8 x i16> %5 to <4 x i32>
3515   %7 = bitcast <2 x i64> %3 to <4 x i32>
3516   %8 = tail call <4 x i32> @llvm.x86.sse2.psll.d(<4 x i32> %6, <4 x i32> %7)
3517   %9 = bitcast <4 x i32> %8 to <2 x i64>
3518   %10 = tail call <2 x i64> @llvm.x86.sse2.psll.q(<2 x i64> %9, <2 x i64> %3)
3519   %11 = bitcast <2 x i64> %10 to <8 x i16>
3520   %12 = tail call <8 x i16> @llvm.x86.sse2.pslli.w(<8 x i16> %11, i32 %S)
3521   %13 = bitcast <8 x i16> %12 to <4 x i32>
3522   %14 = tail call <4 x i32> @llvm.x86.sse2.pslli.d(<4 x i32> %13, i32 %S)
3523   %15 = bitcast <4 x i32> %14 to <2 x i64>
3524   %16 = tail call <2 x i64> @llvm.x86.sse2.pslli.q(<2 x i64> %15, i32 %S)
3525   ret <2 x i64> %16
3526 }
3527
3528 define <4 x i64> @test_avx2_1() {
3529 ; CHECK-LABEL: @test_avx2_1(
3530 ; CHECK-NEXT:    ret <4 x i64> <i64 64, i64 128, i64 192, i64 256>
3531 ;
3532   %S = bitcast i32 1 to i32
3533   %1 = zext i32 %S to i64
3534   %2 = insertelement <2 x i64> poison, i64 %1, i32 0
3535   %3 = insertelement <2 x i64> %2, i64 0, i32 1
3536   %4 = bitcast <2 x i64> %3 to <8 x i16>
3537   %5 = tail call <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16> <i16 1, i16 0, i16 0, i16 0, i16 2, i16 0, i16 0, i16 0, i16 3, i16 0, i16 0, i16 0, i16 4, i16 0, i16 0, i16 0>, <8 x i16> %4)
3538   %6 = bitcast <16 x i16> %5 to <8 x i32>
3539   %7 = bitcast <2 x i64> %3 to <4 x i32>
3540   %8 = tail call <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32> %6, <4 x i32> %7)
3541   %9 = bitcast <8 x i32> %8 to <4 x i64>
3542   %10 = tail call <4 x i64> @llvm.x86.avx2.psll.q(<4 x i64> %9, <2 x i64> %3)
3543   %11 = bitcast <4 x i64> %10 to <16 x i16>
3544   %12 = tail call <16 x i16> @llvm.x86.avx2.pslli.w(<16 x i16> %11, i32 %S)
3545   %13 = bitcast <16 x i16> %12 to <8 x i32>
3546   %14 = tail call <8 x i32> @llvm.x86.avx2.pslli.d(<8 x i32> %13, i32 %S)
3547   %15 = bitcast <8 x i32> %14 to <4 x i64>
3548   %16 = tail call <4 x i64> @llvm.x86.avx2.pslli.q(<4 x i64> %15, i32 %S)
3549   ret <4 x i64> %16
3550 }
3551
3552 define <2 x i64> @test_sse2_0() {
3553 ; CHECK-LABEL: @test_sse2_0(
3554 ; CHECK-NEXT:    ret <2 x i64> zeroinitializer
3555 ;
3556   %S = bitcast i32 128 to i32
3557   %1 = zext i32 %S to i64
3558   %2 = insertelement <2 x i64> poison, i64 %1, i32 0
3559   %3 = insertelement <2 x i64> %2, i64 0, i32 1
3560   %4 = bitcast <2 x i64> %3 to <8 x i16>
3561   %5 = tail call <8 x i16> @llvm.x86.sse2.psll.w(<8 x i16> <i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8>, <8 x i16> %4)
3562   %6 = bitcast <8 x i16> %5 to <4 x i32>
3563   %7 = bitcast <2 x i64> %3 to <4 x i32>
3564   %8 = tail call <4 x i32> @llvm.x86.sse2.psll.d(<4 x i32> %6, <4 x i32> %7)
3565   %9 = bitcast <4 x i32> %8 to <2 x i64>
3566   %10 = tail call <2 x i64> @llvm.x86.sse2.psll.q(<2 x i64> %9, <2 x i64> %3)
3567   %11 = bitcast <2 x i64> %10 to <8 x i16>
3568   %12 = tail call <8 x i16> @llvm.x86.sse2.pslli.w(<8 x i16> %11, i32 %S)
3569   %13 = bitcast <8 x i16> %12 to <4 x i32>
3570   %14 = tail call <4 x i32> @llvm.x86.sse2.pslli.d(<4 x i32> %13, i32 %S)
3571   %15 = bitcast <4 x i32> %14 to <2 x i64>
3572   %16 = tail call <2 x i64> @llvm.x86.sse2.pslli.q(<2 x i64> %15, i32 %S)
3573   ret <2 x i64> %16
3574 }
3575
3576 define <4 x i64> @test_avx2_0() {
3577 ; CHECK-LABEL: @test_avx2_0(
3578 ; CHECK-NEXT:    ret <4 x i64> zeroinitializer
3579 ;
3580   %S = bitcast i32 128 to i32
3581   %1 = zext i32 %S to i64
3582   %2 = insertelement <2 x i64> poison, i64 %1, i32 0
3583   %3 = insertelement <2 x i64> %2, i64 0, i32 1
3584   %4 = bitcast <2 x i64> %3 to <8 x i16>
3585   %5 = tail call <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16> <i16 1, i16 0, i16 0, i16 0, i16 2, i16 0, i16 0, i16 0, i16 3, i16 0, i16 0, i16 0, i16 4, i16 0, i16 0, i16 0>, <8 x i16> %4)
3586   %6 = bitcast <16 x i16> %5 to <8 x i32>
3587   %7 = bitcast <2 x i64> %3 to <4 x i32>
3588   %8 = tail call <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32> %6, <4 x i32> %7)
3589   %9 = bitcast <8 x i32> %8 to <4 x i64>
3590   %10 = tail call <4 x i64> @llvm.x86.avx2.psll.q(<4 x i64> %9, <2 x i64> %3)
3591   %11 = bitcast <4 x i64> %10 to <16 x i16>
3592   %12 = tail call <16 x i16> @llvm.x86.avx2.pslli.w(<16 x i16> %11, i32 %S)
3593   %13 = bitcast <16 x i16> %12 to <8 x i32>
3594   %14 = tail call <8 x i32> @llvm.x86.avx2.pslli.d(<8 x i32> %13, i32 %S)
3595   %15 = bitcast <8 x i32> %14 to <4 x i64>
3596   %16 = tail call <4 x i64> @llvm.x86.avx2.pslli.q(<4 x i64> %15, i32 %S)
3597   ret <4 x i64> %16
3598 }
3599 define <2 x i64> @test_sse2_psrl_1() {
3600 ; CHECK-LABEL: @test_sse2_psrl_1(
3601 ; CHECK-NEXT:    ret <2 x i64> <i64 562954248421376, i64 9007267974742020>
3602 ;
3603   %S = bitcast i32 1 to i32
3604   %1 = zext i32 %S to i64
3605   %2 = insertelement <2 x i64> poison, i64 %1, i32 0
3606   %3 = insertelement <2 x i64> %2, i64 0, i32 1
3607   %4 = bitcast <2 x i64> %3 to <8 x i16>
3608   %5 = tail call <8 x i16> @llvm.x86.sse2.psrl.w(<8 x i16> <i16 16, i16 32, i16 64, i16 128, i16 256, i16 512, i16 1024, i16 2048>, <8 x i16> %4)
3609   %6 = bitcast <8 x i16> %5 to <4 x i32>
3610   %7 = bitcast <2 x i64> %3 to <4 x i32>
3611   %8 = tail call <4 x i32> @llvm.x86.sse2.psrl.d(<4 x i32> %6, <4 x i32> %7)
3612   %9 = bitcast <4 x i32> %8 to <2 x i64>
3613   %10 = tail call <2 x i64> @llvm.x86.sse2.psrl.q(<2 x i64> %9, <2 x i64> %3)
3614   %11 = bitcast <2 x i64> %10 to <8 x i16>
3615   %12 = tail call <8 x i16> @llvm.x86.sse2.psrli.w(<8 x i16> %11, i32 %S)
3616   %13 = bitcast <8 x i16> %12 to <4 x i32>
3617   %14 = tail call <4 x i32> @llvm.x86.sse2.psrli.d(<4 x i32> %13, i32 %S)
3618   %15 = bitcast <4 x i32> %14 to <2 x i64>
3619   %16 = tail call <2 x i64> @llvm.x86.sse2.psrli.q(<2 x i64> %15, i32 %S)
3620   ret <2 x i64> %16
3621 }
3622
3623 define <4 x i64> @test_avx2_psrl_1() {
3624 ; CHECK-LABEL: @test_avx2_psrl_1(
3625 ; CHECK-NEXT:    ret <4 x i64> <i64 16, i64 32, i64 64, i64 128>
3626 ;
3627   %S = bitcast i32 1 to i32
3628   %1 = zext i32 %S to i64
3629   %2 = insertelement <2 x i64> poison, i64 %1, i32 0
3630   %3 = insertelement <2 x i64> %2, i64 0, i32 1
3631   %4 = bitcast <2 x i64> %3 to <8 x i16>
3632   %5 = tail call <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16> <i16 1024, i16 0, i16 0, i16 0, i16 2048, i16 0, i16 0, i16 0, i16 4096, i16 0, i16 0, i16 0, i16 8192, i16 0, i16 0, i16 0>, <8 x i16> %4)
3633   %6 = bitcast <16 x i16> %5 to <8 x i32>
3634   %7 = bitcast <2 x i64> %3 to <4 x i32>
3635   %8 = tail call <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32> %6, <4 x i32> %7)
3636   %9 = bitcast <8 x i32> %8 to <4 x i64>
3637   %10 = tail call <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64> %9, <2 x i64> %3)
3638   %11 = bitcast <4 x i64> %10 to <16 x i16>
3639   %12 = tail call <16 x i16> @llvm.x86.avx2.psrli.w(<16 x i16> %11, i32 %S)
3640   %13 = bitcast <16 x i16> %12 to <8 x i32>
3641   %14 = tail call <8 x i32> @llvm.x86.avx2.psrli.d(<8 x i32> %13, i32 %S)
3642   %15 = bitcast <8 x i32> %14 to <4 x i64>
3643   %16 = tail call <4 x i64> @llvm.x86.avx2.psrli.q(<4 x i64> %15, i32 %S)
3644   ret <4 x i64> %16
3645 }
3646
3647 define <2 x i64> @test_sse2_psrl_0() {
3648 ; CHECK-LABEL: @test_sse2_psrl_0(
3649 ; CHECK-NEXT:    ret <2 x i64> zeroinitializer
3650 ;
3651   %S = bitcast i32 128 to i32
3652   %1 = zext i32 %S to i64
3653   %2 = insertelement <2 x i64> poison, i64 %1, i32 0
3654   %3 = insertelement <2 x i64> %2, i64 0, i32 1
3655   %4 = bitcast <2 x i64> %3 to <8 x i16>
3656   %5 = tail call <8 x i16> @llvm.x86.sse2.psrl.w(<8 x i16> <i16 32, i16 64, i16 128, i16 256, i16 512, i16 1024, i16 2048, i16 4096>, <8 x i16> %4)
3657   %6 = bitcast <8 x i16> %5 to <4 x i32>
3658   %7 = bitcast <2 x i64> %3 to <4 x i32>
3659   %8 = tail call <4 x i32> @llvm.x86.sse2.psrl.d(<4 x i32> %6, <4 x i32> %7)
3660   %9 = bitcast <4 x i32> %8 to <2 x i64>
3661   %10 = tail call <2 x i64> @llvm.x86.sse2.psrl.q(<2 x i64> %9, <2 x i64> %3)
3662   %11 = bitcast <2 x i64> %10 to <8 x i16>
3663   %12 = tail call <8 x i16> @llvm.x86.sse2.psrli.w(<8 x i16> %11, i32 %S)
3664   %13 = bitcast <8 x i16> %12 to <4 x i32>
3665   %14 = tail call <4 x i32> @llvm.x86.sse2.psrli.d(<4 x i32> %13, i32 %S)
3666   %15 = bitcast <4 x i32> %14 to <2 x i64>
3667   %16 = tail call <2 x i64> @llvm.x86.sse2.psrli.q(<2 x i64> %15, i32 %S)
3668   ret <2 x i64> %16
3669 }
3670
3671 define <4 x i64> @test_avx2_psrl_0() {
3672 ; CHECK-LABEL: @test_avx2_psrl_0(
3673 ; CHECK-NEXT:    ret <4 x i64> zeroinitializer
3674 ;
3675   %S = bitcast i32 128 to i32
3676   %1 = zext i32 %S to i64
3677   %2 = insertelement <2 x i64> poison, i64 %1, i32 0
3678   %3 = insertelement <2 x i64> %2, i64 0, i32 1
3679   %4 = bitcast <2 x i64> %3 to <8 x i16>
3680   %5 = tail call <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16> <i16 1024, i16 0, i16 0, i16 0, i16 2048, i16 0, i16 0, i16 0, i16 4096, i16 0, i16 0, i16 0, i16 8192, i16 0, i16 0, i16 0>, <8 x i16> %4)
3681   %6 = bitcast <16 x i16> %5 to <8 x i32>
3682   %7 = bitcast <2 x i64> %3 to <4 x i32>
3683   %8 = tail call <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32> %6, <4 x i32> %7)
3684   %9 = bitcast <8 x i32> %8 to <4 x i64>
3685   %10 = tail call <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64> %9, <2 x i64> %3)
3686   %11 = bitcast <4 x i64> %10 to <16 x i16>
3687   %12 = tail call <16 x i16> @llvm.x86.avx2.psrli.w(<16 x i16> %11, i32 %S)
3688   %13 = bitcast <16 x i16> %12 to <8 x i32>
3689   %14 = tail call <8 x i32> @llvm.x86.avx2.psrli.d(<8 x i32> %13, i32 %S)
3690   %15 = bitcast <8 x i32> %14 to <4 x i64>
3691   %16 = tail call <4 x i64> @llvm.x86.avx2.psrli.q(<4 x i64> %15, i32 %S)
3692   ret <4 x i64> %16
3693 }
3694
3695 declare <8 x i64> @llvm.x86.avx512.pslli.q.512(<8 x i64>, i32) #1
3696 declare <16 x i32> @llvm.x86.avx512.pslli.d.512(<16 x i32>, i32) #1
3697 declare <32 x i16> @llvm.x86.avx512.pslli.w.512(<32 x i16>, i32) #1
3698 declare <8 x i64> @llvm.x86.avx512.psll.q.512(<8 x i64>, <2 x i64>) #1
3699 declare <16 x i32> @llvm.x86.avx512.psll.d.512(<16 x i32>, <4 x i32>) #1
3700 declare <32 x i16> @llvm.x86.avx512.psll.w.512(<32 x i16>, <8 x i16>) #1
3701 declare <4 x i64> @llvm.x86.avx2.pslli.q(<4 x i64>, i32) #1
3702 declare <8 x i32> @llvm.x86.avx2.pslli.d(<8 x i32>, i32) #1
3703 declare <16 x i16> @llvm.x86.avx2.pslli.w(<16 x i16>, i32) #1
3704 declare <4 x i64> @llvm.x86.avx2.psll.q(<4 x i64>, <2 x i64>) #1
3705 declare <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32>, <4 x i32>) #1
3706 declare <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16>, <8 x i16>) #1
3707 declare <2 x i64> @llvm.x86.sse2.pslli.q(<2 x i64>, i32) #1
3708 declare <4 x i32> @llvm.x86.sse2.pslli.d(<4 x i32>, i32) #1
3709 declare <8 x i16> @llvm.x86.sse2.pslli.w(<8 x i16>, i32) #1
3710 declare <2 x i64> @llvm.x86.sse2.psll.q(<2 x i64>, <2 x i64>) #1
3711 declare <4 x i32> @llvm.x86.sse2.psll.d(<4 x i32>, <4 x i32>) #1
3712 declare <8 x i16> @llvm.x86.sse2.psll.w(<8 x i16>, <8 x i16>) #1
3713
3714 declare <8 x i64> @llvm.x86.avx512.psrli.q.512(<8 x i64>, i32) #1
3715 declare <16 x i32> @llvm.x86.avx512.psrli.d.512(<16 x i32>, i32) #1
3716 declare <32 x i16> @llvm.x86.avx512.psrli.w.512(<32 x i16>, i32) #1
3717 declare <8 x i64> @llvm.x86.avx512.psrl.q.512(<8 x i64>, <2 x i64>) #1
3718 declare <16 x i32> @llvm.x86.avx512.psrl.d.512(<16 x i32>, <4 x i32>) #1
3719 declare <32 x i16> @llvm.x86.avx512.psrl.w.512(<32 x i16>, <8 x i16>) #1
3720 declare <4 x i64> @llvm.x86.avx2.psrli.q(<4 x i64>, i32) #1
3721 declare <8 x i32> @llvm.x86.avx2.psrli.d(<8 x i32>, i32) #1
3722 declare <16 x i16> @llvm.x86.avx2.psrli.w(<16 x i16>, i32) #1
3723 declare <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64>, <2 x i64>) #1
3724 declare <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32>, <4 x i32>) #1
3725 declare <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16>, <8 x i16>) #1
3726 declare <2 x i64> @llvm.x86.sse2.psrli.q(<2 x i64>, i32) #1
3727 declare <4 x i32> @llvm.x86.sse2.psrli.d(<4 x i32>, i32) #1
3728 declare <8 x i16> @llvm.x86.sse2.psrli.w(<8 x i16>, i32) #1
3729 declare <2 x i64> @llvm.x86.sse2.psrl.q(<2 x i64>, <2 x i64>) #1
3730 declare <4 x i32> @llvm.x86.sse2.psrl.d(<4 x i32>, <4 x i32>) #1
3731 declare <8 x i16> @llvm.x86.sse2.psrl.w(<8 x i16>, <8 x i16>) #1
3732
3733 declare <8 x i64> @llvm.x86.avx512.psrai.q.512(<8 x i64>, i32) #1
3734 declare <16 x i32> @llvm.x86.avx512.psrai.d.512(<16 x i32>, i32) #1
3735 declare <32 x i16> @llvm.x86.avx512.psrai.w.512(<32 x i16>, i32) #1
3736 declare <8 x i64> @llvm.x86.avx512.psra.q.512(<8 x i64>, <2 x i64>) #1
3737 declare <16 x i32> @llvm.x86.avx512.psra.d.512(<16 x i32>, <4 x i32>) #1
3738 declare <32 x i16> @llvm.x86.avx512.psra.w.512(<32 x i16>, <8 x i16>) #1
3739 declare <4 x i64> @llvm.x86.avx512.psrai.q.256(<4 x i64>, i32) #1
3740 declare <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32>, i32) #1
3741 declare <16 x i16> @llvm.x86.avx2.psrai.w(<16 x i16>, i32) #1
3742 declare <4 x i64> @llvm.x86.avx512.psra.q.256(<4 x i64>, <2 x i64>) #1
3743 declare <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32>, <4 x i32>) #1
3744 declare <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16>, <8 x i16>) #1
3745 declare <2 x i64> @llvm.x86.avx512.psrai.q.128(<2 x i64>, i32) #1
3746 declare <4 x i32> @llvm.x86.sse2.psrai.d(<4 x i32>, i32) #1
3747 declare <8 x i16> @llvm.x86.sse2.psrai.w(<8 x i16>, i32) #1
3748 declare <2 x i64> @llvm.x86.avx512.psra.q.128(<2 x i64>, <2 x i64>) #1
3749 declare <4 x i32> @llvm.x86.sse2.psra.d(<4 x i32>, <4 x i32>) #1
3750 declare <8 x i16> @llvm.x86.sse2.psra.w(<8 x i16>, <8 x i16>) #1
3751
3752 declare <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32>, <4 x i32>) #1
3753 declare <8 x i32> @llvm.x86.avx2.psrav.d.256(<8 x i32>, <8 x i32>) #1
3754 declare <16 x i32> @llvm.x86.avx512.psrav.d.512(<16 x i32>, <16 x i32>) #1
3755 declare <2 x i64> @llvm.x86.avx512.psrav.q.128(<2 x i64>, <2 x i64>) #1
3756 declare <4 x i64> @llvm.x86.avx512.psrav.q.256(<4 x i64>, <4 x i64>) #1
3757 declare <8 x i64> @llvm.x86.avx512.psrav.q.512(<8 x i64>, <8 x i64>) #1
3758
3759 declare <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32>, <4 x i32>) #1
3760 declare <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32>, <8 x i32>) #1
3761 declare <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64>, <2 x i64>) #1
3762 declare <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64>, <4 x i64>) #1
3763 declare <16 x i32> @llvm.x86.avx512.psrlv.d.512(<16 x i32>, <16 x i32>) #1
3764 declare <8 x i64> @llvm.x86.avx512.psrlv.q.512(<8 x i64>, <8 x i64>) #1
3765
3766 declare <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32>, <4 x i32>) #1
3767 declare <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32>, <8 x i32>) #1
3768 declare <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64>, <2 x i64>) #1
3769 declare <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64>, <4 x i64>) #1
3770 declare <16 x i32> @llvm.x86.avx512.psllv.d.512(<16 x i32>, <16 x i32>) #1
3771 declare <8 x i64> @llvm.x86.avx512.psllv.q.512(<8 x i64>, <8 x i64>) #1
3772
3773 declare <8 x i16> @llvm.x86.avx512.psrav.w.128(<8 x i16>, <8 x i16>) #1
3774 declare <16 x i16> @llvm.x86.avx512.psrav.w.256(<16 x i16>, <16 x i16>) #1
3775 declare <32 x i16> @llvm.x86.avx512.psrav.w.512(<32 x i16>, <32 x i16>) #1
3776 declare <8 x i16> @llvm.x86.avx512.psrlv.w.128(<8 x i16>, <8 x i16>) #1
3777 declare <16 x i16> @llvm.x86.avx512.psrlv.w.256(<16 x i16>, <16 x i16>) #1
3778 declare <32 x i16> @llvm.x86.avx512.psrlv.w.512(<32 x i16>, <32 x i16>) #1
3779 declare <8 x i16> @llvm.x86.avx512.psllv.w.128(<8 x i16>, <8 x i16>) #1
3780 declare <16 x i16> @llvm.x86.avx512.psllv.w.256(<16 x i16>, <16 x i16>) #1
3781 declare <32 x i16> @llvm.x86.avx512.psllv.w.512(<32 x i16>, <32 x i16>) #1
3782
3783 attributes #1 = { nounwind readnone }