llvm/test/CodeGen/X86/vector-fshl-rot-128.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse2 | FileCheck %s --check-prefixes=SSE,SSE2
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse4.1 | FileCheck %s --check-prefixes=SSE,SSE41
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx | FileCheck %s --check-prefixes=AVX,AVX1
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefixes=AVX,AVX2
   6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f | FileCheck %s --check-prefix=AVX512F
   7 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512vl | FileCheck %s --check-prefix=AVX512VL
   8 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512bw | FileCheck %s --check-prefix=AVX512BW
   9 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512bw,+avx512vl | FileCheck %s --check-prefix=AVX512VLBW
  10 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512vbmi,+avx512vbmi2 | FileCheck %s --check-prefix=AVX512VBMI2
  11 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512vbmi,+avx512vbmi2,+avx512vl | FileCheck %s --check-prefix=AVX512VLVBMI2
  12 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+xop,+avx | FileCheck %s --check-prefixes=XOP,XOPAVX1
  13 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+xop,+avx2 | FileCheck %s --check-prefixes=XOP,XOPAVX2
  14
  15 ; Just one 32-bit run to make sure we do reasonable things for i64 cases.
  16 ; RUN: llc < %s -mtriple=i686-unknown-unknown -mattr=+sse2 | FileCheck %s --check-prefix=X86-SSE2
  17
  18 declare <2 x i64> @llvm.fshl.v2i64(<2 x i64>, <2 x i64>, <2 x i64>)
  19 declare <4 x i32> @llvm.fshl.v4i32(<4 x i32>, <4 x i32>, <4 x i32>)
  20 declare <8 x i16> @llvm.fshl.v8i16(<8 x i16>, <8 x i16>, <8 x i16>)
  21 declare <16 x i8> @llvm.fshl.v16i8(<16 x i8>, <16 x i8>, <16 x i8>)
  22
  23 ;
  24 ; Variable Shifts
  25 ;
  26
  27 define <2 x i64> @var_funnnel_v2i64(<2 x i64> %x, <2 x i64> %amt) nounwind {
  28 ; SSE2-LABEL: var_funnnel_v2i64:
  29 ; SSE2:       # %bb.0:
  30 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [63,63]
  31 ; SSE2-NEXT:    pxor %xmm3, %xmm3
  32 ; SSE2-NEXT:    psubq %xmm1, %xmm3
  33 ; SSE2-NEXT:    pand %xmm2, %xmm1
  34 ; SSE2-NEXT:    movdqa %xmm0, %xmm4
  35 ; SSE2-NEXT:    psllq %xmm1, %xmm4
  36 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,2,3]
  37 ; SSE2-NEXT:    movdqa %xmm0, %xmm5
  38 ; SSE2-NEXT:    psllq %xmm1, %xmm5
  39 ; SSE2-NEXT:    movsd {{.*#+}} xmm5 = xmm4[0],xmm5[1]
  40 ; SSE2-NEXT:    pand %xmm2, %xmm3
  41 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
  42 ; SSE2-NEXT:    psrlq %xmm3, %xmm1
  43 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[2,3,2,3]
  44 ; SSE2-NEXT:    psrlq %xmm2, %xmm0
  45 ; SSE2-NEXT:    movsd {{.*#+}} xmm0 = xmm1[0],xmm0[1]
  46 ; SSE2-NEXT:    orpd %xmm5, %xmm0
  47 ; SSE2-NEXT:    retq
  48 ;
  49 ; SSE41-LABEL: var_funnnel_v2i64:
  50 ; SSE41:       # %bb.0:
  51 ; SSE41-NEXT:    pmovsxbq {{.*#+}} xmm2 = [63,63]
  52 ; SSE41-NEXT:    pxor %xmm3, %xmm3
  53 ; SSE41-NEXT:    psubq %xmm1, %xmm3
  54 ; SSE41-NEXT:    pand %xmm2, %xmm1
  55 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
  56 ; SSE41-NEXT:    psllq %xmm1, %xmm4
  57 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,2,3]
  58 ; SSE41-NEXT:    movdqa %xmm0, %xmm5
  59 ; SSE41-NEXT:    psllq %xmm1, %xmm5
  60 ; SSE41-NEXT:    pblendw {{.*#+}} xmm5 = xmm4[0,1,2,3],xmm5[4,5,6,7]
  61 ; SSE41-NEXT:    pand %xmm2, %xmm3
  62 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
  63 ; SSE41-NEXT:    psrlq %xmm3, %xmm1
  64 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[2,3,2,3]
  65 ; SSE41-NEXT:    psrlq %xmm2, %xmm0
  66 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm0[4,5,6,7]
  67 ; SSE41-NEXT:    por %xmm5, %xmm0
  68 ; SSE41-NEXT:    retq
  69 ;
  70 ; AVX1-LABEL: var_funnnel_v2i64:
  71 ; AVX1:       # %bb.0:
  72 ; AVX1-NEXT:    vpmovsxbq {{.*#+}} xmm2 = [63,63]
  73 ; AVX1-NEXT:    vpand %xmm2, %xmm1, %xmm3
  74 ; AVX1-NEXT:    vpsllq %xmm3, %xmm0, %xmm4
  75 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm3[2,3,2,3]
  76 ; AVX1-NEXT:    vpsllq %xmm3, %xmm0, %xmm3
  77 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm3 = xmm4[0,1,2,3],xmm3[4,5,6,7]
  78 ; AVX1-NEXT:    vpxor %xmm4, %xmm4, %xmm4
  79 ; AVX1-NEXT:    vpsubq %xmm1, %xmm4, %xmm1
  80 ; AVX1-NEXT:    vpand %xmm2, %xmm1, %xmm1
  81 ; AVX1-NEXT:    vpsrlq %xmm1, %xmm0, %xmm2
  82 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[2,3,2,3]
  83 ; AVX1-NEXT:    vpsrlq %xmm1, %xmm0, %xmm0
  84 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm2[0,1,2,3],xmm0[4,5,6,7]
  85 ; AVX1-NEXT:    vpor %xmm0, %xmm3, %xmm0
  86 ; AVX1-NEXT:    retq
  87 ;
  88 ; AVX2-LABEL: var_funnnel_v2i64:
  89 ; AVX2:       # %bb.0:
  90 ; AVX2-NEXT:    vpmovsxbq {{.*#+}} xmm2 = [63,63]
  91 ; AVX2-NEXT:    vpand %xmm2, %xmm1, %xmm3
  92 ; AVX2-NEXT:    vpsllvq %xmm3, %xmm0, %xmm3
  93 ; AVX2-NEXT:    vpxor %xmm4, %xmm4, %xmm4
  94 ; AVX2-NEXT:    vpsubq %xmm1, %xmm4, %xmm1
  95 ; AVX2-NEXT:    vpand %xmm2, %xmm1, %xmm1
  96 ; AVX2-NEXT:    vpsrlvq %xmm1, %xmm0, %xmm0
  97 ; AVX2-NEXT:    vpor %xmm0, %xmm3, %xmm0
  98 ; AVX2-NEXT:    retq
  99 ;
 100 ; AVX512F-LABEL: var_funnnel_v2i64:
 101 ; AVX512F:       # %bb.0:
 102 ; AVX512F-NEXT:    # kill: def $xmm1 killed $xmm1 def $zmm1
 103 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 104 ; AVX512F-NEXT:    vprolvq %zmm1, %zmm0, %zmm0
 105 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 106 ; AVX512F-NEXT:    vzeroupper
 107 ; AVX512F-NEXT:    retq
 108 ;
 109 ; AVX512VL-LABEL: var_funnnel_v2i64:
 110 ; AVX512VL:       # %bb.0:
 111 ; AVX512VL-NEXT:    vprolvq %xmm1, %xmm0, %xmm0
 112 ; AVX512VL-NEXT:    retq
 113 ;
 114 ; AVX512BW-LABEL: var_funnnel_v2i64:
 115 ; AVX512BW:       # %bb.0:
 116 ; AVX512BW-NEXT:    # kill: def $xmm1 killed $xmm1 def $zmm1
 117 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 118 ; AVX512BW-NEXT:    vprolvq %zmm1, %zmm0, %zmm0
 119 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 120 ; AVX512BW-NEXT:    vzeroupper
 121 ; AVX512BW-NEXT:    retq
 122 ;
 123 ; AVX512VLBW-LABEL: var_funnnel_v2i64:
 124 ; AVX512VLBW:       # %bb.0:
 125 ; AVX512VLBW-NEXT:    vprolvq %xmm1, %xmm0, %xmm0
 126 ; AVX512VLBW-NEXT:    retq
 127 ;
 128 ; AVX512VBMI2-LABEL: var_funnnel_v2i64:
 129 ; AVX512VBMI2:       # %bb.0:
 130 ; AVX512VBMI2-NEXT:    # kill: def $xmm1 killed $xmm1 def $zmm1
 131 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 132 ; AVX512VBMI2-NEXT:    vprolvq %zmm1, %zmm0, %zmm0
 133 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 134 ; AVX512VBMI2-NEXT:    vzeroupper
 135 ; AVX512VBMI2-NEXT:    retq
 136 ;
 137 ; AVX512VLVBMI2-LABEL: var_funnnel_v2i64:
 138 ; AVX512VLVBMI2:       # %bb.0:
 139 ; AVX512VLVBMI2-NEXT:    vprolvq %xmm1, %xmm0, %xmm0
 140 ; AVX512VLVBMI2-NEXT:    retq
 141 ;
 142 ; XOP-LABEL: var_funnnel_v2i64:
 143 ; XOP:       # %bb.0:
 144 ; XOP-NEXT:    vprotq %xmm1, %xmm0, %xmm0
 145 ; XOP-NEXT:    retq
 146 ;
 147 ; X86-SSE2-LABEL: var_funnnel_v2i64:
 148 ; X86-SSE2:       # %bb.0:
 149 ; X86-SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [63,0,63,0]
 150 ; X86-SSE2-NEXT:    pxor %xmm3, %xmm3
 151 ; X86-SSE2-NEXT:    psubq %xmm1, %xmm3
 152 ; X86-SSE2-NEXT:    pand %xmm2, %xmm1
 153 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm4
 154 ; X86-SSE2-NEXT:    psllq %xmm1, %xmm4
 155 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,2,3]
 156 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm5
 157 ; X86-SSE2-NEXT:    psllq %xmm1, %xmm5
 158 ; X86-SSE2-NEXT:    movsd {{.*#+}} xmm5 = xmm4[0],xmm5[1]
 159 ; X86-SSE2-NEXT:    pand %xmm2, %xmm3
 160 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
 161 ; X86-SSE2-NEXT:    psrlq %xmm3, %xmm1
 162 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[2,3,2,3]
 163 ; X86-SSE2-NEXT:    psrlq %xmm2, %xmm0
 164 ; X86-SSE2-NEXT:    movsd {{.*#+}} xmm0 = xmm1[0],xmm0[1]
 165 ; X86-SSE2-NEXT:    orpd %xmm5, %xmm0
 166 ; X86-SSE2-NEXT:    retl
 167   %res = call <2 x i64> @llvm.fshl.v2i64(<2 x i64> %x, <2 x i64> %x, <2 x i64> %amt)
 168   ret <2 x i64> %res
 169 }
 170
 171 define <4 x i32> @var_funnnel_v4i32(<4 x i32> %x, <4 x i32> %amt) nounwind {
 172 ; SSE2-LABEL: var_funnnel_v4i32:
 173 ; SSE2:       # %bb.0:
 174 ; SSE2-NEXT:    pslld $23, %xmm1
 175 ; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 176 ; SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 177 ; SSE2-NEXT:    cvttps2dq %xmm1, %xmm1
 178 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 179 ; SSE2-NEXT:    pmuludq %xmm1, %xmm0
 180 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,3,2,3]
 181 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 182 ; SSE2-NEXT:    pmuludq %xmm2, %xmm1
 183 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
 184 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
 185 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 186 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 187 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 188 ; SSE2-NEXT:    por %xmm3, %xmm0
 189 ; SSE2-NEXT:    retq
 190 ;
 191 ; SSE41-LABEL: var_funnnel_v4i32:
 192 ; SSE41:       # %bb.0:
 193 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 194 ; SSE41-NEXT:    pslld $23, %xmm1
 195 ; SSE41-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 196 ; SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 197 ; SSE41-NEXT:    cvttps2dq %xmm1, %xmm1
 198 ; SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
 199 ; SSE41-NEXT:    pmuludq %xmm2, %xmm3
 200 ; SSE41-NEXT:    pmuludq %xmm1, %xmm0
 201 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 202 ; SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
 203 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,0,2,2]
 204 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 205 ; SSE41-NEXT:    por %xmm1, %xmm0
 206 ; SSE41-NEXT:    retq
 207 ;
 208 ; AVX1-LABEL: var_funnnel_v4i32:
 209 ; AVX1:       # %bb.0:
 210 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 211 ; AVX1-NEXT:    vpslld $23, %xmm1, %xmm1
 212 ; AVX1-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 213 ; AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 214 ; AVX1-NEXT:    vcvttps2dq %xmm1, %xmm1
 215 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
 216 ; AVX1-NEXT:    vpmuludq %xmm3, %xmm2, %xmm2
 217 ; AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm0
 218 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 219 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 220 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[0,0,2,2]
 221 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 222 ; AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
 223 ; AVX1-NEXT:    retq
 224 ;
 225 ; AVX2-LABEL: var_funnnel_v4i32:
 226 ; AVX2:       # %bb.0:
 227 ; AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [31,31,31,31]
 228 ; AVX2-NEXT:    vpand %xmm2, %xmm1, %xmm1
 229 ; AVX2-NEXT:    vpsllvd %xmm1, %xmm0, %xmm2
 230 ; AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [32,32,32,32]
 231 ; AVX2-NEXT:    vpsubd %xmm1, %xmm3, %xmm1
 232 ; AVX2-NEXT:    vpsrlvd %xmm1, %xmm0, %xmm0
 233 ; AVX2-NEXT:    vpor %xmm0, %xmm2, %xmm0
 234 ; AVX2-NEXT:    retq
 235 ;
 236 ; AVX512F-LABEL: var_funnnel_v4i32:
 237 ; AVX512F:       # %bb.0:
 238 ; AVX512F-NEXT:    # kill: def $xmm1 killed $xmm1 def $zmm1
 239 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 240 ; AVX512F-NEXT:    vprolvd %zmm1, %zmm0, %zmm0
 241 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 242 ; AVX512F-NEXT:    vzeroupper
 243 ; AVX512F-NEXT:    retq
 244 ;
 245 ; AVX512VL-LABEL: var_funnnel_v4i32:
 246 ; AVX512VL:       # %bb.0:
 247 ; AVX512VL-NEXT:    vprolvd %xmm1, %xmm0, %xmm0
 248 ; AVX512VL-NEXT:    retq
 249 ;
 250 ; AVX512BW-LABEL: var_funnnel_v4i32:
 251 ; AVX512BW:       # %bb.0:
 252 ; AVX512BW-NEXT:    # kill: def $xmm1 killed $xmm1 def $zmm1
 253 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 254 ; AVX512BW-NEXT:    vprolvd %zmm1, %zmm0, %zmm0
 255 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 256 ; AVX512BW-NEXT:    vzeroupper
 257 ; AVX512BW-NEXT:    retq
 258 ;
 259 ; AVX512VLBW-LABEL: var_funnnel_v4i32:
 260 ; AVX512VLBW:       # %bb.0:
 261 ; AVX512VLBW-NEXT:    vprolvd %xmm1, %xmm0, %xmm0
 262 ; AVX512VLBW-NEXT:    retq
 263 ;
 264 ; AVX512VBMI2-LABEL: var_funnnel_v4i32:
 265 ; AVX512VBMI2:       # %bb.0:
 266 ; AVX512VBMI2-NEXT:    # kill: def $xmm1 killed $xmm1 def $zmm1
 267 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 268 ; AVX512VBMI2-NEXT:    vprolvd %zmm1, %zmm0, %zmm0
 269 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 270 ; AVX512VBMI2-NEXT:    vzeroupper
 271 ; AVX512VBMI2-NEXT:    retq
 272 ;
 273 ; AVX512VLVBMI2-LABEL: var_funnnel_v4i32:
 274 ; AVX512VLVBMI2:       # %bb.0:
 275 ; AVX512VLVBMI2-NEXT:    vprolvd %xmm1, %xmm0, %xmm0
 276 ; AVX512VLVBMI2-NEXT:    retq
 277 ;
 278 ; XOP-LABEL: var_funnnel_v4i32:
 279 ; XOP:       # %bb.0:
 280 ; XOP-NEXT:    vprotd %xmm1, %xmm0, %xmm0
 281 ; XOP-NEXT:    retq
 282 ;
 283 ; X86-SSE2-LABEL: var_funnnel_v4i32:
 284 ; X86-SSE2:       # %bb.0:
 285 ; X86-SSE2-NEXT:    pslld $23, %xmm1
 286 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1
 287 ; X86-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1
 288 ; X86-SSE2-NEXT:    cvttps2dq %xmm1, %xmm1
 289 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 290 ; X86-SSE2-NEXT:    pmuludq %xmm1, %xmm0
 291 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,3,2,3]
 292 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 293 ; X86-SSE2-NEXT:    pmuludq %xmm2, %xmm1
 294 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
 295 ; X86-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
 296 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 297 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 298 ; X86-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 299 ; X86-SSE2-NEXT:    por %xmm3, %xmm0
 300 ; X86-SSE2-NEXT:    retl
 301   %res = call <4 x i32> @llvm.fshl.v4i32(<4 x i32> %x, <4 x i32> %x, <4 x i32> %amt)
 302   ret <4 x i32> %res
 303 }
 304
 305 define <8 x i16> @var_funnnel_v8i16(<8 x i16> %x, <8 x i16> %amt) nounwind {
 306 ; SSE2-LABEL: var_funnnel_v8i16:
 307 ; SSE2:       # %bb.0:
 308 ; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 309 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
 310 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm2 = xmm2[4,4,5,5,6,6,7,7]
 311 ; SSE2-NEXT:    pslld $23, %xmm2
 312 ; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [1065353216,1065353216,1065353216,1065353216]
 313 ; SSE2-NEXT:    paddd %xmm3, %xmm2
 314 ; SSE2-NEXT:    cvttps2dq %xmm2, %xmm2
 315 ; SSE2-NEXT:    pslld $16, %xmm2
 316 ; SSE2-NEXT:    psrad $16, %xmm2
 317 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3]
 318 ; SSE2-NEXT:    pslld $23, %xmm1
 319 ; SSE2-NEXT:    paddd %xmm3, %xmm1
 320 ; SSE2-NEXT:    cvttps2dq %xmm1, %xmm1
 321 ; SSE2-NEXT:    pslld $16, %xmm1
 322 ; SSE2-NEXT:    psrad $16, %xmm1
 323 ; SSE2-NEXT:    packssdw %xmm2, %xmm1
 324 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 325 ; SSE2-NEXT:    pmulhuw %xmm1, %xmm2
 326 ; SSE2-NEXT:    pmullw %xmm1, %xmm0
 327 ; SSE2-NEXT:    por %xmm2, %xmm0
 328 ; SSE2-NEXT:    retq
 329 ;
 330 ; SSE41-LABEL: var_funnnel_v8i16:
 331 ; SSE41:       # %bb.0:
 332 ; SSE41-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 333 ; SSE41-NEXT:    pmovzxwd {{.*#+}} xmm2 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero
 334 ; SSE41-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4,4,5,5,6,6,7,7]
 335 ; SSE41-NEXT:    pslld $23, %xmm1
 336 ; SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [1065353216,1065353216,1065353216,1065353216]
 337 ; SSE41-NEXT:    paddd %xmm3, %xmm1
 338 ; SSE41-NEXT:    cvttps2dq %xmm1, %xmm1
 339 ; SSE41-NEXT:    pslld $23, %xmm2
 340 ; SSE41-NEXT:    paddd %xmm3, %xmm2
 341 ; SSE41-NEXT:    cvttps2dq %xmm2, %xmm2
 342 ; SSE41-NEXT:    packusdw %xmm1, %xmm2
 343 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
 344 ; SSE41-NEXT:    pmulhuw %xmm2, %xmm1
 345 ; SSE41-NEXT:    pmullw %xmm2, %xmm0
 346 ; SSE41-NEXT:    por %xmm1, %xmm0
 347 ; SSE41-NEXT:    retq
 348 ;
 349 ; AVX1-LABEL: var_funnnel_v8i16:
 350 ; AVX1:       # %bb.0:
 351 ; AVX1-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 352 ; AVX1-NEXT:    vpunpckhwd {{.*#+}} xmm2 = xmm1[4,4,5,5,6,6,7,7]
 353 ; AVX1-NEXT:    vpslld $23, %xmm2, %xmm2
 354 ; AVX1-NEXT:    vbroadcastss {{.*#+}} xmm3 = [1065353216,1065353216,1065353216,1065353216]
 355 ; AVX1-NEXT:    vpaddd %xmm3, %xmm2, %xmm2
 356 ; AVX1-NEXT:    vcvttps2dq %xmm2, %xmm2
 357 ; AVX1-NEXT:    vpmovzxwd {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero
 358 ; AVX1-NEXT:    vpslld $23, %xmm1, %xmm1
 359 ; AVX1-NEXT:    vpaddd %xmm3, %xmm1, %xmm1
 360 ; AVX1-NEXT:    vcvttps2dq %xmm1, %xmm1
 361 ; AVX1-NEXT:    vpackusdw %xmm2, %xmm1, %xmm1
 362 ; AVX1-NEXT:    vpmulhuw %xmm1, %xmm0, %xmm2
 363 ; AVX1-NEXT:    vpmullw %xmm1, %xmm0, %xmm0
 364 ; AVX1-NEXT:    vpor %xmm2, %xmm0, %xmm0
 365 ; AVX1-NEXT:    retq
 366 ;
 367 ; AVX2-LABEL: var_funnnel_v8i16:
 368 ; AVX2:       # %bb.0:
 369 ; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 370 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 371 ; AVX2-NEXT:    vpunpckhwd {{.*#+}} xmm2 = xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
 372 ; AVX2-NEXT:    vpunpckhwd {{.*#+}} xmm3 = xmm0[4,4,5,5,6,6,7,7]
 373 ; AVX2-NEXT:    vpsllvd %xmm2, %xmm3, %xmm2
 374 ; AVX2-NEXT:    vpsrld $16, %xmm2, %xmm2
 375 ; AVX2-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
 376 ; AVX2-NEXT:    vpmovzxwd {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero
 377 ; AVX2-NEXT:    vpsllvd %xmm1, %xmm0, %xmm0
 378 ; AVX2-NEXT:    vpsrld $16, %xmm0, %xmm0
 379 ; AVX2-NEXT:    vpackusdw %xmm2, %xmm0, %xmm0
 380 ; AVX2-NEXT:    retq
 381 ;
 382 ; AVX512F-LABEL: var_funnnel_v8i16:
 383 ; AVX512F:       # %bb.0:
 384 ; AVX512F-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 385 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 386 ; AVX512F-NEXT:    vpunpckhwd {{.*#+}} xmm2 = xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
 387 ; AVX512F-NEXT:    vpunpckhwd {{.*#+}} xmm3 = xmm0[4,4,5,5,6,6,7,7]
 388 ; AVX512F-NEXT:    vpsllvd %xmm2, %xmm3, %xmm2
 389 ; AVX512F-NEXT:    vpsrld $16, %xmm2, %xmm2
 390 ; AVX512F-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
 391 ; AVX512F-NEXT:    vpmovzxwd {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero
 392 ; AVX512F-NEXT:    vpsllvd %xmm1, %xmm0, %xmm0
 393 ; AVX512F-NEXT:    vpsrld $16, %xmm0, %xmm0
 394 ; AVX512F-NEXT:    vpackusdw %xmm2, %xmm0, %xmm0
 395 ; AVX512F-NEXT:    retq
 396 ;
 397 ; AVX512VL-LABEL: var_funnnel_v8i16:
 398 ; AVX512VL:       # %bb.0:
 399 ; AVX512VL-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm1
 400 ; AVX512VL-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 401 ; AVX512VL-NEXT:    vpunpckhwd {{.*#+}} xmm2 = xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
 402 ; AVX512VL-NEXT:    vpunpckhwd {{.*#+}} xmm3 = xmm0[4,4,5,5,6,6,7,7]
 403 ; AVX512VL-NEXT:    vpsllvd %xmm2, %xmm3, %xmm2
 404 ; AVX512VL-NEXT:    vpsrld $16, %xmm2, %xmm2
 405 ; AVX512VL-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
 406 ; AVX512VL-NEXT:    vpmovzxwd {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero
 407 ; AVX512VL-NEXT:    vpsllvd %xmm1, %xmm0, %xmm0
 408 ; AVX512VL-NEXT:    vpsrld $16, %xmm0, %xmm0
 409 ; AVX512VL-NEXT:    vpackusdw %xmm2, %xmm0, %xmm0
 410 ; AVX512VL-NEXT:    retq
 411 ;
 412 ; AVX512BW-LABEL: var_funnnel_v8i16:
 413 ; AVX512BW:       # %bb.0:
 414 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 415 ; AVX512BW-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 416 ; AVX512BW-NEXT:    vpsllvw %zmm1, %zmm0, %zmm2
 417 ; AVX512BW-NEXT:    vpbroadcastw {{.*#+}} xmm3 = [16,16,16,16,16,16,16,16]
 418 ; AVX512BW-NEXT:    vpsubw %xmm1, %xmm3, %xmm1
 419 ; AVX512BW-NEXT:    vpsrlvw %zmm1, %zmm0, %zmm0
 420 ; AVX512BW-NEXT:    vpor %xmm0, %xmm2, %xmm0
 421 ; AVX512BW-NEXT:    vzeroupper
 422 ; AVX512BW-NEXT:    retq
 423 ;
 424 ; AVX512VLBW-LABEL: var_funnnel_v8i16:
 425 ; AVX512VLBW:       # %bb.0:
 426 ; AVX512VLBW-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm1
 427 ; AVX512VLBW-NEXT:    vpsllvw %xmm1, %xmm0, %xmm2
 428 ; AVX512VLBW-NEXT:    vpbroadcastw {{.*#+}} xmm3 = [16,16,16,16,16,16,16,16]
 429 ; AVX512VLBW-NEXT:    vpsubw %xmm1, %xmm3, %xmm1
 430 ; AVX512VLBW-NEXT:    vpsrlvw %xmm1, %xmm0, %xmm0
 431 ; AVX512VLBW-NEXT:    vpor %xmm0, %xmm2, %xmm0
 432 ; AVX512VLBW-NEXT:    retq
 433 ;
 434 ; AVX512VBMI2-LABEL: var_funnnel_v8i16:
 435 ; AVX512VBMI2:       # %bb.0:
 436 ; AVX512VBMI2-NEXT:    # kill: def $xmm1 killed $xmm1 def $zmm1
 437 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 438 ; AVX512VBMI2-NEXT:    vpshldvw %zmm1, %zmm0, %zmm0
 439 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 440 ; AVX512VBMI2-NEXT:    vzeroupper
 441 ; AVX512VBMI2-NEXT:    retq
 442 ;
 443 ; AVX512VLVBMI2-LABEL: var_funnnel_v8i16:
 444 ; AVX512VLVBMI2:       # %bb.0:
 445 ; AVX512VLVBMI2-NEXT:    vpshldvw %xmm1, %xmm0, %xmm0
 446 ; AVX512VLVBMI2-NEXT:    retq
 447 ;
 448 ; XOP-LABEL: var_funnnel_v8i16:
 449 ; XOP:       # %bb.0:
 450 ; XOP-NEXT:    vprotw %xmm1, %xmm0, %xmm0
 451 ; XOP-NEXT:    retq
 452 ;
 453 ; X86-SSE2-LABEL: var_funnnel_v8i16:
 454 ; X86-SSE2:       # %bb.0:
 455 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1
 456 ; X86-SSE2-NEXT:    movdqa %xmm1, %xmm2
 457 ; X86-SSE2-NEXT:    punpckhwd {{.*#+}} xmm2 = xmm2[4,4,5,5,6,6,7,7]
 458 ; X86-SSE2-NEXT:    pslld $23, %xmm2
 459 ; X86-SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [1065353216,1065353216,1065353216,1065353216]
 460 ; X86-SSE2-NEXT:    paddd %xmm3, %xmm2
 461 ; X86-SSE2-NEXT:    cvttps2dq %xmm2, %xmm2
 462 ; X86-SSE2-NEXT:    pslld $16, %xmm2
 463 ; X86-SSE2-NEXT:    psrad $16, %xmm2
 464 ; X86-SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3]
 465 ; X86-SSE2-NEXT:    pslld $23, %xmm1
 466 ; X86-SSE2-NEXT:    paddd %xmm3, %xmm1
 467 ; X86-SSE2-NEXT:    cvttps2dq %xmm1, %xmm1
 468 ; X86-SSE2-NEXT:    pslld $16, %xmm1
 469 ; X86-SSE2-NEXT:    psrad $16, %xmm1
 470 ; X86-SSE2-NEXT:    packssdw %xmm2, %xmm1
 471 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm2
 472 ; X86-SSE2-NEXT:    pmulhuw %xmm1, %xmm2
 473 ; X86-SSE2-NEXT:    pmullw %xmm1, %xmm0
 474 ; X86-SSE2-NEXT:    por %xmm2, %xmm0
 475 ; X86-SSE2-NEXT:    retl
 476   %res = call <8 x i16> @llvm.fshl.v8i16(<8 x i16> %x, <8 x i16> %x, <8 x i16> %amt)
 477   ret <8 x i16> %res
 478 }
 479
 480 define <16 x i8> @var_funnnel_v16i8(<16 x i8> %x, <16 x i8> %amt) nounwind {
 481 ; SSE2-LABEL: var_funnnel_v16i8:
 482 ; SSE2:       # %bb.0:
 483 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 484 ; SSE2-NEXT:    psllw $5, %xmm1
 485 ; SSE2-NEXT:    pxor %xmm0, %xmm0
 486 ; SSE2-NEXT:    pxor %xmm3, %xmm3
 487 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm3
 488 ; SSE2-NEXT:    movdqa %xmm2, %xmm4
 489 ; SSE2-NEXT:    psrlw $4, %xmm4
 490 ; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
 491 ; SSE2-NEXT:    movdqa %xmm2, %xmm5
 492 ; SSE2-NEXT:    psllw $4, %xmm5
 493 ; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
 494 ; SSE2-NEXT:    por %xmm4, %xmm5
 495 ; SSE2-NEXT:    pand %xmm3, %xmm5
 496 ; SSE2-NEXT:    pandn %xmm2, %xmm3
 497 ; SSE2-NEXT:    por %xmm5, %xmm3
 498 ; SSE2-NEXT:    movdqa %xmm3, %xmm2
 499 ; SSE2-NEXT:    psrlw $6, %xmm2
 500 ; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
 501 ; SSE2-NEXT:    movdqa %xmm3, %xmm4
 502 ; SSE2-NEXT:    psllw $2, %xmm4
 503 ; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
 504 ; SSE2-NEXT:    por %xmm2, %xmm4
 505 ; SSE2-NEXT:    paddb %xmm1, %xmm1
 506 ; SSE2-NEXT:    pxor %xmm2, %xmm2
 507 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm2
 508 ; SSE2-NEXT:    pand %xmm2, %xmm4
 509 ; SSE2-NEXT:    pandn %xmm3, %xmm2
 510 ; SSE2-NEXT:    por %xmm4, %xmm2
 511 ; SSE2-NEXT:    movdqa %xmm2, %xmm3
 512 ; SSE2-NEXT:    psrlw $7, %xmm3
 513 ; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
 514 ; SSE2-NEXT:    movdqa %xmm2, %xmm4
 515 ; SSE2-NEXT:    paddb %xmm2, %xmm4
 516 ; SSE2-NEXT:    por %xmm3, %xmm4
 517 ; SSE2-NEXT:    paddb %xmm1, %xmm1
 518 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm0
 519 ; SSE2-NEXT:    pand %xmm0, %xmm4
 520 ; SSE2-NEXT:    pandn %xmm2, %xmm0
 521 ; SSE2-NEXT:    por %xmm4, %xmm0
 522 ; SSE2-NEXT:    retq
 523 ;
 524 ; SSE41-LABEL: var_funnnel_v16i8:
 525 ; SSE41:       # %bb.0:
 526 ; SSE41-NEXT:    movdqa %xmm1, %xmm2
 527 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
 528 ; SSE41-NEXT:    psrlw $4, %xmm0
 529 ; SSE41-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 530 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
 531 ; SSE41-NEXT:    psllw $4, %xmm3
 532 ; SSE41-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
 533 ; SSE41-NEXT:    por %xmm0, %xmm3
 534 ; SSE41-NEXT:    psllw $5, %xmm2
 535 ; SSE41-NEXT:    movdqa %xmm2, %xmm0
 536 ; SSE41-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
 537 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 538 ; SSE41-NEXT:    psrlw $6, %xmm0
 539 ; SSE41-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 540 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
 541 ; SSE41-NEXT:    psllw $2, %xmm3
 542 ; SSE41-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
 543 ; SSE41-NEXT:    por %xmm0, %xmm3
 544 ; SSE41-NEXT:    paddb %xmm2, %xmm2
 545 ; SSE41-NEXT:    movdqa %xmm2, %xmm0
 546 ; SSE41-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
 547 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 548 ; SSE41-NEXT:    psrlw $7, %xmm0
 549 ; SSE41-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 550 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
 551 ; SSE41-NEXT:    paddb %xmm1, %xmm3
 552 ; SSE41-NEXT:    por %xmm0, %xmm3
 553 ; SSE41-NEXT:    paddb %xmm2, %xmm2
 554 ; SSE41-NEXT:    movdqa %xmm2, %xmm0
 555 ; SSE41-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
 556 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 557 ; SSE41-NEXT:    retq
 558 ;
 559 ; AVX-LABEL: var_funnnel_v16i8:
 560 ; AVX:       # %bb.0:
 561 ; AVX-NEXT:    vpsrlw $4, %xmm0, %xmm2
 562 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2, %xmm2
 563 ; AVX-NEXT:    vpsllw $4, %xmm0, %xmm3
 564 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3, %xmm3
 565 ; AVX-NEXT:    vpor %xmm2, %xmm3, %xmm2
 566 ; AVX-NEXT:    vpsllw $5, %xmm1, %xmm1
 567 ; AVX-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
 568 ; AVX-NEXT:    vpsrlw $6, %xmm0, %xmm2
 569 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2, %xmm2
 570 ; AVX-NEXT:    vpsllw $2, %xmm0, %xmm3
 571 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3, %xmm3
 572 ; AVX-NEXT:    vpor %xmm2, %xmm3, %xmm2
 573 ; AVX-NEXT:    vpaddb %xmm1, %xmm1, %xmm1
 574 ; AVX-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
 575 ; AVX-NEXT:    vpsrlw $7, %xmm0, %xmm2
 576 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2, %xmm2
 577 ; AVX-NEXT:    vpaddb %xmm0, %xmm0, %xmm3
 578 ; AVX-NEXT:    vpor %xmm2, %xmm3, %xmm2
 579 ; AVX-NEXT:    vpaddb %xmm1, %xmm1, %xmm1
 580 ; AVX-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
 581 ; AVX-NEXT:    retq
 582 ;
 583 ; AVX512F-LABEL: var_funnnel_v16i8:
 584 ; AVX512F:       # %bb.0:
 585 ; AVX512F-NEXT:    vpmovzxbd {{.*#+}} zmm0 = xmm0[0],zero,zero,zero,xmm0[1],zero,zero,zero,xmm0[2],zero,zero,zero,xmm0[3],zero,zero,zero,xmm0[4],zero,zero,zero,xmm0[5],zero,zero,zero,xmm0[6],zero,zero,zero,xmm0[7],zero,zero,zero,xmm0[8],zero,zero,zero,xmm0[9],zero,zero,zero,xmm0[10],zero,zero,zero,xmm0[11],zero,zero,zero,xmm0[12],zero,zero,zero,xmm0[13],zero,zero,zero,xmm0[14],zero,zero,zero,xmm0[15],zero,zero,zero
 586 ; AVX512F-NEXT:    vpslld $8, %zmm0, %zmm2
 587 ; AVX512F-NEXT:    vpord %zmm2, %zmm0, %zmm0
 588 ; AVX512F-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 589 ; AVX512F-NEXT:    vpmovzxbd {{.*#+}} zmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero,xmm1[2],zero,zero,zero,xmm1[3],zero,zero,zero,xmm1[4],zero,zero,zero,xmm1[5],zero,zero,zero,xmm1[6],zero,zero,zero,xmm1[7],zero,zero,zero,xmm1[8],zero,zero,zero,xmm1[9],zero,zero,zero,xmm1[10],zero,zero,zero,xmm1[11],zero,zero,zero,xmm1[12],zero,zero,zero,xmm1[13],zero,zero,zero,xmm1[14],zero,zero,zero,xmm1[15],zero,zero,zero
 590 ; AVX512F-NEXT:    vpsllvd %zmm1, %zmm0, %zmm0
 591 ; AVX512F-NEXT:    vpsrld $8, %zmm0, %zmm0
 592 ; AVX512F-NEXT:    vpmovdb %zmm0, %xmm0
 593 ; AVX512F-NEXT:    vzeroupper
 594 ; AVX512F-NEXT:    retq
 595 ;
 596 ; AVX512VL-LABEL: var_funnnel_v16i8:
 597 ; AVX512VL:       # %bb.0:
 598 ; AVX512VL-NEXT:    vpmovzxbd {{.*#+}} zmm0 = xmm0[0],zero,zero,zero,xmm0[1],zero,zero,zero,xmm0[2],zero,zero,zero,xmm0[3],zero,zero,zero,xmm0[4],zero,zero,zero,xmm0[5],zero,zero,zero,xmm0[6],zero,zero,zero,xmm0[7],zero,zero,zero,xmm0[8],zero,zero,zero,xmm0[9],zero,zero,zero,xmm0[10],zero,zero,zero,xmm0[11],zero,zero,zero,xmm0[12],zero,zero,zero,xmm0[13],zero,zero,zero,xmm0[14],zero,zero,zero,xmm0[15],zero,zero,zero
 599 ; AVX512VL-NEXT:    vpslld $8, %zmm0, %zmm2
 600 ; AVX512VL-NEXT:    vpord %zmm2, %zmm0, %zmm0
 601 ; AVX512VL-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm1
 602 ; AVX512VL-NEXT:    vpmovzxbd {{.*#+}} zmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero,xmm1[2],zero,zero,zero,xmm1[3],zero,zero,zero,xmm1[4],zero,zero,zero,xmm1[5],zero,zero,zero,xmm1[6],zero,zero,zero,xmm1[7],zero,zero,zero,xmm1[8],zero,zero,zero,xmm1[9],zero,zero,zero,xmm1[10],zero,zero,zero,xmm1[11],zero,zero,zero,xmm1[12],zero,zero,zero,xmm1[13],zero,zero,zero,xmm1[14],zero,zero,zero,xmm1[15],zero,zero,zero
 603 ; AVX512VL-NEXT:    vpsllvd %zmm1, %zmm0, %zmm0
 604 ; AVX512VL-NEXT:    vpsrld $8, %zmm0, %zmm0
 605 ; AVX512VL-NEXT:    vpmovdb %zmm0, %xmm0
 606 ; AVX512VL-NEXT:    vzeroupper
 607 ; AVX512VL-NEXT:    retq
 608 ;
 609 ; AVX512BW-LABEL: var_funnnel_v16i8:
 610 ; AVX512BW:       # %bb.0:
 611 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
 612 ; AVX512BW-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 613 ; AVX512BW-NEXT:    vpxor %xmm3, %xmm3, %xmm3
 614 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} xmm3 = xmm1[8],xmm3[8],xmm1[9],xmm3[9],xmm1[10],xmm3[10],xmm1[11],xmm3[11],xmm1[12],xmm3[12],xmm1[13],xmm3[13],xmm1[14],xmm3[14],xmm1[15],xmm3[15]
 615 ; AVX512BW-NEXT:    vpsllvw %zmm3, %zmm2, %zmm2
 616 ; AVX512BW-NEXT:    vpsrlw $8, %xmm2, %xmm2
 617 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 618 ; AVX512BW-NEXT:    vpmovzxbw {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
 619 ; AVX512BW-NEXT:    vpsllvw %zmm1, %zmm0, %zmm0
 620 ; AVX512BW-NEXT:    vpsrlw $8, %xmm0, %xmm0
 621 ; AVX512BW-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
 622 ; AVX512BW-NEXT:    vzeroupper
 623 ; AVX512BW-NEXT:    retq
 624 ;
 625 ; AVX512VLBW-LABEL: var_funnnel_v16i8:
 626 ; AVX512VLBW:       # %bb.0:
 627 ; AVX512VLBW-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm1
 628 ; AVX512VLBW-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 629 ; AVX512VLBW-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm1[8],xmm2[8],xmm1[9],xmm2[9],xmm1[10],xmm2[10],xmm1[11],xmm2[11],xmm1[12],xmm2[12],xmm1[13],xmm2[13],xmm1[14],xmm2[14],xmm1[15],xmm2[15]
 630 ; AVX512VLBW-NEXT:    vpunpckhbw {{.*#+}} xmm3 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
 631 ; AVX512VLBW-NEXT:    vpsllvw %xmm2, %xmm3, %xmm2
 632 ; AVX512VLBW-NEXT:    vpsrlw $8, %xmm2, %xmm2
 633 ; AVX512VLBW-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 634 ; AVX512VLBW-NEXT:    vpmovzxbw {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
 635 ; AVX512VLBW-NEXT:    vpsllvw %xmm1, %xmm0, %xmm0
 636 ; AVX512VLBW-NEXT:    vpsrlw $8, %xmm0, %xmm0
 637 ; AVX512VLBW-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
 638 ; AVX512VLBW-NEXT:    retq
 639 ;
 640 ; AVX512VBMI2-LABEL: var_funnnel_v16i8:
 641 ; AVX512VBMI2:       # %bb.0:
 642 ; AVX512VBMI2-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
 643 ; AVX512VBMI2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 644 ; AVX512VBMI2-NEXT:    vpxor %xmm3, %xmm3, %xmm3
 645 ; AVX512VBMI2-NEXT:    vpunpckhbw {{.*#+}} xmm3 = xmm1[8],xmm3[8],xmm1[9],xmm3[9],xmm1[10],xmm3[10],xmm1[11],xmm3[11],xmm1[12],xmm3[12],xmm1[13],xmm3[13],xmm1[14],xmm3[14],xmm1[15],xmm3[15]
 646 ; AVX512VBMI2-NEXT:    vpsllvw %zmm3, %zmm2, %zmm2
 647 ; AVX512VBMI2-NEXT:    vpsrlw $8, %xmm2, %xmm2
 648 ; AVX512VBMI2-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 649 ; AVX512VBMI2-NEXT:    vpmovzxbw {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
 650 ; AVX512VBMI2-NEXT:    vpsllvw %zmm1, %zmm0, %zmm0
 651 ; AVX512VBMI2-NEXT:    vpsrlw $8, %xmm0, %xmm0
 652 ; AVX512VBMI2-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
 653 ; AVX512VBMI2-NEXT:    vzeroupper
 654 ; AVX512VBMI2-NEXT:    retq
 655 ;
 656 ; AVX512VLVBMI2-LABEL: var_funnnel_v16i8:
 657 ; AVX512VLVBMI2:       # %bb.0:
 658 ; AVX512VLVBMI2-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm1
 659 ; AVX512VLVBMI2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 660 ; AVX512VLVBMI2-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm1[8],xmm2[8],xmm1[9],xmm2[9],xmm1[10],xmm2[10],xmm1[11],xmm2[11],xmm1[12],xmm2[12],xmm1[13],xmm2[13],xmm1[14],xmm2[14],xmm1[15],xmm2[15]
 661 ; AVX512VLVBMI2-NEXT:    vpunpckhbw {{.*#+}} xmm3 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
 662 ; AVX512VLVBMI2-NEXT:    vpsllvw %xmm2, %xmm3, %xmm2
 663 ; AVX512VLVBMI2-NEXT:    vpsrlw $8, %xmm2, %xmm2
 664 ; AVX512VLVBMI2-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 665 ; AVX512VLVBMI2-NEXT:    vpmovzxbw {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
 666 ; AVX512VLVBMI2-NEXT:    vpsllvw %xmm1, %xmm0, %xmm0
 667 ; AVX512VLVBMI2-NEXT:    vpsrlw $8, %xmm0, %xmm0
 668 ; AVX512VLVBMI2-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
 669 ; AVX512VLVBMI2-NEXT:    retq
 670 ;
 671 ; XOP-LABEL: var_funnnel_v16i8:
 672 ; XOP:       # %bb.0:
 673 ; XOP-NEXT:    vprotb %xmm1, %xmm0, %xmm0
 674 ; XOP-NEXT:    retq
 675 ;
 676 ; X86-SSE2-LABEL: var_funnnel_v16i8:
 677 ; X86-SSE2:       # %bb.0:
 678 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm2
 679 ; X86-SSE2-NEXT:    psllw $5, %xmm1
 680 ; X86-SSE2-NEXT:    pxor %xmm0, %xmm0
 681 ; X86-SSE2-NEXT:    pxor %xmm3, %xmm3
 682 ; X86-SSE2-NEXT:    pcmpgtb %xmm1, %xmm3
 683 ; X86-SSE2-NEXT:    movdqa %xmm2, %xmm4
 684 ; X86-SSE2-NEXT:    psrlw $4, %xmm4
 685 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm4
 686 ; X86-SSE2-NEXT:    movdqa %xmm2, %xmm5
 687 ; X86-SSE2-NEXT:    psllw $4, %xmm5
 688 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm5
 689 ; X86-SSE2-NEXT:    por %xmm4, %xmm5
 690 ; X86-SSE2-NEXT:    pand %xmm3, %xmm5
 691 ; X86-SSE2-NEXT:    pandn %xmm2, %xmm3
 692 ; X86-SSE2-NEXT:    por %xmm5, %xmm3
 693 ; X86-SSE2-NEXT:    movdqa %xmm3, %xmm2
 694 ; X86-SSE2-NEXT:    psrlw $6, %xmm2
 695 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm2
 696 ; X86-SSE2-NEXT:    movdqa %xmm3, %xmm4
 697 ; X86-SSE2-NEXT:    psllw $2, %xmm4
 698 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm4
 699 ; X86-SSE2-NEXT:    por %xmm2, %xmm4
 700 ; X86-SSE2-NEXT:    paddb %xmm1, %xmm1
 701 ; X86-SSE2-NEXT:    pxor %xmm2, %xmm2
 702 ; X86-SSE2-NEXT:    pcmpgtb %xmm1, %xmm2
 703 ; X86-SSE2-NEXT:    pand %xmm2, %xmm4
 704 ; X86-SSE2-NEXT:    pandn %xmm3, %xmm2
 705 ; X86-SSE2-NEXT:    por %xmm4, %xmm2
 706 ; X86-SSE2-NEXT:    movdqa %xmm2, %xmm3
 707 ; X86-SSE2-NEXT:    psrlw $7, %xmm3
 708 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm3
 709 ; X86-SSE2-NEXT:    movdqa %xmm2, %xmm4
 710 ; X86-SSE2-NEXT:    paddb %xmm2, %xmm4
 711 ; X86-SSE2-NEXT:    por %xmm3, %xmm4
 712 ; X86-SSE2-NEXT:    paddb %xmm1, %xmm1
 713 ; X86-SSE2-NEXT:    pcmpgtb %xmm1, %xmm0
 714 ; X86-SSE2-NEXT:    pand %xmm0, %xmm4
 715 ; X86-SSE2-NEXT:    pandn %xmm2, %xmm0
 716 ; X86-SSE2-NEXT:    por %xmm4, %xmm0
 717 ; X86-SSE2-NEXT:    retl
 718   %res = call <16 x i8> @llvm.fshl.v16i8(<16 x i8> %x, <16 x i8> %x, <16 x i8> %amt)
 719   ret <16 x i8> %res
 720 }
 721
 722 ;
 723 ; Uniform Variable Shifts
 724 ;
 725
 726 define <2 x i64> @splatvar_funnnel_v2i64(<2 x i64> %x, <2 x i64> %amt) nounwind {
 727 ; SSE2-LABEL: splatvar_funnnel_v2i64:
 728 ; SSE2:       # %bb.0:
 729 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [63,63]
 730 ; SSE2-NEXT:    pxor %xmm3, %xmm3
 731 ; SSE2-NEXT:    psubq %xmm1, %xmm3
 732 ; SSE2-NEXT:    pand %xmm2, %xmm1
 733 ; SSE2-NEXT:    movdqa %xmm0, %xmm4
 734 ; SSE2-NEXT:    psllq %xmm1, %xmm4
 735 ; SSE2-NEXT:    pand %xmm2, %xmm3
 736 ; SSE2-NEXT:    psrlq %xmm3, %xmm0
 737 ; SSE2-NEXT:    por %xmm4, %xmm0
 738 ; SSE2-NEXT:    retq
 739 ;
 740 ; SSE41-LABEL: splatvar_funnnel_v2i64:
 741 ; SSE41:       # %bb.0:
 742 ; SSE41-NEXT:    pmovsxbq {{.*#+}} xmm2 = [63,63]
 743 ; SSE41-NEXT:    pxor %xmm3, %xmm3
 744 ; SSE41-NEXT:    psubq %xmm1, %xmm3
 745 ; SSE41-NEXT:    pand %xmm2, %xmm1
 746 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
 747 ; SSE41-NEXT:    psllq %xmm1, %xmm4
 748 ; SSE41-NEXT:    pand %xmm2, %xmm3
 749 ; SSE41-NEXT:    psrlq %xmm3, %xmm0
 750 ; SSE41-NEXT:    por %xmm4, %xmm0
 751 ; SSE41-NEXT:    retq
 752 ;
 753 ; AVX-LABEL: splatvar_funnnel_v2i64:
 754 ; AVX:       # %bb.0:
 755 ; AVX-NEXT:    vpmovsxbq {{.*#+}} xmm2 = [63,63]
 756 ; AVX-NEXT:    vpand %xmm2, %xmm1, %xmm3
 757 ; AVX-NEXT:    vpsllq %xmm3, %xmm0, %xmm3
 758 ; AVX-NEXT:    vpxor %xmm4, %xmm4, %xmm4
 759 ; AVX-NEXT:    vpsubq %xmm1, %xmm4, %xmm1
 760 ; AVX-NEXT:    vpand %xmm2, %xmm1, %xmm1
 761 ; AVX-NEXT:    vpsrlq %xmm1, %xmm0, %xmm0
 762 ; AVX-NEXT:    vpor %xmm0, %xmm3, %xmm0
 763 ; AVX-NEXT:    retq
 764 ;
 765 ; AVX512F-LABEL: splatvar_funnnel_v2i64:
 766 ; AVX512F:       # %bb.0:
 767 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 768 ; AVX512F-NEXT:    vpbroadcastq %xmm1, %xmm1
 769 ; AVX512F-NEXT:    vprolvq %zmm1, %zmm0, %zmm0
 770 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 771 ; AVX512F-NEXT:    vzeroupper
 772 ; AVX512F-NEXT:    retq
 773 ;
 774 ; AVX512VL-LABEL: splatvar_funnnel_v2i64:
 775 ; AVX512VL:       # %bb.0:
 776 ; AVX512VL-NEXT:    vpbroadcastq %xmm1, %xmm1
 777 ; AVX512VL-NEXT:    vprolvq %xmm1, %xmm0, %xmm0
 778 ; AVX512VL-NEXT:    retq
 779 ;
 780 ; AVX512BW-LABEL: splatvar_funnnel_v2i64:
 781 ; AVX512BW:       # %bb.0:
 782 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 783 ; AVX512BW-NEXT:    vpbroadcastq %xmm1, %xmm1
 784 ; AVX512BW-NEXT:    vprolvq %zmm1, %zmm0, %zmm0
 785 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 786 ; AVX512BW-NEXT:    vzeroupper
 787 ; AVX512BW-NEXT:    retq
 788 ;
 789 ; AVX512VLBW-LABEL: splatvar_funnnel_v2i64:
 790 ; AVX512VLBW:       # %bb.0:
 791 ; AVX512VLBW-NEXT:    vpbroadcastq %xmm1, %xmm1
 792 ; AVX512VLBW-NEXT:    vprolvq %xmm1, %xmm0, %xmm0
 793 ; AVX512VLBW-NEXT:    retq
 794 ;
 795 ; AVX512VBMI2-LABEL: splatvar_funnnel_v2i64:
 796 ; AVX512VBMI2:       # %bb.0:
 797 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 798 ; AVX512VBMI2-NEXT:    vpbroadcastq %xmm1, %xmm1
 799 ; AVX512VBMI2-NEXT:    vprolvq %zmm1, %zmm0, %zmm0
 800 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 801 ; AVX512VBMI2-NEXT:    vzeroupper
 802 ; AVX512VBMI2-NEXT:    retq
 803 ;
 804 ; AVX512VLVBMI2-LABEL: splatvar_funnnel_v2i64:
 805 ; AVX512VLVBMI2:       # %bb.0:
 806 ; AVX512VLVBMI2-NEXT:    vpbroadcastq %xmm1, %xmm1
 807 ; AVX512VLVBMI2-NEXT:    vprolvq %xmm1, %xmm0, %xmm0
 808 ; AVX512VLVBMI2-NEXT:    retq
 809 ;
 810 ; XOPAVX1-LABEL: splatvar_funnnel_v2i64:
 811 ; XOPAVX1:       # %bb.0:
 812 ; XOPAVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[0,1,0,1]
 813 ; XOPAVX1-NEXT:    vprotq %xmm1, %xmm0, %xmm0
 814 ; XOPAVX1-NEXT:    retq
 815 ;
 816 ; XOPAVX2-LABEL: splatvar_funnnel_v2i64:
 817 ; XOPAVX2:       # %bb.0:
 818 ; XOPAVX2-NEXT:    vpbroadcastq %xmm1, %xmm1
 819 ; XOPAVX2-NEXT:    vprotq %xmm1, %xmm0, %xmm0
 820 ; XOPAVX2-NEXT:    retq
 821 ;
 822 ; X86-SSE2-LABEL: splatvar_funnnel_v2i64:
 823 ; X86-SSE2:       # %bb.0:
 824 ; X86-SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [63,0,63,0]
 825 ; X86-SSE2-NEXT:    pxor %xmm3, %xmm3
 826 ; X86-SSE2-NEXT:    psubq %xmm1, %xmm3
 827 ; X86-SSE2-NEXT:    pand %xmm2, %xmm1
 828 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm4
 829 ; X86-SSE2-NEXT:    psllq %xmm1, %xmm4
 830 ; X86-SSE2-NEXT:    pand %xmm2, %xmm3
 831 ; X86-SSE2-NEXT:    psrlq %xmm3, %xmm0
 832 ; X86-SSE2-NEXT:    por %xmm4, %xmm0
 833 ; X86-SSE2-NEXT:    retl
 834   %splat = shufflevector <2 x i64> %amt, <2 x i64> undef, <2 x i32> zeroinitializer
 835   %res = call <2 x i64> @llvm.fshl.v2i64(<2 x i64> %x, <2 x i64> %x, <2 x i64> %splat)
 836   ret <2 x i64> %res
 837 }
 838
 839 define <4 x i32> @splatvar_funnnel_v4i32(<4 x i32> %x, <4 x i32> %amt) nounwind {
 840 ; SSE-LABEL: splatvar_funnnel_v4i32:
 841 ; SSE:       # %bb.0:
 842 ; SSE-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 843 ; SSE-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,2,3,3]
 844 ; SSE-NEXT:    psllq %xmm1, %xmm2
 845 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,0,1,1]
 846 ; SSE-NEXT:    psllq %xmm1, %xmm0
 847 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[1,3],xmm2[1,3]
 848 ; SSE-NEXT:    retq
 849 ;
 850 ; AVX-LABEL: splatvar_funnnel_v4i32:
 851 ; AVX:       # %bb.0:
 852 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 853 ; AVX-NEXT:    vpshufd {{.*#+}} xmm2 = xmm0[2,2,3,3]
 854 ; AVX-NEXT:    vpsllq %xmm1, %xmm2, %xmm2
 855 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,0,1,1]
 856 ; AVX-NEXT:    vpsllq %xmm1, %xmm0, %xmm0
 857 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[1,3],xmm2[1,3]
 858 ; AVX-NEXT:    retq
 859 ;
 860 ; AVX512F-LABEL: splatvar_funnnel_v4i32:
 861 ; AVX512F:       # %bb.0:
 862 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 863 ; AVX512F-NEXT:    vpbroadcastd %xmm1, %xmm1
 864 ; AVX512F-NEXT:    vprolvd %zmm1, %zmm0, %zmm0
 865 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 866 ; AVX512F-NEXT:    vzeroupper
 867 ; AVX512F-NEXT:    retq
 868 ;
 869 ; AVX512VL-LABEL: splatvar_funnnel_v4i32:
 870 ; AVX512VL:       # %bb.0:
 871 ; AVX512VL-NEXT:    vpbroadcastd %xmm1, %xmm1
 872 ; AVX512VL-NEXT:    vprolvd %xmm1, %xmm0, %xmm0
 873 ; AVX512VL-NEXT:    retq
 874 ;
 875 ; AVX512BW-LABEL: splatvar_funnnel_v4i32:
 876 ; AVX512BW:       # %bb.0:
 877 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 878 ; AVX512BW-NEXT:    vpbroadcastd %xmm1, %xmm1
 879 ; AVX512BW-NEXT:    vprolvd %zmm1, %zmm0, %zmm0
 880 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 881 ; AVX512BW-NEXT:    vzeroupper
 882 ; AVX512BW-NEXT:    retq
 883 ;
 884 ; AVX512VLBW-LABEL: splatvar_funnnel_v4i32:
 885 ; AVX512VLBW:       # %bb.0:
 886 ; AVX512VLBW-NEXT:    vpbroadcastd %xmm1, %xmm1
 887 ; AVX512VLBW-NEXT:    vprolvd %xmm1, %xmm0, %xmm0
 888 ; AVX512VLBW-NEXT:    retq
 889 ;
 890 ; AVX512VBMI2-LABEL: splatvar_funnnel_v4i32:
 891 ; AVX512VBMI2:       # %bb.0:
 892 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 893 ; AVX512VBMI2-NEXT:    vpbroadcastd %xmm1, %xmm1
 894 ; AVX512VBMI2-NEXT:    vprolvd %zmm1, %zmm0, %zmm0
 895 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 896 ; AVX512VBMI2-NEXT:    vzeroupper
 897 ; AVX512VBMI2-NEXT:    retq
 898 ;
 899 ; AVX512VLVBMI2-LABEL: splatvar_funnnel_v4i32:
 900 ; AVX512VLVBMI2:       # %bb.0:
 901 ; AVX512VLVBMI2-NEXT:    vpbroadcastd %xmm1, %xmm1
 902 ; AVX512VLVBMI2-NEXT:    vprolvd %xmm1, %xmm0, %xmm0
 903 ; AVX512VLVBMI2-NEXT:    retq
 904 ;
 905 ; XOPAVX1-LABEL: splatvar_funnnel_v4i32:
 906 ; XOPAVX1:       # %bb.0:
 907 ; XOPAVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[0,0,0,0]
 908 ; XOPAVX1-NEXT:    vprotd %xmm1, %xmm0, %xmm0
 909 ; XOPAVX1-NEXT:    retq
 910 ;
 911 ; XOPAVX2-LABEL: splatvar_funnnel_v4i32:
 912 ; XOPAVX2:       # %bb.0:
 913 ; XOPAVX2-NEXT:    vpbroadcastd %xmm1, %xmm1
 914 ; XOPAVX2-NEXT:    vprotd %xmm1, %xmm0, %xmm0
 915 ; XOPAVX2-NEXT:    retq
 916 ;
 917 ; X86-SSE2-LABEL: splatvar_funnnel_v4i32:
 918 ; X86-SSE2:       # %bb.0:
 919 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1
 920 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,2,3,3]
 921 ; X86-SSE2-NEXT:    psllq %xmm1, %xmm2
 922 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,0,1,1]
 923 ; X86-SSE2-NEXT:    psllq %xmm1, %xmm0
 924 ; X86-SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[1,3],xmm2[1,3]
 925 ; X86-SSE2-NEXT:    retl
 926   %splat = shufflevector <4 x i32> %amt, <4 x i32> undef, <4 x i32> zeroinitializer
 927   %res = call <4 x i32> @llvm.fshl.v4i32(<4 x i32> %x, <4 x i32> %x, <4 x i32> %splat)
 928   ret <4 x i32> %res
 929 }
 930
 931 define <8 x i16> @splatvar_funnnel_v8i16(<8 x i16> %x, <8 x i16> %amt) nounwind {
 932 ; SSE2-LABEL: splatvar_funnnel_v8i16:
 933 ; SSE2:       # %bb.0:
 934 ; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 935 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 936 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm2 = xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
 937 ; SSE2-NEXT:    pslld %xmm1, %xmm2
 938 ; SSE2-NEXT:    psrad $16, %xmm2
 939 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
 940 ; SSE2-NEXT:    pslld %xmm1, %xmm0
 941 ; SSE2-NEXT:    psrad $16, %xmm0
 942 ; SSE2-NEXT:    packssdw %xmm2, %xmm0
 943 ; SSE2-NEXT:    retq
 944 ;
 945 ; SSE41-LABEL: splatvar_funnnel_v8i16:
 946 ; SSE41:       # %bb.0:
 947 ; SSE41-NEXT:    pmovsxbq {{.*#+}} xmm2 = [15,0]
 948 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
 949 ; SSE41-NEXT:    pandn %xmm2, %xmm3
 950 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
 951 ; SSE41-NEXT:    psrlw $1, %xmm4
 952 ; SSE41-NEXT:    psrlw %xmm3, %xmm4
 953 ; SSE41-NEXT:    pand %xmm2, %xmm1
 954 ; SSE41-NEXT:    psllw %xmm1, %xmm0
 955 ; SSE41-NEXT:    por %xmm4, %xmm0
 956 ; SSE41-NEXT:    retq
 957 ;
 958 ; AVX-LABEL: splatvar_funnnel_v8i16:
 959 ; AVX:       # %bb.0:
 960 ; AVX-NEXT:    vpmovsxbq {{.*#+}} xmm2 = [15,0]
 961 ; AVX-NEXT:    vpandn %xmm2, %xmm1, %xmm3
 962 ; AVX-NEXT:    vpsrlw $1, %xmm0, %xmm4
 963 ; AVX-NEXT:    vpsrlw %xmm3, %xmm4, %xmm3
 964 ; AVX-NEXT:    vpand %xmm2, %xmm1, %xmm1
 965 ; AVX-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
 966 ; AVX-NEXT:    vpor %xmm3, %xmm0, %xmm0
 967 ; AVX-NEXT:    retq
 968 ;
 969 ; AVX512F-LABEL: splatvar_funnnel_v8i16:
 970 ; AVX512F:       # %bb.0:
 971 ; AVX512F-NEXT:    vpmovsxbq {{.*#+}} xmm2 = [15,0]
 972 ; AVX512F-NEXT:    vpandn %xmm2, %xmm1, %xmm3
 973 ; AVX512F-NEXT:    vpsrlw $1, %xmm0, %xmm4
 974 ; AVX512F-NEXT:    vpsrlw %xmm3, %xmm4, %xmm3
 975 ; AVX512F-NEXT:    vpand %xmm2, %xmm1, %xmm1
 976 ; AVX512F-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
 977 ; AVX512F-NEXT:    vpor %xmm3, %xmm0, %xmm0
 978 ; AVX512F-NEXT:    retq
 979 ;
 980 ; AVX512VL-LABEL: splatvar_funnnel_v8i16:
 981 ; AVX512VL:       # %bb.0:
 982 ; AVX512VL-NEXT:    vpmovsxbq {{.*#+}} xmm2 = [15,0]
 983 ; AVX512VL-NEXT:    vpandn %xmm2, %xmm1, %xmm3
 984 ; AVX512VL-NEXT:    vpsrlw $1, %xmm0, %xmm4
 985 ; AVX512VL-NEXT:    vpsrlw %xmm3, %xmm4, %xmm3
 986 ; AVX512VL-NEXT:    vpand %xmm2, %xmm1, %xmm1
 987 ; AVX512VL-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
 988 ; AVX512VL-NEXT:    vpor %xmm3, %xmm0, %xmm0
 989 ; AVX512VL-NEXT:    retq
 990 ;
 991 ; AVX512BW-LABEL: splatvar_funnnel_v8i16:
 992 ; AVX512BW:       # %bb.0:
 993 ; AVX512BW-NEXT:    vpmovsxbq {{.*#+}} xmm2 = [15,0]
 994 ; AVX512BW-NEXT:    vpandn %xmm2, %xmm1, %xmm3
 995 ; AVX512BW-NEXT:    vpsrlw $1, %xmm0, %xmm4
 996 ; AVX512BW-NEXT:    vpsrlw %xmm3, %xmm4, %xmm3
 997 ; AVX512BW-NEXT:    vpand %xmm2, %xmm1, %xmm1
 998 ; AVX512BW-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
 999 ; AVX512BW-NEXT:    vpor %xmm3, %xmm0, %xmm0
1000 ; AVX512BW-NEXT:    retq
1001 ;
1002 ; AVX512VLBW-LABEL: splatvar_funnnel_v8i16:
1003 ; AVX512VLBW:       # %bb.0:
1004 ; AVX512VLBW-NEXT:    vpmovsxbq {{.*#+}} xmm2 = [15,0]
1005 ; AVX512VLBW-NEXT:    vpandn %xmm2, %xmm1, %xmm3
1006 ; AVX512VLBW-NEXT:    vpsrlw $1, %xmm0, %xmm4
1007 ; AVX512VLBW-NEXT:    vpsrlw %xmm3, %xmm4, %xmm3
1008 ; AVX512VLBW-NEXT:    vpand %xmm2, %xmm1, %xmm1
1009 ; AVX512VLBW-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
1010 ; AVX512VLBW-NEXT:    vpor %xmm3, %xmm0, %xmm0
1011 ; AVX512VLBW-NEXT:    retq
1012 ;
1013 ; AVX512VBMI2-LABEL: splatvar_funnnel_v8i16:
1014 ; AVX512VBMI2:       # %bb.0:
1015 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1016 ; AVX512VBMI2-NEXT:    vpbroadcastw %xmm1, %xmm1
1017 ; AVX512VBMI2-NEXT:    vpshldvw %zmm1, %zmm0, %zmm0
1018 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1019 ; AVX512VBMI2-NEXT:    vzeroupper
1020 ; AVX512VBMI2-NEXT:    retq
1021 ;
1022 ; AVX512VLVBMI2-LABEL: splatvar_funnnel_v8i16:
1023 ; AVX512VLVBMI2:       # %bb.0:
1024 ; AVX512VLVBMI2-NEXT:    vpbroadcastw %xmm1, %xmm1
1025 ; AVX512VLVBMI2-NEXT:    vpshldvw %xmm1, %xmm0, %xmm0
1026 ; AVX512VLVBMI2-NEXT:    retq
1027 ;
1028 ; XOPAVX1-LABEL: splatvar_funnnel_v8i16:
1029 ; XOPAVX1:       # %bb.0:
1030 ; XOPAVX1-NEXT:    vpshuflw {{.*#+}} xmm1 = xmm1[0,0,0,0,4,5,6,7]
1031 ; XOPAVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[0,0,0,0]
1032 ; XOPAVX1-NEXT:    vprotw %xmm1, %xmm0, %xmm0
1033 ; XOPAVX1-NEXT:    retq
1034 ;
1035 ; XOPAVX2-LABEL: splatvar_funnnel_v8i16:
1036 ; XOPAVX2:       # %bb.0:
1037 ; XOPAVX2-NEXT:    vpbroadcastw %xmm1, %xmm1
1038 ; XOPAVX2-NEXT:    vprotw %xmm1, %xmm0, %xmm0
1039 ; XOPAVX2-NEXT:    retq
1040 ;
1041 ; X86-SSE2-LABEL: splatvar_funnnel_v8i16:
1042 ; X86-SSE2:       # %bb.0:
1043 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1
1044 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm2
1045 ; X86-SSE2-NEXT:    punpckhwd {{.*#+}} xmm2 = xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
1046 ; X86-SSE2-NEXT:    pslld %xmm1, %xmm2
1047 ; X86-SSE2-NEXT:    psrad $16, %xmm2
1048 ; X86-SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
1049 ; X86-SSE2-NEXT:    pslld %xmm1, %xmm0
1050 ; X86-SSE2-NEXT:    psrad $16, %xmm0
1051 ; X86-SSE2-NEXT:    packssdw %xmm2, %xmm0
1052 ; X86-SSE2-NEXT:    retl
1053   %splat = shufflevector <8 x i16> %amt, <8 x i16> undef, <8 x i32> zeroinitializer
1054   %res = call <8 x i16> @llvm.fshl.v8i16(<8 x i16> %x, <8 x i16> %x, <8 x i16> %splat)
1055   ret <8 x i16> %res
1056 }
1057
1058 define <16 x i8> @splatvar_funnnel_v16i8(<16 x i8> %x, <16 x i8> %amt) nounwind {
1059 ; SSE-LABEL: splatvar_funnnel_v16i8:
1060 ; SSE:       # %bb.0:
1061 ; SSE-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
1062 ; SSE-NEXT:    movdqa %xmm0, %xmm2
1063 ; SSE-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm0[8],xmm2[9],xmm0[9],xmm2[10],xmm0[10],xmm2[11],xmm0[11],xmm2[12],xmm0[12],xmm2[13],xmm0[13],xmm2[14],xmm0[14],xmm2[15],xmm0[15]
1064 ; SSE-NEXT:    psllw %xmm1, %xmm2
1065 ; SSE-NEXT:    psrlw $8, %xmm2
1066 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1067 ; SSE-NEXT:    psllw %xmm1, %xmm0
1068 ; SSE-NEXT:    psrlw $8, %xmm0
1069 ; SSE-NEXT:    packuswb %xmm2, %xmm0
1070 ; SSE-NEXT:    retq
1071 ;
1072 ; AVX-LABEL: splatvar_funnnel_v16i8:
1073 ; AVX:       # %bb.0:
1074 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1075 ; AVX-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1076 ; AVX-NEXT:    vpsllw %xmm1, %xmm2, %xmm2
1077 ; AVX-NEXT:    vpsrlw $8, %xmm2, %xmm2
1078 ; AVX-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1079 ; AVX-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
1080 ; AVX-NEXT:    vpsrlw $8, %xmm0, %xmm0
1081 ; AVX-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
1082 ; AVX-NEXT:    retq
1083 ;
1084 ; AVX512F-LABEL: splatvar_funnnel_v16i8:
1085 ; AVX512F:       # %bb.0:
1086 ; AVX512F-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1087 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1088 ; AVX512F-NEXT:    vpsllw %xmm1, %xmm2, %xmm2
1089 ; AVX512F-NEXT:    vpsrlw $8, %xmm2, %xmm2
1090 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1091 ; AVX512F-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
1092 ; AVX512F-NEXT:    vpsrlw $8, %xmm0, %xmm0
1093 ; AVX512F-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
1094 ; AVX512F-NEXT:    retq
1095 ;
1096 ; AVX512VL-LABEL: splatvar_funnnel_v16i8:
1097 ; AVX512VL:       # %bb.0:
1098 ; AVX512VL-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1099 ; AVX512VL-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1100 ; AVX512VL-NEXT:    vpsllw %xmm1, %xmm2, %xmm2
1101 ; AVX512VL-NEXT:    vpsrlw $8, %xmm2, %xmm2
1102 ; AVX512VL-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1103 ; AVX512VL-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
1104 ; AVX512VL-NEXT:    vpsrlw $8, %xmm0, %xmm0
1105 ; AVX512VL-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
1106 ; AVX512VL-NEXT:    retq
1107 ;
1108 ; AVX512BW-LABEL: splatvar_funnnel_v16i8:
1109 ; AVX512BW:       # %bb.0:
1110 ; AVX512BW-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1111 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1112 ; AVX512BW-NEXT:    vpsllw %xmm1, %xmm2, %xmm2
1113 ; AVX512BW-NEXT:    vpsrlw $8, %xmm2, %xmm2
1114 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1115 ; AVX512BW-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
1116 ; AVX512BW-NEXT:    vpsrlw $8, %xmm0, %xmm0
1117 ; AVX512BW-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
1118 ; AVX512BW-NEXT:    retq
1119 ;
1120 ; AVX512VLBW-LABEL: splatvar_funnnel_v16i8:
1121 ; AVX512VLBW:       # %bb.0:
1122 ; AVX512VLBW-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1123 ; AVX512VLBW-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1124 ; AVX512VLBW-NEXT:    vpsllw %xmm1, %xmm2, %xmm2
1125 ; AVX512VLBW-NEXT:    vpsrlw $8, %xmm2, %xmm2
1126 ; AVX512VLBW-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1127 ; AVX512VLBW-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
1128 ; AVX512VLBW-NEXT:    vpsrlw $8, %xmm0, %xmm0
1129 ; AVX512VLBW-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
1130 ; AVX512VLBW-NEXT:    retq
1131 ;
1132 ; AVX512VBMI2-LABEL: splatvar_funnnel_v16i8:
1133 ; AVX512VBMI2:       # %bb.0:
1134 ; AVX512VBMI2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1135 ; AVX512VBMI2-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1136 ; AVX512VBMI2-NEXT:    vpsllw %xmm1, %xmm2, %xmm2
1137 ; AVX512VBMI2-NEXT:    vpsrlw $8, %xmm2, %xmm2
1138 ; AVX512VBMI2-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1139 ; AVX512VBMI2-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
1140 ; AVX512VBMI2-NEXT:    vpsrlw $8, %xmm0, %xmm0
1141 ; AVX512VBMI2-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
1142 ; AVX512VBMI2-NEXT:    retq
1143 ;
1144 ; AVX512VLVBMI2-LABEL: splatvar_funnnel_v16i8:
1145 ; AVX512VLVBMI2:       # %bb.0:
1146 ; AVX512VLVBMI2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1147 ; AVX512VLVBMI2-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1148 ; AVX512VLVBMI2-NEXT:    vpsllw %xmm1, %xmm2, %xmm2
1149 ; AVX512VLVBMI2-NEXT:    vpsrlw $8, %xmm2, %xmm2
1150 ; AVX512VLVBMI2-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1151 ; AVX512VLVBMI2-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
1152 ; AVX512VLVBMI2-NEXT:    vpsrlw $8, %xmm0, %xmm0
1153 ; AVX512VLVBMI2-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
1154 ; AVX512VLVBMI2-NEXT:    retq
1155 ;
1156 ; XOPAVX1-LABEL: splatvar_funnnel_v16i8:
1157 ; XOPAVX1:       # %bb.0:
1158 ; XOPAVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1159 ; XOPAVX1-NEXT:    vpshufb %xmm2, %xmm1, %xmm1
1160 ; XOPAVX1-NEXT:    vprotb %xmm1, %xmm0, %xmm0
1161 ; XOPAVX1-NEXT:    retq
1162 ;
1163 ; XOPAVX2-LABEL: splatvar_funnnel_v16i8:
1164 ; XOPAVX2:       # %bb.0:
1165 ; XOPAVX2-NEXT:    vpbroadcastb %xmm1, %xmm1
1166 ; XOPAVX2-NEXT:    vprotb %xmm1, %xmm0, %xmm0
1167 ; XOPAVX2-NEXT:    retq
1168 ;
1169 ; X86-SSE2-LABEL: splatvar_funnnel_v16i8:
1170 ; X86-SSE2:       # %bb.0:
1171 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1
1172 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm2
1173 ; X86-SSE2-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm0[8],xmm2[9],xmm0[9],xmm2[10],xmm0[10],xmm2[11],xmm0[11],xmm2[12],xmm0[12],xmm2[13],xmm0[13],xmm2[14],xmm0[14],xmm2[15],xmm0[15]
1174 ; X86-SSE2-NEXT:    psllw %xmm1, %xmm2
1175 ; X86-SSE2-NEXT:    psrlw $8, %xmm2
1176 ; X86-SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1177 ; X86-SSE2-NEXT:    psllw %xmm1, %xmm0
1178 ; X86-SSE2-NEXT:    psrlw $8, %xmm0
1179 ; X86-SSE2-NEXT:    packuswb %xmm2, %xmm0
1180 ; X86-SSE2-NEXT:    retl
1181   %splat = shufflevector <16 x i8> %amt, <16 x i8> undef, <16 x i32> zeroinitializer
1182   %res = call <16 x i8> @llvm.fshl.v16i8(<16 x i8> %x, <16 x i8> %x, <16 x i8> %splat)
1183   ret <16 x i8> %res
1184 }
1185
1186 ;
1187 ; Constant Shifts
1188 ;
1189
1190 define <2 x i64> @constant_funnnel_v2i64(<2 x i64> %x) nounwind {
1191 ; SSE2-LABEL: constant_funnnel_v2i64:
1192 ; SSE2:       # %bb.0:
1193 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1194 ; SSE2-NEXT:    psrlq $60, %xmm1
1195 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
1196 ; SSE2-NEXT:    psrlq $50, %xmm2
1197 ; SSE2-NEXT:    movsd {{.*#+}} xmm2 = xmm1[0],xmm2[1]
1198 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1199 ; SSE2-NEXT:    psllq $4, %xmm1
1200 ; SSE2-NEXT:    psllq $14, %xmm0
1201 ; SSE2-NEXT:    movsd {{.*#+}} xmm0 = xmm1[0],xmm0[1]
1202 ; SSE2-NEXT:    orpd %xmm2, %xmm0
1203 ; SSE2-NEXT:    retq
1204 ;
1205 ; SSE41-LABEL: constant_funnnel_v2i64:
1206 ; SSE41:       # %bb.0:
1207 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1208 ; SSE41-NEXT:    psrlq $50, %xmm1
1209 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
1210 ; SSE41-NEXT:    psrlq $60, %xmm2
1211 ; SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
1212 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1213 ; SSE41-NEXT:    psllq $14, %xmm1
1214 ; SSE41-NEXT:    psllq $4, %xmm0
1215 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
1216 ; SSE41-NEXT:    por %xmm2, %xmm0
1217 ; SSE41-NEXT:    retq
1218 ;
1219 ; AVX1-LABEL: constant_funnnel_v2i64:
1220 ; AVX1:       # %bb.0:
1221 ; AVX1-NEXT:    vpsrlq $50, %xmm0, %xmm1
1222 ; AVX1-NEXT:    vpsrlq $60, %xmm0, %xmm2
1223 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1,2,3],xmm1[4,5,6,7]
1224 ; AVX1-NEXT:    vpsllq $14, %xmm0, %xmm2
1225 ; AVX1-NEXT:    vpsllq $4, %xmm0, %xmm0
1226 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm2[4,5,6,7]
1227 ; AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
1228 ; AVX1-NEXT:    retq
1229 ;
1230 ; AVX2-LABEL: constant_funnnel_v2i64:
1231 ; AVX2:       # %bb.0:
1232 ; AVX2-NEXT:    vpsrlvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1233 ; AVX2-NEXT:    vpsllvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1234 ; AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
1235 ; AVX2-NEXT:    retq
1236 ;
1237 ; AVX512F-LABEL: constant_funnnel_v2i64:
1238 ; AVX512F:       # %bb.0:
1239 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1240 ; AVX512F-NEXT:    vpmovsxbq {{.*#+}} xmm1 = [4,14]
1241 ; AVX512F-NEXT:    vprolvq %zmm1, %zmm0, %zmm0
1242 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1243 ; AVX512F-NEXT:    vzeroupper
1244 ; AVX512F-NEXT:    retq
1245 ;
1246 ; AVX512VL-LABEL: constant_funnnel_v2i64:
1247 ; AVX512VL:       # %bb.0:
1248 ; AVX512VL-NEXT:    vprolvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1249 ; AVX512VL-NEXT:    retq
1250 ;
1251 ; AVX512BW-LABEL: constant_funnnel_v2i64:
1252 ; AVX512BW:       # %bb.0:
1253 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1254 ; AVX512BW-NEXT:    vpmovsxbq {{.*#+}} xmm1 = [4,14]
1255 ; AVX512BW-NEXT:    vprolvq %zmm1, %zmm0, %zmm0
1256 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1257 ; AVX512BW-NEXT:    vzeroupper
1258 ; AVX512BW-NEXT:    retq
1259 ;
1260 ; AVX512VLBW-LABEL: constant_funnnel_v2i64:
1261 ; AVX512VLBW:       # %bb.0:
1262 ; AVX512VLBW-NEXT:    vprolvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1263 ; AVX512VLBW-NEXT:    retq
1264 ;
1265 ; AVX512VBMI2-LABEL: constant_funnnel_v2i64:
1266 ; AVX512VBMI2:       # %bb.0:
1267 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1268 ; AVX512VBMI2-NEXT:    vpmovsxbq {{.*#+}} xmm1 = [4,14]
1269 ; AVX512VBMI2-NEXT:    vprolvq %zmm1, %zmm0, %zmm0
1270 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1271 ; AVX512VBMI2-NEXT:    vzeroupper
1272 ; AVX512VBMI2-NEXT:    retq
1273 ;
1274 ; AVX512VLVBMI2-LABEL: constant_funnnel_v2i64:
1275 ; AVX512VLVBMI2:       # %bb.0:
1276 ; AVX512VLVBMI2-NEXT:    vprolvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1277 ; AVX512VLVBMI2-NEXT:    retq
1278 ;
1279 ; XOP-LABEL: constant_funnnel_v2i64:
1280 ; XOP:       # %bb.0:
1281 ; XOP-NEXT:    vprotq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1282 ; XOP-NEXT:    retq
1283 ;
1284 ; X86-SSE2-LABEL: constant_funnnel_v2i64:
1285 ; X86-SSE2:       # %bb.0:
1286 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1287 ; X86-SSE2-NEXT:    psrlq $60, %xmm1
1288 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm2
1289 ; X86-SSE2-NEXT:    psrlq $50, %xmm2
1290 ; X86-SSE2-NEXT:    movsd {{.*#+}} xmm2 = xmm1[0],xmm2[1]
1291 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1292 ; X86-SSE2-NEXT:    psllq $4, %xmm1
1293 ; X86-SSE2-NEXT:    psllq $14, %xmm0
1294 ; X86-SSE2-NEXT:    movsd {{.*#+}} xmm0 = xmm1[0],xmm0[1]
1295 ; X86-SSE2-NEXT:    orpd %xmm2, %xmm0
1296 ; X86-SSE2-NEXT:    retl
1297   %res = call <2 x i64> @llvm.fshl.v2i64(<2 x i64> %x, <2 x i64> %x, <2 x i64> <i64 4, i64 14>)
1298   ret <2 x i64> %res
1299 }
1300
1301 define <4 x i32> @constant_funnnel_v4i32(<4 x i32> %x) nounwind {
1302 ; SSE2-LABEL: constant_funnnel_v4i32:
1303 ; SSE2:       # %bb.0:
1304 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1305 ; SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1306 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,3,2,3]
1307 ; SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
1308 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,3,2,3]
1309 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1]
1310 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1311 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1312 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1313 ; SSE2-NEXT:    por %xmm2, %xmm0
1314 ; SSE2-NEXT:    retq
1315 ;
1316 ; SSE41-LABEL: constant_funnnel_v4i32:
1317 ; SSE41:       # %bb.0:
1318 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1319 ; SSE41-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
1320 ; SSE41-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1321 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1322 ; SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
1323 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,0,2,2]
1324 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
1325 ; SSE41-NEXT:    por %xmm2, %xmm0
1326 ; SSE41-NEXT:    retq
1327 ;
1328 ; AVX1-LABEL: constant_funnnel_v4i32:
1329 ; AVX1:       # %bb.0:
1330 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1331 ; AVX1-NEXT:    vpmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1332 ; AVX1-NEXT:    vpmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1333 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1334 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
1335 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[0,0,2,2]
1336 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
1337 ; AVX1-NEXT:    vpor %xmm2, %xmm0, %xmm0
1338 ; AVX1-NEXT:    retq
1339 ;
1340 ; AVX2-LABEL: constant_funnnel_v4i32:
1341 ; AVX2:       # %bb.0:
1342 ; AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1343 ; AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1344 ; AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
1345 ; AVX2-NEXT:    retq
1346 ;
1347 ; AVX512F-LABEL: constant_funnnel_v4i32:
1348 ; AVX512F:       # %bb.0:
1349 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1350 ; AVX512F-NEXT:    vpmovsxbd {{.*#+}} xmm1 = [4,5,6,7]
1351 ; AVX512F-NEXT:    vprolvd %zmm1, %zmm0, %zmm0
1352 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1353 ; AVX512F-NEXT:    vzeroupper
1354 ; AVX512F-NEXT:    retq
1355 ;
1356 ; AVX512VL-LABEL: constant_funnnel_v4i32:
1357 ; AVX512VL:       # %bb.0:
1358 ; AVX512VL-NEXT:    vprolvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1359 ; AVX512VL-NEXT:    retq
1360 ;
1361 ; AVX512BW-LABEL: constant_funnnel_v4i32:
1362 ; AVX512BW:       # %bb.0:
1363 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1364 ; AVX512BW-NEXT:    vpmovsxbd {{.*#+}} xmm1 = [4,5,6,7]
1365 ; AVX512BW-NEXT:    vprolvd %zmm1, %zmm0, %zmm0
1366 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1367 ; AVX512BW-NEXT:    vzeroupper
1368 ; AVX512BW-NEXT:    retq
1369 ;
1370 ; AVX512VLBW-LABEL: constant_funnnel_v4i32:
1371 ; AVX512VLBW:       # %bb.0:
1372 ; AVX512VLBW-NEXT:    vprolvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1373 ; AVX512VLBW-NEXT:    retq
1374 ;
1375 ; AVX512VBMI2-LABEL: constant_funnnel_v4i32:
1376 ; AVX512VBMI2:       # %bb.0:
1377 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1378 ; AVX512VBMI2-NEXT:    vpmovsxbd {{.*#+}} xmm1 = [4,5,6,7]
1379 ; AVX512VBMI2-NEXT:    vprolvd %zmm1, %zmm0, %zmm0
1380 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1381 ; AVX512VBMI2-NEXT:    vzeroupper
1382 ; AVX512VBMI2-NEXT:    retq
1383 ;
1384 ; AVX512VLVBMI2-LABEL: constant_funnnel_v4i32:
1385 ; AVX512VLVBMI2:       # %bb.0:
1386 ; AVX512VLVBMI2-NEXT:    vprolvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1387 ; AVX512VLVBMI2-NEXT:    retq
1388 ;
1389 ; XOP-LABEL: constant_funnnel_v4i32:
1390 ; XOP:       # %bb.0:
1391 ; XOP-NEXT:    vprotd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1392 ; XOP-NEXT:    retq
1393 ;
1394 ; X86-SSE2-LABEL: constant_funnnel_v4i32:
1395 ; X86-SSE2:       # %bb.0:
1396 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1397 ; X86-SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0
1398 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,3,2,3]
1399 ; X86-SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1
1400 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,3,2,3]
1401 ; X86-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1]
1402 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1403 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1404 ; X86-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1405 ; X86-SSE2-NEXT:    por %xmm2, %xmm0
1406 ; X86-SSE2-NEXT:    retl
1407   %res = call <4 x i32> @llvm.fshl.v4i32(<4 x i32> %x, <4 x i32> %x, <4 x i32> <i32 4, i32 5, i32 6, i32 7>)
1408   ret <4 x i32> %res
1409 }
1410
1411 define <8 x i16> @constant_funnnel_v8i16(<8 x i16> %x) nounwind {
1412 ; SSE2-LABEL: constant_funnnel_v8i16:
1413 ; SSE2:       # %bb.0:
1414 ; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [1,2,4,8,16,32,64,128]
1415 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
1416 ; SSE2-NEXT:    pmulhuw %xmm1, %xmm2
1417 ; SSE2-NEXT:    pmullw %xmm1, %xmm0
1418 ; SSE2-NEXT:    por %xmm2, %xmm0
1419 ; SSE2-NEXT:    retq
1420 ;
1421 ; SSE41-LABEL: constant_funnnel_v8i16:
1422 ; SSE41:       # %bb.0:
1423 ; SSE41-NEXT:    pmovzxbw {{.*#+}} xmm1 = [1,2,4,8,16,32,64,128]
1424 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
1425 ; SSE41-NEXT:    pmulhuw %xmm1, %xmm2
1426 ; SSE41-NEXT:    pmullw %xmm1, %xmm0
1427 ; SSE41-NEXT:    por %xmm2, %xmm0
1428 ; SSE41-NEXT:    retq
1429 ;
1430 ; AVX-LABEL: constant_funnnel_v8i16:
1431 ; AVX:       # %bb.0:
1432 ; AVX-NEXT:    vpmovzxbw {{.*#+}} xmm1 = [1,2,4,8,16,32,64,128]
1433 ; AVX-NEXT:    vpmulhuw %xmm1, %xmm0, %xmm2
1434 ; AVX-NEXT:    vpmullw %xmm1, %xmm0, %xmm0
1435 ; AVX-NEXT:    vpor %xmm2, %xmm0, %xmm0
1436 ; AVX-NEXT:    retq
1437 ;
1438 ; AVX512F-LABEL: constant_funnnel_v8i16:
1439 ; AVX512F:       # %bb.0:
1440 ; AVX512F-NEXT:    vpmovzxbw {{.*#+}} xmm1 = [1,2,4,8,16,32,64,128]
1441 ; AVX512F-NEXT:    vpmulhuw %xmm1, %xmm0, %xmm2
1442 ; AVX512F-NEXT:    vpmullw %xmm1, %xmm0, %xmm0
1443 ; AVX512F-NEXT:    vpor %xmm2, %xmm0, %xmm0
1444 ; AVX512F-NEXT:    retq
1445 ;
1446 ; AVX512VL-LABEL: constant_funnnel_v8i16:
1447 ; AVX512VL:       # %bb.0:
1448 ; AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm1 = [1,2,4,8,16,32,64,128]
1449 ; AVX512VL-NEXT:    vpmulhuw %xmm1, %xmm0, %xmm2
1450 ; AVX512VL-NEXT:    vpmullw %xmm1, %xmm0, %xmm0
1451 ; AVX512VL-NEXT:    vpor %xmm2, %xmm0, %xmm0
1452 ; AVX512VL-NEXT:    retq
1453 ;
1454 ; AVX512BW-LABEL: constant_funnnel_v8i16:
1455 ; AVX512BW:       # %bb.0:
1456 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1457 ; AVX512BW-NEXT:    vpmovsxbw {{.*#+}} xmm1 = [16,15,14,13,12,11,10,9]
1458 ; AVX512BW-NEXT:    vpsrlvw %zmm1, %zmm0, %zmm1
1459 ; AVX512BW-NEXT:    vpmovsxbw {{.*#+}} xmm2 = [0,1,2,3,4,5,6,7]
1460 ; AVX512BW-NEXT:    vpsllvw %zmm2, %zmm0, %zmm0
1461 ; AVX512BW-NEXT:    vpor %xmm1, %xmm0, %xmm0
1462 ; AVX512BW-NEXT:    vzeroupper
1463 ; AVX512BW-NEXT:    retq
1464 ;
1465 ; AVX512VLBW-LABEL: constant_funnnel_v8i16:
1466 ; AVX512VLBW:       # %bb.0:
1467 ; AVX512VLBW-NEXT:    vpsrlvw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1468 ; AVX512VLBW-NEXT:    vpsllvw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1469 ; AVX512VLBW-NEXT:    vpor %xmm1, %xmm0, %xmm0
1470 ; AVX512VLBW-NEXT:    retq
1471 ;
1472 ; AVX512VBMI2-LABEL: constant_funnnel_v8i16:
1473 ; AVX512VBMI2:       # %bb.0:
1474 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1475 ; AVX512VBMI2-NEXT:    vpmovsxbw {{.*#+}} xmm1 = [0,1,2,3,4,5,6,7]
1476 ; AVX512VBMI2-NEXT:    vpshldvw %zmm1, %zmm0, %zmm0
1477 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1478 ; AVX512VBMI2-NEXT:    vzeroupper
1479 ; AVX512VBMI2-NEXT:    retq
1480 ;
1481 ; AVX512VLVBMI2-LABEL: constant_funnnel_v8i16:
1482 ; AVX512VLVBMI2:       # %bb.0:
1483 ; AVX512VLVBMI2-NEXT:    vpshldvw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1484 ; AVX512VLVBMI2-NEXT:    retq
1485 ;
1486 ; XOP-LABEL: constant_funnnel_v8i16:
1487 ; XOP:       # %bb.0:
1488 ; XOP-NEXT:    vprotw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1489 ; XOP-NEXT:    retq
1490 ;
1491 ; X86-SSE2-LABEL: constant_funnnel_v8i16:
1492 ; X86-SSE2:       # %bb.0:
1493 ; X86-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [1,2,4,8,16,32,64,128]
1494 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm2
1495 ; X86-SSE2-NEXT:    pmulhuw %xmm1, %xmm2
1496 ; X86-SSE2-NEXT:    pmullw %xmm1, %xmm0
1497 ; X86-SSE2-NEXT:    por %xmm2, %xmm0
1498 ; X86-SSE2-NEXT:    retl
1499   %res = call <8 x i16> @llvm.fshl.v8i16(<8 x i16> %x, <8 x i16> %x, <8 x i16> <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>)
1500   ret <8 x i16> %res
1501 }
1502
1503 define <16 x i8> @constant_funnnel_v16i8(<16 x i8> %x) nounwind {
1504 ; SSE-LABEL: constant_funnnel_v16i8:
1505 ; SSE:       # %bb.0:
1506 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1507 ; SSE-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm0[8],xmm1[9],xmm0[9],xmm1[10],xmm0[10],xmm1[11],xmm0[11],xmm1[12],xmm0[12],xmm1[13],xmm0[13],xmm1[14],xmm0[14],xmm1[15],xmm0[15]
1508 ; SSE-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1 # [1,128,64,32,16,8,4,2]
1509 ; SSE-NEXT:    psrlw $8, %xmm1
1510 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1511 ; SSE-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0 # [1,2,4,8,16,32,64,128]
1512 ; SSE-NEXT:    psrlw $8, %xmm0
1513 ; SSE-NEXT:    packuswb %xmm1, %xmm0
1514 ; SSE-NEXT:    retq
1515 ;
1516 ; AVX-LABEL: constant_funnnel_v16i8:
1517 ; AVX:       # %bb.0:
1518 ; AVX-NEXT:    vpunpckhbw {{.*#+}} xmm1 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1519 ; AVX-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1 # [1,128,64,32,16,8,4,2]
1520 ; AVX-NEXT:    vpsrlw $8, %xmm1, %xmm1
1521 ; AVX-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1522 ; AVX-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0 # [1,2,4,8,16,32,64,128]
1523 ; AVX-NEXT:    vpsrlw $8, %xmm0, %xmm0
1524 ; AVX-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
1525 ; AVX-NEXT:    retq
1526 ;
1527 ; AVX512F-LABEL: constant_funnnel_v16i8:
1528 ; AVX512F:       # %bb.0:
1529 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} xmm1 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1530 ; AVX512F-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1 # [1,128,64,32,16,8,4,2]
1531 ; AVX512F-NEXT:    vpsrlw $8, %xmm1, %xmm1
1532 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1533 ; AVX512F-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0 # [1,2,4,8,16,32,64,128]
1534 ; AVX512F-NEXT:    vpsrlw $8, %xmm0, %xmm0
1535 ; AVX512F-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
1536 ; AVX512F-NEXT:    retq
1537 ;
1538 ; AVX512VL-LABEL: constant_funnnel_v16i8:
1539 ; AVX512VL:       # %bb.0:
1540 ; AVX512VL-NEXT:    vpunpckhbw {{.*#+}} xmm1 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1541 ; AVX512VL-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1 # [1,128,64,32,16,8,4,2]
1542 ; AVX512VL-NEXT:    vpsrlw $8, %xmm1, %xmm1
1543 ; AVX512VL-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1544 ; AVX512VL-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0 # [1,2,4,8,16,32,64,128]
1545 ; AVX512VL-NEXT:    vpsrlw $8, %xmm0, %xmm0
1546 ; AVX512VL-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
1547 ; AVX512VL-NEXT:    retq
1548 ;
1549 ; AVX512BW-LABEL: constant_funnnel_v16i8:
1550 ; AVX512BW:       # %bb.0:
1551 ; AVX512BW-NEXT:    vpmovsxbw {{.*#+}} xmm1 = [0,7,6,5,4,3,2,1]
1552 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1553 ; AVX512BW-NEXT:    vpsllvw %zmm1, %zmm2, %zmm1
1554 ; AVX512BW-NEXT:    vpsrlw $8, %xmm1, %xmm1
1555 ; AVX512BW-NEXT:    vpmovsxbw {{.*#+}} xmm2 = [0,1,2,3,4,5,6,7]
1556 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1557 ; AVX512BW-NEXT:    vpsllvw %zmm2, %zmm0, %zmm0
1558 ; AVX512BW-NEXT:    vpsrlw $8, %xmm0, %xmm0
1559 ; AVX512BW-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
1560 ; AVX512BW-NEXT:    vzeroupper
1561 ; AVX512BW-NEXT:    retq
1562 ;
1563 ; AVX512VLBW-LABEL: constant_funnnel_v16i8:
1564 ; AVX512VLBW:       # %bb.0:
1565 ; AVX512VLBW-NEXT:    vpunpckhbw {{.*#+}} xmm1 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1566 ; AVX512VLBW-NEXT:    vpsllvw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1567 ; AVX512VLBW-NEXT:    vpsrlw $8, %xmm1, %xmm1
1568 ; AVX512VLBW-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1569 ; AVX512VLBW-NEXT:    vpsllvw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1570 ; AVX512VLBW-NEXT:    vpsrlw $8, %xmm0, %xmm0
1571 ; AVX512VLBW-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
1572 ; AVX512VLBW-NEXT:    retq
1573 ;
1574 ; AVX512VBMI2-LABEL: constant_funnnel_v16i8:
1575 ; AVX512VBMI2:       # %bb.0:
1576 ; AVX512VBMI2-NEXT:    vpmovsxbw {{.*#+}} xmm1 = [0,7,6,5,4,3,2,1]
1577 ; AVX512VBMI2-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1578 ; AVX512VBMI2-NEXT:    vpsllvw %zmm1, %zmm2, %zmm1
1579 ; AVX512VBMI2-NEXT:    vpsrlw $8, %xmm1, %xmm1
1580 ; AVX512VBMI2-NEXT:    vpmovsxbw {{.*#+}} xmm2 = [0,1,2,3,4,5,6,7]
1581 ; AVX512VBMI2-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1582 ; AVX512VBMI2-NEXT:    vpsllvw %zmm2, %zmm0, %zmm0
1583 ; AVX512VBMI2-NEXT:    vpsrlw $8, %xmm0, %xmm0
1584 ; AVX512VBMI2-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
1585 ; AVX512VBMI2-NEXT:    vzeroupper
1586 ; AVX512VBMI2-NEXT:    retq
1587 ;
1588 ; AVX512VLVBMI2-LABEL: constant_funnnel_v16i8:
1589 ; AVX512VLVBMI2:       # %bb.0:
1590 ; AVX512VLVBMI2-NEXT:    vpunpckhbw {{.*#+}} xmm1 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1591 ; AVX512VLVBMI2-NEXT:    vpsllvw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1592 ; AVX512VLVBMI2-NEXT:    vpsrlw $8, %xmm1, %xmm1
1593 ; AVX512VLVBMI2-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1594 ; AVX512VLVBMI2-NEXT:    vpsllvw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1595 ; AVX512VLVBMI2-NEXT:    vpsrlw $8, %xmm0, %xmm0
1596 ; AVX512VLVBMI2-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
1597 ; AVX512VLVBMI2-NEXT:    retq
1598 ;
1599 ; XOP-LABEL: constant_funnnel_v16i8:
1600 ; XOP:       # %bb.0:
1601 ; XOP-NEXT:    vprotb {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1602 ; XOP-NEXT:    retq
1603 ;
1604 ; X86-SSE2-LABEL: constant_funnnel_v16i8:
1605 ; X86-SSE2:       # %bb.0:
1606 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1607 ; X86-SSE2-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm0[8],xmm1[9],xmm0[9],xmm1[10],xmm0[10],xmm1[11],xmm0[11],xmm1[12],xmm0[12],xmm1[13],xmm0[13],xmm1[14],xmm0[14],xmm1[15],xmm0[15]
1608 ; X86-SSE2-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1 # [1,128,64,32,16,8,4,2]
1609 ; X86-SSE2-NEXT:    psrlw $8, %xmm1
1610 ; X86-SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1611 ; X86-SSE2-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0 # [1,2,4,8,16,32,64,128]
1612 ; X86-SSE2-NEXT:    psrlw $8, %xmm0
1613 ; X86-SSE2-NEXT:    packuswb %xmm1, %xmm0
1614 ; X86-SSE2-NEXT:    retl
1615   %res = call <16 x i8> @llvm.fshl.v16i8(<16 x i8> %x, <16 x i8> %x, <16 x i8> <i8 0, i8 1, i8 2, i8 3, i8 4, i8 5, i8 6, i8 7, i8 8, i8 7, i8 6, i8 5, i8 4, i8 3, i8 2, i8 1>)
1616   ret <16 x i8> %res
1617 }
1618
1619 ;
1620 ; Uniform Constant Shifts
1621 ;
1622
1623 define <2 x i64> @splatconstant_funnnel_v2i64(<2 x i64> %x) nounwind {
1624 ; SSE-LABEL: splatconstant_funnnel_v2i64:
1625 ; SSE:       # %bb.0:
1626 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1627 ; SSE-NEXT:    psrlq $50, %xmm1
1628 ; SSE-NEXT:    psllq $14, %xmm0
1629 ; SSE-NEXT:    por %xmm1, %xmm0
1630 ; SSE-NEXT:    retq
1631 ;
1632 ; AVX-LABEL: splatconstant_funnnel_v2i64:
1633 ; AVX:       # %bb.0:
1634 ; AVX-NEXT:    vpsrlq $50, %xmm0, %xmm1
1635 ; AVX-NEXT:    vpsllq $14, %xmm0, %xmm0
1636 ; AVX-NEXT:    vpor %xmm1, %xmm0, %xmm0
1637 ; AVX-NEXT:    retq
1638 ;
1639 ; AVX512F-LABEL: splatconstant_funnnel_v2i64:
1640 ; AVX512F:       # %bb.0:
1641 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1642 ; AVX512F-NEXT:    vprolq $14, %zmm0, %zmm0
1643 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1644 ; AVX512F-NEXT:    vzeroupper
1645 ; AVX512F-NEXT:    retq
1646 ;
1647 ; AVX512VL-LABEL: splatconstant_funnnel_v2i64:
1648 ; AVX512VL:       # %bb.0:
1649 ; AVX512VL-NEXT:    vprolq $14, %xmm0, %xmm0
1650 ; AVX512VL-NEXT:    retq
1651 ;
1652 ; AVX512BW-LABEL: splatconstant_funnnel_v2i64:
1653 ; AVX512BW:       # %bb.0:
1654 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1655 ; AVX512BW-NEXT:    vprolq $14, %zmm0, %zmm0
1656 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1657 ; AVX512BW-NEXT:    vzeroupper
1658 ; AVX512BW-NEXT:    retq
1659 ;
1660 ; AVX512VLBW-LABEL: splatconstant_funnnel_v2i64:
1661 ; AVX512VLBW:       # %bb.0:
1662 ; AVX512VLBW-NEXT:    vprolq $14, %xmm0, %xmm0
1663 ; AVX512VLBW-NEXT:    retq
1664 ;
1665 ; AVX512VBMI2-LABEL: splatconstant_funnnel_v2i64:
1666 ; AVX512VBMI2:       # %bb.0:
1667 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1668 ; AVX512VBMI2-NEXT:    vprolq $14, %zmm0, %zmm0
1669 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1670 ; AVX512VBMI2-NEXT:    vzeroupper
1671 ; AVX512VBMI2-NEXT:    retq
1672 ;
1673 ; AVX512VLVBMI2-LABEL: splatconstant_funnnel_v2i64:
1674 ; AVX512VLVBMI2:       # %bb.0:
1675 ; AVX512VLVBMI2-NEXT:    vprolq $14, %xmm0, %xmm0
1676 ; AVX512VLVBMI2-NEXT:    retq
1677 ;
1678 ; XOP-LABEL: splatconstant_funnnel_v2i64:
1679 ; XOP:       # %bb.0:
1680 ; XOP-NEXT:    vprotq $14, %xmm0, %xmm0
1681 ; XOP-NEXT:    retq
1682 ;
1683 ; X86-SSE2-LABEL: splatconstant_funnnel_v2i64:
1684 ; X86-SSE2:       # %bb.0:
1685 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1686 ; X86-SSE2-NEXT:    psrlq $50, %xmm1
1687 ; X86-SSE2-NEXT:    psllq $14, %xmm0
1688 ; X86-SSE2-NEXT:    por %xmm1, %xmm0
1689 ; X86-SSE2-NEXT:    retl
1690   %res = call <2 x i64> @llvm.fshl.v2i64(<2 x i64> %x, <2 x i64> %x, <2 x i64> <i64 14, i64 14>)
1691   ret <2 x i64> %res
1692 }
1693
1694 define <4 x i32> @splatconstant_funnnel_v4i32(<4 x i32> %x) nounwind {
1695 ; SSE-LABEL: splatconstant_funnnel_v4i32:
1696 ; SSE:       # %bb.0:
1697 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1698 ; SSE-NEXT:    psrld $28, %xmm1
1699 ; SSE-NEXT:    pslld $4, %xmm0
1700 ; SSE-NEXT:    por %xmm1, %xmm0
1701 ; SSE-NEXT:    retq
1702 ;
1703 ; AVX-LABEL: splatconstant_funnnel_v4i32:
1704 ; AVX:       # %bb.0:
1705 ; AVX-NEXT:    vpsrld $28, %xmm0, %xmm1
1706 ; AVX-NEXT:    vpslld $4, %xmm0, %xmm0
1707 ; AVX-NEXT:    vpor %xmm1, %xmm0, %xmm0
1708 ; AVX-NEXT:    retq
1709 ;
1710 ; AVX512F-LABEL: splatconstant_funnnel_v4i32:
1711 ; AVX512F:       # %bb.0:
1712 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1713 ; AVX512F-NEXT:    vprold $4, %zmm0, %zmm0
1714 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1715 ; AVX512F-NEXT:    vzeroupper
1716 ; AVX512F-NEXT:    retq
1717 ;
1718 ; AVX512VL-LABEL: splatconstant_funnnel_v4i32:
1719 ; AVX512VL:       # %bb.0:
1720 ; AVX512VL-NEXT:    vprold $4, %xmm0, %xmm0
1721 ; AVX512VL-NEXT:    retq
1722 ;
1723 ; AVX512BW-LABEL: splatconstant_funnnel_v4i32:
1724 ; AVX512BW:       # %bb.0:
1725 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1726 ; AVX512BW-NEXT:    vprold $4, %zmm0, %zmm0
1727 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1728 ; AVX512BW-NEXT:    vzeroupper
1729 ; AVX512BW-NEXT:    retq
1730 ;
1731 ; AVX512VLBW-LABEL: splatconstant_funnnel_v4i32:
1732 ; AVX512VLBW:       # %bb.0:
1733 ; AVX512VLBW-NEXT:    vprold $4, %xmm0, %xmm0
1734 ; AVX512VLBW-NEXT:    retq
1735 ;
1736 ; AVX512VBMI2-LABEL: splatconstant_funnnel_v4i32:
1737 ; AVX512VBMI2:       # %bb.0:
1738 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1739 ; AVX512VBMI2-NEXT:    vprold $4, %zmm0, %zmm0
1740 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1741 ; AVX512VBMI2-NEXT:    vzeroupper
1742 ; AVX512VBMI2-NEXT:    retq
1743 ;
1744 ; AVX512VLVBMI2-LABEL: splatconstant_funnnel_v4i32:
1745 ; AVX512VLVBMI2:       # %bb.0:
1746 ; AVX512VLVBMI2-NEXT:    vprold $4, %xmm0, %xmm0
1747 ; AVX512VLVBMI2-NEXT:    retq
1748 ;
1749 ; XOP-LABEL: splatconstant_funnnel_v4i32:
1750 ; XOP:       # %bb.0:
1751 ; XOP-NEXT:    vprotd $4, %xmm0, %xmm0
1752 ; XOP-NEXT:    retq
1753 ;
1754 ; X86-SSE2-LABEL: splatconstant_funnnel_v4i32:
1755 ; X86-SSE2:       # %bb.0:
1756 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1757 ; X86-SSE2-NEXT:    psrld $28, %xmm1
1758 ; X86-SSE2-NEXT:    pslld $4, %xmm0
1759 ; X86-SSE2-NEXT:    por %xmm1, %xmm0
1760 ; X86-SSE2-NEXT:    retl
1761   %res = call <4 x i32> @llvm.fshl.v4i32(<4 x i32> %x, <4 x i32> %x, <4 x i32> <i32 4, i32 4, i32 4, i32 4>)
1762   ret <4 x i32> %res
1763 }
1764
1765 define <8 x i16> @splatconstant_funnnel_v8i16(<8 x i16> %x) nounwind {
1766 ; SSE-LABEL: splatconstant_funnnel_v8i16:
1767 ; SSE:       # %bb.0:
1768 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1769 ; SSE-NEXT:    psrlw $9, %xmm1
1770 ; SSE-NEXT:    psllw $7, %xmm0
1771 ; SSE-NEXT:    por %xmm1, %xmm0
1772 ; SSE-NEXT:    retq
1773 ;
1774 ; AVX-LABEL: splatconstant_funnnel_v8i16:
1775 ; AVX:       # %bb.0:
1776 ; AVX-NEXT:    vpsrlw $9, %xmm0, %xmm1
1777 ; AVX-NEXT:    vpsllw $7, %xmm0, %xmm0
1778 ; AVX-NEXT:    vpor %xmm1, %xmm0, %xmm0
1779 ; AVX-NEXT:    retq
1780 ;
1781 ; AVX512F-LABEL: splatconstant_funnnel_v8i16:
1782 ; AVX512F:       # %bb.0:
1783 ; AVX512F-NEXT:    vpsrlw $9, %xmm0, %xmm1
1784 ; AVX512F-NEXT:    vpsllw $7, %xmm0, %xmm0
1785 ; AVX512F-NEXT:    vpor %xmm1, %xmm0, %xmm0
1786 ; AVX512F-NEXT:    retq
1787 ;
1788 ; AVX512VL-LABEL: splatconstant_funnnel_v8i16:
1789 ; AVX512VL:       # %bb.0:
1790 ; AVX512VL-NEXT:    vpsrlw $9, %xmm0, %xmm1
1791 ; AVX512VL-NEXT:    vpsllw $7, %xmm0, %xmm0
1792 ; AVX512VL-NEXT:    vpor %xmm1, %xmm0, %xmm0
1793 ; AVX512VL-NEXT:    retq
1794 ;
1795 ; AVX512BW-LABEL: splatconstant_funnnel_v8i16:
1796 ; AVX512BW:       # %bb.0:
1797 ; AVX512BW-NEXT:    vpsrlw $9, %xmm0, %xmm1
1798 ; AVX512BW-NEXT:    vpsllw $7, %xmm0, %xmm0
1799 ; AVX512BW-NEXT:    vpor %xmm1, %xmm0, %xmm0
1800 ; AVX512BW-NEXT:    retq
1801 ;
1802 ; AVX512VLBW-LABEL: splatconstant_funnnel_v8i16:
1803 ; AVX512VLBW:       # %bb.0:
1804 ; AVX512VLBW-NEXT:    vpsrlw $9, %xmm0, %xmm1
1805 ; AVX512VLBW-NEXT:    vpsllw $7, %xmm0, %xmm0
1806 ; AVX512VLBW-NEXT:    vpor %xmm1, %xmm0, %xmm0
1807 ; AVX512VLBW-NEXT:    retq
1808 ;
1809 ; AVX512VBMI2-LABEL: splatconstant_funnnel_v8i16:
1810 ; AVX512VBMI2:       # %bb.0:
1811 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1812 ; AVX512VBMI2-NEXT:    vpshldw $7, %zmm0, %zmm0, %zmm0
1813 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1814 ; AVX512VBMI2-NEXT:    vzeroupper
1815 ; AVX512VBMI2-NEXT:    retq
1816 ;
1817 ; AVX512VLVBMI2-LABEL: splatconstant_funnnel_v8i16:
1818 ; AVX512VLVBMI2:       # %bb.0:
1819 ; AVX512VLVBMI2-NEXT:    vpshldw $7, %xmm0, %xmm0, %xmm0
1820 ; AVX512VLVBMI2-NEXT:    retq
1821 ;
1822 ; XOP-LABEL: splatconstant_funnnel_v8i16:
1823 ; XOP:       # %bb.0:
1824 ; XOP-NEXT:    vprotw $7, %xmm0, %xmm0
1825 ; XOP-NEXT:    retq
1826 ;
1827 ; X86-SSE2-LABEL: splatconstant_funnnel_v8i16:
1828 ; X86-SSE2:       # %bb.0:
1829 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1830 ; X86-SSE2-NEXT:    psrlw $9, %xmm1
1831 ; X86-SSE2-NEXT:    psllw $7, %xmm0
1832 ; X86-SSE2-NEXT:    por %xmm1, %xmm0
1833 ; X86-SSE2-NEXT:    retl
1834   %res = call <8 x i16> @llvm.fshl.v8i16(<8 x i16> %x, <8 x i16> %x, <8 x i16> <i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7>)
1835   ret <8 x i16> %res
1836 }
1837
1838 define <16 x i8> @splatconstant_funnnel_v16i8(<16 x i8> %x) nounwind {
1839 ; SSE-LABEL: splatconstant_funnnel_v16i8:
1840 ; SSE:       # %bb.0:
1841 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1842 ; SSE-NEXT:    psrlw $4, %xmm1
1843 ; SSE-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
1844 ; SSE-NEXT:    psllw $4, %xmm0
1845 ; SSE-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1846 ; SSE-NEXT:    por %xmm1, %xmm0
1847 ; SSE-NEXT:    retq
1848 ;
1849 ; AVX-LABEL: splatconstant_funnnel_v16i8:
1850 ; AVX:       # %bb.0:
1851 ; AVX-NEXT:    vpsrlw $4, %xmm0, %xmm1
1852 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1853 ; AVX-NEXT:    vpsllw $4, %xmm0, %xmm0
1854 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1855 ; AVX-NEXT:    vpor %xmm1, %xmm0, %xmm0
1856 ; AVX-NEXT:    retq
1857 ;
1858 ; AVX512F-LABEL: splatconstant_funnnel_v16i8:
1859 ; AVX512F:       # %bb.0:
1860 ; AVX512F-NEXT:    vpsllw $4, %xmm0, %xmm1
1861 ; AVX512F-NEXT:    vpsrlw $4, %xmm0, %xmm0
1862 ; AVX512F-NEXT:    vpternlogd $216, {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm0
1863 ; AVX512F-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1864 ; AVX512F-NEXT:    vzeroupper
1865 ; AVX512F-NEXT:    retq
1866 ;
1867 ; AVX512VL-LABEL: splatconstant_funnnel_v16i8:
1868 ; AVX512VL:       # %bb.0:
1869 ; AVX512VL-NEXT:    vpsllw $4, %xmm0, %xmm1
1870 ; AVX512VL-NEXT:    vpsrlw $4, %xmm0, %xmm0
1871 ; AVX512VL-NEXT:    vpternlogd $216, {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm0
1872 ; AVX512VL-NEXT:    retq
1873 ;
1874 ; AVX512BW-LABEL: splatconstant_funnnel_v16i8:
1875 ; AVX512BW:       # %bb.0:
1876 ; AVX512BW-NEXT:    vpsllw $4, %xmm0, %xmm1
1877 ; AVX512BW-NEXT:    vpsrlw $4, %xmm0, %xmm0
1878 ; AVX512BW-NEXT:    vpternlogd $216, {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm0
1879 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1880 ; AVX512BW-NEXT:    vzeroupper
1881 ; AVX512BW-NEXT:    retq
1882 ;
1883 ; AVX512VLBW-LABEL: splatconstant_funnnel_v16i8:
1884 ; AVX512VLBW:       # %bb.0:
1885 ; AVX512VLBW-NEXT:    vpsllw $4, %xmm0, %xmm1
1886 ; AVX512VLBW-NEXT:    vpsrlw $4, %xmm0, %xmm0
1887 ; AVX512VLBW-NEXT:    vpternlogd $216, {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm0
1888 ; AVX512VLBW-NEXT:    retq
1889 ;
1890 ; AVX512VBMI2-LABEL: splatconstant_funnnel_v16i8:
1891 ; AVX512VBMI2:       # %bb.0:
1892 ; AVX512VBMI2-NEXT:    vpsllw $4, %xmm0, %xmm1
1893 ; AVX512VBMI2-NEXT:    vpsrlw $4, %xmm0, %xmm0
1894 ; AVX512VBMI2-NEXT:    vpternlogd $216, {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm0
1895 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1896 ; AVX512VBMI2-NEXT:    vzeroupper
1897 ; AVX512VBMI2-NEXT:    retq
1898 ;
1899 ; AVX512VLVBMI2-LABEL: splatconstant_funnnel_v16i8:
1900 ; AVX512VLVBMI2:       # %bb.0:
1901 ; AVX512VLVBMI2-NEXT:    vpsllw $4, %xmm0, %xmm1
1902 ; AVX512VLVBMI2-NEXT:    vpsrlw $4, %xmm0, %xmm0
1903 ; AVX512VLVBMI2-NEXT:    vpternlogd $216, {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm0
1904 ; AVX512VLVBMI2-NEXT:    retq
1905 ;
1906 ; XOP-LABEL: splatconstant_funnnel_v16i8:
1907 ; XOP:       # %bb.0:
1908 ; XOP-NEXT:    vprotb $4, %xmm0, %xmm0
1909 ; XOP-NEXT:    retq
1910 ;
1911 ; X86-SSE2-LABEL: splatconstant_funnnel_v16i8:
1912 ; X86-SSE2:       # %bb.0:
1913 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1914 ; X86-SSE2-NEXT:    psrlw $4, %xmm1
1915 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1
1916 ; X86-SSE2-NEXT:    psllw $4, %xmm0
1917 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0
1918 ; X86-SSE2-NEXT:    por %xmm1, %xmm0
1919 ; X86-SSE2-NEXT:    retl
1920   %res = call <16 x i8> @llvm.fshl.v16i8(<16 x i8> %x, <16 x i8> %x, <16 x i8> <i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4>)
1921   ret <16 x i8> %res
1922 }