llvm/test/CodeGen/X86/vector-rotate-128.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse2 | FileCheck %s --check-prefixes=SSE,SSE2
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse4.1 | FileCheck %s --check-prefixes=SSE,SSE41
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx | FileCheck %s --check-prefixes=AVX,AVX1
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefixes=AVX,AVX2
   6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f | FileCheck %s --check-prefixes=AVX512,AVX512NOVLX,AVX512F
   7 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512vl | FileCheck %s --check-prefixes=AVX512,AVX512VLX,AVX512VL
   8 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512bw | FileCheck %s --check-prefixes=AVX512,AVX512NOVLX,AVX512BW
   9 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512bw,+avx512vl | FileCheck %s --check-prefixes=AVX512,AVX512VLX,AVX512VLBW
  10 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512vbmi,+avx512vbmi2 | FileCheck %s --check-prefixes=AVX512,AVX512NOVLX,AVX512VBMI2
  11 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512f,+avx512vbmi,+avx512vbmi2,+avx512vl | FileCheck %s --check-prefixes=AVX512,AVX512VLX,AVX512VLVBMI2
  12 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+xop,+avx | FileCheck %s --check-prefixes=XOP,XOPAVX1
  13 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+xop,+avx2 | FileCheck %s --check-prefixes=XOP,XOPAVX2
  14
  15 ; Just one 32-bit run to make sure we do reasonable things for i64 rotates.
  16 ; RUN: llc < %s -mtriple=i686-unknown-unknown -mattr=+sse2 | FileCheck %s --check-prefixes=X86-SSE2
  17
  18 ;
  19 ; Variable Rotates
  20 ;
  21
  22 define <2 x i64> @var_rotate_v2i64(<2 x i64> %a, <2 x i64> %b) nounwind {
  23 ; SSE2-LABEL: var_rotate_v2i64:
  24 ; SSE2:       # %bb.0:
  25 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [64,64]
  26 ; SSE2-NEXT:    psubq %xmm1, %xmm2
  27 ; SSE2-NEXT:    movdqa %xmm0, %xmm3
  28 ; SSE2-NEXT:    psllq %xmm1, %xmm3
  29 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,2,3]
  30 ; SSE2-NEXT:    movdqa %xmm0, %xmm4
  31 ; SSE2-NEXT:    psllq %xmm1, %xmm4
  32 ; SSE2-NEXT:    movsd {{.*#+}} xmm4 = xmm3[0],xmm4[1]
  33 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
  34 ; SSE2-NEXT:    psrlq %xmm2, %xmm1
  35 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[2,3,2,3]
  36 ; SSE2-NEXT:    psrlq %xmm2, %xmm0
  37 ; SSE2-NEXT:    movsd {{.*#+}} xmm0 = xmm1[0],xmm0[1]
  38 ; SSE2-NEXT:    orpd %xmm4, %xmm0
  39 ; SSE2-NEXT:    retq
  40 ;
  41 ; SSE41-LABEL: var_rotate_v2i64:
  42 ; SSE41:       # %bb.0:
  43 ; SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [64,64]
  44 ; SSE41-NEXT:    psubq %xmm1, %xmm2
  45 ; SSE41-NEXT:    movdqa %xmm0, %xmm3
  46 ; SSE41-NEXT:    psllq %xmm1, %xmm3
  47 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,2,3]
  48 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
  49 ; SSE41-NEXT:    psllq %xmm1, %xmm4
  50 ; SSE41-NEXT:    pblendw {{.*#+}} xmm4 = xmm3[0,1,2,3],xmm4[4,5,6,7]
  51 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
  52 ; SSE41-NEXT:    psrlq %xmm2, %xmm1
  53 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[2,3,2,3]
  54 ; SSE41-NEXT:    psrlq %xmm2, %xmm0
  55 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm0[4,5,6,7]
  56 ; SSE41-NEXT:    por %xmm4, %xmm0
  57 ; SSE41-NEXT:    retq
  58 ;
  59 ; AVX1-LABEL: var_rotate_v2i64:
  60 ; AVX1:       # %bb.0:
  61 ; AVX1-NEXT:    vmovddup {{.*#+}} xmm2 = [64,64]
  62 ; AVX1-NEXT:    # xmm2 = mem[0,0]
  63 ; AVX1-NEXT:    vpsubq %xmm1, %xmm2, %xmm2
  64 ; AVX1-NEXT:    vpsllq %xmm1, %xmm0, %xmm3
  65 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[2,3,2,3]
  66 ; AVX1-NEXT:    vpsllq %xmm1, %xmm0, %xmm1
  67 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
  68 ; AVX1-NEXT:    vpsrlq %xmm2, %xmm0, %xmm3
  69 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[2,3,2,3]
  70 ; AVX1-NEXT:    vpsrlq %xmm2, %xmm0, %xmm0
  71 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm3[0,1,2,3],xmm0[4,5,6,7]
  72 ; AVX1-NEXT:    vpor %xmm0, %xmm1, %xmm0
  73 ; AVX1-NEXT:    retq
  74 ;
  75 ; AVX2-LABEL: var_rotate_v2i64:
  76 ; AVX2:       # %bb.0:
  77 ; AVX2-NEXT:    vpbroadcastq {{.*#+}} xmm2 = [64,64]
  78 ; AVX2-NEXT:    vpsubq %xmm1, %xmm2, %xmm2
  79 ; AVX2-NEXT:    vpsllvq %xmm1, %xmm0, %xmm1
  80 ; AVX2-NEXT:    vpsrlvq %xmm2, %xmm0, %xmm0
  81 ; AVX2-NEXT:    vpor %xmm0, %xmm1, %xmm0
  82 ; AVX2-NEXT:    retq
  83 ;
  84 ; AVX512NOVLX-LABEL: var_rotate_v2i64:
  85 ; AVX512NOVLX:       # %bb.0:
  86 ; AVX512NOVLX-NEXT:    # kill: def $xmm1 killed $xmm1 def $zmm1
  87 ; AVX512NOVLX-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
  88 ; AVX512NOVLX-NEXT:    vprolvq %zmm1, %zmm0, %zmm0
  89 ; AVX512NOVLX-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
  90 ; AVX512NOVLX-NEXT:    vzeroupper
  91 ; AVX512NOVLX-NEXT:    retq
  92 ;
  93 ; AVX512VLX-LABEL: var_rotate_v2i64:
  94 ; AVX512VLX:       # %bb.0:
  95 ; AVX512VLX-NEXT:    vprolvq %xmm1, %xmm0, %xmm0
  96 ; AVX512VLX-NEXT:    retq
  97 ;
  98 ; XOP-LABEL: var_rotate_v2i64:
  99 ; XOP:       # %bb.0:
 100 ; XOP-NEXT:    vprotq %xmm1, %xmm0, %xmm0
 101 ; XOP-NEXT:    retq
 102 ;
 103 ; X86-SSE2-LABEL: var_rotate_v2i64:
 104 ; X86-SSE2:       # %bb.0:
 105 ; X86-SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [64,0,64,0]
 106 ; X86-SSE2-NEXT:    psubq %xmm1, %xmm2
 107 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm3
 108 ; X86-SSE2-NEXT:    psllq %xmm1, %xmm3
 109 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,2,3]
 110 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm4
 111 ; X86-SSE2-NEXT:    psllq %xmm1, %xmm4
 112 ; X86-SSE2-NEXT:    movsd {{.*#+}} xmm4 = xmm3[0],xmm4[1]
 113 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
 114 ; X86-SSE2-NEXT:    psrlq %xmm2, %xmm1
 115 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[2,3,2,3]
 116 ; X86-SSE2-NEXT:    psrlq %xmm2, %xmm0
 117 ; X86-SSE2-NEXT:    movsd {{.*#+}} xmm0 = xmm1[0],xmm0[1]
 118 ; X86-SSE2-NEXT:    orpd %xmm4, %xmm0
 119 ; X86-SSE2-NEXT:    retl
 120   %b64 = sub <2 x i64> <i64 64, i64 64>, %b
 121   %shl = shl <2 x i64> %a, %b
 122   %lshr = lshr <2 x i64> %a, %b64
 123   %or = or <2 x i64> %shl, %lshr
 124   ret <2 x i64> %or
 125 }
 126
 127 define <4 x i32> @var_rotate_v4i32(<4 x i32> %a, <4 x i32> %b) nounwind {
 128 ; SSE2-LABEL: var_rotate_v4i32:
 129 ; SSE2:       # %bb.0:
 130 ; SSE2-NEXT:    pslld $23, %xmm1
 131 ; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 132 ; SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 133 ; SSE2-NEXT:    cvttps2dq %xmm1, %xmm1
 134 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 135 ; SSE2-NEXT:    pmuludq %xmm1, %xmm0
 136 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,3,2,3]
 137 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 138 ; SSE2-NEXT:    pmuludq %xmm2, %xmm1
 139 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
 140 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
 141 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 142 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 143 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 144 ; SSE2-NEXT:    por %xmm3, %xmm0
 145 ; SSE2-NEXT:    retq
 146 ;
 147 ; SSE41-LABEL: var_rotate_v4i32:
 148 ; SSE41:       # %bb.0:
 149 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 150 ; SSE41-NEXT:    pslld $23, %xmm1
 151 ; SSE41-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 152 ; SSE41-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 153 ; SSE41-NEXT:    cvttps2dq %xmm1, %xmm1
 154 ; SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
 155 ; SSE41-NEXT:    pmuludq %xmm2, %xmm3
 156 ; SSE41-NEXT:    pmuludq %xmm1, %xmm0
 157 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 158 ; SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm3[2,3],xmm1[4,5],xmm3[6,7]
 159 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm3[0,0,2,2]
 160 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 161 ; SSE41-NEXT:    por %xmm1, %xmm0
 162 ; SSE41-NEXT:    retq
 163 ;
 164 ; AVX1-LABEL: var_rotate_v4i32:
 165 ; AVX1:       # %bb.0:
 166 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 167 ; AVX1-NEXT:    vpslld $23, %xmm1, %xmm1
 168 ; AVX1-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 169 ; AVX1-NEXT:    vpaddd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 170 ; AVX1-NEXT:    vcvttps2dq %xmm1, %xmm1
 171 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
 172 ; AVX1-NEXT:    vpmuludq %xmm3, %xmm2, %xmm2
 173 ; AVX1-NEXT:    vpmuludq %xmm1, %xmm0, %xmm0
 174 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
 175 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 176 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[0,0,2,2]
 177 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 178 ; AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
 179 ; AVX1-NEXT:    retq
 180 ;
 181 ; AVX2-LABEL: var_rotate_v4i32:
 182 ; AVX2:       # %bb.0:
 183 ; AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [31,31,31,31]
 184 ; AVX2-NEXT:    vpand %xmm2, %xmm1, %xmm1
 185 ; AVX2-NEXT:    vpsllvd %xmm1, %xmm0, %xmm2
 186 ; AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [32,32,32,32]
 187 ; AVX2-NEXT:    vpsubd %xmm1, %xmm3, %xmm1
 188 ; AVX2-NEXT:    vpsrlvd %xmm1, %xmm0, %xmm0
 189 ; AVX2-NEXT:    vpor %xmm0, %xmm2, %xmm0
 190 ; AVX2-NEXT:    retq
 191 ;
 192 ; AVX512NOVLX-LABEL: var_rotate_v4i32:
 193 ; AVX512NOVLX:       # %bb.0:
 194 ; AVX512NOVLX-NEXT:    # kill: def $xmm1 killed $xmm1 def $zmm1
 195 ; AVX512NOVLX-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 196 ; AVX512NOVLX-NEXT:    vprolvd %zmm1, %zmm0, %zmm0
 197 ; AVX512NOVLX-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 198 ; AVX512NOVLX-NEXT:    vzeroupper
 199 ; AVX512NOVLX-NEXT:    retq
 200 ;
 201 ; AVX512VLX-LABEL: var_rotate_v4i32:
 202 ; AVX512VLX:       # %bb.0:
 203 ; AVX512VLX-NEXT:    vprolvd %xmm1, %xmm0, %xmm0
 204 ; AVX512VLX-NEXT:    retq
 205 ;
 206 ; XOP-LABEL: var_rotate_v4i32:
 207 ; XOP:       # %bb.0:
 208 ; XOP-NEXT:    vprotd %xmm1, %xmm0, %xmm0
 209 ; XOP-NEXT:    retq
 210 ;
 211 ; X86-SSE2-LABEL: var_rotate_v4i32:
 212 ; X86-SSE2:       # %bb.0:
 213 ; X86-SSE2-NEXT:    pslld $23, %xmm1
 214 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1
 215 ; X86-SSE2-NEXT:    paddd {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1
 216 ; X86-SSE2-NEXT:    cvttps2dq %xmm1, %xmm1
 217 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
 218 ; X86-SSE2-NEXT:    pmuludq %xmm1, %xmm0
 219 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,3,2,3]
 220 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 221 ; X86-SSE2-NEXT:    pmuludq %xmm2, %xmm1
 222 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,3,2,3]
 223 ; X86-SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
 224 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 225 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 226 ; X86-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 227 ; X86-SSE2-NEXT:    por %xmm3, %xmm0
 228 ; X86-SSE2-NEXT:    retl
 229   %b32 = sub <4 x i32> <i32 32, i32 32, i32 32, i32 32>, %b
 230   %shl = shl <4 x i32> %a, %b
 231   %lshr = lshr <4 x i32> %a, %b32
 232   %or = or <4 x i32> %shl, %lshr
 233   ret <4 x i32> %or
 234 }
 235
 236 define <8 x i16> @var_rotate_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
 237 ; SSE2-LABEL: var_rotate_v8i16:
 238 ; SSE2:       # %bb.0:
 239 ; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 240 ; SSE2-NEXT:    movdqa %xmm1, %xmm2
 241 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm2 = xmm2[4,4,5,5,6,6,7,7]
 242 ; SSE2-NEXT:    pslld $23, %xmm2
 243 ; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [1065353216,1065353216,1065353216,1065353216]
 244 ; SSE2-NEXT:    paddd %xmm3, %xmm2
 245 ; SSE2-NEXT:    cvttps2dq %xmm2, %xmm2
 246 ; SSE2-NEXT:    pslld $16, %xmm2
 247 ; SSE2-NEXT:    psrad $16, %xmm2
 248 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3]
 249 ; SSE2-NEXT:    pslld $23, %xmm1
 250 ; SSE2-NEXT:    paddd %xmm3, %xmm1
 251 ; SSE2-NEXT:    cvttps2dq %xmm1, %xmm1
 252 ; SSE2-NEXT:    pslld $16, %xmm1
 253 ; SSE2-NEXT:    psrad $16, %xmm1
 254 ; SSE2-NEXT:    packssdw %xmm2, %xmm1
 255 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 256 ; SSE2-NEXT:    pmulhuw %xmm1, %xmm2
 257 ; SSE2-NEXT:    pmullw %xmm1, %xmm0
 258 ; SSE2-NEXT:    por %xmm2, %xmm0
 259 ; SSE2-NEXT:    retq
 260 ;
 261 ; SSE41-LABEL: var_rotate_v8i16:
 262 ; SSE41:       # %bb.0:
 263 ; SSE41-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 264 ; SSE41-NEXT:    pmovzxwd {{.*#+}} xmm2 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero
 265 ; SSE41-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4,4,5,5,6,6,7,7]
 266 ; SSE41-NEXT:    pslld $23, %xmm1
 267 ; SSE41-NEXT:    movdqa {{.*#+}} xmm3 = [1065353216,1065353216,1065353216,1065353216]
 268 ; SSE41-NEXT:    paddd %xmm3, %xmm1
 269 ; SSE41-NEXT:    cvttps2dq %xmm1, %xmm1
 270 ; SSE41-NEXT:    pslld $23, %xmm2
 271 ; SSE41-NEXT:    paddd %xmm3, %xmm2
 272 ; SSE41-NEXT:    cvttps2dq %xmm2, %xmm2
 273 ; SSE41-NEXT:    packusdw %xmm1, %xmm2
 274 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
 275 ; SSE41-NEXT:    pmulhuw %xmm2, %xmm1
 276 ; SSE41-NEXT:    pmullw %xmm2, %xmm0
 277 ; SSE41-NEXT:    por %xmm1, %xmm0
 278 ; SSE41-NEXT:    retq
 279 ;
 280 ; AVX1-LABEL: var_rotate_v8i16:
 281 ; AVX1:       # %bb.0:
 282 ; AVX1-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 283 ; AVX1-NEXT:    vpunpckhwd {{.*#+}} xmm2 = xmm1[4,4,5,5,6,6,7,7]
 284 ; AVX1-NEXT:    vpslld $23, %xmm2, %xmm2
 285 ; AVX1-NEXT:    vbroadcastss {{.*#+}} xmm3 = [1065353216,1065353216,1065353216,1065353216]
 286 ; AVX1-NEXT:    vpaddd %xmm3, %xmm2, %xmm2
 287 ; AVX1-NEXT:    vcvttps2dq %xmm2, %xmm2
 288 ; AVX1-NEXT:    vpmovzxwd {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero
 289 ; AVX1-NEXT:    vpslld $23, %xmm1, %xmm1
 290 ; AVX1-NEXT:    vpaddd %xmm3, %xmm1, %xmm1
 291 ; AVX1-NEXT:    vcvttps2dq %xmm1, %xmm1
 292 ; AVX1-NEXT:    vpackusdw %xmm2, %xmm1, %xmm1
 293 ; AVX1-NEXT:    vpmulhuw %xmm1, %xmm0, %xmm2
 294 ; AVX1-NEXT:    vpmullw %xmm1, %xmm0, %xmm0
 295 ; AVX1-NEXT:    vpor %xmm2, %xmm0, %xmm0
 296 ; AVX1-NEXT:    retq
 297 ;
 298 ; AVX2-LABEL: var_rotate_v8i16:
 299 ; AVX2:       # %bb.0:
 300 ; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 301 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 302 ; AVX2-NEXT:    vpunpckhwd {{.*#+}} xmm2 = xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
 303 ; AVX2-NEXT:    vpunpckhwd {{.*#+}} xmm3 = xmm0[4,4,5,5,6,6,7,7]
 304 ; AVX2-NEXT:    vpsllvd %xmm2, %xmm3, %xmm2
 305 ; AVX2-NEXT:    vpsrld $16, %xmm2, %xmm2
 306 ; AVX2-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
 307 ; AVX2-NEXT:    vpmovzxwd {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero
 308 ; AVX2-NEXT:    vpsllvd %xmm1, %xmm0, %xmm0
 309 ; AVX2-NEXT:    vpsrld $16, %xmm0, %xmm0
 310 ; AVX2-NEXT:    vpackusdw %xmm2, %xmm0, %xmm0
 311 ; AVX2-NEXT:    retq
 312 ;
 313 ; AVX512F-LABEL: var_rotate_v8i16:
 314 ; AVX512F:       # %bb.0:
 315 ; AVX512F-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 316 ; AVX512F-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 317 ; AVX512F-NEXT:    vpunpckhwd {{.*#+}} xmm2 = xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
 318 ; AVX512F-NEXT:    vpunpckhwd {{.*#+}} xmm3 = xmm0[4,4,5,5,6,6,7,7]
 319 ; AVX512F-NEXT:    vpsllvd %xmm2, %xmm3, %xmm2
 320 ; AVX512F-NEXT:    vpsrld $16, %xmm2, %xmm2
 321 ; AVX512F-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
 322 ; AVX512F-NEXT:    vpmovzxwd {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero
 323 ; AVX512F-NEXT:    vpsllvd %xmm1, %xmm0, %xmm0
 324 ; AVX512F-NEXT:    vpsrld $16, %xmm0, %xmm0
 325 ; AVX512F-NEXT:    vpackusdw %xmm2, %xmm0, %xmm0
 326 ; AVX512F-NEXT:    retq
 327 ;
 328 ; AVX512VL-LABEL: var_rotate_v8i16:
 329 ; AVX512VL:       # %bb.0:
 330 ; AVX512VL-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm1
 331 ; AVX512VL-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 332 ; AVX512VL-NEXT:    vpunpckhwd {{.*#+}} xmm2 = xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
 333 ; AVX512VL-NEXT:    vpunpckhwd {{.*#+}} xmm3 = xmm0[4,4,5,5,6,6,7,7]
 334 ; AVX512VL-NEXT:    vpsllvd %xmm2, %xmm3, %xmm2
 335 ; AVX512VL-NEXT:    vpsrld $16, %xmm2, %xmm2
 336 ; AVX512VL-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
 337 ; AVX512VL-NEXT:    vpmovzxwd {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero
 338 ; AVX512VL-NEXT:    vpsllvd %xmm1, %xmm0, %xmm0
 339 ; AVX512VL-NEXT:    vpsrld $16, %xmm0, %xmm0
 340 ; AVX512VL-NEXT:    vpackusdw %xmm2, %xmm0, %xmm0
 341 ; AVX512VL-NEXT:    retq
 342 ;
 343 ; AVX512BW-LABEL: var_rotate_v8i16:
 344 ; AVX512BW:       # %bb.0:
 345 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 346 ; AVX512BW-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 347 ; AVX512BW-NEXT:    vpsllvw %zmm1, %zmm0, %zmm2
 348 ; AVX512BW-NEXT:    vpbroadcastw {{.*#+}} xmm3 = [16,16,16,16,16,16,16,16]
 349 ; AVX512BW-NEXT:    vpsubw %xmm1, %xmm3, %xmm1
 350 ; AVX512BW-NEXT:    vpsrlvw %zmm1, %zmm0, %zmm0
 351 ; AVX512BW-NEXT:    vpor %xmm0, %xmm2, %xmm0
 352 ; AVX512BW-NEXT:    vzeroupper
 353 ; AVX512BW-NEXT:    retq
 354 ;
 355 ; AVX512VLBW-LABEL: var_rotate_v8i16:
 356 ; AVX512VLBW:       # %bb.0:
 357 ; AVX512VLBW-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm1
 358 ; AVX512VLBW-NEXT:    vpsllvw %xmm1, %xmm0, %xmm2
 359 ; AVX512VLBW-NEXT:    vpbroadcastw {{.*#+}} xmm3 = [16,16,16,16,16,16,16,16]
 360 ; AVX512VLBW-NEXT:    vpsubw %xmm1, %xmm3, %xmm1
 361 ; AVX512VLBW-NEXT:    vpsrlvw %xmm1, %xmm0, %xmm0
 362 ; AVX512VLBW-NEXT:    vpor %xmm0, %xmm2, %xmm0
 363 ; AVX512VLBW-NEXT:    retq
 364 ;
 365 ; AVX512VBMI2-LABEL: var_rotate_v8i16:
 366 ; AVX512VBMI2:       # %bb.0:
 367 ; AVX512VBMI2-NEXT:    # kill: def $xmm1 killed $xmm1 def $zmm1
 368 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 369 ; AVX512VBMI2-NEXT:    vpshldvw %zmm1, %zmm0, %zmm0
 370 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 371 ; AVX512VBMI2-NEXT:    vzeroupper
 372 ; AVX512VBMI2-NEXT:    retq
 373 ;
 374 ; AVX512VLVBMI2-LABEL: var_rotate_v8i16:
 375 ; AVX512VLVBMI2:       # %bb.0:
 376 ; AVX512VLVBMI2-NEXT:    vpshldvw %xmm1, %xmm0, %xmm0
 377 ; AVX512VLVBMI2-NEXT:    retq
 378 ;
 379 ; XOP-LABEL: var_rotate_v8i16:
 380 ; XOP:       # %bb.0:
 381 ; XOP-NEXT:    vprotw %xmm1, %xmm0, %xmm0
 382 ; XOP-NEXT:    retq
 383 ;
 384 ; X86-SSE2-LABEL: var_rotate_v8i16:
 385 ; X86-SSE2:       # %bb.0:
 386 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1
 387 ; X86-SSE2-NEXT:    movdqa %xmm1, %xmm2
 388 ; X86-SSE2-NEXT:    punpckhwd {{.*#+}} xmm2 = xmm2[4,4,5,5,6,6,7,7]
 389 ; X86-SSE2-NEXT:    pslld $23, %xmm2
 390 ; X86-SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [1065353216,1065353216,1065353216,1065353216]
 391 ; X86-SSE2-NEXT:    paddd %xmm3, %xmm2
 392 ; X86-SSE2-NEXT:    cvttps2dq %xmm2, %xmm2
 393 ; X86-SSE2-NEXT:    pslld $16, %xmm2
 394 ; X86-SSE2-NEXT:    psrad $16, %xmm2
 395 ; X86-SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3]
 396 ; X86-SSE2-NEXT:    pslld $23, %xmm1
 397 ; X86-SSE2-NEXT:    paddd %xmm3, %xmm1
 398 ; X86-SSE2-NEXT:    cvttps2dq %xmm1, %xmm1
 399 ; X86-SSE2-NEXT:    pslld $16, %xmm1
 400 ; X86-SSE2-NEXT:    psrad $16, %xmm1
 401 ; X86-SSE2-NEXT:    packssdw %xmm2, %xmm1
 402 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm2
 403 ; X86-SSE2-NEXT:    pmulhuw %xmm1, %xmm2
 404 ; X86-SSE2-NEXT:    pmullw %xmm1, %xmm0
 405 ; X86-SSE2-NEXT:    por %xmm2, %xmm0
 406 ; X86-SSE2-NEXT:    retl
 407   %b16 = sub <8 x i16> <i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16>, %b
 408   %shl = shl <8 x i16> %a, %b
 409   %lshr = lshr <8 x i16> %a, %b16
 410   %or = or <8 x i16> %shl, %lshr
 411   ret <8 x i16> %or
 412 }
 413
 414 define <16 x i8> @var_rotate_v16i8(<16 x i8> %a, <16 x i8> %b) nounwind {
 415 ; SSE2-LABEL: var_rotate_v16i8:
 416 ; SSE2:       # %bb.0:
 417 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 418 ; SSE2-NEXT:    psllw $5, %xmm1
 419 ; SSE2-NEXT:    pxor %xmm0, %xmm0
 420 ; SSE2-NEXT:    pxor %xmm3, %xmm3
 421 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm3
 422 ; SSE2-NEXT:    movdqa %xmm2, %xmm4
 423 ; SSE2-NEXT:    psrlw $4, %xmm4
 424 ; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
 425 ; SSE2-NEXT:    movdqa %xmm2, %xmm5
 426 ; SSE2-NEXT:    psllw $4, %xmm5
 427 ; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
 428 ; SSE2-NEXT:    por %xmm4, %xmm5
 429 ; SSE2-NEXT:    pand %xmm3, %xmm5
 430 ; SSE2-NEXT:    pandn %xmm2, %xmm3
 431 ; SSE2-NEXT:    por %xmm5, %xmm3
 432 ; SSE2-NEXT:    movdqa %xmm3, %xmm2
 433 ; SSE2-NEXT:    psrlw $6, %xmm2
 434 ; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
 435 ; SSE2-NEXT:    movdqa %xmm3, %xmm4
 436 ; SSE2-NEXT:    psllw $2, %xmm4
 437 ; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
 438 ; SSE2-NEXT:    por %xmm2, %xmm4
 439 ; SSE2-NEXT:    paddb %xmm1, %xmm1
 440 ; SSE2-NEXT:    pxor %xmm2, %xmm2
 441 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm2
 442 ; SSE2-NEXT:    pand %xmm2, %xmm4
 443 ; SSE2-NEXT:    pandn %xmm3, %xmm2
 444 ; SSE2-NEXT:    por %xmm4, %xmm2
 445 ; SSE2-NEXT:    movdqa %xmm2, %xmm3
 446 ; SSE2-NEXT:    psrlw $7, %xmm3
 447 ; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
 448 ; SSE2-NEXT:    movdqa %xmm2, %xmm4
 449 ; SSE2-NEXT:    paddb %xmm2, %xmm4
 450 ; SSE2-NEXT:    por %xmm3, %xmm4
 451 ; SSE2-NEXT:    paddb %xmm1, %xmm1
 452 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm0
 453 ; SSE2-NEXT:    pand %xmm0, %xmm4
 454 ; SSE2-NEXT:    pandn %xmm2, %xmm0
 455 ; SSE2-NEXT:    por %xmm4, %xmm0
 456 ; SSE2-NEXT:    retq
 457 ;
 458 ; SSE41-LABEL: var_rotate_v16i8:
 459 ; SSE41:       # %bb.0:
 460 ; SSE41-NEXT:    movdqa %xmm1, %xmm2
 461 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
 462 ; SSE41-NEXT:    psrlw $4, %xmm0
 463 ; SSE41-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 464 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
 465 ; SSE41-NEXT:    psllw $4, %xmm3
 466 ; SSE41-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
 467 ; SSE41-NEXT:    por %xmm0, %xmm3
 468 ; SSE41-NEXT:    psllw $5, %xmm2
 469 ; SSE41-NEXT:    movdqa %xmm2, %xmm0
 470 ; SSE41-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
 471 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 472 ; SSE41-NEXT:    psrlw $6, %xmm0
 473 ; SSE41-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 474 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
 475 ; SSE41-NEXT:    psllw $2, %xmm3
 476 ; SSE41-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
 477 ; SSE41-NEXT:    por %xmm0, %xmm3
 478 ; SSE41-NEXT:    paddb %xmm2, %xmm2
 479 ; SSE41-NEXT:    movdqa %xmm2, %xmm0
 480 ; SSE41-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
 481 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 482 ; SSE41-NEXT:    psrlw $7, %xmm0
 483 ; SSE41-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
 484 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
 485 ; SSE41-NEXT:    paddb %xmm1, %xmm3
 486 ; SSE41-NEXT:    por %xmm0, %xmm3
 487 ; SSE41-NEXT:    paddb %xmm2, %xmm2
 488 ; SSE41-NEXT:    movdqa %xmm2, %xmm0
 489 ; SSE41-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
 490 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 491 ; SSE41-NEXT:    retq
 492 ;
 493 ; AVX-LABEL: var_rotate_v16i8:
 494 ; AVX:       # %bb.0:
 495 ; AVX-NEXT:    vpsrlw $4, %xmm0, %xmm2
 496 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2, %xmm2
 497 ; AVX-NEXT:    vpsllw $4, %xmm0, %xmm3
 498 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3, %xmm3
 499 ; AVX-NEXT:    vpor %xmm2, %xmm3, %xmm2
 500 ; AVX-NEXT:    vpsllw $5, %xmm1, %xmm1
 501 ; AVX-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
 502 ; AVX-NEXT:    vpsrlw $6, %xmm0, %xmm2
 503 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2, %xmm2
 504 ; AVX-NEXT:    vpsllw $2, %xmm0, %xmm3
 505 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3, %xmm3
 506 ; AVX-NEXT:    vpor %xmm2, %xmm3, %xmm2
 507 ; AVX-NEXT:    vpaddb %xmm1, %xmm1, %xmm1
 508 ; AVX-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
 509 ; AVX-NEXT:    vpsrlw $7, %xmm0, %xmm2
 510 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2, %xmm2
 511 ; AVX-NEXT:    vpaddb %xmm0, %xmm0, %xmm3
 512 ; AVX-NEXT:    vpor %xmm2, %xmm3, %xmm2
 513 ; AVX-NEXT:    vpaddb %xmm1, %xmm1, %xmm1
 514 ; AVX-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
 515 ; AVX-NEXT:    retq
 516 ;
 517 ; AVX512F-LABEL: var_rotate_v16i8:
 518 ; AVX512F:       # %bb.0:
 519 ; AVX512F-NEXT:    vpmovzxbd {{.*#+}} zmm0 = xmm0[0],zero,zero,zero,xmm0[1],zero,zero,zero,xmm0[2],zero,zero,zero,xmm0[3],zero,zero,zero,xmm0[4],zero,zero,zero,xmm0[5],zero,zero,zero,xmm0[6],zero,zero,zero,xmm0[7],zero,zero,zero,xmm0[8],zero,zero,zero,xmm0[9],zero,zero,zero,xmm0[10],zero,zero,zero,xmm0[11],zero,zero,zero,xmm0[12],zero,zero,zero,xmm0[13],zero,zero,zero,xmm0[14],zero,zero,zero,xmm0[15],zero,zero,zero
 520 ; AVX512F-NEXT:    vpslld $8, %zmm0, %zmm2
 521 ; AVX512F-NEXT:    vpord %zmm2, %zmm0, %zmm0
 522 ; AVX512F-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 523 ; AVX512F-NEXT:    vpmovzxbd {{.*#+}} zmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero,xmm1[2],zero,zero,zero,xmm1[3],zero,zero,zero,xmm1[4],zero,zero,zero,xmm1[5],zero,zero,zero,xmm1[6],zero,zero,zero,xmm1[7],zero,zero,zero,xmm1[8],zero,zero,zero,xmm1[9],zero,zero,zero,xmm1[10],zero,zero,zero,xmm1[11],zero,zero,zero,xmm1[12],zero,zero,zero,xmm1[13],zero,zero,zero,xmm1[14],zero,zero,zero,xmm1[15],zero,zero,zero
 524 ; AVX512F-NEXT:    vpsllvd %zmm1, %zmm0, %zmm0
 525 ; AVX512F-NEXT:    vpsrld $8, %zmm0, %zmm0
 526 ; AVX512F-NEXT:    vpmovdb %zmm0, %xmm0
 527 ; AVX512F-NEXT:    vzeroupper
 528 ; AVX512F-NEXT:    retq
 529 ;
 530 ; AVX512VL-LABEL: var_rotate_v16i8:
 531 ; AVX512VL:       # %bb.0:
 532 ; AVX512VL-NEXT:    vpmovzxbd {{.*#+}} zmm0 = xmm0[0],zero,zero,zero,xmm0[1],zero,zero,zero,xmm0[2],zero,zero,zero,xmm0[3],zero,zero,zero,xmm0[4],zero,zero,zero,xmm0[5],zero,zero,zero,xmm0[6],zero,zero,zero,xmm0[7],zero,zero,zero,xmm0[8],zero,zero,zero,xmm0[9],zero,zero,zero,xmm0[10],zero,zero,zero,xmm0[11],zero,zero,zero,xmm0[12],zero,zero,zero,xmm0[13],zero,zero,zero,xmm0[14],zero,zero,zero,xmm0[15],zero,zero,zero
 533 ; AVX512VL-NEXT:    vpslld $8, %zmm0, %zmm2
 534 ; AVX512VL-NEXT:    vpord %zmm2, %zmm0, %zmm0
 535 ; AVX512VL-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm1
 536 ; AVX512VL-NEXT:    vpmovzxbd {{.*#+}} zmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero,xmm1[2],zero,zero,zero,xmm1[3],zero,zero,zero,xmm1[4],zero,zero,zero,xmm1[5],zero,zero,zero,xmm1[6],zero,zero,zero,xmm1[7],zero,zero,zero,xmm1[8],zero,zero,zero,xmm1[9],zero,zero,zero,xmm1[10],zero,zero,zero,xmm1[11],zero,zero,zero,xmm1[12],zero,zero,zero,xmm1[13],zero,zero,zero,xmm1[14],zero,zero,zero,xmm1[15],zero,zero,zero
 537 ; AVX512VL-NEXT:    vpsllvd %zmm1, %zmm0, %zmm0
 538 ; AVX512VL-NEXT:    vpsrld $8, %zmm0, %zmm0
 539 ; AVX512VL-NEXT:    vpmovdb %zmm0, %xmm0
 540 ; AVX512VL-NEXT:    vzeroupper
 541 ; AVX512VL-NEXT:    retq
 542 ;
 543 ; AVX512BW-LABEL: var_rotate_v16i8:
 544 ; AVX512BW:       # %bb.0:
 545 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
 546 ; AVX512BW-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 547 ; AVX512BW-NEXT:    vpxor %xmm3, %xmm3, %xmm3
 548 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} xmm3 = xmm1[8],xmm3[8],xmm1[9],xmm3[9],xmm1[10],xmm3[10],xmm1[11],xmm3[11],xmm1[12],xmm3[12],xmm1[13],xmm3[13],xmm1[14],xmm3[14],xmm1[15],xmm3[15]
 549 ; AVX512BW-NEXT:    vpsllvw %zmm3, %zmm2, %zmm2
 550 ; AVX512BW-NEXT:    vpsrlw $8, %xmm2, %xmm2
 551 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 552 ; AVX512BW-NEXT:    vpmovzxbw {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
 553 ; AVX512BW-NEXT:    vpsllvw %zmm1, %zmm0, %zmm0
 554 ; AVX512BW-NEXT:    vpsrlw $8, %xmm0, %xmm0
 555 ; AVX512BW-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
 556 ; AVX512BW-NEXT:    vzeroupper
 557 ; AVX512BW-NEXT:    retq
 558 ;
 559 ; AVX512VLBW-LABEL: var_rotate_v16i8:
 560 ; AVX512VLBW:       # %bb.0:
 561 ; AVX512VLBW-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm1
 562 ; AVX512VLBW-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 563 ; AVX512VLBW-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm1[8],xmm2[8],xmm1[9],xmm2[9],xmm1[10],xmm2[10],xmm1[11],xmm2[11],xmm1[12],xmm2[12],xmm1[13],xmm2[13],xmm1[14],xmm2[14],xmm1[15],xmm2[15]
 564 ; AVX512VLBW-NEXT:    vpunpckhbw {{.*#+}} xmm3 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
 565 ; AVX512VLBW-NEXT:    vpsllvw %xmm2, %xmm3, %xmm2
 566 ; AVX512VLBW-NEXT:    vpsrlw $8, %xmm2, %xmm2
 567 ; AVX512VLBW-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 568 ; AVX512VLBW-NEXT:    vpmovzxbw {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
 569 ; AVX512VLBW-NEXT:    vpsllvw %xmm1, %xmm0, %xmm0
 570 ; AVX512VLBW-NEXT:    vpsrlw $8, %xmm0, %xmm0
 571 ; AVX512VLBW-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
 572 ; AVX512VLBW-NEXT:    retq
 573 ;
 574 ; AVX512VBMI2-LABEL: var_rotate_v16i8:
 575 ; AVX512VBMI2:       # %bb.0:
 576 ; AVX512VBMI2-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
 577 ; AVX512VBMI2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 578 ; AVX512VBMI2-NEXT:    vpxor %xmm3, %xmm3, %xmm3
 579 ; AVX512VBMI2-NEXT:    vpunpckhbw {{.*#+}} xmm3 = xmm1[8],xmm3[8],xmm1[9],xmm3[9],xmm1[10],xmm3[10],xmm1[11],xmm3[11],xmm1[12],xmm3[12],xmm1[13],xmm3[13],xmm1[14],xmm3[14],xmm1[15],xmm3[15]
 580 ; AVX512VBMI2-NEXT:    vpsllvw %zmm3, %zmm2, %zmm2
 581 ; AVX512VBMI2-NEXT:    vpsrlw $8, %xmm2, %xmm2
 582 ; AVX512VBMI2-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 583 ; AVX512VBMI2-NEXT:    vpmovzxbw {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
 584 ; AVX512VBMI2-NEXT:    vpsllvw %zmm1, %zmm0, %zmm0
 585 ; AVX512VBMI2-NEXT:    vpsrlw $8, %xmm0, %xmm0
 586 ; AVX512VBMI2-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
 587 ; AVX512VBMI2-NEXT:    vzeroupper
 588 ; AVX512VBMI2-NEXT:    retq
 589 ;
 590 ; AVX512VLVBMI2-LABEL: var_rotate_v16i8:
 591 ; AVX512VLVBMI2:       # %bb.0:
 592 ; AVX512VLVBMI2-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm1
 593 ; AVX512VLVBMI2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 594 ; AVX512VLVBMI2-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm1[8],xmm2[8],xmm1[9],xmm2[9],xmm1[10],xmm2[10],xmm1[11],xmm2[11],xmm1[12],xmm2[12],xmm1[13],xmm2[13],xmm1[14],xmm2[14],xmm1[15],xmm2[15]
 595 ; AVX512VLVBMI2-NEXT:    vpunpckhbw {{.*#+}} xmm3 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
 596 ; AVX512VLVBMI2-NEXT:    vpsllvw %xmm2, %xmm3, %xmm2
 597 ; AVX512VLVBMI2-NEXT:    vpsrlw $8, %xmm2, %xmm2
 598 ; AVX512VLVBMI2-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 599 ; AVX512VLVBMI2-NEXT:    vpmovzxbw {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
 600 ; AVX512VLVBMI2-NEXT:    vpsllvw %xmm1, %xmm0, %xmm0
 601 ; AVX512VLVBMI2-NEXT:    vpsrlw $8, %xmm0, %xmm0
 602 ; AVX512VLVBMI2-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
 603 ; AVX512VLVBMI2-NEXT:    retq
 604 ;
 605 ; XOP-LABEL: var_rotate_v16i8:
 606 ; XOP:       # %bb.0:
 607 ; XOP-NEXT:    vprotb %xmm1, %xmm0, %xmm0
 608 ; XOP-NEXT:    retq
 609 ;
 610 ; X86-SSE2-LABEL: var_rotate_v16i8:
 611 ; X86-SSE2:       # %bb.0:
 612 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm2
 613 ; X86-SSE2-NEXT:    psllw $5, %xmm1
 614 ; X86-SSE2-NEXT:    pxor %xmm0, %xmm0
 615 ; X86-SSE2-NEXT:    pxor %xmm3, %xmm3
 616 ; X86-SSE2-NEXT:    pcmpgtb %xmm1, %xmm3
 617 ; X86-SSE2-NEXT:    movdqa %xmm2, %xmm4
 618 ; X86-SSE2-NEXT:    psrlw $4, %xmm4
 619 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm4
 620 ; X86-SSE2-NEXT:    movdqa %xmm2, %xmm5
 621 ; X86-SSE2-NEXT:    psllw $4, %xmm5
 622 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm5
 623 ; X86-SSE2-NEXT:    por %xmm4, %xmm5
 624 ; X86-SSE2-NEXT:    pand %xmm3, %xmm5
 625 ; X86-SSE2-NEXT:    pandn %xmm2, %xmm3
 626 ; X86-SSE2-NEXT:    por %xmm5, %xmm3
 627 ; X86-SSE2-NEXT:    movdqa %xmm3, %xmm2
 628 ; X86-SSE2-NEXT:    psrlw $6, %xmm2
 629 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm2
 630 ; X86-SSE2-NEXT:    movdqa %xmm3, %xmm4
 631 ; X86-SSE2-NEXT:    psllw $2, %xmm4
 632 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm4
 633 ; X86-SSE2-NEXT:    por %xmm2, %xmm4
 634 ; X86-SSE2-NEXT:    paddb %xmm1, %xmm1
 635 ; X86-SSE2-NEXT:    pxor %xmm2, %xmm2
 636 ; X86-SSE2-NEXT:    pcmpgtb %xmm1, %xmm2
 637 ; X86-SSE2-NEXT:    pand %xmm2, %xmm4
 638 ; X86-SSE2-NEXT:    pandn %xmm3, %xmm2
 639 ; X86-SSE2-NEXT:    por %xmm4, %xmm2
 640 ; X86-SSE2-NEXT:    movdqa %xmm2, %xmm3
 641 ; X86-SSE2-NEXT:    psrlw $7, %xmm3
 642 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm3
 643 ; X86-SSE2-NEXT:    movdqa %xmm2, %xmm4
 644 ; X86-SSE2-NEXT:    paddb %xmm2, %xmm4
 645 ; X86-SSE2-NEXT:    por %xmm3, %xmm4
 646 ; X86-SSE2-NEXT:    paddb %xmm1, %xmm1
 647 ; X86-SSE2-NEXT:    pcmpgtb %xmm1, %xmm0
 648 ; X86-SSE2-NEXT:    pand %xmm0, %xmm4
 649 ; X86-SSE2-NEXT:    pandn %xmm2, %xmm0
 650 ; X86-SSE2-NEXT:    por %xmm4, %xmm0
 651 ; X86-SSE2-NEXT:    retl
 652   %b8 = sub <16 x i8> <i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8>, %b
 653   %shl = shl <16 x i8> %a, %b
 654   %lshr = lshr <16 x i8> %a, %b8
 655   %or = or <16 x i8> %shl, %lshr
 656   ret <16 x i8> %or
 657 }
 658
 659 ;
 660 ; Uniform Variable Rotates
 661 ;
 662
 663 define <2 x i64> @splatvar_rotate_v2i64(<2 x i64> %a, <2 x i64> %b) nounwind {
 664 ; SSE-LABEL: splatvar_rotate_v2i64:
 665 ; SSE:       # %bb.0:
 666 ; SSE-NEXT:    movdqa {{.*#+}} xmm2 = [64,64]
 667 ; SSE-NEXT:    psubq %xmm1, %xmm2
 668 ; SSE-NEXT:    movdqa %xmm0, %xmm3
 669 ; SSE-NEXT:    psllq %xmm1, %xmm3
 670 ; SSE-NEXT:    psrlq %xmm2, %xmm0
 671 ; SSE-NEXT:    por %xmm3, %xmm0
 672 ; SSE-NEXT:    retq
 673 ;
 674 ; AVX1-LABEL: splatvar_rotate_v2i64:
 675 ; AVX1:       # %bb.0:
 676 ; AVX1-NEXT:    vmovddup {{.*#+}} xmm2 = [64,64]
 677 ; AVX1-NEXT:    # xmm2 = mem[0,0]
 678 ; AVX1-NEXT:    vpsubq %xmm1, %xmm2, %xmm2
 679 ; AVX1-NEXT:    vpsllq %xmm1, %xmm0, %xmm1
 680 ; AVX1-NEXT:    vpsrlq %xmm2, %xmm0, %xmm0
 681 ; AVX1-NEXT:    vpor %xmm0, %xmm1, %xmm0
 682 ; AVX1-NEXT:    retq
 683 ;
 684 ; AVX2-LABEL: splatvar_rotate_v2i64:
 685 ; AVX2:       # %bb.0:
 686 ; AVX2-NEXT:    vpbroadcastq {{.*#+}} xmm2 = [64,64]
 687 ; AVX2-NEXT:    vpsubq %xmm1, %xmm2, %xmm2
 688 ; AVX2-NEXT:    vpsllq %xmm1, %xmm0, %xmm1
 689 ; AVX2-NEXT:    vpsrlq %xmm2, %xmm0, %xmm0
 690 ; AVX2-NEXT:    vpor %xmm0, %xmm1, %xmm0
 691 ; AVX2-NEXT:    retq
 692 ;
 693 ; AVX512NOVLX-LABEL: splatvar_rotate_v2i64:
 694 ; AVX512NOVLX:       # %bb.0:
 695 ; AVX512NOVLX-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 696 ; AVX512NOVLX-NEXT:    vpbroadcastq %xmm1, %xmm1
 697 ; AVX512NOVLX-NEXT:    vprolvq %zmm1, %zmm0, %zmm0
 698 ; AVX512NOVLX-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 699 ; AVX512NOVLX-NEXT:    vzeroupper
 700 ; AVX512NOVLX-NEXT:    retq
 701 ;
 702 ; AVX512VLX-LABEL: splatvar_rotate_v2i64:
 703 ; AVX512VLX:       # %bb.0:
 704 ; AVX512VLX-NEXT:    vpbroadcastq %xmm1, %xmm1
 705 ; AVX512VLX-NEXT:    vprolvq %xmm1, %xmm0, %xmm0
 706 ; AVX512VLX-NEXT:    retq
 707 ;
 708 ; XOPAVX1-LABEL: splatvar_rotate_v2i64:
 709 ; XOPAVX1:       # %bb.0:
 710 ; XOPAVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[0,1,0,1]
 711 ; XOPAVX1-NEXT:    vprotq %xmm1, %xmm0, %xmm0
 712 ; XOPAVX1-NEXT:    retq
 713 ;
 714 ; XOPAVX2-LABEL: splatvar_rotate_v2i64:
 715 ; XOPAVX2:       # %bb.0:
 716 ; XOPAVX2-NEXT:    vpbroadcastq %xmm1, %xmm1
 717 ; XOPAVX2-NEXT:    vprotq %xmm1, %xmm0, %xmm0
 718 ; XOPAVX2-NEXT:    retq
 719 ;
 720 ; X86-SSE2-LABEL: splatvar_rotate_v2i64:
 721 ; X86-SSE2:       # %bb.0:
 722 ; X86-SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [64,0,0,0]
 723 ; X86-SSE2-NEXT:    psubq %xmm1, %xmm2
 724 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm3
 725 ; X86-SSE2-NEXT:    psllq %xmm1, %xmm3
 726 ; X86-SSE2-NEXT:    psrlq %xmm2, %xmm0
 727 ; X86-SSE2-NEXT:    por %xmm3, %xmm0
 728 ; X86-SSE2-NEXT:    retl
 729   %splat = shufflevector <2 x i64> %b, <2 x i64> undef, <2 x i32> zeroinitializer
 730   %splat64 = sub <2 x i64> <i64 64, i64 64>, %splat
 731   %shl = shl <2 x i64> %a, %splat
 732   %lshr = lshr <2 x i64> %a, %splat64
 733   %or = or <2 x i64> %shl, %lshr
 734   ret <2 x i64> %or
 735 }
 736
 737 define <4 x i32> @splatvar_rotate_v4i32(<4 x i32> %a, <4 x i32> %b) nounwind {
 738 ; SSE-LABEL: splatvar_rotate_v4i32:
 739 ; SSE:       # %bb.0:
 740 ; SSE-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 741 ; SSE-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,2,3,3]
 742 ; SSE-NEXT:    psllq %xmm1, %xmm2
 743 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,0,1,1]
 744 ; SSE-NEXT:    psllq %xmm1, %xmm0
 745 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[1,3],xmm2[1,3]
 746 ; SSE-NEXT:    retq
 747 ;
 748 ; AVX-LABEL: splatvar_rotate_v4i32:
 749 ; AVX:       # %bb.0:
 750 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 751 ; AVX-NEXT:    vpshufd {{.*#+}} xmm2 = xmm0[2,2,3,3]
 752 ; AVX-NEXT:    vpsllq %xmm1, %xmm2, %xmm2
 753 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,0,1,1]
 754 ; AVX-NEXT:    vpsllq %xmm1, %xmm0, %xmm0
 755 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[1,3],xmm2[1,3]
 756 ; AVX-NEXT:    retq
 757 ;
 758 ; AVX512NOVLX-LABEL: splatvar_rotate_v4i32:
 759 ; AVX512NOVLX:       # %bb.0:
 760 ; AVX512NOVLX-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 761 ; AVX512NOVLX-NEXT:    vpbroadcastd %xmm1, %xmm1
 762 ; AVX512NOVLX-NEXT:    vprolvd %zmm1, %zmm0, %zmm0
 763 ; AVX512NOVLX-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 764 ; AVX512NOVLX-NEXT:    vzeroupper
 765 ; AVX512NOVLX-NEXT:    retq
 766 ;
 767 ; AVX512VLX-LABEL: splatvar_rotate_v4i32:
 768 ; AVX512VLX:       # %bb.0:
 769 ; AVX512VLX-NEXT:    vpbroadcastd %xmm1, %xmm1
 770 ; AVX512VLX-NEXT:    vprolvd %xmm1, %xmm0, %xmm0
 771 ; AVX512VLX-NEXT:    retq
 772 ;
 773 ; XOPAVX1-LABEL: splatvar_rotate_v4i32:
 774 ; XOPAVX1:       # %bb.0:
 775 ; XOPAVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[0,0,0,0]
 776 ; XOPAVX1-NEXT:    vprotd %xmm1, %xmm0, %xmm0
 777 ; XOPAVX1-NEXT:    retq
 778 ;
 779 ; XOPAVX2-LABEL: splatvar_rotate_v4i32:
 780 ; XOPAVX2:       # %bb.0:
 781 ; XOPAVX2-NEXT:    vpbroadcastd %xmm1, %xmm1
 782 ; XOPAVX2-NEXT:    vprotd %xmm1, %xmm0, %xmm0
 783 ; XOPAVX2-NEXT:    retq
 784 ;
 785 ; X86-SSE2-LABEL: splatvar_rotate_v4i32:
 786 ; X86-SSE2:       # %bb.0:
 787 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1
 788 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,2,3,3]
 789 ; X86-SSE2-NEXT:    psllq %xmm1, %xmm2
 790 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,0,1,1]
 791 ; X86-SSE2-NEXT:    psllq %xmm1, %xmm0
 792 ; X86-SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[1,3],xmm2[1,3]
 793 ; X86-SSE2-NEXT:    retl
 794   %splat = shufflevector <4 x i32> %b, <4 x i32> undef, <4 x i32> zeroinitializer
 795   %splat32 = sub <4 x i32> <i32 32, i32 32, i32 32, i32 32>, %splat
 796   %shl = shl <4 x i32> %a, %splat
 797   %lshr = lshr <4 x i32> %a, %splat32
 798   %or = or <4 x i32> %shl, %lshr
 799   ret <4 x i32> %or
 800 }
 801
 802 define <8 x i16> @splatvar_rotate_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
 803 ; SSE2-LABEL: splatvar_rotate_v8i16:
 804 ; SSE2:       # %bb.0:
 805 ; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 806 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 807 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm2 = xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
 808 ; SSE2-NEXT:    pslld %xmm1, %xmm2
 809 ; SSE2-NEXT:    psrad $16, %xmm2
 810 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
 811 ; SSE2-NEXT:    pslld %xmm1, %xmm0
 812 ; SSE2-NEXT:    psrad $16, %xmm0
 813 ; SSE2-NEXT:    packssdw %xmm2, %xmm0
 814 ; SSE2-NEXT:    retq
 815 ;
 816 ; SSE41-LABEL: splatvar_rotate_v8i16:
 817 ; SSE41:       # %bb.0:
 818 ; SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [15,0,0,0]
 819 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
 820 ; SSE41-NEXT:    pandn %xmm2, %xmm3
 821 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
 822 ; SSE41-NEXT:    psrlw $1, %xmm4
 823 ; SSE41-NEXT:    psrlw %xmm3, %xmm4
 824 ; SSE41-NEXT:    pand %xmm2, %xmm1
 825 ; SSE41-NEXT:    psllw %xmm1, %xmm0
 826 ; SSE41-NEXT:    por %xmm4, %xmm0
 827 ; SSE41-NEXT:    retq
 828 ;
 829 ; AVX-LABEL: splatvar_rotate_v8i16:
 830 ; AVX:       # %bb.0:
 831 ; AVX-NEXT:    vmovdqa {{.*#+}} xmm2 = [15,0,0,0]
 832 ; AVX-NEXT:    vpandn %xmm2, %xmm1, %xmm3
 833 ; AVX-NEXT:    vpsrlw $1, %xmm0, %xmm4
 834 ; AVX-NEXT:    vpsrlw %xmm3, %xmm4, %xmm3
 835 ; AVX-NEXT:    vpand %xmm2, %xmm1, %xmm1
 836 ; AVX-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
 837 ; AVX-NEXT:    vpor %xmm3, %xmm0, %xmm0
 838 ; AVX-NEXT:    retq
 839 ;
 840 ; AVX512F-LABEL: splatvar_rotate_v8i16:
 841 ; AVX512F:       # %bb.0:
 842 ; AVX512F-NEXT:    vmovdqa {{.*#+}} xmm2 = [15,0,0,0]
 843 ; AVX512F-NEXT:    vpandn %xmm2, %xmm1, %xmm3
 844 ; AVX512F-NEXT:    vpsrlw $1, %xmm0, %xmm4
 845 ; AVX512F-NEXT:    vpsrlw %xmm3, %xmm4, %xmm3
 846 ; AVX512F-NEXT:    vpand %xmm2, %xmm1, %xmm1
 847 ; AVX512F-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
 848 ; AVX512F-NEXT:    vpor %xmm3, %xmm0, %xmm0
 849 ; AVX512F-NEXT:    retq
 850 ;
 851 ; AVX512VL-LABEL: splatvar_rotate_v8i16:
 852 ; AVX512VL:       # %bb.0:
 853 ; AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm2 = [15,0,0,0]
 854 ; AVX512VL-NEXT:    vpandn %xmm2, %xmm1, %xmm3
 855 ; AVX512VL-NEXT:    vpsrlw $1, %xmm0, %xmm4
 856 ; AVX512VL-NEXT:    vpsrlw %xmm3, %xmm4, %xmm3
 857 ; AVX512VL-NEXT:    vpand %xmm2, %xmm1, %xmm1
 858 ; AVX512VL-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
 859 ; AVX512VL-NEXT:    vpor %xmm3, %xmm0, %xmm0
 860 ; AVX512VL-NEXT:    retq
 861 ;
 862 ; AVX512BW-LABEL: splatvar_rotate_v8i16:
 863 ; AVX512BW:       # %bb.0:
 864 ; AVX512BW-NEXT:    vmovdqa {{.*#+}} xmm2 = [15,0,0,0]
 865 ; AVX512BW-NEXT:    vpandn %xmm2, %xmm1, %xmm3
 866 ; AVX512BW-NEXT:    vpsrlw $1, %xmm0, %xmm4
 867 ; AVX512BW-NEXT:    vpsrlw %xmm3, %xmm4, %xmm3
 868 ; AVX512BW-NEXT:    vpand %xmm2, %xmm1, %xmm1
 869 ; AVX512BW-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
 870 ; AVX512BW-NEXT:    vpor %xmm3, %xmm0, %xmm0
 871 ; AVX512BW-NEXT:    retq
 872 ;
 873 ; AVX512VLBW-LABEL: splatvar_rotate_v8i16:
 874 ; AVX512VLBW:       # %bb.0:
 875 ; AVX512VLBW-NEXT:    vmovdqa {{.*#+}} xmm2 = [15,0,0,0]
 876 ; AVX512VLBW-NEXT:    vpandn %xmm2, %xmm1, %xmm3
 877 ; AVX512VLBW-NEXT:    vpsrlw $1, %xmm0, %xmm4
 878 ; AVX512VLBW-NEXT:    vpsrlw %xmm3, %xmm4, %xmm3
 879 ; AVX512VLBW-NEXT:    vpand %xmm2, %xmm1, %xmm1
 880 ; AVX512VLBW-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
 881 ; AVX512VLBW-NEXT:    vpor %xmm3, %xmm0, %xmm0
 882 ; AVX512VLBW-NEXT:    retq
 883 ;
 884 ; AVX512VBMI2-LABEL: splatvar_rotate_v8i16:
 885 ; AVX512VBMI2:       # %bb.0:
 886 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 887 ; AVX512VBMI2-NEXT:    vpbroadcastw %xmm1, %xmm1
 888 ; AVX512VBMI2-NEXT:    vpshldvw %zmm1, %zmm0, %zmm0
 889 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 890 ; AVX512VBMI2-NEXT:    vzeroupper
 891 ; AVX512VBMI2-NEXT:    retq
 892 ;
 893 ; AVX512VLVBMI2-LABEL: splatvar_rotate_v8i16:
 894 ; AVX512VLVBMI2:       # %bb.0:
 895 ; AVX512VLVBMI2-NEXT:    vpbroadcastw %xmm1, %xmm1
 896 ; AVX512VLVBMI2-NEXT:    vpshldvw %xmm1, %xmm0, %xmm0
 897 ; AVX512VLVBMI2-NEXT:    retq
 898 ;
 899 ; XOPAVX1-LABEL: splatvar_rotate_v8i16:
 900 ; XOPAVX1:       # %bb.0:
 901 ; XOPAVX1-NEXT:    vpshuflw {{.*#+}} xmm1 = xmm1[0,0,0,0,4,5,6,7]
 902 ; XOPAVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[0,0,0,0]
 903 ; XOPAVX1-NEXT:    vprotw %xmm1, %xmm0, %xmm0
 904 ; XOPAVX1-NEXT:    retq
 905 ;
 906 ; XOPAVX2-LABEL: splatvar_rotate_v8i16:
 907 ; XOPAVX2:       # %bb.0:
 908 ; XOPAVX2-NEXT:    vpbroadcastw %xmm1, %xmm1
 909 ; XOPAVX2-NEXT:    vprotw %xmm1, %xmm0, %xmm0
 910 ; XOPAVX2-NEXT:    retq
 911 ;
 912 ; X86-SSE2-LABEL: splatvar_rotate_v8i16:
 913 ; X86-SSE2:       # %bb.0:
 914 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1
 915 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm2
 916 ; X86-SSE2-NEXT:    punpckhwd {{.*#+}} xmm2 = xmm2[4],xmm0[4],xmm2[5],xmm0[5],xmm2[6],xmm0[6],xmm2[7],xmm0[7]
 917 ; X86-SSE2-NEXT:    pslld %xmm1, %xmm2
 918 ; X86-SSE2-NEXT:    psrad $16, %xmm2
 919 ; X86-SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
 920 ; X86-SSE2-NEXT:    pslld %xmm1, %xmm0
 921 ; X86-SSE2-NEXT:    psrad $16, %xmm0
 922 ; X86-SSE2-NEXT:    packssdw %xmm2, %xmm0
 923 ; X86-SSE2-NEXT:    retl
 924   %splat = shufflevector <8 x i16> %b, <8 x i16> undef, <8 x i32> zeroinitializer
 925   %splat16 = sub <8 x i16> <i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16>, %splat
 926   %shl = shl <8 x i16> %a, %splat
 927   %lshr = lshr <8 x i16> %a, %splat16
 928   %or = or <8 x i16> %shl, %lshr
 929   ret <8 x i16> %or
 930 }
 931
 932 define <16 x i8> @splatvar_rotate_v16i8(<16 x i8> %a, <16 x i8> %b) nounwind {
 933 ; SSE-LABEL: splatvar_rotate_v16i8:
 934 ; SSE:       # %bb.0:
 935 ; SSE-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
 936 ; SSE-NEXT:    movdqa %xmm0, %xmm2
 937 ; SSE-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm0[8],xmm2[9],xmm0[9],xmm2[10],xmm0[10],xmm2[11],xmm0[11],xmm2[12],xmm0[12],xmm2[13],xmm0[13],xmm2[14],xmm0[14],xmm2[15],xmm0[15]
 938 ; SSE-NEXT:    psllw %xmm1, %xmm2
 939 ; SSE-NEXT:    psrlw $8, %xmm2
 940 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 941 ; SSE-NEXT:    psllw %xmm1, %xmm0
 942 ; SSE-NEXT:    psrlw $8, %xmm0
 943 ; SSE-NEXT:    packuswb %xmm2, %xmm0
 944 ; SSE-NEXT:    retq
 945 ;
 946 ; AVX-LABEL: splatvar_rotate_v16i8:
 947 ; AVX:       # %bb.0:
 948 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 949 ; AVX-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
 950 ; AVX-NEXT:    vpsllw %xmm1, %xmm2, %xmm2
 951 ; AVX-NEXT:    vpsrlw $8, %xmm2, %xmm2
 952 ; AVX-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 953 ; AVX-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
 954 ; AVX-NEXT:    vpsrlw $8, %xmm0, %xmm0
 955 ; AVX-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
 956 ; AVX-NEXT:    retq
 957 ;
 958 ; AVX512-LABEL: splatvar_rotate_v16i8:
 959 ; AVX512:       # %bb.0:
 960 ; AVX512-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
 961 ; AVX512-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
 962 ; AVX512-NEXT:    vpsllw %xmm1, %xmm2, %xmm2
 963 ; AVX512-NEXT:    vpsrlw $8, %xmm2, %xmm2
 964 ; AVX512-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 965 ; AVX512-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
 966 ; AVX512-NEXT:    vpsrlw $8, %xmm0, %xmm0
 967 ; AVX512-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
 968 ; AVX512-NEXT:    retq
 969 ;
 970 ; XOPAVX1-LABEL: splatvar_rotate_v16i8:
 971 ; XOPAVX1:       # %bb.0:
 972 ; XOPAVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 973 ; XOPAVX1-NEXT:    vpshufb %xmm2, %xmm1, %xmm1
 974 ; XOPAVX1-NEXT:    vprotb %xmm1, %xmm0, %xmm0
 975 ; XOPAVX1-NEXT:    retq
 976 ;
 977 ; XOPAVX2-LABEL: splatvar_rotate_v16i8:
 978 ; XOPAVX2:       # %bb.0:
 979 ; XOPAVX2-NEXT:    vpbroadcastb %xmm1, %xmm1
 980 ; XOPAVX2-NEXT:    vprotb %xmm1, %xmm0, %xmm0
 981 ; XOPAVX2-NEXT:    retq
 982 ;
 983 ; X86-SSE2-LABEL: splatvar_rotate_v16i8:
 984 ; X86-SSE2:       # %bb.0:
 985 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1
 986 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm2
 987 ; X86-SSE2-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm0[8],xmm2[9],xmm0[9],xmm2[10],xmm0[10],xmm2[11],xmm0[11],xmm2[12],xmm0[12],xmm2[13],xmm0[13],xmm2[14],xmm0[14],xmm2[15],xmm0[15]
 988 ; X86-SSE2-NEXT:    psllw %xmm1, %xmm2
 989 ; X86-SSE2-NEXT:    psrlw $8, %xmm2
 990 ; X86-SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 991 ; X86-SSE2-NEXT:    psllw %xmm1, %xmm0
 992 ; X86-SSE2-NEXT:    psrlw $8, %xmm0
 993 ; X86-SSE2-NEXT:    packuswb %xmm2, %xmm0
 994 ; X86-SSE2-NEXT:    retl
 995   %splat = shufflevector <16 x i8> %b, <16 x i8> undef, <16 x i32> zeroinitializer
 996   %splat8 = sub <16 x i8> <i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8>, %splat
 997   %shl = shl <16 x i8> %a, %splat
 998   %lshr = lshr <16 x i8> %a, %splat8
 999   %or = or <16 x i8> %shl, %lshr
1000   ret <16 x i8> %or
1001 }
1002
1003 ;
1004 ; Constant Rotates
1005 ;
1006
1007 define <2 x i64> @constant_rotate_v2i64(<2 x i64> %a) nounwind {
1008 ; SSE2-LABEL: constant_rotate_v2i64:
1009 ; SSE2:       # %bb.0:
1010 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1011 ; SSE2-NEXT:    psrlq $60, %xmm1
1012 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
1013 ; SSE2-NEXT:    psrlq $50, %xmm2
1014 ; SSE2-NEXT:    movsd {{.*#+}} xmm2 = xmm1[0],xmm2[1]
1015 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1016 ; SSE2-NEXT:    psllq $4, %xmm1
1017 ; SSE2-NEXT:    psllq $14, %xmm0
1018 ; SSE2-NEXT:    movsd {{.*#+}} xmm0 = xmm1[0],xmm0[1]
1019 ; SSE2-NEXT:    orpd %xmm2, %xmm0
1020 ; SSE2-NEXT:    retq
1021 ;
1022 ; SSE41-LABEL: constant_rotate_v2i64:
1023 ; SSE41:       # %bb.0:
1024 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1025 ; SSE41-NEXT:    psrlq $50, %xmm1
1026 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
1027 ; SSE41-NEXT:    psrlq $60, %xmm2
1028 ; SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
1029 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1030 ; SSE41-NEXT:    psllq $14, %xmm1
1031 ; SSE41-NEXT:    psllq $4, %xmm0
1032 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
1033 ; SSE41-NEXT:    por %xmm2, %xmm0
1034 ; SSE41-NEXT:    retq
1035 ;
1036 ; AVX1-LABEL: constant_rotate_v2i64:
1037 ; AVX1:       # %bb.0:
1038 ; AVX1-NEXT:    vpsrlq $50, %xmm0, %xmm1
1039 ; AVX1-NEXT:    vpsrlq $60, %xmm0, %xmm2
1040 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1,2,3],xmm1[4,5,6,7]
1041 ; AVX1-NEXT:    vpsllq $14, %xmm0, %xmm2
1042 ; AVX1-NEXT:    vpsllq $4, %xmm0, %xmm0
1043 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm2[4,5,6,7]
1044 ; AVX1-NEXT:    vpor %xmm1, %xmm0, %xmm0
1045 ; AVX1-NEXT:    retq
1046 ;
1047 ; AVX2-LABEL: constant_rotate_v2i64:
1048 ; AVX2:       # %bb.0:
1049 ; AVX2-NEXT:    vpsrlvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1050 ; AVX2-NEXT:    vpsllvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1051 ; AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
1052 ; AVX2-NEXT:    retq
1053 ;
1054 ; AVX512NOVLX-LABEL: constant_rotate_v2i64:
1055 ; AVX512NOVLX:       # %bb.0:
1056 ; AVX512NOVLX-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1057 ; AVX512NOVLX-NEXT:    vmovdqa {{.*#+}} xmm1 = [4,14]
1058 ; AVX512NOVLX-NEXT:    vprolvq %zmm1, %zmm0, %zmm0
1059 ; AVX512NOVLX-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1060 ; AVX512NOVLX-NEXT:    vzeroupper
1061 ; AVX512NOVLX-NEXT:    retq
1062 ;
1063 ; AVX512VLX-LABEL: constant_rotate_v2i64:
1064 ; AVX512VLX:       # %bb.0:
1065 ; AVX512VLX-NEXT:    vprolvq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1066 ; AVX512VLX-NEXT:    retq
1067 ;
1068 ; XOP-LABEL: constant_rotate_v2i64:
1069 ; XOP:       # %bb.0:
1070 ; XOP-NEXT:    vprotq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1071 ; XOP-NEXT:    retq
1072 ;
1073 ; X86-SSE2-LABEL: constant_rotate_v2i64:
1074 ; X86-SSE2:       # %bb.0:
1075 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1076 ; X86-SSE2-NEXT:    psrlq $60, %xmm1
1077 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm2
1078 ; X86-SSE2-NEXT:    psrlq $50, %xmm2
1079 ; X86-SSE2-NEXT:    movsd {{.*#+}} xmm2 = xmm1[0],xmm2[1]
1080 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1081 ; X86-SSE2-NEXT:    psllq $4, %xmm1
1082 ; X86-SSE2-NEXT:    psllq $14, %xmm0
1083 ; X86-SSE2-NEXT:    movsd {{.*#+}} xmm0 = xmm1[0],xmm0[1]
1084 ; X86-SSE2-NEXT:    orpd %xmm2, %xmm0
1085 ; X86-SSE2-NEXT:    retl
1086   %shl = shl <2 x i64> %a, <i64 4, i64 14>
1087   %lshr = lshr <2 x i64> %a, <i64 60, i64 50>
1088   %or = or <2 x i64> %shl, %lshr
1089   ret <2 x i64> %or
1090 }
1091
1092 define <4 x i32> @constant_rotate_v4i32(<4 x i32> %a) nounwind {
1093 ; SSE2-LABEL: constant_rotate_v4i32:
1094 ; SSE2:       # %bb.0:
1095 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1096 ; SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1097 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,3,2,3]
1098 ; SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
1099 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,3,2,3]
1100 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1]
1101 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1102 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1103 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1104 ; SSE2-NEXT:    por %xmm2, %xmm0
1105 ; SSE2-NEXT:    retq
1106 ;
1107 ; SSE41-LABEL: constant_rotate_v4i32:
1108 ; SSE41:       # %bb.0:
1109 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1110 ; SSE41-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
1111 ; SSE41-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1112 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1113 ; SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
1114 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,0,2,2]
1115 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
1116 ; SSE41-NEXT:    por %xmm2, %xmm0
1117 ; SSE41-NEXT:    retq
1118 ;
1119 ; AVX1-LABEL: constant_rotate_v4i32:
1120 ; AVX1:       # %bb.0:
1121 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1122 ; AVX1-NEXT:    vpmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1123 ; AVX1-NEXT:    vpmuludq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1124 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
1125 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
1126 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[0,0,2,2]
1127 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
1128 ; AVX1-NEXT:    vpor %xmm2, %xmm0, %xmm0
1129 ; AVX1-NEXT:    retq
1130 ;
1131 ; AVX2-LABEL: constant_rotate_v4i32:
1132 ; AVX2:       # %bb.0:
1133 ; AVX2-NEXT:    vpsrlvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1134 ; AVX2-NEXT:    vpsllvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1135 ; AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
1136 ; AVX2-NEXT:    retq
1137 ;
1138 ; AVX512NOVLX-LABEL: constant_rotate_v4i32:
1139 ; AVX512NOVLX:       # %bb.0:
1140 ; AVX512NOVLX-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1141 ; AVX512NOVLX-NEXT:    vmovdqa {{.*#+}} xmm1 = [4,5,6,7]
1142 ; AVX512NOVLX-NEXT:    vprolvd %zmm1, %zmm0, %zmm0
1143 ; AVX512NOVLX-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1144 ; AVX512NOVLX-NEXT:    vzeroupper
1145 ; AVX512NOVLX-NEXT:    retq
1146 ;
1147 ; AVX512VLX-LABEL: constant_rotate_v4i32:
1148 ; AVX512VLX:       # %bb.0:
1149 ; AVX512VLX-NEXT:    vprolvd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1150 ; AVX512VLX-NEXT:    retq
1151 ;
1152 ; XOP-LABEL: constant_rotate_v4i32:
1153 ; XOP:       # %bb.0:
1154 ; XOP-NEXT:    vprotd {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1155 ; XOP-NEXT:    retq
1156 ;
1157 ; X86-SSE2-LABEL: constant_rotate_v4i32:
1158 ; X86-SSE2:       # %bb.0:
1159 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
1160 ; X86-SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0
1161 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,3,2,3]
1162 ; X86-SSE2-NEXT:    pmuludq {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1
1163 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,3,2,3]
1164 ; X86-SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1]
1165 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1166 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1167 ; X86-SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1168 ; X86-SSE2-NEXT:    por %xmm2, %xmm0
1169 ; X86-SSE2-NEXT:    retl
1170   %shl = shl <4 x i32> %a, <i32 4, i32 5, i32 6, i32 7>
1171   %lshr = lshr <4 x i32> %a, <i32 28, i32 27, i32 26, i32 25>
1172   %or = or <4 x i32> %shl, %lshr
1173   ret <4 x i32> %or
1174 }
1175
1176 define <8 x i16> @constant_rotate_v8i16(<8 x i16> %a) nounwind {
1177 ; SSE-LABEL: constant_rotate_v8i16:
1178 ; SSE:       # %bb.0:
1179 ; SSE-NEXT:    movdqa {{.*#+}} xmm1 = [1,2,4,8,16,32,64,128]
1180 ; SSE-NEXT:    movdqa %xmm0, %xmm2
1181 ; SSE-NEXT:    pmulhuw %xmm1, %xmm2
1182 ; SSE-NEXT:    pmullw %xmm1, %xmm0
1183 ; SSE-NEXT:    por %xmm2, %xmm0
1184 ; SSE-NEXT:    retq
1185 ;
1186 ; AVX-LABEL: constant_rotate_v8i16:
1187 ; AVX:       # %bb.0:
1188 ; AVX-NEXT:    vmovdqa {{.*#+}} xmm1 = [1,2,4,8,16,32,64,128]
1189 ; AVX-NEXT:    vpmulhuw %xmm1, %xmm0, %xmm2
1190 ; AVX-NEXT:    vpmullw %xmm1, %xmm0, %xmm0
1191 ; AVX-NEXT:    vpor %xmm2, %xmm0, %xmm0
1192 ; AVX-NEXT:    retq
1193 ;
1194 ; AVX512F-LABEL: constant_rotate_v8i16:
1195 ; AVX512F:       # %bb.0:
1196 ; AVX512F-NEXT:    vmovdqa {{.*#+}} xmm1 = [1,2,4,8,16,32,64,128]
1197 ; AVX512F-NEXT:    vpmulhuw %xmm1, %xmm0, %xmm2
1198 ; AVX512F-NEXT:    vpmullw %xmm1, %xmm0, %xmm0
1199 ; AVX512F-NEXT:    vpor %xmm2, %xmm0, %xmm0
1200 ; AVX512F-NEXT:    retq
1201 ;
1202 ; AVX512VL-LABEL: constant_rotate_v8i16:
1203 ; AVX512VL:       # %bb.0:
1204 ; AVX512VL-NEXT:    vmovdqa {{.*#+}} xmm1 = [1,2,4,8,16,32,64,128]
1205 ; AVX512VL-NEXT:    vpmulhuw %xmm1, %xmm0, %xmm2
1206 ; AVX512VL-NEXT:    vpmullw %xmm1, %xmm0, %xmm0
1207 ; AVX512VL-NEXT:    vpor %xmm2, %xmm0, %xmm0
1208 ; AVX512VL-NEXT:    retq
1209 ;
1210 ; AVX512BW-LABEL: constant_rotate_v8i16:
1211 ; AVX512BW:       # %bb.0:
1212 ; AVX512BW-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1213 ; AVX512BW-NEXT:    vmovdqa {{.*#+}} xmm1 = [0,1,2,3,4,5,6,7]
1214 ; AVX512BW-NEXT:    vmovdqa {{.*#+}} xmm2 = [16,15,14,13,12,11,10,9]
1215 ; AVX512BW-NEXT:    vpsrlvw %zmm2, %zmm0, %zmm2
1216 ; AVX512BW-NEXT:    vpsllvw %zmm1, %zmm0, %zmm0
1217 ; AVX512BW-NEXT:    vpor %xmm2, %xmm0, %xmm0
1218 ; AVX512BW-NEXT:    vzeroupper
1219 ; AVX512BW-NEXT:    retq
1220 ;
1221 ; AVX512VLBW-LABEL: constant_rotate_v8i16:
1222 ; AVX512VLBW:       # %bb.0:
1223 ; AVX512VLBW-NEXT:    vpsrlvw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm1
1224 ; AVX512VLBW-NEXT:    vpsllvw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1225 ; AVX512VLBW-NEXT:    vpor %xmm1, %xmm0, %xmm0
1226 ; AVX512VLBW-NEXT:    retq
1227 ;
1228 ; AVX512VBMI2-LABEL: constant_rotate_v8i16:
1229 ; AVX512VBMI2:       # %bb.0:
1230 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1231 ; AVX512VBMI2-NEXT:    vmovdqa {{.*#+}} xmm1 = [0,1,2,3,4,5,6,7]
1232 ; AVX512VBMI2-NEXT:    vpshldvw %zmm1, %zmm0, %zmm0
1233 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1234 ; AVX512VBMI2-NEXT:    vzeroupper
1235 ; AVX512VBMI2-NEXT:    retq
1236 ;
1237 ; AVX512VLVBMI2-LABEL: constant_rotate_v8i16:
1238 ; AVX512VLVBMI2:       # %bb.0:
1239 ; AVX512VLVBMI2-NEXT:    vpshldvw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1240 ; AVX512VLVBMI2-NEXT:    retq
1241 ;
1242 ; XOP-LABEL: constant_rotate_v8i16:
1243 ; XOP:       # %bb.0:
1244 ; XOP-NEXT:    vprotw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1245 ; XOP-NEXT:    retq
1246 ;
1247 ; X86-SSE2-LABEL: constant_rotate_v8i16:
1248 ; X86-SSE2:       # %bb.0:
1249 ; X86-SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [1,2,4,8,16,32,64,128]
1250 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm2
1251 ; X86-SSE2-NEXT:    pmulhuw %xmm1, %xmm2
1252 ; X86-SSE2-NEXT:    pmullw %xmm1, %xmm0
1253 ; X86-SSE2-NEXT:    por %xmm2, %xmm0
1254 ; X86-SSE2-NEXT:    retl
1255   %shl = shl <8 x i16> %a, <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>
1256   %lshr = lshr <8 x i16> %a, <i16 16, i16 15, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9>
1257   %or = or <8 x i16> %shl, %lshr
1258   ret <8 x i16> %or
1259 }
1260
1261 define <16 x i8> @constant_rotate_v16i8(<16 x i8> %a) nounwind {
1262 ; SSE-LABEL: constant_rotate_v16i8:
1263 ; SSE:       # %bb.0:
1264 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1265 ; SSE-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm0[8],xmm1[9],xmm0[9],xmm1[10],xmm0[10],xmm1[11],xmm0[11],xmm1[12],xmm0[12],xmm1[13],xmm0[13],xmm1[14],xmm0[14],xmm1[15],xmm0[15]
1266 ; SSE-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
1267 ; SSE-NEXT:    psrlw $8, %xmm1
1268 ; SSE-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1269 ; SSE-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1270 ; SSE-NEXT:    psrlw $8, %xmm0
1271 ; SSE-NEXT:    packuswb %xmm1, %xmm0
1272 ; SSE-NEXT:    retq
1273 ;
1274 ; AVX-LABEL: constant_rotate_v16i8:
1275 ; AVX:       # %bb.0:
1276 ; AVX-NEXT:    vpunpckhbw {{.*#+}} xmm1 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1277 ; AVX-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1278 ; AVX-NEXT:    vpsrlw $8, %xmm1, %xmm1
1279 ; AVX-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1280 ; AVX-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1281 ; AVX-NEXT:    vpsrlw $8, %xmm0, %xmm0
1282 ; AVX-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
1283 ; AVX-NEXT:    retq
1284 ;
1285 ; AVX512F-LABEL: constant_rotate_v16i8:
1286 ; AVX512F:       # %bb.0:
1287 ; AVX512F-NEXT:    vpunpckhbw {{.*#+}} xmm1 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1288 ; AVX512F-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1289 ; AVX512F-NEXT:    vpsrlw $8, %xmm1, %xmm1
1290 ; AVX512F-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1291 ; AVX512F-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1292 ; AVX512F-NEXT:    vpsrlw $8, %xmm0, %xmm0
1293 ; AVX512F-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
1294 ; AVX512F-NEXT:    retq
1295 ;
1296 ; AVX512VL-LABEL: constant_rotate_v16i8:
1297 ; AVX512VL:       # %bb.0:
1298 ; AVX512VL-NEXT:    vpunpckhbw {{.*#+}} xmm1 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1299 ; AVX512VL-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1300 ; AVX512VL-NEXT:    vpsrlw $8, %xmm1, %xmm1
1301 ; AVX512VL-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1302 ; AVX512VL-NEXT:    vpmullw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1303 ; AVX512VL-NEXT:    vpsrlw $8, %xmm0, %xmm0
1304 ; AVX512VL-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
1305 ; AVX512VL-NEXT:    retq
1306 ;
1307 ; AVX512BW-LABEL: constant_rotate_v16i8:
1308 ; AVX512BW:       # %bb.0:
1309 ; AVX512BW-NEXT:    vmovdqa {{.*#+}} xmm1 = [0,0,7,0,6,0,5,0,4,0,3,0,2,0,1,0]
1310 ; AVX512BW-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1311 ; AVX512BW-NEXT:    vpsllvw %zmm1, %zmm2, %zmm1
1312 ; AVX512BW-NEXT:    vpsrlw $8, %xmm1, %xmm1
1313 ; AVX512BW-NEXT:    vmovdqa {{.*#+}} xmm2 = [0,0,1,0,2,0,3,0,4,0,5,0,6,0,7,0]
1314 ; AVX512BW-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1315 ; AVX512BW-NEXT:    vpsllvw %zmm2, %zmm0, %zmm0
1316 ; AVX512BW-NEXT:    vpsrlw $8, %xmm0, %xmm0
1317 ; AVX512BW-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
1318 ; AVX512BW-NEXT:    vzeroupper
1319 ; AVX512BW-NEXT:    retq
1320 ;
1321 ; AVX512VLBW-LABEL: constant_rotate_v16i8:
1322 ; AVX512VLBW:       # %bb.0:
1323 ; AVX512VLBW-NEXT:    vpunpckhbw {{.*#+}} xmm1 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1324 ; AVX512VLBW-NEXT:    vpsllvw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1325 ; AVX512VLBW-NEXT:    vpsrlw $8, %xmm1, %xmm1
1326 ; AVX512VLBW-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1327 ; AVX512VLBW-NEXT:    vpsllvw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1328 ; AVX512VLBW-NEXT:    vpsrlw $8, %xmm0, %xmm0
1329 ; AVX512VLBW-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
1330 ; AVX512VLBW-NEXT:    retq
1331 ;
1332 ; AVX512VBMI2-LABEL: constant_rotate_v16i8:
1333 ; AVX512VBMI2:       # %bb.0:
1334 ; AVX512VBMI2-NEXT:    vmovdqa {{.*#+}} xmm1 = [0,0,7,0,6,0,5,0,4,0,3,0,2,0,1,0]
1335 ; AVX512VBMI2-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1336 ; AVX512VBMI2-NEXT:    vpsllvw %zmm1, %zmm2, %zmm1
1337 ; AVX512VBMI2-NEXT:    vpsrlw $8, %xmm1, %xmm1
1338 ; AVX512VBMI2-NEXT:    vmovdqa {{.*#+}} xmm2 = [0,0,1,0,2,0,3,0,4,0,5,0,6,0,7,0]
1339 ; AVX512VBMI2-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1340 ; AVX512VBMI2-NEXT:    vpsllvw %zmm2, %zmm0, %zmm0
1341 ; AVX512VBMI2-NEXT:    vpsrlw $8, %xmm0, %xmm0
1342 ; AVX512VBMI2-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
1343 ; AVX512VBMI2-NEXT:    vzeroupper
1344 ; AVX512VBMI2-NEXT:    retq
1345 ;
1346 ; AVX512VLVBMI2-LABEL: constant_rotate_v16i8:
1347 ; AVX512VLVBMI2:       # %bb.0:
1348 ; AVX512VLVBMI2-NEXT:    vpunpckhbw {{.*#+}} xmm1 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1349 ; AVX512VLVBMI2-NEXT:    vpsllvw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1350 ; AVX512VLVBMI2-NEXT:    vpsrlw $8, %xmm1, %xmm1
1351 ; AVX512VLVBMI2-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1352 ; AVX512VLVBMI2-NEXT:    vpsllvw {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1353 ; AVX512VLVBMI2-NEXT:    vpsrlw $8, %xmm0, %xmm0
1354 ; AVX512VLVBMI2-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
1355 ; AVX512VLVBMI2-NEXT:    retq
1356 ;
1357 ; XOP-LABEL: constant_rotate_v16i8:
1358 ; XOP:       # %bb.0:
1359 ; XOP-NEXT:    vprotb {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1360 ; XOP-NEXT:    retq
1361 ;
1362 ; X86-SSE2-LABEL: constant_rotate_v16i8:
1363 ; X86-SSE2:       # %bb.0:
1364 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1365 ; X86-SSE2-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm0[8],xmm1[9],xmm0[9],xmm1[10],xmm0[10],xmm1[11],xmm0[11],xmm1[12],xmm0[12],xmm1[13],xmm0[13],xmm1[14],xmm0[14],xmm1[15],xmm0[15]
1366 ; X86-SSE2-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1
1367 ; X86-SSE2-NEXT:    psrlw $8, %xmm1
1368 ; X86-SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1369 ; X86-SSE2-NEXT:    pmullw {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0
1370 ; X86-SSE2-NEXT:    psrlw $8, %xmm0
1371 ; X86-SSE2-NEXT:    packuswb %xmm1, %xmm0
1372 ; X86-SSE2-NEXT:    retl
1373   %shl = shl <16 x i8> %a, <i8 0, i8 1, i8 2, i8 3, i8 4, i8 5, i8 6, i8 7, i8 8, i8 7, i8 6, i8 5, i8 4, i8 3, i8 2, i8 1>
1374   %lshr = lshr <16 x i8> %a, <i8 8, i8 7, i8 6, i8 5, i8 4, i8 3, i8 2, i8 1, i8 0, i8 1, i8 2, i8 3, i8 4, i8 5, i8 6, i8 7>
1375   %or = or <16 x i8> %shl, %lshr
1376   ret <16 x i8> %or
1377 }
1378
1379 ;
1380 ; Uniform Constant Rotates
1381 ;
1382
1383 define <2 x i64> @splatconstant_rotate_v2i64(<2 x i64> %a) nounwind {
1384 ; SSE-LABEL: splatconstant_rotate_v2i64:
1385 ; SSE:       # %bb.0:
1386 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1387 ; SSE-NEXT:    psrlq $50, %xmm1
1388 ; SSE-NEXT:    psllq $14, %xmm0
1389 ; SSE-NEXT:    por %xmm1, %xmm0
1390 ; SSE-NEXT:    retq
1391 ;
1392 ; AVX-LABEL: splatconstant_rotate_v2i64:
1393 ; AVX:       # %bb.0:
1394 ; AVX-NEXT:    vpsrlq $50, %xmm0, %xmm1
1395 ; AVX-NEXT:    vpsllq $14, %xmm0, %xmm0
1396 ; AVX-NEXT:    vpor %xmm1, %xmm0, %xmm0
1397 ; AVX-NEXT:    retq
1398 ;
1399 ; AVX512NOVLX-LABEL: splatconstant_rotate_v2i64:
1400 ; AVX512NOVLX:       # %bb.0:
1401 ; AVX512NOVLX-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1402 ; AVX512NOVLX-NEXT:    vprolq $14, %zmm0, %zmm0
1403 ; AVX512NOVLX-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1404 ; AVX512NOVLX-NEXT:    vzeroupper
1405 ; AVX512NOVLX-NEXT:    retq
1406 ;
1407 ; AVX512VLX-LABEL: splatconstant_rotate_v2i64:
1408 ; AVX512VLX:       # %bb.0:
1409 ; AVX512VLX-NEXT:    vprolq $14, %xmm0, %xmm0
1410 ; AVX512VLX-NEXT:    retq
1411 ;
1412 ; XOP-LABEL: splatconstant_rotate_v2i64:
1413 ; XOP:       # %bb.0:
1414 ; XOP-NEXT:    vprotq $14, %xmm0, %xmm0
1415 ; XOP-NEXT:    retq
1416 ;
1417 ; X86-SSE2-LABEL: splatconstant_rotate_v2i64:
1418 ; X86-SSE2:       # %bb.0:
1419 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1420 ; X86-SSE2-NEXT:    psrlq $50, %xmm1
1421 ; X86-SSE2-NEXT:    psllq $14, %xmm0
1422 ; X86-SSE2-NEXT:    por %xmm1, %xmm0
1423 ; X86-SSE2-NEXT:    retl
1424   %shl = shl <2 x i64> %a, <i64 14, i64 14>
1425   %lshr = lshr <2 x i64> %a, <i64 50, i64 50>
1426   %or = or <2 x i64> %shl, %lshr
1427   ret <2 x i64> %or
1428 }
1429
1430 define <4 x i32> @splatconstant_rotate_v4i32(<4 x i32> %a) nounwind {
1431 ; SSE-LABEL: splatconstant_rotate_v4i32:
1432 ; SSE:       # %bb.0:
1433 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1434 ; SSE-NEXT:    psrld $28, %xmm1
1435 ; SSE-NEXT:    pslld $4, %xmm0
1436 ; SSE-NEXT:    por %xmm1, %xmm0
1437 ; SSE-NEXT:    retq
1438 ;
1439 ; AVX-LABEL: splatconstant_rotate_v4i32:
1440 ; AVX:       # %bb.0:
1441 ; AVX-NEXT:    vpsrld $28, %xmm0, %xmm1
1442 ; AVX-NEXT:    vpslld $4, %xmm0, %xmm0
1443 ; AVX-NEXT:    vpor %xmm1, %xmm0, %xmm0
1444 ; AVX-NEXT:    retq
1445 ;
1446 ; AVX512NOVLX-LABEL: splatconstant_rotate_v4i32:
1447 ; AVX512NOVLX:       # %bb.0:
1448 ; AVX512NOVLX-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1449 ; AVX512NOVLX-NEXT:    vprold $4, %zmm0, %zmm0
1450 ; AVX512NOVLX-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1451 ; AVX512NOVLX-NEXT:    vzeroupper
1452 ; AVX512NOVLX-NEXT:    retq
1453 ;
1454 ; AVX512VLX-LABEL: splatconstant_rotate_v4i32:
1455 ; AVX512VLX:       # %bb.0:
1456 ; AVX512VLX-NEXT:    vprold $4, %xmm0, %xmm0
1457 ; AVX512VLX-NEXT:    retq
1458 ;
1459 ; XOP-LABEL: splatconstant_rotate_v4i32:
1460 ; XOP:       # %bb.0:
1461 ; XOP-NEXT:    vprotd $4, %xmm0, %xmm0
1462 ; XOP-NEXT:    retq
1463 ;
1464 ; X86-SSE2-LABEL: splatconstant_rotate_v4i32:
1465 ; X86-SSE2:       # %bb.0:
1466 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1467 ; X86-SSE2-NEXT:    psrld $28, %xmm1
1468 ; X86-SSE2-NEXT:    pslld $4, %xmm0
1469 ; X86-SSE2-NEXT:    por %xmm1, %xmm0
1470 ; X86-SSE2-NEXT:    retl
1471   %shl = shl <4 x i32> %a, <i32 4, i32 4, i32 4, i32 4>
1472   %lshr = lshr <4 x i32> %a, <i32 28, i32 28, i32 28, i32 28>
1473   %or = or <4 x i32> %shl, %lshr
1474   ret <4 x i32> %or
1475 }
1476
1477 define <8 x i16> @splatconstant_rotate_v8i16(<8 x i16> %a) nounwind {
1478 ; SSE-LABEL: splatconstant_rotate_v8i16:
1479 ; SSE:       # %bb.0:
1480 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1481 ; SSE-NEXT:    psrlw $9, %xmm1
1482 ; SSE-NEXT:    psllw $7, %xmm0
1483 ; SSE-NEXT:    por %xmm1, %xmm0
1484 ; SSE-NEXT:    retq
1485 ;
1486 ; AVX-LABEL: splatconstant_rotate_v8i16:
1487 ; AVX:       # %bb.0:
1488 ; AVX-NEXT:    vpsrlw $9, %xmm0, %xmm1
1489 ; AVX-NEXT:    vpsllw $7, %xmm0, %xmm0
1490 ; AVX-NEXT:    vpor %xmm1, %xmm0, %xmm0
1491 ; AVX-NEXT:    retq
1492 ;
1493 ; AVX512F-LABEL: splatconstant_rotate_v8i16:
1494 ; AVX512F:       # %bb.0:
1495 ; AVX512F-NEXT:    vpsrlw $9, %xmm0, %xmm1
1496 ; AVX512F-NEXT:    vpsllw $7, %xmm0, %xmm0
1497 ; AVX512F-NEXT:    vpor %xmm1, %xmm0, %xmm0
1498 ; AVX512F-NEXT:    retq
1499 ;
1500 ; AVX512VL-LABEL: splatconstant_rotate_v8i16:
1501 ; AVX512VL:       # %bb.0:
1502 ; AVX512VL-NEXT:    vpsrlw $9, %xmm0, %xmm1
1503 ; AVX512VL-NEXT:    vpsllw $7, %xmm0, %xmm0
1504 ; AVX512VL-NEXT:    vpor %xmm1, %xmm0, %xmm0
1505 ; AVX512VL-NEXT:    retq
1506 ;
1507 ; AVX512BW-LABEL: splatconstant_rotate_v8i16:
1508 ; AVX512BW:       # %bb.0:
1509 ; AVX512BW-NEXT:    vpsrlw $9, %xmm0, %xmm1
1510 ; AVX512BW-NEXT:    vpsllw $7, %xmm0, %xmm0
1511 ; AVX512BW-NEXT:    vpor %xmm1, %xmm0, %xmm0
1512 ; AVX512BW-NEXT:    retq
1513 ;
1514 ; AVX512VLBW-LABEL: splatconstant_rotate_v8i16:
1515 ; AVX512VLBW:       # %bb.0:
1516 ; AVX512VLBW-NEXT:    vpsrlw $9, %xmm0, %xmm1
1517 ; AVX512VLBW-NEXT:    vpsllw $7, %xmm0, %xmm0
1518 ; AVX512VLBW-NEXT:    vpor %xmm1, %xmm0, %xmm0
1519 ; AVX512VLBW-NEXT:    retq
1520 ;
1521 ; AVX512VBMI2-LABEL: splatconstant_rotate_v8i16:
1522 ; AVX512VBMI2:       # %bb.0:
1523 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1524 ; AVX512VBMI2-NEXT:    vpshldw $7, %zmm0, %zmm0, %zmm0
1525 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1526 ; AVX512VBMI2-NEXT:    vzeroupper
1527 ; AVX512VBMI2-NEXT:    retq
1528 ;
1529 ; AVX512VLVBMI2-LABEL: splatconstant_rotate_v8i16:
1530 ; AVX512VLVBMI2:       # %bb.0:
1531 ; AVX512VLVBMI2-NEXT:    vpshldw $7, %xmm0, %xmm0, %xmm0
1532 ; AVX512VLVBMI2-NEXT:    retq
1533 ;
1534 ; XOP-LABEL: splatconstant_rotate_v8i16:
1535 ; XOP:       # %bb.0:
1536 ; XOP-NEXT:    vprotw $7, %xmm0, %xmm0
1537 ; XOP-NEXT:    retq
1538 ;
1539 ; X86-SSE2-LABEL: splatconstant_rotate_v8i16:
1540 ; X86-SSE2:       # %bb.0:
1541 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1542 ; X86-SSE2-NEXT:    psrlw $9, %xmm1
1543 ; X86-SSE2-NEXT:    psllw $7, %xmm0
1544 ; X86-SSE2-NEXT:    por %xmm1, %xmm0
1545 ; X86-SSE2-NEXT:    retl
1546   %shl = shl <8 x i16> %a, <i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7>
1547   %lshr = lshr <8 x i16> %a, <i16 9, i16 9, i16 9, i16 9, i16 9, i16 9, i16 9, i16 9>
1548   %or = or <8 x i16> %shl, %lshr
1549   ret <8 x i16> %or
1550 }
1551
1552 define <16 x i8> @splatconstant_rotate_v16i8(<16 x i8> %a) nounwind {
1553 ; SSE-LABEL: splatconstant_rotate_v16i8:
1554 ; SSE:       # %bb.0:
1555 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1556 ; SSE-NEXT:    psrlw $4, %xmm1
1557 ; SSE-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
1558 ; SSE-NEXT:    psllw $4, %xmm0
1559 ; SSE-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1560 ; SSE-NEXT:    por %xmm1, %xmm0
1561 ; SSE-NEXT:    retq
1562 ;
1563 ; AVX-LABEL: splatconstant_rotate_v16i8:
1564 ; AVX:       # %bb.0:
1565 ; AVX-NEXT:    vpsrlw $4, %xmm0, %xmm1
1566 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1567 ; AVX-NEXT:    vpsllw $4, %xmm0, %xmm0
1568 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1569 ; AVX-NEXT:    vpor %xmm1, %xmm0, %xmm0
1570 ; AVX-NEXT:    retq
1571 ;
1572 ; AVX512NOVLX-LABEL: splatconstant_rotate_v16i8:
1573 ; AVX512NOVLX:       # %bb.0:
1574 ; AVX512NOVLX-NEXT:    vpsllw $4, %xmm0, %xmm1
1575 ; AVX512NOVLX-NEXT:    vpsrlw $4, %xmm0, %xmm0
1576 ; AVX512NOVLX-NEXT:    vpternlogq $216, {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %zmm1, %zmm0
1577 ; AVX512NOVLX-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
1578 ; AVX512NOVLX-NEXT:    vzeroupper
1579 ; AVX512NOVLX-NEXT:    retq
1580 ;
1581 ; AVX512VLX-LABEL: splatconstant_rotate_v16i8:
1582 ; AVX512VLX:       # %bb.0:
1583 ; AVX512VLX-NEXT:    vpsllw $4, %xmm0, %xmm1
1584 ; AVX512VLX-NEXT:    vpsrlw $4, %xmm0, %xmm0
1585 ; AVX512VLX-NEXT:    vpternlogq $216, {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to2}, %xmm1, %xmm0
1586 ; AVX512VLX-NEXT:    retq
1587 ;
1588 ; XOP-LABEL: splatconstant_rotate_v16i8:
1589 ; XOP:       # %bb.0:
1590 ; XOP-NEXT:    vprotb $4, %xmm0, %xmm0
1591 ; XOP-NEXT:    retq
1592 ;
1593 ; X86-SSE2-LABEL: splatconstant_rotate_v16i8:
1594 ; X86-SSE2:       # %bb.0:
1595 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1596 ; X86-SSE2-NEXT:    psrlw $4, %xmm1
1597 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1
1598 ; X86-SSE2-NEXT:    psllw $4, %xmm0
1599 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0
1600 ; X86-SSE2-NEXT:    por %xmm1, %xmm0
1601 ; X86-SSE2-NEXT:    retl
1602   %shl = shl <16 x i8> %a, <i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4>
1603   %lshr = lshr <16 x i8> %a, <i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4>
1604   %or = or <16 x i8> %shl, %lshr
1605   ret <16 x i8> %or
1606 }
1607
1608 ;
1609 ; Masked Uniform Constant Rotates
1610 ;
1611
1612 define <2 x i64> @splatconstant_rotate_mask_v2i64(<2 x i64> %a) nounwind {
1613 ; SSE-LABEL: splatconstant_rotate_mask_v2i64:
1614 ; SSE:       # %bb.0:
1615 ; SSE-NEXT:    psrlq $49, %xmm0
1616 ; SSE-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1617 ; SSE-NEXT:    retq
1618 ;
1619 ; AVX-LABEL: splatconstant_rotate_mask_v2i64:
1620 ; AVX:       # %bb.0:
1621 ; AVX-NEXT:    vpsrlq $49, %xmm0, %xmm0
1622 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1623 ; AVX-NEXT:    retq
1624 ;
1625 ; AVX512-LABEL: splatconstant_rotate_mask_v2i64:
1626 ; AVX512:       # %bb.0:
1627 ; AVX512-NEXT:    vpsrlq $49, %xmm0, %xmm0
1628 ; AVX512-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1629 ; AVX512-NEXT:    retq
1630 ;
1631 ; XOP-LABEL: splatconstant_rotate_mask_v2i64:
1632 ; XOP:       # %bb.0:
1633 ; XOP-NEXT:    vpsrlq $49, %xmm0, %xmm0
1634 ; XOP-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1635 ; XOP-NEXT:    retq
1636 ;
1637 ; X86-SSE2-LABEL: splatconstant_rotate_mask_v2i64:
1638 ; X86-SSE2:       # %bb.0:
1639 ; X86-SSE2-NEXT:    psrlq $49, %xmm0
1640 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0
1641 ; X86-SSE2-NEXT:    retl
1642   %shl = shl <2 x i64> %a, <i64 15, i64 15>
1643   %lshr = lshr <2 x i64> %a, <i64 49, i64 49>
1644   %rmask = and <2 x i64> %lshr, <i64 255, i64 127>
1645   %lmask = and <2 x i64> %shl, <i64 65, i64 33>
1646   %or = or <2 x i64> %lmask, %rmask
1647   ret <2 x i64> %or
1648 }
1649
1650 define <4 x i32> @splatconstant_rotate_mask_v4i32(<4 x i32> %a) nounwind {
1651 ; SSE-LABEL: splatconstant_rotate_mask_v4i32:
1652 ; SSE:       # %bb.0:
1653 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1654 ; SSE-NEXT:    psrld $28, %xmm1
1655 ; SSE-NEXT:    pslld $4, %xmm0
1656 ; SSE-NEXT:    por %xmm1, %xmm0
1657 ; SSE-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1658 ; SSE-NEXT:    retq
1659 ;
1660 ; AVX-LABEL: splatconstant_rotate_mask_v4i32:
1661 ; AVX:       # %bb.0:
1662 ; AVX-NEXT:    vpsrld $28, %xmm0, %xmm1
1663 ; AVX-NEXT:    vpslld $4, %xmm0, %xmm0
1664 ; AVX-NEXT:    vpor %xmm1, %xmm0, %xmm0
1665 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1666 ; AVX-NEXT:    retq
1667 ;
1668 ; AVX512NOVLX-LABEL: splatconstant_rotate_mask_v4i32:
1669 ; AVX512NOVLX:       # %bb.0:
1670 ; AVX512NOVLX-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1671 ; AVX512NOVLX-NEXT:    vprold $4, %zmm0, %zmm0
1672 ; AVX512NOVLX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1673 ; AVX512NOVLX-NEXT:    vzeroupper
1674 ; AVX512NOVLX-NEXT:    retq
1675 ;
1676 ; AVX512VLX-LABEL: splatconstant_rotate_mask_v4i32:
1677 ; AVX512VLX:       # %bb.0:
1678 ; AVX512VLX-NEXT:    vprold $4, %xmm0, %xmm0
1679 ; AVX512VLX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1680 ; AVX512VLX-NEXT:    retq
1681 ;
1682 ; XOP-LABEL: splatconstant_rotate_mask_v4i32:
1683 ; XOP:       # %bb.0:
1684 ; XOP-NEXT:    vprotd $4, %xmm0, %xmm0
1685 ; XOP-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1686 ; XOP-NEXT:    retq
1687 ;
1688 ; X86-SSE2-LABEL: splatconstant_rotate_mask_v4i32:
1689 ; X86-SSE2:       # %bb.0:
1690 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1691 ; X86-SSE2-NEXT:    psrld $28, %xmm1
1692 ; X86-SSE2-NEXT:    pslld $4, %xmm0
1693 ; X86-SSE2-NEXT:    por %xmm1, %xmm0
1694 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0
1695 ; X86-SSE2-NEXT:    retl
1696   %shl = shl <4 x i32> %a, <i32 4, i32 4, i32 4, i32 4>
1697   %lshr = lshr <4 x i32> %a, <i32 28, i32 28, i32 28, i32 28>
1698   %rmask = and <4 x i32> %lshr, <i32 127, i32 255, i32 511, i32 1023>
1699   %lmask = and <4 x i32> %shl, <i32 1023, i32 511, i32 255, i32 127>
1700   %or = or <4 x i32> %lmask, %rmask
1701   ret <4 x i32> %or
1702 }
1703
1704 define <8 x i16> @splatconstant_rotate_mask_v8i16(<8 x i16> %a) nounwind {
1705 ; SSE-LABEL: splatconstant_rotate_mask_v8i16:
1706 ; SSE:       # %bb.0:
1707 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1708 ; SSE-NEXT:    psrlw $11, %xmm1
1709 ; SSE-NEXT:    psllw $5, %xmm0
1710 ; SSE-NEXT:    por %xmm1, %xmm0
1711 ; SSE-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1712 ; SSE-NEXT:    retq
1713 ;
1714 ; AVX-LABEL: splatconstant_rotate_mask_v8i16:
1715 ; AVX:       # %bb.0:
1716 ; AVX-NEXT:    vpsrlw $11, %xmm0, %xmm1
1717 ; AVX-NEXT:    vpsllw $5, %xmm0, %xmm0
1718 ; AVX-NEXT:    vpor %xmm1, %xmm0, %xmm0
1719 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1720 ; AVX-NEXT:    retq
1721 ;
1722 ; AVX512F-LABEL: splatconstant_rotate_mask_v8i16:
1723 ; AVX512F:       # %bb.0:
1724 ; AVX512F-NEXT:    vpsrlw $11, %xmm0, %xmm1
1725 ; AVX512F-NEXT:    vpsllw $5, %xmm0, %xmm0
1726 ; AVX512F-NEXT:    vpor %xmm1, %xmm0, %xmm0
1727 ; AVX512F-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1728 ; AVX512F-NEXT:    retq
1729 ;
1730 ; AVX512VL-LABEL: splatconstant_rotate_mask_v8i16:
1731 ; AVX512VL:       # %bb.0:
1732 ; AVX512VL-NEXT:    vpsllw $5, %xmm0, %xmm1
1733 ; AVX512VL-NEXT:    vpsrlw $11, %xmm0, %xmm0
1734 ; AVX512VL-NEXT:    vpternlogd $168, {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm0
1735 ; AVX512VL-NEXT:    retq
1736 ;
1737 ; AVX512BW-LABEL: splatconstant_rotate_mask_v8i16:
1738 ; AVX512BW:       # %bb.0:
1739 ; AVX512BW-NEXT:    vpsrlw $11, %xmm0, %xmm1
1740 ; AVX512BW-NEXT:    vpsllw $5, %xmm0, %xmm0
1741 ; AVX512BW-NEXT:    vpor %xmm1, %xmm0, %xmm0
1742 ; AVX512BW-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1743 ; AVX512BW-NEXT:    retq
1744 ;
1745 ; AVX512VLBW-LABEL: splatconstant_rotate_mask_v8i16:
1746 ; AVX512VLBW:       # %bb.0:
1747 ; AVX512VLBW-NEXT:    vpsllw $5, %xmm0, %xmm1
1748 ; AVX512VLBW-NEXT:    vpsrlw $11, %xmm0, %xmm0
1749 ; AVX512VLBW-NEXT:    vpternlogd $168, {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm0
1750 ; AVX512VLBW-NEXT:    retq
1751 ;
1752 ; AVX512VBMI2-LABEL: splatconstant_rotate_mask_v8i16:
1753 ; AVX512VBMI2:       # %bb.0:
1754 ; AVX512VBMI2-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
1755 ; AVX512VBMI2-NEXT:    vpshldw $5, %zmm0, %zmm0, %zmm0
1756 ; AVX512VBMI2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1757 ; AVX512VBMI2-NEXT:    vzeroupper
1758 ; AVX512VBMI2-NEXT:    retq
1759 ;
1760 ; AVX512VLVBMI2-LABEL: splatconstant_rotate_mask_v8i16:
1761 ; AVX512VLVBMI2:       # %bb.0:
1762 ; AVX512VLVBMI2-NEXT:    vpshldw $5, %xmm0, %xmm0, %xmm0
1763 ; AVX512VLVBMI2-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
1764 ; AVX512VLVBMI2-NEXT:    retq
1765 ;
1766 ; XOP-LABEL: splatconstant_rotate_mask_v8i16:
1767 ; XOP:       # %bb.0:
1768 ; XOP-NEXT:    vprotw $5, %xmm0, %xmm0
1769 ; XOP-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1770 ; XOP-NEXT:    retq
1771 ;
1772 ; X86-SSE2-LABEL: splatconstant_rotate_mask_v8i16:
1773 ; X86-SSE2:       # %bb.0:
1774 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1775 ; X86-SSE2-NEXT:    psrlw $11, %xmm1
1776 ; X86-SSE2-NEXT:    psllw $5, %xmm0
1777 ; X86-SSE2-NEXT:    por %xmm1, %xmm0
1778 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0
1779 ; X86-SSE2-NEXT:    retl
1780   %shl = shl <8 x i16> %a, <i16 5, i16 5, i16 5, i16 5, i16 5, i16 5, i16 5, i16 5>
1781   %lshr = lshr <8 x i16> %a, <i16 11, i16 11, i16 11, i16 11, i16 11, i16 11, i16 11, i16 11>
1782   %rmask = and <8 x i16> %lshr, <i16 55, i16 55, i16 55, i16 55, i16 55, i16 55, i16 55, i16 55>
1783   %lmask = and <8 x i16> %shl, <i16 33, i16 33, i16 33, i16 33, i16 33, i16 33, i16 33, i16 33>
1784   %or = or <8 x i16> %lmask, %rmask
1785   ret <8 x i16> %or
1786 }
1787
1788 define <16 x i8> @splatconstant_rotate_mask_v16i8(<16 x i8> %a) nounwind {
1789 ; SSE-LABEL: splatconstant_rotate_mask_v16i8:
1790 ; SSE:       # %bb.0:
1791 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1792 ; SSE-NEXT:    psrlw $4, %xmm1
1793 ; SSE-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
1794 ; SSE-NEXT:    psllw $4, %xmm0
1795 ; SSE-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1796 ; SSE-NEXT:    por %xmm1, %xmm0
1797 ; SSE-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1798 ; SSE-NEXT:    retq
1799 ;
1800 ; AVX-LABEL: splatconstant_rotate_mask_v16i8:
1801 ; AVX:       # %bb.0:
1802 ; AVX-NEXT:    vpsrlw $4, %xmm0, %xmm1
1803 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
1804 ; AVX-NEXT:    vpsllw $4, %xmm0, %xmm0
1805 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1806 ; AVX-NEXT:    vpor %xmm1, %xmm0, %xmm0
1807 ; AVX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1808 ; AVX-NEXT:    retq
1809 ;
1810 ; AVX512NOVLX-LABEL: splatconstant_rotate_mask_v16i8:
1811 ; AVX512NOVLX:       # %bb.0:
1812 ; AVX512NOVLX-NEXT:    vpsllw $4, %xmm0, %xmm1
1813 ; AVX512NOVLX-NEXT:    vpsrlw $4, %xmm0, %xmm0
1814 ; AVX512NOVLX-NEXT:    vpternlogq $216, {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %zmm1, %zmm0
1815 ; AVX512NOVLX-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1816 ; AVX512NOVLX-NEXT:    vzeroupper
1817 ; AVX512NOVLX-NEXT:    retq
1818 ;
1819 ; AVX512VLX-LABEL: splatconstant_rotate_mask_v16i8:
1820 ; AVX512VLX:       # %bb.0:
1821 ; AVX512VLX-NEXT:    vpsllw $4, %xmm0, %xmm1
1822 ; AVX512VLX-NEXT:    vpsrlw $4, %xmm0, %xmm0
1823 ; AVX512VLX-NEXT:    vpternlogq $216, {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to2}, %xmm1, %xmm0
1824 ; AVX512VLX-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm0, %xmm0
1825 ; AVX512VLX-NEXT:    retq
1826 ;
1827 ; XOP-LABEL: splatconstant_rotate_mask_v16i8:
1828 ; XOP:       # %bb.0:
1829 ; XOP-NEXT:    vprotb $4, %xmm0, %xmm0
1830 ; XOP-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0
1831 ; XOP-NEXT:    retq
1832 ;
1833 ; X86-SSE2-LABEL: splatconstant_rotate_mask_v16i8:
1834 ; X86-SSE2:       # %bb.0:
1835 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1836 ; X86-SSE2-NEXT:    psrlw $4, %xmm1
1837 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm1
1838 ; X86-SSE2-NEXT:    psllw $4, %xmm0
1839 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0
1840 ; X86-SSE2-NEXT:    por %xmm1, %xmm0
1841 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0
1842 ; X86-SSE2-NEXT:    retl
1843   %shl = shl <16 x i8> %a, <i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4>
1844   %lshr = lshr <16 x i8> %a, <i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4>
1845   %rmask = and <16 x i8> %lshr, <i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55>
1846   %lmask = and <16 x i8> %shl, <i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33>
1847   %or = or <16 x i8> %lmask, %rmask
1848   ret <16 x i8> %or
1849 }
1850
1851 define <4 x i32> @rot16_demandedbits(<4 x i32> %x, <4 x i32> %y) nounwind {
1852 ; X86-LABEL: rot16_demandedbits:
1853 ; X86:       # %bb.0:
1854 ; X86-NEXT:    movl {{[0-9]+}}(%esp), %eax
1855 ; X86-NEXT:    movl %eax, %ecx
1856 ; X86-NEXT:    shrl $11, %ecx
1857 ; X86-NEXT:    shll $5, %eax
1858 ; X86-NEXT:    orl %ecx, %eax
1859 ; X86-NEXT:    andl $65536, %eax # imm = 0x10000
1860 ; X86-NEXT:    retl
1861 ;
1862 ; X64-LABEL: rot16_demandedbits:
1863 ; X64:       # %bb.0:
1864 ; X64-NEXT:    movl %edi, %eax
1865 ; X64-NEXT:    movl %edi, %ecx
1866 ; X64-NEXT:    shrl $11, %ecx
1867 ; X64-NEXT:    shll $5, %eax
1868 ; X64-NEXT:    orl %ecx, %eax
1869 ; X64-NEXT:    andl $65536, %eax # imm = 0x10000
1870 ; X64-NEXT:    retq
1871 ; SSE2-LABEL: rot16_demandedbits:
1872 ; SSE2:       # %bb.0:
1873 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1874 ; SSE2-NEXT:    psrld $11, %xmm1
1875 ; SSE2-NEXT:    pslld $11, %xmm0
1876 ; SSE2-NEXT:    por %xmm1, %xmm0
1877 ; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
1878 ; SSE2-NEXT:    retq
1879 ;
1880 ; SSE41-LABEL: rot16_demandedbits:
1881 ; SSE41:       # %bb.0:
1882 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1883 ; SSE41-NEXT:    psrld $11, %xmm1
1884 ; SSE41-NEXT:    pslld $11, %xmm0
1885 ; SSE41-NEXT:    por %xmm1, %xmm0
1886 ; SSE41-NEXT:    pxor %xmm1, %xmm1
1887 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3],xmm0[4],xmm1[5],xmm0[6],xmm1[7]
1888 ; SSE41-NEXT:    retq
1889 ;
1890 ; AVX-LABEL: rot16_demandedbits:
1891 ; AVX:       # %bb.0:
1892 ; AVX-NEXT:    vpsrld $11, %xmm0, %xmm1
1893 ; AVX-NEXT:    vpslld $11, %xmm0, %xmm0
1894 ; AVX-NEXT:    vpor %xmm0, %xmm1, %xmm0
1895 ; AVX-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1896 ; AVX-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3],xmm0[4],xmm1[5],xmm0[6],xmm1[7]
1897 ; AVX-NEXT:    retq
1898 ;
1899 ; AVX512-LABEL: rot16_demandedbits:
1900 ; AVX512:       # %bb.0:
1901 ; AVX512-NEXT:    vpsrld $11, %xmm0, %xmm1
1902 ; AVX512-NEXT:    vpslld $11, %xmm0, %xmm0
1903 ; AVX512-NEXT:    vpor %xmm0, %xmm1, %xmm0
1904 ; AVX512-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1905 ; AVX512-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3],xmm0[4],xmm1[5],xmm0[6],xmm1[7]
1906 ; AVX512-NEXT:    retq
1907 ;
1908 ; XOP-LABEL: rot16_demandedbits:
1909 ; XOP:       # %bb.0:
1910 ; XOP-NEXT:    vpsrld $11, %xmm0, %xmm1
1911 ; XOP-NEXT:    vpslld $11, %xmm0, %xmm0
1912 ; XOP-NEXT:    vpor %xmm0, %xmm1, %xmm0
1913 ; XOP-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1914 ; XOP-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3],xmm0[4],xmm1[5],xmm0[6],xmm1[7]
1915 ; XOP-NEXT:    retq
1916 ;
1917 ; X86-SSE2-LABEL: rot16_demandedbits:
1918 ; X86-SSE2:       # %bb.0:
1919 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1920 ; X86-SSE2-NEXT:    psrld $11, %xmm1
1921 ; X86-SSE2-NEXT:    pslld $11, %xmm0
1922 ; X86-SSE2-NEXT:    por %xmm1, %xmm0
1923 ; X86-SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}, %xmm0
1924 ; X86-SSE2-NEXT:    retl
1925   %t0 = lshr <4 x i32> %x, <i32 11, i32 11, i32 11, i32 11>
1926   %t1 = shl <4 x i32> %x, <i32 11, i32 11, i32 11, i32 11>
1927   %t2 = or <4 x i32> %t0, %t1
1928   %t3 = and <4 x i32> %t2, <i32 65535, i32 65535, i32 65535, i32 65535>
1929   ret <4 x i32> %t3
1930 }
1931
1932 define <4 x i16> @rot16_trunc(<4 x i32> %x, <4 x i32> %y) nounwind {
1933 ; SSE2-LABEL: rot16_trunc:
1934 ; SSE2:       # %bb.0:
1935 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1936 ; SSE2-NEXT:    psrld $11, %xmm1
1937 ; SSE2-NEXT:    pslld $5, %xmm0
1938 ; SSE2-NEXT:    por %xmm1, %xmm0
1939 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,3,4,5,6,7]
1940 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,6,7]
1941 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1942 ; SSE2-NEXT:    retq
1943 ;
1944 ; SSE41-LABEL: rot16_trunc:
1945 ; SSE41:       # %bb.0:
1946 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1947 ; SSE41-NEXT:    psrld $11, %xmm1
1948 ; SSE41-NEXT:    pslld $5, %xmm0
1949 ; SSE41-NEXT:    por %xmm1, %xmm0
1950 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15]
1951 ; SSE41-NEXT:    retq
1952 ;
1953 ; AVX-LABEL: rot16_trunc:
1954 ; AVX:       # %bb.0:
1955 ; AVX-NEXT:    vpsrld $11, %xmm0, %xmm1
1956 ; AVX-NEXT:    vpslld $5, %xmm0, %xmm0
1957 ; AVX-NEXT:    vpor %xmm0, %xmm1, %xmm0
1958 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15]
1959 ; AVX-NEXT:    retq
1960 ;
1961 ; AVX512NOVLX-LABEL: rot16_trunc:
1962 ; AVX512NOVLX:       # %bb.0:
1963 ; AVX512NOVLX-NEXT:    vpsrld $11, %xmm0, %xmm1
1964 ; AVX512NOVLX-NEXT:    vpslld $5, %xmm0, %xmm0
1965 ; AVX512NOVLX-NEXT:    vpor %xmm0, %xmm1, %xmm0
1966 ; AVX512NOVLX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15]
1967 ; AVX512NOVLX-NEXT:    retq
1968 ;
1969 ; AVX512VLX-LABEL: rot16_trunc:
1970 ; AVX512VLX:       # %bb.0:
1971 ; AVX512VLX-NEXT:    vpsrld $11, %xmm0, %xmm1
1972 ; AVX512VLX-NEXT:    vpslld $5, %xmm0, %xmm0
1973 ; AVX512VLX-NEXT:    vpor %xmm0, %xmm1, %xmm0
1974 ; AVX512VLX-NEXT:    vpmovdw %xmm0, %xmm0
1975 ; AVX512VLX-NEXT:    retq
1976 ;
1977 ; XOP-LABEL: rot16_trunc:
1978 ; XOP:       # %bb.0:
1979 ; XOP-NEXT:    vpsrld $11, %xmm0, %xmm1
1980 ; XOP-NEXT:    vpslld $5, %xmm0, %xmm0
1981 ; XOP-NEXT:    vpor %xmm0, %xmm1, %xmm0
1982 ; XOP-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15]
1983 ; XOP-NEXT:    retq
1984 ;
1985 ; X86-SSE2-LABEL: rot16_trunc:
1986 ; X86-SSE2:       # %bb.0:
1987 ; X86-SSE2-NEXT:    movdqa %xmm0, %xmm1
1988 ; X86-SSE2-NEXT:    psrld $11, %xmm1
1989 ; X86-SSE2-NEXT:    pslld $5, %xmm0
1990 ; X86-SSE2-NEXT:    por %xmm1, %xmm0
1991 ; X86-SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,3,4,5,6,7]
1992 ; X86-SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,6,7]
1993 ; X86-SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1994 ; X86-SSE2-NEXT:    retl
1995   %t0 = lshr <4 x i32> %x, <i32 11, i32 11, i32 11, i32 11>
1996   %t1 = shl <4 x i32> %x, <i32 5, i32 5, i32 5, i32 5>
1997   %t2 = or <4 x i32> %t0, %t1
1998   %t3 = trunc <4 x i32> %t2 to <4 x i16>
1999   ret <4 x i16> %t3
2000 }