test/CodeGen/X86/vector-shuffle-256-v4.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx | FileCheck %s --check-prefix=ALL --check-prefix=AVX1OR2 --check-prefix=AVX1
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefix=ALL --check-prefix=AVX1OR2 --check-prefix=AVX2 --check-prefix=AVX2-SLOW
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2,+fast-variable-shuffle | FileCheck %s --check-prefix=ALL --check-prefix=AVX1OR2 --check-prefix=AVX2 --check-prefix=AVX2-FAST
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512vl | FileCheck %s --check-prefix=ALL --check-prefix=AVX512VL --check-prefix=AVX512VL-SLOW
   6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx512vl,+fast-variable-shuffle | FileCheck %s --check-prefix=ALL --check-prefix=AVX512VL --check-prefix=AVX512VL-FAST
   7
   8 define <4 x double> @shuffle_v4f64_0000(<4 x double> %a, <4 x double> %b) {
   9 ; AVX1-LABEL: shuffle_v4f64_0000:
  10 ; AVX1:       # %bb.0:
  11 ; AVX1-NEXT:    vmovddup {{.*#+}} xmm0 = xmm0[0,0]
  12 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm0, %ymm0
  13 ; AVX1-NEXT:    retq
  14 ;
  15 ; AVX2-LABEL: shuffle_v4f64_0000:
  16 ; AVX2:       # %bb.0:
  17 ; AVX2-NEXT:    vbroadcastsd %xmm0, %ymm0
  18 ; AVX2-NEXT:    retq
  19 ;
  20 ; AVX512VL-LABEL: shuffle_v4f64_0000:
  21 ; AVX512VL:       # %bb.0:
  22 ; AVX512VL-NEXT:    vbroadcastsd %xmm0, %ymm0
  23 ; AVX512VL-NEXT:    retq
  24   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 0, i32 0, i32 0>
  25   ret <4 x double> %shuffle
  26 }
  27
  28 define <4 x double> @shuffle_v4f64_0001(<4 x double> %a, <4 x double> %b) {
  29 ; AVX1-LABEL: shuffle_v4f64_0001:
  30 ; AVX1:       # %bb.0:
  31 ; AVX1-NEXT:    vmovddup {{.*#+}} xmm1 = xmm0[0,0]
  32 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
  33 ; AVX1-NEXT:    retq
  34 ;
  35 ; AVX2-LABEL: shuffle_v4f64_0001:
  36 ; AVX2:       # %bb.0:
  37 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,0,0,1]
  38 ; AVX2-NEXT:    retq
  39 ;
  40 ; AVX512VL-LABEL: shuffle_v4f64_0001:
  41 ; AVX512VL:       # %bb.0:
  42 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,0,0,1]
  43 ; AVX512VL-NEXT:    retq
  44   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 0, i32 0, i32 1>
  45   ret <4 x double> %shuffle
  46 }
  47
  48 define <4 x double> @shuffle_v4f64_0020(<4 x double> %a, <4 x double> %b) {
  49 ; AVX1-LABEL: shuffle_v4f64_0020:
  50 ; AVX1:       # %bb.0:
  51 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
  52 ; AVX1-NEXT:    vmovlhps {{.*#+}} xmm1 = xmm1[0],xmm0[0]
  53 ; AVX1-NEXT:    vmovddup {{.*#+}} xmm0 = xmm0[0,0]
  54 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
  55 ; AVX1-NEXT:    retq
  56 ;
  57 ; AVX2-LABEL: shuffle_v4f64_0020:
  58 ; AVX2:       # %bb.0:
  59 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,0,2,0]
  60 ; AVX2-NEXT:    retq
  61 ;
  62 ; AVX512VL-LABEL: shuffle_v4f64_0020:
  63 ; AVX512VL:       # %bb.0:
  64 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,0,2,0]
  65 ; AVX512VL-NEXT:    retq
  66   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 0, i32 2, i32 0>
  67   ret <4 x double> %shuffle
  68 }
  69
  70 define <4 x double> @shuffle_v4f64_0300(<4 x double> %a, <4 x double> %b) {
  71 ; AVX1-LABEL: shuffle_v4f64_0300:
  72 ; AVX1:       # %bb.0:
  73 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm1 = ymm0[2,3,0,1]
  74 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm1 = ymm1[0,1,2,2]
  75 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3]
  76 ; AVX1-NEXT:    retq
  77 ;
  78 ; AVX2-LABEL: shuffle_v4f64_0300:
  79 ; AVX2:       # %bb.0:
  80 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,3,0,0]
  81 ; AVX2-NEXT:    retq
  82 ;
  83 ; AVX512VL-LABEL: shuffle_v4f64_0300:
  84 ; AVX512VL:       # %bb.0:
  85 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,3,0,0]
  86 ; AVX512VL-NEXT:    retq
  87   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 3, i32 0, i32 0>
  88   ret <4 x double> %shuffle
  89 }
  90
  91 define <4 x double> @shuffle_v4f64_1000(<4 x double> %a, <4 x double> %b) {
  92 ; AVX1-LABEL: shuffle_v4f64_1000:
  93 ; AVX1:       # %bb.0:
  94 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm0, %ymm0
  95 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,2,2]
  96 ; AVX1-NEXT:    retq
  97 ;
  98 ; AVX2-LABEL: shuffle_v4f64_1000:
  99 ; AVX2:       # %bb.0:
 100 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[1,0,0,0]
 101 ; AVX2-NEXT:    retq
 102 ;
 103 ; AVX512VL-LABEL: shuffle_v4f64_1000:
 104 ; AVX512VL:       # %bb.0:
 105 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[1,0,0,0]
 106 ; AVX512VL-NEXT:    retq
 107   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 1, i32 0, i32 0, i32 0>
 108   ret <4 x double> %shuffle
 109 }
 110
 111 define <4 x double> @shuffle_v4f64_2200(<4 x double> %a, <4 x double> %b) {
 112 ; AVX1-LABEL: shuffle_v4f64_2200:
 113 ; AVX1:       # %bb.0:
 114 ; AVX1-NEXT:    vmovddup {{.*#+}} ymm0 = ymm0[0,0,2,2]
 115 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3,0,1]
 116 ; AVX1-NEXT:    retq
 117 ;
 118 ; AVX2-LABEL: shuffle_v4f64_2200:
 119 ; AVX2:       # %bb.0:
 120 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,2,0,0]
 121 ; AVX2-NEXT:    retq
 122 ;
 123 ; AVX512VL-LABEL: shuffle_v4f64_2200:
 124 ; AVX512VL:       # %bb.0:
 125 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,2,0,0]
 126 ; AVX512VL-NEXT:    retq
 127   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 2, i32 2, i32 0, i32 0>
 128   ret <4 x double> %shuffle
 129 }
 130
 131 define <4 x double> @shuffle_v4f64_2222(<4 x double> %a, <4 x double> %b) {
 132 ; AVX1-LABEL: shuffle_v4f64_2222:
 133 ; AVX1:       # %bb.0:
 134 ; AVX1-NEXT:    vmovddup {{.*#+}} ymm0 = ymm0[0,0,2,2]
 135 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3,2,3]
 136 ; AVX1-NEXT:    retq
 137 ;
 138 ; AVX2-LABEL: shuffle_v4f64_2222:
 139 ; AVX2:       # %bb.0:
 140 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,2,2,2]
 141 ; AVX2-NEXT:    retq
 142 ;
 143 ; AVX512VL-LABEL: shuffle_v4f64_2222:
 144 ; AVX512VL:       # %bb.0:
 145 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,2,2,2]
 146 ; AVX512VL-NEXT:    retq
 147   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 2, i32 2, i32 2, i32 2>
 148   ret <4 x double> %shuffle
 149 }
 150
 151 define <4 x double> @shuffle_v4f64_2222_bc(<4 x i64> %a, <4 x i64> %b) {
 152 ; AVX1-LABEL: shuffle_v4f64_2222_bc:
 153 ; AVX1:       # %bb.0:
 154 ; AVX1-NEXT:    vmovddup {{.*#+}} ymm0 = ymm0[0,0,2,2]
 155 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3,2,3]
 156 ; AVX1-NEXT:    retq
 157 ;
 158 ; AVX2-LABEL: shuffle_v4f64_2222_bc:
 159 ; AVX2:       # %bb.0:
 160 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,2,2,2]
 161 ; AVX2-NEXT:    retq
 162 ;
 163 ; AVX512VL-LABEL: shuffle_v4f64_2222_bc:
 164 ; AVX512VL:       # %bb.0:
 165 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,2,2,2]
 166 ; AVX512VL-NEXT:    retq
 167   %tmp0 = bitcast <4 x i64> %a to <4 x double>
 168   %tmp1 = bitcast <4 x i64> %b to <4 x double>
 169   %shuffle = shufflevector <4 x double> %tmp0, <4 x double> %tmp1, <4 x i32> <i32 2, i32 2, i32 2, i32 2>
 170   ret <4 x double> %shuffle
 171 }
 172
 173 define <4 x double> @shuffle_v4f64_2233(<4 x double> %a, <4 x double> %b) {
 174 ; AVX1-LABEL: shuffle_v4f64_2233:
 175 ; AVX1:       # %bb.0:
 176 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3,2,3]
 177 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[0,0,3,3]
 178 ; AVX1-NEXT:    retq
 179 ;
 180 ; AVX2-LABEL: shuffle_v4f64_2233:
 181 ; AVX2:       # %bb.0:
 182 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,2,3,3]
 183 ; AVX2-NEXT:    retq
 184 ;
 185 ; AVX512VL-LABEL: shuffle_v4f64_2233:
 186 ; AVX512VL:       # %bb.0:
 187 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,2,3,3]
 188 ; AVX512VL-NEXT:    retq
 189   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 2, i32 2, i32 3, i32 3>
 190   ret <4 x double> %shuffle
 191 }
 192
 193 define <4 x double> @shuffle_v4f64_3330(<4 x double> %a, <4 x double> %b) {
 194 ; AVX1-LABEL: shuffle_v4f64_3330:
 195 ; AVX1:       # %bb.0:
 196 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm1 = ymm0[2,3,0,1]
 197 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm1[0,1,2],ymm0[3]
 198 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,1,3,2]
 199 ; AVX1-NEXT:    retq
 200 ;
 201 ; AVX2-LABEL: shuffle_v4f64_3330:
 202 ; AVX2:       # %bb.0:
 203 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[3,3,3,0]
 204 ; AVX2-NEXT:    retq
 205 ;
 206 ; AVX512VL-LABEL: shuffle_v4f64_3330:
 207 ; AVX512VL:       # %bb.0:
 208 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[3,3,3,0]
 209 ; AVX512VL-NEXT:    retq
 210   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 3, i32 3, i32 3, i32 0>
 211   ret <4 x double> %shuffle
 212 }
 213
 214 define <4 x double> @shuffle_v4f64_3210(<4 x double> %a, <4 x double> %b) {
 215 ; AVX1-LABEL: shuffle_v4f64_3210:
 216 ; AVX1:       # %bb.0:
 217 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,3,2]
 218 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3,0,1]
 219 ; AVX1-NEXT:    retq
 220 ;
 221 ; AVX2-LABEL: shuffle_v4f64_3210:
 222 ; AVX2:       # %bb.0:
 223 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[3,2,1,0]
 224 ; AVX2-NEXT:    retq
 225 ;
 226 ; AVX512VL-LABEL: shuffle_v4f64_3210:
 227 ; AVX512VL:       # %bb.0:
 228 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[3,2,1,0]
 229 ; AVX512VL-NEXT:    retq
 230   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 231   ret <4 x double> %shuffle
 232 }
 233
 234 define <4 x double> @shuffle_v4f64_0023(<4 x double> %a, <4 x double> %b) {
 235 ; ALL-LABEL: shuffle_v4f64_0023:
 236 ; ALL:       # %bb.0:
 237 ; ALL-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[0,0,2,3]
 238 ; ALL-NEXT:    retq
 239
 240   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 0, i32 2, i32 3>
 241   ret <4 x double> %shuffle
 242 }
 243
 244 define <4 x double> @shuffle_v4f64_0022(<4 x double> %a, <4 x double> %b) {
 245 ; ALL-LABEL: shuffle_v4f64_0022:
 246 ; ALL:       # %bb.0:
 247 ; ALL-NEXT:    vmovddup {{.*#+}} ymm0 = ymm0[0,0,2,2]
 248 ; ALL-NEXT:    retq
 249   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 0, i32 2, i32 2>
 250   ret <4 x double> %shuffle
 251 }
 252
 253 define <4 x double> @shuffle_v4f64mem_0022(<4 x double>* %ptr, <4 x double> %b) {
 254 ; ALL-LABEL: shuffle_v4f64mem_0022:
 255 ; ALL:       # %bb.0:
 256 ; ALL-NEXT:    vmovddup {{.*#+}} ymm0 = mem[0,0,2,2]
 257 ; ALL-NEXT:    retq
 258   %a = load  <4 x double>,  <4 x double>* %ptr
 259   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 0, i32 2, i32 2>
 260   ret <4 x double> %shuffle
 261 }
 262
 263 define <4 x double> @shuffle_v4f64_1032(<4 x double> %a, <4 x double> %b) {
 264 ; ALL-LABEL: shuffle_v4f64_1032:
 265 ; ALL:       # %bb.0:
 266 ; ALL-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,3,2]
 267 ; ALL-NEXT:    retq
 268   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 1, i32 0, i32 3, i32 2>
 269   ret <4 x double> %shuffle
 270 }
 271
 272 define <4 x double> @shuffle_v4f64_1133(<4 x double> %a, <4 x double> %b) {
 273 ; ALL-LABEL: shuffle_v4f64_1133:
 274 ; ALL:       # %bb.0:
 275 ; ALL-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,1,3,3]
 276 ; ALL-NEXT:    retq
 277   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 1, i32 1, i32 3, i32 3>
 278   ret <4 x double> %shuffle
 279 }
 280
 281 define <4 x double> @shuffle_v4f64_1023(<4 x double> %a, <4 x double> %b) {
 282 ; ALL-LABEL: shuffle_v4f64_1023:
 283 ; ALL:       # %bb.0:
 284 ; ALL-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,2,3]
 285 ; ALL-NEXT:    retq
 286   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 1, i32 0, i32 2, i32 3>
 287   ret <4 x double> %shuffle
 288 }
 289
 290 define <4 x double> @shuffle_v4f64_1022(<4 x double> %a, <4 x double> %b) {
 291 ; ALL-LABEL: shuffle_v4f64_1022:
 292 ; ALL:       # %bb.0:
 293 ; ALL-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,2,2]
 294 ; ALL-NEXT:    retq
 295   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 1, i32 0, i32 2, i32 2>
 296   ret <4 x double> %shuffle
 297 }
 298
 299 define <4 x double> @shuffle_v4f64_0213(<4 x double> %a, <4 x double> %b) {
 300 ; AVX1-LABEL: shuffle_v4f64_0213:
 301 ; AVX1:       # %bb.0:
 302 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm1 = ymm0[2,3,0,1]
 303 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm1 = ymm1[0,0,3,2]
 304 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1,2],ymm0[3]
 305 ; AVX1-NEXT:    retq
 306 ;
 307 ; AVX2-LABEL: shuffle_v4f64_0213:
 308 ; AVX2:       # %bb.0:
 309 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,2,1,3]
 310 ; AVX2-NEXT:    retq
 311 ;
 312 ; AVX512VL-LABEL: shuffle_v4f64_0213:
 313 ; AVX512VL:       # %bb.0:
 314 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,2,1,3]
 315 ; AVX512VL-NEXT:    retq
 316   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 2, i32 1, i32 3>
 317   ret <4 x double> %shuffle
 318 }
 319
 320 define <4 x double> @shuffle_v4f64_0423(<4 x double> %a, <4 x double> %b) {
 321 ; AVX1OR2-LABEL: shuffle_v4f64_0423:
 322 ; AVX1OR2:       # %bb.0:
 323 ; AVX1OR2-NEXT:    vmovddup {{.*#+}} xmm1 = xmm1[0,0]
 324 ; AVX1OR2-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3],ymm0[4,5,6,7]
 325 ; AVX1OR2-NEXT:    retq
 326 ;
 327 ; AVX512VL-SLOW-LABEL: shuffle_v4f64_0423:
 328 ; AVX512VL-SLOW:       # %bb.0:
 329 ; AVX512VL-SLOW-NEXT:    vmovddup {{.*#+}} xmm1 = xmm1[0,0]
 330 ; AVX512VL-SLOW-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3],ymm0[4,5,6,7]
 331 ; AVX512VL-SLOW-NEXT:    retq
 332 ;
 333 ; AVX512VL-FAST-LABEL: shuffle_v4f64_0423:
 334 ; AVX512VL-FAST:       # %bb.0:
 335 ; AVX512VL-FAST-NEXT:    vmovapd {{.*#+}} ymm2 = [0,4,2,3]
 336 ; AVX512VL-FAST-NEXT:    vpermt2pd %ymm1, %ymm2, %ymm0
 337 ; AVX512VL-FAST-NEXT:    retq
 338   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 4, i32 2, i32 3>
 339   ret <4 x double> %shuffle
 340 }
 341
 342 define <4 x double> @shuffle_v4f64_0462(<4 x double> %a, <4 x double> %b) {
 343 ; AVX1OR2-LABEL: shuffle_v4f64_0462:
 344 ; AVX1OR2:       # %bb.0:
 345 ; AVX1OR2-NEXT:    vblendps {{.*#+}} ymm2 = ymm1[0,1,2,3],ymm0[4,5,6,7]
 346 ; AVX1OR2-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1,2,3],ymm1[4,5,6,7]
 347 ; AVX1OR2-NEXT:    vunpcklpd {{.*#+}} ymm0 = ymm0[0],ymm2[0],ymm0[2],ymm2[2]
 348 ; AVX1OR2-NEXT:    retq
 349 ;
 350 ; AVX512VL-LABEL: shuffle_v4f64_0462:
 351 ; AVX512VL:       # %bb.0:
 352 ; AVX512VL-NEXT:    vmovapd {{.*#+}} ymm2 = [0,4,6,2]
 353 ; AVX512VL-NEXT:    vpermt2pd %ymm1, %ymm2, %ymm0
 354 ; AVX512VL-NEXT:    retq
 355   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 4, i32 6, i32 2>
 356   ret <4 x double> %shuffle
 357 }
 358
 359 define <4 x double> @shuffle_v4f64_0426(<4 x double> %a, <4 x double> %b) {
 360 ; ALL-LABEL: shuffle_v4f64_0426:
 361 ; ALL:       # %bb.0:
 362 ; ALL-NEXT:    vunpcklpd {{.*#+}} ymm0 = ymm0[0],ymm1[0],ymm0[2],ymm1[2]
 363 ; ALL-NEXT:    retq
 364   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 4, i32 2, i32 6>
 365   ret <4 x double> %shuffle
 366 }
 367
 368 define <4 x double> @shuffle_v4f64_1537(<4 x double> %a, <4 x double> %b) {
 369 ; ALL-LABEL: shuffle_v4f64_1537:
 370 ; ALL:       # %bb.0:
 371 ; ALL-NEXT:    vunpckhpd {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3]
 372 ; ALL-NEXT:    retq
 373   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 1, i32 5, i32 3, i32 7>
 374   ret <4 x double> %shuffle
 375 }
 376
 377 define <4 x double> @shuffle_v4f64_4062(<4 x double> %a, <4 x double> %b) {
 378 ; ALL-LABEL: shuffle_v4f64_4062:
 379 ; ALL:       # %bb.0:
 380 ; ALL-NEXT:    vunpcklpd {{.*#+}} ymm0 = ymm1[0],ymm0[0],ymm1[2],ymm0[2]
 381 ; ALL-NEXT:    retq
 382   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 4, i32 0, i32 6, i32 2>
 383   ret <4 x double> %shuffle
 384 }
 385
 386 define <4 x double> @shuffle_v4f64_5173(<4 x double> %a, <4 x double> %b) {
 387 ; ALL-LABEL: shuffle_v4f64_5173:
 388 ; ALL:       # %bb.0:
 389 ; ALL-NEXT:    vunpckhpd {{.*#+}} ymm0 = ymm1[1],ymm0[1],ymm1[3],ymm0[3]
 390 ; ALL-NEXT:    retq
 391   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 5, i32 1, i32 7, i32 3>
 392   ret <4 x double> %shuffle
 393 }
 394
 395 define <4 x double> @shuffle_v4f64_5163(<4 x double> %a, <4 x double> %b) {
 396 ; ALL-LABEL: shuffle_v4f64_5163:
 397 ; ALL:       # %bb.0:
 398 ; ALL-NEXT:    vshufpd {{.*#+}} ymm0 = ymm1[1],ymm0[1],ymm1[2],ymm0[3]
 399 ; ALL-NEXT:    retq
 400   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 5, i32 1, i32 6, i32 3>
 401   ret <4 x double> %shuffle
 402 }
 403
 404 define <4 x double> @shuffle_v4f64_0527(<4 x double> %a, <4 x double> %b) {
 405 ; ALL-LABEL: shuffle_v4f64_0527:
 406 ; ALL:       # %bb.0:
 407 ; ALL-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3],ymm0[4,5],ymm1[6,7]
 408 ; ALL-NEXT:    retq
 409   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 5, i32 2, i32 7>
 410   ret <4 x double> %shuffle
 411 }
 412
 413 define <4 x double> @shuffle_v4f64_4163(<4 x double> %a, <4 x double> %b) {
 414 ; ALL-LABEL: shuffle_v4f64_4163:
 415 ; ALL:       # %bb.0:
 416 ; ALL-NEXT:    vblendps {{.*#+}} ymm0 = ymm1[0,1],ymm0[2,3],ymm1[4,5],ymm0[6,7]
 417 ; ALL-NEXT:    retq
 418   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 4, i32 1, i32 6, i32 3>
 419   ret <4 x double> %shuffle
 420 }
 421
 422 define <4 x double> @shuffle_v4f64_0145(<4 x double> %a, <4 x double> %b) {
 423 ; ALL-LABEL: shuffle_v4f64_0145:
 424 ; ALL:       # %bb.0:
 425 ; ALL-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
 426 ; ALL-NEXT:    retq
 427   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 1, i32 4, i32 5>
 428   ret <4 x double> %shuffle
 429 }
 430
 431 define <4 x double> @shuffle_v4f64_4501(<4 x double> %a, <4 x double> %b) {
 432 ; ALL-LABEL: shuffle_v4f64_4501:
 433 ; ALL:       # %bb.0:
 434 ; ALL-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
 435 ; ALL-NEXT:    retq
 436   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 4, i32 5, i32 0, i32 1>
 437   ret <4 x double> %shuffle
 438 }
 439
 440 define <4 x double> @shuffle_v4f64_0167(<4 x double> %a, <4 x double> %b) {
 441 ; ALL-LABEL: shuffle_v4f64_0167:
 442 ; ALL:       # %bb.0:
 443 ; ALL-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1,2,3],ymm1[4,5,6,7]
 444 ; ALL-NEXT:    retq
 445   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 1, i32 6, i32 7>
 446   ret <4 x double> %shuffle
 447 }
 448
 449 define <4 x double> @shuffle_v4f64_1054(<4 x double> %a, <4 x double> %b) {
 450 ; AVX1OR2-LABEL: shuffle_v4f64_1054:
 451 ; AVX1OR2:       # %bb.0:
 452 ; AVX1OR2-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
 453 ; AVX1OR2-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,3,2]
 454 ; AVX1OR2-NEXT:    retq
 455 ;
 456 ; AVX512VL-SLOW-LABEL: shuffle_v4f64_1054:
 457 ; AVX512VL-SLOW:       # %bb.0:
 458 ; AVX512VL-SLOW-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
 459 ; AVX512VL-SLOW-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,3,2]
 460 ; AVX512VL-SLOW-NEXT:    retq
 461 ;
 462 ; AVX512VL-FAST-LABEL: shuffle_v4f64_1054:
 463 ; AVX512VL-FAST:       # %bb.0:
 464 ; AVX512VL-FAST-NEXT:    vmovapd {{.*#+}} ymm2 = [1,0,5,4]
 465 ; AVX512VL-FAST-NEXT:    vpermt2pd %ymm1, %ymm2, %ymm0
 466 ; AVX512VL-FAST-NEXT:    retq
 467   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 1, i32 0, i32 5, i32 4>
 468   ret <4 x double> %shuffle
 469 }
 470
 471 define <4 x double> @shuffle_v4f64_3254(<4 x double> %a, <4 x double> %b) {
 472 ; AVX1OR2-LABEL: shuffle_v4f64_3254:
 473 ; AVX1OR2:       # %bb.0:
 474 ; AVX1OR2-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3],ymm1[0,1]
 475 ; AVX1OR2-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,3,2]
 476 ; AVX1OR2-NEXT:    retq
 477 ;
 478 ; AVX512VL-SLOW-LABEL: shuffle_v4f64_3254:
 479 ; AVX512VL-SLOW:       # %bb.0:
 480 ; AVX512VL-SLOW-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3],ymm1[0,1]
 481 ; AVX512VL-SLOW-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,3,2]
 482 ; AVX512VL-SLOW-NEXT:    retq
 483 ;
 484 ; AVX512VL-FAST-LABEL: shuffle_v4f64_3254:
 485 ; AVX512VL-FAST:       # %bb.0:
 486 ; AVX512VL-FAST-NEXT:    vmovapd {{.*#+}} ymm2 = [3,2,5,4]
 487 ; AVX512VL-FAST-NEXT:    vpermt2pd %ymm1, %ymm2, %ymm0
 488 ; AVX512VL-FAST-NEXT:    retq
 489   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 3, i32 2, i32 5, i32 4>
 490   ret <4 x double> %shuffle
 491 }
 492
 493 define <4 x double> @shuffle_v4f64_3276(<4 x double> %a, <4 x double> %b) {
 494 ; AVX1OR2-LABEL: shuffle_v4f64_3276:
 495 ; AVX1OR2:       # %bb.0:
 496 ; AVX1OR2-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3],ymm1[2,3]
 497 ; AVX1OR2-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,3,2]
 498 ; AVX1OR2-NEXT:    retq
 499 ;
 500 ; AVX512VL-SLOW-LABEL: shuffle_v4f64_3276:
 501 ; AVX512VL-SLOW:       # %bb.0:
 502 ; AVX512VL-SLOW-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3],ymm1[2,3]
 503 ; AVX512VL-SLOW-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,3,2]
 504 ; AVX512VL-SLOW-NEXT:    retq
 505 ;
 506 ; AVX512VL-FAST-LABEL: shuffle_v4f64_3276:
 507 ; AVX512VL-FAST:       # %bb.0:
 508 ; AVX512VL-FAST-NEXT:    vmovapd {{.*#+}} ymm2 = [3,2,7,6]
 509 ; AVX512VL-FAST-NEXT:    vpermt2pd %ymm1, %ymm2, %ymm0
 510 ; AVX512VL-FAST-NEXT:    retq
 511   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 3, i32 2, i32 7, i32 6>
 512   ret <4 x double> %shuffle
 513 }
 514
 515 define <4 x double> @shuffle_v4f64_1076(<4 x double> %a, <4 x double> %b) {
 516 ; AVX1OR2-LABEL: shuffle_v4f64_1076:
 517 ; AVX1OR2:       # %bb.0:
 518 ; AVX1OR2-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3]
 519 ; AVX1OR2-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,3,2]
 520 ; AVX1OR2-NEXT:    retq
 521 ;
 522 ; AVX512VL-SLOW-LABEL: shuffle_v4f64_1076:
 523 ; AVX512VL-SLOW:       # %bb.0:
 524 ; AVX512VL-SLOW-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3]
 525 ; AVX512VL-SLOW-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,3,2]
 526 ; AVX512VL-SLOW-NEXT:    retq
 527 ;
 528 ; AVX512VL-FAST-LABEL: shuffle_v4f64_1076:
 529 ; AVX512VL-FAST:       # %bb.0:
 530 ; AVX512VL-FAST-NEXT:    vmovapd {{.*#+}} ymm2 = [1,0,7,6]
 531 ; AVX512VL-FAST-NEXT:    vpermt2pd %ymm1, %ymm2, %ymm0
 532 ; AVX512VL-FAST-NEXT:    retq
 533   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 1, i32 0, i32 7, i32 6>
 534   ret <4 x double> %shuffle
 535 }
 536
 537 define <4 x double> @shuffle_v4f64_0415(<4 x double> %a, <4 x double> %b) {
 538 ; AVX1-LABEL: shuffle_v4f64_0415:
 539 ; AVX1:       # %bb.0:
 540 ; AVX1-NEXT:    vunpckhpd {{.*#+}} xmm2 = xmm0[1],xmm1[1]
 541 ; AVX1-NEXT:    vmovlhps {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 542 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 543 ; AVX1-NEXT:    retq
 544 ;
 545 ; AVX2-LABEL: shuffle_v4f64_0415:
 546 ; AVX2:       # %bb.0:
 547 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm1 = ymm1[0,0,2,1]
 548 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,1,1,3]
 549 ; AVX2-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3],ymm0[4,5],ymm1[6,7]
 550 ; AVX2-NEXT:    retq
 551 ;
 552 ; AVX512VL-LABEL: shuffle_v4f64_0415:
 553 ; AVX512VL:       # %bb.0:
 554 ; AVX512VL-NEXT:    vmovapd {{.*#+}} ymm2 = [0,4,1,5]
 555 ; AVX512VL-NEXT:    vpermt2pd %ymm1, %ymm2, %ymm0
 556 ; AVX512VL-NEXT:    retq
 557   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 4, i32 1, i32 5>
 558   ret <4 x double> %shuffle
 559 }
 560
 561 define <4 x double> @shuffle_v4f64_u062(<4 x double> %a, <4 x double> %b) {
 562 ; ALL-LABEL: shuffle_v4f64_u062:
 563 ; ALL:       # %bb.0:
 564 ; ALL-NEXT:    vunpcklpd {{.*#+}} ymm0 = ymm1[0],ymm0[0],ymm1[2],ymm0[2]
 565 ; ALL-NEXT:    retq
 566   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 undef, i32 0, i32 6, i32 2>
 567   ret <4 x double> %shuffle
 568 }
 569
 570 define <4 x double> @shuffle_v4f64_15uu(<4 x double> %a, <4 x double> %b) {
 571 ; ALL-LABEL: shuffle_v4f64_15uu:
 572 ; ALL:       # %bb.0:
 573 ; ALL-NEXT:    vunpckhpd {{.*#+}} xmm0 = xmm0[1],xmm1[1]
 574 ; ALL-NEXT:    retq
 575   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 1, i32 5, i32 undef, i32 undef>
 576   ret <4 x double> %shuffle
 577 }
 578
 579 define <4 x double> @shuffle_v4f64_11uu(<4 x double> %a, <4 x double> %b) {
 580 ; ALL-LABEL: shuffle_v4f64_11uu:
 581 ; ALL:       # %bb.0:
 582 ; ALL-NEXT:    vpermilpd {{.*#+}} xmm0 = xmm0[1,1]
 583 ; ALL-NEXT:    retq
 584   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 1, i32 1, i32 undef, i32 undef>
 585   ret <4 x double> %shuffle
 586 }
 587
 588 define <4 x double> @shuffle_v4f64_22uu(<4 x double> %a, <4 x double> %b) {
 589 ; AVX1-LABEL: shuffle_v4f64_22uu:
 590 ; AVX1:       # %bb.0:
 591 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
 592 ; AVX1-NEXT:    vmovddup {{.*#+}} xmm0 = xmm0[0,0]
 593 ; AVX1-NEXT:    retq
 594 ;
 595 ; AVX2-LABEL: shuffle_v4f64_22uu:
 596 ; AVX2:       # %bb.0:
 597 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,2,2,3]
 598 ; AVX2-NEXT:    retq
 599 ;
 600 ; AVX512VL-LABEL: shuffle_v4f64_22uu:
 601 ; AVX512VL:       # %bb.0:
 602 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,2,2,3]
 603 ; AVX512VL-NEXT:    retq
 604   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 2, i32 2, i32 undef, i32 undef>
 605   ret <4 x double> %shuffle
 606 }
 607
 608 define <4 x double> @shuffle_v4f64_3333(<4 x double> %a, <4 x double> %b) {
 609 ; AVX1-LABEL: shuffle_v4f64_3333:
 610 ; AVX1:       # %bb.0:
 611 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,1,3,3]
 612 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3,2,3]
 613 ; AVX1-NEXT:    retq
 614 ;
 615 ; AVX2-LABEL: shuffle_v4f64_3333:
 616 ; AVX2:       # %bb.0:
 617 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[3,3,3,3]
 618 ; AVX2-NEXT:    retq
 619 ;
 620 ; AVX512VL-LABEL: shuffle_v4f64_3333:
 621 ; AVX512VL:       # %bb.0:
 622 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[3,3,3,3]
 623 ; AVX512VL-NEXT:    retq
 624   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 3, i32 3, i32 3, i32 3>
 625   ret <4 x double> %shuffle
 626 }
 627
 628 define <4 x double> @shuffle_v4f64_0456(<4 x double> %a, <4 x double> %b) {
 629 ; AVX1-LABEL: shuffle_v4f64_0456:
 630 ; AVX1:       # %bb.0:
 631 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
 632 ; AVX1-NEXT:    vshufpd {{.*#+}} xmm2 = xmm1[1],xmm2[0]
 633 ; AVX1-NEXT:    vmovddup {{.*#+}} xmm1 = xmm1[0,0]
 634 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
 635 ; AVX1-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3,4,5,6,7]
 636 ; AVX1-NEXT:    retq
 637 ;
 638 ; AVX2-LABEL: shuffle_v4f64_0456:
 639 ; AVX2:       # %bb.0:
 640 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm1 = ymm1[0,0,1,2]
 641 ; AVX2-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3,4,5,6,7]
 642 ; AVX2-NEXT:    retq
 643 ;
 644 ; AVX512VL-SLOW-LABEL: shuffle_v4f64_0456:
 645 ; AVX512VL-SLOW:       # %bb.0:
 646 ; AVX512VL-SLOW-NEXT:    vpermpd {{.*#+}} ymm1 = ymm1[0,0,1,2]
 647 ; AVX512VL-SLOW-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3,4,5,6,7]
 648 ; AVX512VL-SLOW-NEXT:    retq
 649 ;
 650 ; AVX512VL-FAST-LABEL: shuffle_v4f64_0456:
 651 ; AVX512VL-FAST:       # %bb.0:
 652 ; AVX512VL-FAST-NEXT:    vmovapd {{.*#+}} ymm2 = [4,0,1,2]
 653 ; AVX512VL-FAST-NEXT:    vpermi2pd %ymm0, %ymm1, %ymm2
 654 ; AVX512VL-FAST-NEXT:    vmovapd %ymm2, %ymm0
 655 ; AVX512VL-FAST-NEXT:    retq
 656   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 4, i32 5, i32 6>
 657   ret <4 x double> %shuffle
 658 }
 659
 660 define <4 x double> @shuffle_v4f64_0z3z(<4 x double> %a, <4 x double> %b) {
 661 ; ALL-LABEL: shuffle_v4f64_0z3z:
 662 ; ALL:       # %bb.0:
 663 ; ALL-NEXT:    vxorpd %xmm1, %xmm1, %xmm1
 664 ; ALL-NEXT:    vshufpd {{.*#+}} ymm0 = ymm0[0],ymm1[0],ymm0[3],ymm1[2]
 665 ; ALL-NEXT:    retq
 666   %shuffle = shufflevector <4 x double> %a, <4 x double> <double 0.000000e+00, double undef, double undef, double undef>, <4 x i32> <i32 0, i32 4, i32 3, i32 4>
 667   ret <4 x double> %shuffle
 668 }
 669
 670 define <4 x double> @shuffle_v4f64_1z2z(<4 x double> %a, <4 x double> %b) {
 671 ; ALL-LABEL: shuffle_v4f64_1z2z:
 672 ; ALL:       # %bb.0:
 673 ; ALL-NEXT:    vxorpd %xmm1, %xmm1, %xmm1
 674 ; ALL-NEXT:    vshufpd {{.*#+}} ymm0 = ymm0[1],ymm1[0],ymm0[2],ymm1[2]
 675 ; ALL-NEXT:    retq
 676   %1 = shufflevector <4 x double> %a, <4 x double> <double 0.000000e+00, double undef, double undef, double undef>, <4 x i32> <i32 1, i32 4, i32 2, i32 4>
 677   ret <4 x double> %1
 678 }
 679
 680 define <4 x double> @shuffle_v4f64_0044(<4 x double> %a, <4 x double> %b) {
 681 ; AVX1-LABEL: shuffle_v4f64_0044:
 682 ; AVX1:       # %bb.0:
 683 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
 684 ; AVX1-NEXT:    vmovddup {{.*#+}} ymm0 = ymm0[0,0,2,2]
 685 ; AVX1-NEXT:    retq
 686 ;
 687 ; AVX2-LABEL: shuffle_v4f64_0044:
 688 ; AVX2:       # %bb.0:
 689 ; AVX2-NEXT:    vmovlhps {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 690 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,0,1,1]
 691 ; AVX2-NEXT:    retq
 692 ;
 693 ; AVX512VL-SLOW-LABEL: shuffle_v4f64_0044:
 694 ; AVX512VL-SLOW:       # %bb.0:
 695 ; AVX512VL-SLOW-NEXT:    vmovlhps {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 696 ; AVX512VL-SLOW-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,0,1,1]
 697 ; AVX512VL-SLOW-NEXT:    retq
 698 ;
 699 ; AVX512VL-FAST-LABEL: shuffle_v4f64_0044:
 700 ; AVX512VL-FAST:       # %bb.0:
 701 ; AVX512VL-FAST-NEXT:    vmovapd {{.*#+}} ymm2 = [0,0,4,4]
 702 ; AVX512VL-FAST-NEXT:    vpermt2pd %ymm1, %ymm2, %ymm0
 703 ; AVX512VL-FAST-NEXT:    retq
 704   %1 = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 0, i32 4, i32 4>
 705   ret <4 x double> %1
 706 }
 707
 708 define <4 x double> @shuffle_v4f64_0044_v2f64(<2 x double> %a, <2 x double> %b) {
 709 ; ALL-LABEL: shuffle_v4f64_0044_v2f64:
 710 ; ALL:       # %bb.0:
 711 ; ALL-NEXT:    vmovddup {{.*#+}} xmm0 = xmm0[0,0]
 712 ; ALL-NEXT:    vmovddup {{.*#+}} xmm1 = xmm1[0,0]
 713 ; ALL-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
 714 ; ALL-NEXT:    retq
 715   %1 = shufflevector <2 x double> %a, <2 x double> undef, <2 x i32> <i32 0, i32 0>
 716   %2 = shufflevector <2 x double> %b, <2 x double> undef, <2 x i32> <i32 0, i32 0>
 717   %3 = shufflevector <2 x double> %1, <2 x double> %2, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
 718   ret <4 x double> %3
 719 }
 720
 721 define <4 x double> @shuffle_v4f64_1032_v2f64(<2 x double> %a, <2 x double> %b) {
 722 ; ALL-LABEL: shuffle_v4f64_1032_v2f64:
 723 ; ALL:       # %bb.0:
 724 ; ALL-NEXT:    vpermilpd {{.*#+}} xmm0 = xmm0[1,0]
 725 ; ALL-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm1[1,0]
 726 ; ALL-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
 727 ; ALL-NEXT:    retq
 728   %1 = shufflevector <2 x double> %a, <2 x double> undef, <2 x i32> <i32 1, i32 0>
 729   %2 = shufflevector <2 x double> %b, <2 x double> undef, <2 x i32> <i32 1, i32 0>
 730   %3 = shufflevector <2 x double> %1, <2 x double> %2, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
 731   ret <4 x double> %3
 732 }
 733
 734 ;PR34359
 735 define <4 x double> @shuffle_v4f64_2345_0567_select(<4 x double> %vec1, <4 x double> %vec2, <4 x double> %vec3) {
 736 ; ALL-LABEL: shuffle_v4f64_2345_0567_select:
 737 ; ALL:       # %bb.0:
 738 ; ALL-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3],ymm1[0,1]
 739 ; ALL-NEXT:    vblendps {{.*#+}} ymm0 = ymm2[0,1],ymm0[2,3,4,5,6,7]
 740 ; ALL-NEXT:    retq
 741   %shuf = shufflevector <4 x double> %vec1, <4 x double> %vec2, <4 x i32> <i32 2, i32 3, i32 4, i32 5>
 742   %res = select <4 x i1> <i1 0, i1 1, i1 1, i1 1>, <4 x double> %shuf, <4 x double> %vec3
 743   ret <4 x double> %res
 744 }
 745
 746 define <4 x i64> @shuffle_v4i64_0000(<4 x i64> %a, <4 x i64> %b) {
 747 ; AVX1-LABEL: shuffle_v4i64_0000:
 748 ; AVX1:       # %bb.0:
 749 ; AVX1-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[0,1,0,1]
 750 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm0, %ymm0
 751 ; AVX1-NEXT:    retq
 752 ;
 753 ; AVX2-LABEL: shuffle_v4i64_0000:
 754 ; AVX2:       # %bb.0:
 755 ; AVX2-NEXT:    vbroadcastsd %xmm0, %ymm0
 756 ; AVX2-NEXT:    retq
 757 ;
 758 ; AVX512VL-LABEL: shuffle_v4i64_0000:
 759 ; AVX512VL:       # %bb.0:
 760 ; AVX512VL-NEXT:    vbroadcastsd %xmm0, %ymm0
 761 ; AVX512VL-NEXT:    retq
 762   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 0, i32 0, i32 0>
 763   ret <4 x i64> %shuffle
 764 }
 765
 766 define <4 x i64> @shuffle_v4i64_0001(<4 x i64> %a, <4 x i64> %b) {
 767 ; AVX1-LABEL: shuffle_v4i64_0001:
 768 ; AVX1:       # %bb.0:
 769 ; AVX1-NEXT:    vpermilps {{.*#+}} xmm1 = xmm0[0,1,0,1]
 770 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
 771 ; AVX1-NEXT:    retq
 772 ;
 773 ; AVX2-LABEL: shuffle_v4i64_0001:
 774 ; AVX2:       # %bb.0:
 775 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,0,0,1]
 776 ; AVX2-NEXT:    retq
 777 ;
 778 ; AVX512VL-LABEL: shuffle_v4i64_0001:
 779 ; AVX512VL:       # %bb.0:
 780 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,0,0,1]
 781 ; AVX512VL-NEXT:    retq
 782   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 0, i32 0, i32 1>
 783   ret <4 x i64> %shuffle
 784 }
 785
 786 define <4 x i64> @shuffle_v4i64_0020(<4 x i64> %a, <4 x i64> %b) {
 787 ; AVX1-LABEL: shuffle_v4i64_0020:
 788 ; AVX1:       # %bb.0:
 789 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 790 ; AVX1-NEXT:    vmovlhps {{.*#+}} xmm1 = xmm1[0],xmm0[0]
 791 ; AVX1-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[0,1,0,1]
 792 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
 793 ; AVX1-NEXT:    retq
 794 ;
 795 ; AVX2-LABEL: shuffle_v4i64_0020:
 796 ; AVX2:       # %bb.0:
 797 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,0,2,0]
 798 ; AVX2-NEXT:    retq
 799 ;
 800 ; AVX512VL-LABEL: shuffle_v4i64_0020:
 801 ; AVX512VL:       # %bb.0:
 802 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,0,2,0]
 803 ; AVX512VL-NEXT:    retq
 804   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 0, i32 2, i32 0>
 805   ret <4 x i64> %shuffle
 806 }
 807
 808 define <4 x i64> @shuffle_v4i64_0112(<4 x i64> %a, <4 x i64> %b) {
 809 ; AVX1-LABEL: shuffle_v4i64_0112:
 810 ; AVX1:       # %bb.0:
 811 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 812 ; AVX1-NEXT:    vpalignr {{.*#+}} xmm1 = xmm0[8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7]
 813 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
 814 ; AVX1-NEXT:    retq
 815 ;
 816 ; AVX2-LABEL: shuffle_v4i64_0112:
 817 ; AVX2:       # %bb.0:
 818 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,1,1,2]
 819 ; AVX2-NEXT:    retq
 820 ;
 821 ; AVX512VL-LABEL: shuffle_v4i64_0112:
 822 ; AVX512VL:       # %bb.0:
 823 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,1,1,2]
 824 ; AVX512VL-NEXT:    retq
 825   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 1, i32 1, i32 2>
 826   ret <4 x i64> %shuffle
 827 }
 828
 829 define <4 x i64> @shuffle_v4i64_0300(<4 x i64> %a, <4 x i64> %b) {
 830 ; AVX1-LABEL: shuffle_v4i64_0300:
 831 ; AVX1:       # %bb.0:
 832 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm1 = ymm0[2,3,0,1]
 833 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm1 = ymm1[0,1,2,2]
 834 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3]
 835 ; AVX1-NEXT:    retq
 836 ;
 837 ; AVX2-LABEL: shuffle_v4i64_0300:
 838 ; AVX2:       # %bb.0:
 839 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,3,0,0]
 840 ; AVX2-NEXT:    retq
 841 ;
 842 ; AVX512VL-LABEL: shuffle_v4i64_0300:
 843 ; AVX512VL:       # %bb.0:
 844 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,3,0,0]
 845 ; AVX512VL-NEXT:    retq
 846   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 3, i32 0, i32 0>
 847   ret <4 x i64> %shuffle
 848 }
 849
 850 define <4 x i64> @shuffle_v4i64_1000(<4 x i64> %a, <4 x i64> %b) {
 851 ; AVX1-LABEL: shuffle_v4i64_1000:
 852 ; AVX1:       # %bb.0:
 853 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm0, %ymm0
 854 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,2,2]
 855 ; AVX1-NEXT:    retq
 856 ;
 857 ; AVX2-LABEL: shuffle_v4i64_1000:
 858 ; AVX2:       # %bb.0:
 859 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[1,0,0,0]
 860 ; AVX2-NEXT:    retq
 861 ;
 862 ; AVX512VL-LABEL: shuffle_v4i64_1000:
 863 ; AVX512VL:       # %bb.0:
 864 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[1,0,0,0]
 865 ; AVX512VL-NEXT:    retq
 866   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 1, i32 0, i32 0, i32 0>
 867   ret <4 x i64> %shuffle
 868 }
 869
 870 define <4 x i64> @shuffle_v4i64_2200(<4 x i64> %a, <4 x i64> %b) {
 871 ; AVX1-LABEL: shuffle_v4i64_2200:
 872 ; AVX1:       # %bb.0:
 873 ; AVX1-NEXT:    vmovddup {{.*#+}} ymm0 = ymm0[0,0,2,2]
 874 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3,0,1]
 875 ; AVX1-NEXT:    retq
 876 ;
 877 ; AVX2-LABEL: shuffle_v4i64_2200:
 878 ; AVX2:       # %bb.0:
 879 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,2,0,0]
 880 ; AVX2-NEXT:    retq
 881 ;
 882 ; AVX512VL-LABEL: shuffle_v4i64_2200:
 883 ; AVX512VL:       # %bb.0:
 884 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,2,0,0]
 885 ; AVX512VL-NEXT:    retq
 886   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 2, i32 2, i32 0, i32 0>
 887   ret <4 x i64> %shuffle
 888 }
 889
 890 define <4 x i64> @shuffle_v4i64_3330(<4 x i64> %a, <4 x i64> %b) {
 891 ; AVX1-LABEL: shuffle_v4i64_3330:
 892 ; AVX1:       # %bb.0:
 893 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm1 = ymm0[2,3,0,1]
 894 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm1[0,1,2],ymm0[3]
 895 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,1,3,2]
 896 ; AVX1-NEXT:    retq
 897 ;
 898 ; AVX2-LABEL: shuffle_v4i64_3330:
 899 ; AVX2:       # %bb.0:
 900 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[3,3,3,0]
 901 ; AVX2-NEXT:    retq
 902 ;
 903 ; AVX512VL-LABEL: shuffle_v4i64_3330:
 904 ; AVX512VL:       # %bb.0:
 905 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[3,3,3,0]
 906 ; AVX512VL-NEXT:    retq
 907   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 3, i32 3, i32 3, i32 0>
 908   ret <4 x i64> %shuffle
 909 }
 910
 911 define <4 x i64> @shuffle_v4i64_3210(<4 x i64> %a, <4 x i64> %b) {
 912 ; AVX1-LABEL: shuffle_v4i64_3210:
 913 ; AVX1:       # %bb.0:
 914 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,3,2]
 915 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3,0,1]
 916 ; AVX1-NEXT:    retq
 917 ;
 918 ; AVX2-LABEL: shuffle_v4i64_3210:
 919 ; AVX2:       # %bb.0:
 920 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[3,2,1,0]
 921 ; AVX2-NEXT:    retq
 922 ;
 923 ; AVX512VL-LABEL: shuffle_v4i64_3210:
 924 ; AVX512VL:       # %bb.0:
 925 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[3,2,1,0]
 926 ; AVX512VL-NEXT:    retq
 927   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 928   ret <4 x i64> %shuffle
 929 }
 930
 931 define <4 x i64> @shuffle_v4i64_0213(<4 x i64> %a, <4 x i64> %b) {
 932 ; AVX1-LABEL: shuffle_v4i64_0213:
 933 ; AVX1:       # %bb.0:
 934 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm1 = ymm0[2,3,0,1]
 935 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm1 = ymm1[0,0,3,2]
 936 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1,2],ymm0[3]
 937 ; AVX1-NEXT:    retq
 938 ;
 939 ; AVX2-LABEL: shuffle_v4i64_0213:
 940 ; AVX2:       # %bb.0:
 941 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,2,1,3]
 942 ; AVX2-NEXT:    retq
 943 ;
 944 ; AVX512VL-LABEL: shuffle_v4i64_0213:
 945 ; AVX512VL:       # %bb.0:
 946 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,2,1,3]
 947 ; AVX512VL-NEXT:    retq
 948   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 2, i32 1, i32 3>
 949   ret <4 x i64> %shuffle
 950 }
 951
 952 define <4 x i64> @shuffle_v4i64_0124(<4 x i64> %a, <4 x i64> %b) {
 953 ; AVX1-LABEL: shuffle_v4i64_0124:
 954 ; AVX1:       # %bb.0:
 955 ; AVX1-NEXT:    vpermilps {{.*#+}} xmm1 = xmm1[0,1,0,1]
 956 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm1
 957 ; AVX1-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1,2,3,4,5],ymm1[6,7]
 958 ; AVX1-NEXT:    retq
 959 ;
 960 ; AVX2-LABEL: shuffle_v4i64_0124:
 961 ; AVX2:       # %bb.0:
 962 ; AVX2-NEXT:    vbroadcastsd %xmm1, %ymm1
 963 ; AVX2-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1,2,3,4,5],ymm1[6,7]
 964 ; AVX2-NEXT:    retq
 965 ;
 966 ; AVX512VL-SLOW-LABEL: shuffle_v4i64_0124:
 967 ; AVX512VL-SLOW:       # %bb.0:
 968 ; AVX512VL-SLOW-NEXT:    vbroadcastsd %xmm1, %ymm1
 969 ; AVX512VL-SLOW-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1,2,3,4,5],ymm1[6,7]
 970 ; AVX512VL-SLOW-NEXT:    retq
 971 ;
 972 ; AVX512VL-FAST-LABEL: shuffle_v4i64_0124:
 973 ; AVX512VL-FAST:       # %bb.0:
 974 ; AVX512VL-FAST-NEXT:    vmovdqa {{.*#+}} ymm2 = [0,1,2,4]
 975 ; AVX512VL-FAST-NEXT:    vpermt2q %ymm1, %ymm2, %ymm0
 976 ; AVX512VL-FAST-NEXT:    retq
 977   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 1, i32 2, i32 4>
 978   ret <4 x i64> %shuffle
 979 }
 980
 981 define <4 x i64> @shuffle_v4i64_0142(<4 x i64> %a, <4 x i64> %b) {
 982 ; AVX1-LABEL: shuffle_v4i64_0142:
 983 ; AVX1:       # %bb.0:
 984 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm1
 985 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[0,1,2,2]
 986 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0,1],ymm1[2],ymm0[3]
 987 ; AVX1-NEXT:    retq
 988 ;
 989 ; AVX2-LABEL: shuffle_v4i64_0142:
 990 ; AVX2:       # %bb.0:
 991 ; AVX2-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm1
 992 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,1,2,2]
 993 ; AVX2-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1,2,3],ymm1[4,5],ymm0[6,7]
 994 ; AVX2-NEXT:    retq
 995 ;
 996 ; AVX512VL-LABEL: shuffle_v4i64_0142:
 997 ; AVX512VL:       # %bb.0:
 998 ; AVX512VL-NEXT:    vmovdqa {{.*#+}} ymm2 = [0,1,4,2]
 999 ; AVX512VL-NEXT:    vpermt2q %ymm1, %ymm2, %ymm0
1000 ; AVX512VL-NEXT:    retq
1001   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 1, i32 4, i32 2>
1002   ret <4 x i64> %shuffle
1003 }
1004
1005 define <4 x i64> @shuffle_v4i64_0412(<4 x i64> %a, <4 x i64> %b) {
1006 ; AVX1-LABEL: shuffle_v4i64_0412:
1007 ; AVX1:       # %bb.0:
1008 ; AVX1-NEXT:    vpermilps {{.*#+}} xmm1 = xmm1[0,1,0,1]
1009 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
1010 ; AVX1-NEXT:    vpalignr {{.*#+}} xmm2 = xmm0[8,9,10,11,12,13,14,15],xmm2[0,1,2,3,4,5,6,7]
1011 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
1012 ; AVX1-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3],ymm0[4,5,6,7]
1013 ; AVX1-NEXT:    retq
1014 ;
1015 ; AVX2-LABEL: shuffle_v4i64_0412:
1016 ; AVX2:       # %bb.0:
1017 ; AVX2-NEXT:    vmovddup {{.*#+}} xmm1 = xmm1[0,0]
1018 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,1,1,2]
1019 ; AVX2-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3],ymm0[4,5,6,7]
1020 ; AVX2-NEXT:    retq
1021 ;
1022 ; AVX512VL-LABEL: shuffle_v4i64_0412:
1023 ; AVX512VL:       # %bb.0:
1024 ; AVX512VL-NEXT:    vmovdqa {{.*#+}} ymm2 = [0,4,1,2]
1025 ; AVX512VL-NEXT:    vpermt2q %ymm1, %ymm2, %ymm0
1026 ; AVX512VL-NEXT:    retq
1027   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 4, i32 1, i32 2>
1028   ret <4 x i64> %shuffle
1029 }
1030
1031 define <4 x i64> @shuffle_v4i64_4012(<4 x i64> %a, <4 x i64> %b) {
1032 ; AVX1-LABEL: shuffle_v4i64_4012:
1033 ; AVX1:       # %bb.0:
1034 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
1035 ; AVX1-NEXT:    vpalignr {{.*#+}} xmm2 = xmm0[8,9,10,11,12,13,14,15],xmm2[0,1,2,3,4,5,6,7]
1036 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
1037 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
1038 ; AVX1-NEXT:    vblendps {{.*#+}} ymm0 = ymm1[0,1],ymm0[2,3,4,5,6,7]
1039 ; AVX1-NEXT:    retq
1040 ;
1041 ; AVX2-LABEL: shuffle_v4i64_4012:
1042 ; AVX2:       # %bb.0:
1043 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,0,1,2]
1044 ; AVX2-NEXT:    vblendps {{.*#+}} ymm0 = ymm1[0,1],ymm0[2,3,4,5,6,7]
1045 ; AVX2-NEXT:    retq
1046 ;
1047 ; AVX512VL-SLOW-LABEL: shuffle_v4i64_4012:
1048 ; AVX512VL-SLOW:       # %bb.0:
1049 ; AVX512VL-SLOW-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,0,1,2]
1050 ; AVX512VL-SLOW-NEXT:    vblendps {{.*#+}} ymm0 = ymm1[0,1],ymm0[2,3,4,5,6,7]
1051 ; AVX512VL-SLOW-NEXT:    retq
1052 ;
1053 ; AVX512VL-FAST-LABEL: shuffle_v4i64_4012:
1054 ; AVX512VL-FAST:       # %bb.0:
1055 ; AVX512VL-FAST-NEXT:    vmovdqa {{.*#+}} ymm2 = [4,0,1,2]
1056 ; AVX512VL-FAST-NEXT:    vpermt2q %ymm1, %ymm2, %ymm0
1057 ; AVX512VL-FAST-NEXT:    retq
1058   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 4, i32 0, i32 1, i32 2>
1059   ret <4 x i64> %shuffle
1060 }
1061
1062 define <4 x i64> @shuffle_v4i64_0145(<4 x i64> %a, <4 x i64> %b) {
1063 ; ALL-LABEL: shuffle_v4i64_0145:
1064 ; ALL:       # %bb.0:
1065 ; ALL-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1066 ; ALL-NEXT:    retq
1067   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 1, i32 4, i32 5>
1068   ret <4 x i64> %shuffle
1069 }
1070
1071 define <4 x i64> @shuffle_v4i64_0451(<4 x i64> %a, <4 x i64> %b) {
1072 ; AVX1-LABEL: shuffle_v4i64_0451:
1073 ; AVX1:       # %bb.0:
1074 ; AVX1-NEXT:    vunpckhpd {{.*#+}} xmm2 = xmm1[1],xmm0[1]
1075 ; AVX1-NEXT:    vmovlhps {{.*#+}} xmm0 = xmm0[0],xmm1[0]
1076 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
1077 ; AVX1-NEXT:    retq
1078 ;
1079 ; AVX2-LABEL: shuffle_v4i64_0451:
1080 ; AVX2:       # %bb.0:
1081 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm1 = ymm1[0,0,1,3]
1082 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,1,2,1]
1083 ; AVX2-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3,4,5],ymm0[6,7]
1084 ; AVX2-NEXT:    retq
1085 ;
1086 ; AVX512VL-LABEL: shuffle_v4i64_0451:
1087 ; AVX512VL:       # %bb.0:
1088 ; AVX512VL-NEXT:    vmovdqa {{.*#+}} ymm2 = [0,4,5,1]
1089 ; AVX512VL-NEXT:    vpermt2q %ymm1, %ymm2, %ymm0
1090 ; AVX512VL-NEXT:    retq
1091   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 4, i32 5, i32 1>
1092   ret <4 x i64> %shuffle
1093 }
1094
1095 define <4 x i64> @shuffle_v4i64_4501(<4 x i64> %a, <4 x i64> %b) {
1096 ; ALL-LABEL: shuffle_v4i64_4501:
1097 ; ALL:       # %bb.0:
1098 ; ALL-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1099 ; ALL-NEXT:    retq
1100   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 4, i32 5, i32 0, i32 1>
1101   ret <4 x i64> %shuffle
1102 }
1103
1104 define <4 x i64> @shuffle_v4i64_4015(<4 x i64> %a, <4 x i64> %b) {
1105 ; AVX1-LABEL: shuffle_v4i64_4015:
1106 ; AVX1:       # %bb.0:
1107 ; AVX1-NEXT:    vunpckhpd {{.*#+}} xmm2 = xmm0[1],xmm1[1]
1108 ; AVX1-NEXT:    vmovlhps {{.*#+}} xmm0 = xmm1[0],xmm0[0]
1109 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
1110 ; AVX1-NEXT:    retq
1111 ;
1112 ; AVX2-LABEL: shuffle_v4i64_4015:
1113 ; AVX2:       # %bb.0:
1114 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm1 = ymm1[0,1,2,1]
1115 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,0,1,3]
1116 ; AVX2-NEXT:    vblendps {{.*#+}} ymm0 = ymm1[0,1],ymm0[2,3,4,5],ymm1[6,7]
1117 ; AVX2-NEXT:    retq
1118 ;
1119 ; AVX512VL-LABEL: shuffle_v4i64_4015:
1120 ; AVX512VL:       # %bb.0:
1121 ; AVX512VL-NEXT:    vmovdqa {{.*#+}} ymm2 = [4,0,1,5]
1122 ; AVX512VL-NEXT:    vpermt2q %ymm1, %ymm2, %ymm0
1123 ; AVX512VL-NEXT:    retq
1124   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 4, i32 0, i32 1, i32 5>
1125   ret <4 x i64> %shuffle
1126 }
1127
1128 define <4 x i64> @shuffle_v4i64_2u35(<4 x i64> %a, <4 x i64> %b) {
1129 ; AVX1-LABEL: shuffle_v4i64_2u35:
1130 ; AVX1:       # %bb.0:
1131 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1132 ; AVX1-NEXT:    vunpckhpd {{.*#+}} xmm1 = xmm0[1],xmm1[1]
1133 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1134 ; AVX1-NEXT:    retq
1135 ;
1136 ; AVX2-LABEL: shuffle_v4i64_2u35:
1137 ; AVX2:       # %bb.0:
1138 ; AVX2-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3],ymm0[4,5,6,7]
1139 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,1,3,1]
1140 ; AVX2-NEXT:    retq
1141 ;
1142 ; AVX512VL-SLOW-LABEL: shuffle_v4i64_2u35:
1143 ; AVX512VL-SLOW:       # %bb.0:
1144 ; AVX512VL-SLOW-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3],ymm0[4,5,6,7]
1145 ; AVX512VL-SLOW-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,1,3,1]
1146 ; AVX512VL-SLOW-NEXT:    retq
1147 ;
1148 ; AVX512VL-FAST-LABEL: shuffle_v4i64_2u35:
1149 ; AVX512VL-FAST:       # %bb.0:
1150 ; AVX512VL-FAST-NEXT:    vmovdqa {{.*#+}} ymm2 = [2,5,3,5]
1151 ; AVX512VL-FAST-NEXT:    vpermt2q %ymm1, %ymm2, %ymm0
1152 ; AVX512VL-FAST-NEXT:    retq
1153   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 2, i32 undef, i32 3, i32 5>
1154   ret <4 x i64> %shuffle
1155 }
1156
1157 define <4 x i64> @shuffle_v4i64_1251(<4 x i64> %a, <4 x i64> %b) {
1158 ; AVX1-LABEL: shuffle_v4i64_1251:
1159 ; AVX1:       # %bb.0:
1160 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm2 = ymm0[2,3,0,1]
1161 ; AVX1-NEXT:    vshufpd {{.*#+}} ymm0 = ymm0[1],ymm2[0],ymm0[2],ymm2[3]
1162 ; AVX1-NEXT:    vpermilps {{.*#+}} xmm1 = xmm1[2,3,0,1]
1163 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm1
1164 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0,1],ymm1[2],ymm0[3]
1165 ; AVX1-NEXT:    retq
1166 ;
1167 ; AVX2-LABEL: shuffle_v4i64_1251:
1168 ; AVX2:       # %bb.0:
1169 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm1 = ymm1[0,1,1,3]
1170 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[1,2,2,1]
1171 ; AVX2-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1,2,3],ymm1[4,5],ymm0[6,7]
1172 ; AVX2-NEXT:    retq
1173 ;
1174 ; AVX512VL-LABEL: shuffle_v4i64_1251:
1175 ; AVX512VL:       # %bb.0:
1176 ; AVX512VL-NEXT:    vmovdqa {{.*#+}} ymm2 = [1,2,5,1]
1177 ; AVX512VL-NEXT:    vpermt2q %ymm1, %ymm2, %ymm0
1178 ; AVX512VL-NEXT:    retq
1179   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 1, i32 2, i32 5, i32 1>
1180   ret <4 x i64> %shuffle
1181 }
1182
1183 define <4 x i64> @shuffle_v4i64_1054(<4 x i64> %a, <4 x i64> %b) {
1184 ; AVX1-LABEL: shuffle_v4i64_1054:
1185 ; AVX1:       # %bb.0:
1186 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1187 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,3,2]
1188 ; AVX1-NEXT:    retq
1189 ;
1190 ; AVX2-LABEL: shuffle_v4i64_1054:
1191 ; AVX2:       # %bb.0:
1192 ; AVX2-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1193 ; AVX2-NEXT:    vpermilps {{.*#+}} ymm0 = ymm0[2,3,0,1,6,7,4,5]
1194 ; AVX2-NEXT:    retq
1195 ;
1196 ; AVX512VL-SLOW-LABEL: shuffle_v4i64_1054:
1197 ; AVX512VL-SLOW:       # %bb.0:
1198 ; AVX512VL-SLOW-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1199 ; AVX512VL-SLOW-NEXT:    vpermilps {{.*#+}} ymm0 = ymm0[2,3,0,1,6,7,4,5]
1200 ; AVX512VL-SLOW-NEXT:    retq
1201 ;
1202 ; AVX512VL-FAST-LABEL: shuffle_v4i64_1054:
1203 ; AVX512VL-FAST:       # %bb.0:
1204 ; AVX512VL-FAST-NEXT:    vmovdqa {{.*#+}} ymm2 = [1,0,5,4]
1205 ; AVX512VL-FAST-NEXT:    vpermt2q %ymm1, %ymm2, %ymm0
1206 ; AVX512VL-FAST-NEXT:    retq
1207   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 1, i32 0, i32 5, i32 4>
1208   ret <4 x i64> %shuffle
1209 }
1210
1211 define <4 x i64> @shuffle_v4i64_3254(<4 x i64> %a, <4 x i64> %b) {
1212 ; AVX1-LABEL: shuffle_v4i64_3254:
1213 ; AVX1:       # %bb.0:
1214 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3],ymm1[0,1]
1215 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,3,2]
1216 ; AVX1-NEXT:    retq
1217 ;
1218 ; AVX2-LABEL: shuffle_v4i64_3254:
1219 ; AVX2:       # %bb.0:
1220 ; AVX2-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3],ymm1[0,1]
1221 ; AVX2-NEXT:    vpermilps {{.*#+}} ymm0 = ymm0[2,3,0,1,6,7,4,5]
1222 ; AVX2-NEXT:    retq
1223 ;
1224 ; AVX512VL-SLOW-LABEL: shuffle_v4i64_3254:
1225 ; AVX512VL-SLOW:       # %bb.0:
1226 ; AVX512VL-SLOW-NEXT:    vperm2i128 {{.*#+}} ymm0 = ymm0[2,3],ymm1[0,1]
1227 ; AVX512VL-SLOW-NEXT:    vpshufd {{.*#+}} ymm0 = ymm0[2,3,0,1,6,7,4,5]
1228 ; AVX512VL-SLOW-NEXT:    retq
1229 ;
1230 ; AVX512VL-FAST-LABEL: shuffle_v4i64_3254:
1231 ; AVX512VL-FAST:       # %bb.0:
1232 ; AVX512VL-FAST-NEXT:    vmovdqa {{.*#+}} ymm2 = [3,2,5,4]
1233 ; AVX512VL-FAST-NEXT:    vpermt2q %ymm1, %ymm2, %ymm0
1234 ; AVX512VL-FAST-NEXT:    retq
1235   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 3, i32 2, i32 5, i32 4>
1236   ret <4 x i64> %shuffle
1237 }
1238
1239 define <4 x i64> @shuffle_v4i64_3276(<4 x i64> %a, <4 x i64> %b) {
1240 ; AVX1-LABEL: shuffle_v4i64_3276:
1241 ; AVX1:       # %bb.0:
1242 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3],ymm1[2,3]
1243 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,3,2]
1244 ; AVX1-NEXT:    retq
1245 ;
1246 ; AVX2-LABEL: shuffle_v4i64_3276:
1247 ; AVX2:       # %bb.0:
1248 ; AVX2-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3],ymm1[2,3]
1249 ; AVX2-NEXT:    vpermilps {{.*#+}} ymm0 = ymm0[2,3,0,1,6,7,4,5]
1250 ; AVX2-NEXT:    retq
1251 ;
1252 ; AVX512VL-SLOW-LABEL: shuffle_v4i64_3276:
1253 ; AVX512VL-SLOW:       # %bb.0:
1254 ; AVX512VL-SLOW-NEXT:    vperm2i128 {{.*#+}} ymm0 = ymm0[2,3],ymm1[2,3]
1255 ; AVX512VL-SLOW-NEXT:    vpshufd {{.*#+}} ymm0 = ymm0[2,3,0,1,6,7,4,5]
1256 ; AVX512VL-SLOW-NEXT:    retq
1257 ;
1258 ; AVX512VL-FAST-LABEL: shuffle_v4i64_3276:
1259 ; AVX512VL-FAST:       # %bb.0:
1260 ; AVX512VL-FAST-NEXT:    vmovdqa {{.*#+}} ymm2 = [3,2,7,6]
1261 ; AVX512VL-FAST-NEXT:    vpermt2q %ymm1, %ymm2, %ymm0
1262 ; AVX512VL-FAST-NEXT:    retq
1263   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 3, i32 2, i32 7, i32 6>
1264   ret <4 x i64> %shuffle
1265 }
1266
1267 define <4 x i64> @shuffle_v4i64_1076(<4 x i64> %a, <4 x i64> %b) {
1268 ; AVX1-LABEL: shuffle_v4i64_1076:
1269 ; AVX1:       # %bb.0:
1270 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3]
1271 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,3,2]
1272 ; AVX1-NEXT:    retq
1273 ;
1274 ; AVX2-LABEL: shuffle_v4i64_1076:
1275 ; AVX2:       # %bb.0:
1276 ; AVX2-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1,2,3],ymm1[4,5,6,7]
1277 ; AVX2-NEXT:    vpermilps {{.*#+}} ymm0 = ymm0[2,3,0,1,6,7,4,5]
1278 ; AVX2-NEXT:    retq
1279 ;
1280 ; AVX512VL-SLOW-LABEL: shuffle_v4i64_1076:
1281 ; AVX512VL-SLOW:       # %bb.0:
1282 ; AVX512VL-SLOW-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1,2,3],ymm1[4,5,6,7]
1283 ; AVX512VL-SLOW-NEXT:    vpermilps {{.*#+}} ymm0 = ymm0[2,3,0,1,6,7,4,5]
1284 ; AVX512VL-SLOW-NEXT:    retq
1285 ;
1286 ; AVX512VL-FAST-LABEL: shuffle_v4i64_1076:
1287 ; AVX512VL-FAST:       # %bb.0:
1288 ; AVX512VL-FAST-NEXT:    vmovdqa {{.*#+}} ymm2 = [1,0,7,6]
1289 ; AVX512VL-FAST-NEXT:    vpermt2q %ymm1, %ymm2, %ymm0
1290 ; AVX512VL-FAST-NEXT:    retq
1291   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 1, i32 0, i32 7, i32 6>
1292   ret <4 x i64> %shuffle
1293 }
1294
1295 define <4 x i64> @shuffle_v4i64_0415(<4 x i64> %a, <4 x i64> %b) {
1296 ; AVX1-LABEL: shuffle_v4i64_0415:
1297 ; AVX1:       # %bb.0:
1298 ; AVX1-NEXT:    vunpckhpd {{.*#+}} xmm2 = xmm0[1],xmm1[1]
1299 ; AVX1-NEXT:    vmovlhps {{.*#+}} xmm0 = xmm0[0],xmm1[0]
1300 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
1301 ; AVX1-NEXT:    retq
1302 ;
1303 ; AVX2-LABEL: shuffle_v4i64_0415:
1304 ; AVX2:       # %bb.0:
1305 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm1 = ymm1[0,0,2,1]
1306 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,1,1,3]
1307 ; AVX2-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3],ymm0[4,5],ymm1[6,7]
1308 ; AVX2-NEXT:    retq
1309 ;
1310 ; AVX512VL-LABEL: shuffle_v4i64_0415:
1311 ; AVX512VL:       # %bb.0:
1312 ; AVX512VL-NEXT:    vmovdqa {{.*#+}} ymm2 = [0,4,1,5]
1313 ; AVX512VL-NEXT:    vpermt2q %ymm1, %ymm2, %ymm0
1314 ; AVX512VL-NEXT:    retq
1315   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 4, i32 1, i32 5>
1316   ret <4 x i64> %shuffle
1317 }
1318
1319 define <4 x i64> @shuffle_v4i64_z4z6(<4 x i64> %a) {
1320 ; AVX1-LABEL: shuffle_v4i64_z4z6:
1321 ; AVX1:       # %bb.0:
1322 ; AVX1-NEXT:    vxorps %xmm1, %xmm1, %xmm1
1323 ; AVX1-NEXT:    vunpcklpd {{.*#+}} ymm0 = ymm1[0],ymm0[0],ymm1[2],ymm0[2]
1324 ; AVX1-NEXT:    retq
1325 ;
1326 ; AVX2-LABEL: shuffle_v4i64_z4z6:
1327 ; AVX2:       # %bb.0:
1328 ; AVX2-NEXT:    vpslldq {{.*#+}} ymm0 = zero,zero,zero,zero,zero,zero,zero,zero,ymm0[0,1,2,3,4,5,6,7],zero,zero,zero,zero,zero,zero,zero,zero,ymm0[16,17,18,19,20,21,22,23]
1329 ; AVX2-NEXT:    retq
1330 ;
1331 ; AVX512VL-LABEL: shuffle_v4i64_z4z6:
1332 ; AVX512VL:       # %bb.0:
1333 ; AVX512VL-NEXT:    vpslldq {{.*#+}} ymm0 = zero,zero,zero,zero,zero,zero,zero,zero,ymm0[0,1,2,3,4,5,6,7],zero,zero,zero,zero,zero,zero,zero,zero,ymm0[16,17,18,19,20,21,22,23]
1334 ; AVX512VL-NEXT:    retq
1335   %shuffle = shufflevector <4 x i64> zeroinitializer, <4 x i64> %a, <4 x i32> <i32 0, i32 4, i32 0, i32 6>
1336   ret <4 x i64> %shuffle
1337 }
1338
1339 define <4 x i64> @shuffle_v4i64_5zuz(<4 x i64> %a) {
1340 ; AVX1-LABEL: shuffle_v4i64_5zuz:
1341 ; AVX1:       # %bb.0:
1342 ; AVX1-NEXT:    vxorps %xmm1, %xmm1, %xmm1
1343 ; AVX1-NEXT:    vunpckhpd {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3]
1344 ; AVX1-NEXT:    retq
1345 ;
1346 ; AVX2-LABEL: shuffle_v4i64_5zuz:
1347 ; AVX2:       # %bb.0:
1348 ; AVX2-NEXT:    vpsrldq {{.*#+}} ymm0 = ymm0[8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,ymm0[24,25,26,27,28,29,30,31],zero,zero,zero,zero,zero,zero,zero,zero
1349 ; AVX2-NEXT:    retq
1350 ;
1351 ; AVX512VL-LABEL: shuffle_v4i64_5zuz:
1352 ; AVX512VL:       # %bb.0:
1353 ; AVX512VL-NEXT:    vpsrldq {{.*#+}} ymm0 = ymm0[8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,ymm0[24,25,26,27,28,29,30,31],zero,zero,zero,zero,zero,zero,zero,zero
1354 ; AVX512VL-NEXT:    retq
1355   %shuffle = shufflevector <4 x i64> zeroinitializer, <4 x i64> %a, <4 x i32> <i32 5, i32 0, i32 undef, i32 0>
1356   ret <4 x i64> %shuffle
1357 }
1358
1359 define <4 x i64> @shuffle_v4i64_40u2(<4 x i64> %a, <4 x i64> %b) {
1360 ; ALL-LABEL: shuffle_v4i64_40u2:
1361 ; ALL:       # %bb.0:
1362 ; ALL-NEXT:    vunpcklpd {{.*#+}} ymm0 = ymm1[0],ymm0[0],ymm1[2],ymm0[2]
1363 ; ALL-NEXT:    retq
1364   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 4, i32 0, i32 undef, i32 2>
1365   ret <4 x i64> %shuffle
1366 }
1367
1368 define <4 x i64> @shuffle_v4i64_15uu(<4 x i64> %a, <4 x i64> %b) {
1369 ; ALL-LABEL: shuffle_v4i64_15uu:
1370 ; ALL:       # %bb.0:
1371 ; ALL-NEXT:    vunpckhpd {{.*#+}} xmm0 = xmm0[1],xmm1[1]
1372 ; ALL-NEXT:    retq
1373   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 1, i32 5, i32 undef, i32 undef>
1374   ret <4 x i64> %shuffle
1375 }
1376
1377 define <4 x i64> @shuffle_v4i64_11uu(<4 x i64> %a, <4 x i64> %b) {
1378 ; ALL-LABEL: shuffle_v4i64_11uu:
1379 ; ALL:       # %bb.0:
1380 ; ALL-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[2,3,2,3]
1381 ; ALL-NEXT:    retq
1382   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 1, i32 1, i32 undef, i32 undef>
1383   ret <4 x i64> %shuffle
1384 }
1385
1386 define <4 x i64> @shuffle_v4i64_22uu(<4 x i64> %a, <4 x i64> %b) {
1387 ; AVX1-LABEL: shuffle_v4i64_22uu:
1388 ; AVX1:       # %bb.0:
1389 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
1390 ; AVX1-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[0,1,0,1]
1391 ; AVX1-NEXT:    retq
1392 ;
1393 ; AVX2-LABEL: shuffle_v4i64_22uu:
1394 ; AVX2:       # %bb.0:
1395 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,2,2,3]
1396 ; AVX2-NEXT:    retq
1397 ;
1398 ; AVX512VL-LABEL: shuffle_v4i64_22uu:
1399 ; AVX512VL:       # %bb.0:
1400 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,2,2,3]
1401 ; AVX512VL-NEXT:    retq
1402   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 2, i32 2, i32 undef, i32 undef>
1403   ret <4 x i64> %shuffle
1404 }
1405
1406 define <4 x i64> @shuffle_v4i64_3333(<4 x i64> %a, <4 x i64> %b) {
1407 ; AVX1-LABEL: shuffle_v4i64_3333:
1408 ; AVX1:       # %bb.0:
1409 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,1,3,3]
1410 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3,2,3]
1411 ; AVX1-NEXT:    retq
1412 ;
1413 ; AVX2-LABEL: shuffle_v4i64_3333:
1414 ; AVX2:       # %bb.0:
1415 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[3,3,3,3]
1416 ; AVX2-NEXT:    retq
1417 ;
1418 ; AVX512VL-LABEL: shuffle_v4i64_3333:
1419 ; AVX512VL:       # %bb.0:
1420 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[3,3,3,3]
1421 ; AVX512VL-NEXT:    retq
1422   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 3, i32 3, i32 3, i32 3>
1423   ret <4 x i64> %shuffle
1424 }
1425
1426 define <4 x i64> @shuffle_v4i64_1z3z(<4 x i64> %a, <4 x i64> %b) {
1427 ; AVX1-LABEL: shuffle_v4i64_1z3z:
1428 ; AVX1:       # %bb.0:
1429 ; AVX1-NEXT:    vxorps %xmm1, %xmm1, %xmm1
1430 ; AVX1-NEXT:    vunpckhpd {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3]
1431 ; AVX1-NEXT:    retq
1432 ;
1433 ; AVX2-LABEL: shuffle_v4i64_1z3z:
1434 ; AVX2:       # %bb.0:
1435 ; AVX2-NEXT:    vpsrldq {{.*#+}} ymm0 = ymm0[8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,ymm0[24,25,26,27,28,29,30,31],zero,zero,zero,zero,zero,zero,zero,zero
1436 ; AVX2-NEXT:    retq
1437 ;
1438 ; AVX512VL-LABEL: shuffle_v4i64_1z3z:
1439 ; AVX512VL:       # %bb.0:
1440 ; AVX512VL-NEXT:    vpsrldq {{.*#+}} ymm0 = ymm0[8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,ymm0[24,25,26,27,28,29,30,31],zero,zero,zero,zero,zero,zero,zero,zero
1441 ; AVX512VL-NEXT:    retq
1442   %shuffle = shufflevector <4 x i64> %a, <4 x i64> <i64 0, i64 undef, i64 undef, i64 undef>, <4 x i32> <i32 1, i32 4, i32 3, i32 4>
1443   ret <4 x i64> %shuffle
1444 }
1445
1446 define <4 x i64> @shuffle_v4i64_1032_v2i64(<2 x i64> %a, <2 x i64> %b) {
1447 ; ALL-LABEL: shuffle_v4i64_1032_v2i64:
1448 ; ALL:       # %bb.0:
1449 ; ALL-NEXT:    # kill: def $xmm0 killed $xmm0 def $ymm0
1450 ; ALL-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1451 ; ALL-NEXT:    vpermilps {{.*#+}} ymm0 = ymm0[2,3,0,1,6,7,4,5]
1452 ; ALL-NEXT:    retq
1453   %1 = shufflevector <2 x i64> %a, <2 x i64> undef, <2 x i32> <i32 1, i32 0>
1454   %2 = shufflevector <2 x i64> %b, <2 x i64> undef, <2 x i32> <i32 1, i32 0>
1455   %3 = shufflevector <2 x i64> %1, <2 x i64> %2, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
1456   ret <4 x i64> %3
1457 }
1458
1459 define <4 x i64> @stress_test1(<4 x i64> %a, <4 x i64> %b) {
1460 ; ALL-LABEL: stress_test1:
1461 ; ALL:         retq
1462   %c = shufflevector <4 x i64> %b, <4 x i64> undef, <4 x i32> <i32 3, i32 1, i32 1, i32 0>
1463   %d = shufflevector <4 x i64> %c, <4 x i64> undef, <4 x i32> <i32 3, i32 undef, i32 2, i32 undef>
1464   %e = shufflevector <4 x i64> %b, <4 x i64> undef, <4 x i32> <i32 3, i32 3, i32 1, i32 undef>
1465   %f = shufflevector <4 x i64> %d, <4 x i64> %e, <4 x i32> <i32 5, i32 1, i32 1, i32 0>
1466
1467   ret <4 x i64> %f
1468 }
1469
1470 define <4 x i64> @insert_reg_and_zero_v4i64(i64 %a) {
1471 ; ALL-LABEL: insert_reg_and_zero_v4i64:
1472 ; ALL:       # %bb.0:
1473 ; ALL-NEXT:    vmovq %rdi, %xmm0
1474 ; ALL-NEXT:    retq
1475   %v = insertelement <4 x i64> undef, i64 %a, i64 0
1476   %shuffle = shufflevector <4 x i64> %v, <4 x i64> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 6, i32 7>
1477   ret <4 x i64> %shuffle
1478 }
1479
1480 define <4 x i64> @insert_mem_and_zero_v4i64(i64* %ptr) {
1481 ; ALL-LABEL: insert_mem_and_zero_v4i64:
1482 ; ALL:       # %bb.0:
1483 ; ALL-NEXT:    vmovsd {{.*#+}} xmm0 = mem[0],zero
1484 ; ALL-NEXT:    retq
1485   %a = load i64, i64* %ptr
1486   %v = insertelement <4 x i64> undef, i64 %a, i64 0
1487   %shuffle = shufflevector <4 x i64> %v, <4 x i64> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 6, i32 7>
1488   ret <4 x i64> %shuffle
1489 }
1490
1491 define <4 x double> @insert_reg_and_zero_v4f64(double %a) {
1492 ; ALL-LABEL: insert_reg_and_zero_v4f64:
1493 ; ALL:       # %bb.0:
1494 ; ALL-NEXT:    vmovq {{.*#+}} xmm0 = xmm0[0],zero
1495 ; ALL-NEXT:    retq
1496   %v = insertelement <4 x double> undef, double %a, i32 0
1497   %shuffle = shufflevector <4 x double> %v, <4 x double> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 6, i32 7>
1498   ret <4 x double> %shuffle
1499 }
1500
1501 define <4 x double> @insert_mem_and_zero_v4f64(double* %ptr) {
1502 ; ALL-LABEL: insert_mem_and_zero_v4f64:
1503 ; ALL:       # %bb.0:
1504 ; ALL-NEXT:    vmovsd {{.*#+}} xmm0 = mem[0],zero
1505 ; ALL-NEXT:    retq
1506   %a = load double, double* %ptr
1507   %v = insertelement <4 x double> undef, double %a, i32 0
1508   %shuffle = shufflevector <4 x double> %v, <4 x double> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 6, i32 7>
1509   ret <4 x double> %shuffle
1510 }
1511
1512 define <4 x double> @splat_mem_v4f64(double* %ptr) {
1513 ; ALL-LABEL: splat_mem_v4f64:
1514 ; ALL:       # %bb.0:
1515 ; ALL-NEXT:    vbroadcastsd (%rdi), %ymm0
1516 ; ALL-NEXT:    retq
1517   %a = load double, double* %ptr
1518   %v = insertelement <4 x double> undef, double %a, i32 0
1519   %shuffle = shufflevector <4 x double> %v, <4 x double> undef, <4 x i32> <i32 0, i32 0, i32 0, i32 0>
1520   ret <4 x double> %shuffle
1521 }
1522
1523 define <4 x i64> @splat_mem_v4i64(i64* %ptr) {
1524 ; ALL-LABEL: splat_mem_v4i64:
1525 ; ALL:       # %bb.0:
1526 ; ALL-NEXT:    vbroadcastsd (%rdi), %ymm0
1527 ; ALL-NEXT:    retq
1528   %a = load i64, i64* %ptr
1529   %v = insertelement <4 x i64> undef, i64 %a, i64 0
1530   %shuffle = shufflevector <4 x i64> %v, <4 x i64> undef, <4 x i32> <i32 0, i32 0, i32 0, i32 0>
1531   ret <4 x i64> %shuffle
1532 }
1533
1534 define <4 x double> @splat_mem_v4f64_2(double* %p) {
1535 ; ALL-LABEL: splat_mem_v4f64_2:
1536 ; ALL:       # %bb.0:
1537 ; ALL-NEXT:    vbroadcastsd (%rdi), %ymm0
1538 ; ALL-NEXT:    retq
1539   %1 = load double, double* %p
1540   %2 = insertelement <2 x double> undef, double %1, i32 0
1541   %3 = shufflevector <2 x double> %2, <2 x double> undef, <4 x i32> zeroinitializer
1542   ret <4 x double> %3
1543 }
1544
1545 define <4 x double> @splat_v4f64(<2 x double> %r) {
1546 ; AVX1-LABEL: splat_v4f64:
1547 ; AVX1:       # %bb.0:
1548 ; AVX1-NEXT:    vmovddup {{.*#+}} xmm0 = xmm0[0,0]
1549 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm0, %ymm0
1550 ; AVX1-NEXT:    retq
1551 ;
1552 ; AVX2-LABEL: splat_v4f64:
1553 ; AVX2:       # %bb.0:
1554 ; AVX2-NEXT:    vbroadcastsd %xmm0, %ymm0
1555 ; AVX2-NEXT:    retq
1556 ;
1557 ; AVX512VL-LABEL: splat_v4f64:
1558 ; AVX512VL:       # %bb.0:
1559 ; AVX512VL-NEXT:    vbroadcastsd %xmm0, %ymm0
1560 ; AVX512VL-NEXT:    retq
1561   %1 = shufflevector <2 x double> %r, <2 x double> undef, <4 x i32> zeroinitializer
1562   ret <4 x double> %1
1563 }
1564
1565 define <4 x i64> @splat_mem_v4i64_from_v2i64(<2 x i64>* %ptr) {
1566 ; ALL-LABEL: splat_mem_v4i64_from_v2i64:
1567 ; ALL:       # %bb.0:
1568 ; ALL-NEXT:    vbroadcastsd (%rdi), %ymm0
1569 ; ALL-NEXT:    retq
1570   %v = load <2 x i64>, <2 x i64>* %ptr
1571   %shuffle = shufflevector <2 x i64> %v, <2 x i64> undef, <4 x i32> <i32 0, i32 0, i32 0, i32 0>
1572   ret <4 x i64> %shuffle
1573 }
1574
1575 define <4 x double> @splat_mem_v4f64_from_v2f64(<2 x double>* %ptr) {
1576 ; ALL-LABEL: splat_mem_v4f64_from_v2f64:
1577 ; ALL:       # %bb.0:
1578 ; ALL-NEXT:    vbroadcastsd (%rdi), %ymm0
1579 ; ALL-NEXT:    retq
1580   %v = load <2 x double>, <2 x double>* %ptr
1581   %shuffle = shufflevector <2 x double> %v, <2 x double> undef, <4 x i32> <i32 0, i32 0, i32 0, i32 0>
1582   ret <4 x double> %shuffle
1583 }
1584
1585 define <4 x i64> @splat128_mem_v4i64_from_v2i64(<2 x i64>* %ptr) {
1586 ; AVX1OR2-LABEL: splat128_mem_v4i64_from_v2i64:
1587 ; AVX1OR2:       # %bb.0:
1588 ; AVX1OR2-NEXT:    vbroadcastf128 {{.*#+}} ymm0 = mem[0,1,0,1]
1589 ; AVX1OR2-NEXT:    retq
1590 ;
1591 ; AVX512VL-LABEL: splat128_mem_v4i64_from_v2i64:
1592 ; AVX512VL:       # %bb.0:
1593 ; AVX512VL-NEXT:    vbroadcasti128 {{.*#+}} ymm0 = mem[0,1,0,1]
1594 ; AVX512VL-NEXT:    retq
1595   %v = load <2 x i64>, <2 x i64>* %ptr
1596   %shuffle = shufflevector <2 x i64> %v, <2 x i64> undef, <4 x i32> <i32 0, i32 1, i32 0, i32 1>
1597   ret <4 x i64> %shuffle
1598 }
1599
1600 define <4 x double> @splat128_mem_v4f64_from_v2f64(<2 x double>* %ptr) {
1601 ; ALL-LABEL: splat128_mem_v4f64_from_v2f64:
1602 ; ALL:       # %bb.0:
1603 ; ALL-NEXT:    vbroadcastf128 {{.*#+}} ymm0 = mem[0,1,0,1]
1604 ; ALL-NEXT:    retq
1605   %v = load <2 x double>, <2 x double>* %ptr
1606   %shuffle = shufflevector <2 x double> %v, <2 x double> undef, <4 x i32> <i32 0, i32 1, i32 0, i32 1>
1607   ret <4 x double> %shuffle
1608 }
1609
1610 define <4 x double> @broadcast_v4f64_0000_from_v2i64(<2 x i64> %a0) {
1611 ; AVX1-LABEL: broadcast_v4f64_0000_from_v2i64:
1612 ; AVX1:       # %bb.0:
1613 ; AVX1-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[0,1,0,1]
1614 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm0, %ymm0
1615 ; AVX1-NEXT:    retq
1616 ;
1617 ; AVX2-LABEL: broadcast_v4f64_0000_from_v2i64:
1618 ; AVX2:       # %bb.0:
1619 ; AVX2-NEXT:    vbroadcastsd %xmm0, %ymm0
1620 ; AVX2-NEXT:    retq
1621 ;
1622 ; AVX512VL-LABEL: broadcast_v4f64_0000_from_v2i64:
1623 ; AVX512VL:       # %bb.0:
1624 ; AVX512VL-NEXT:    vbroadcastsd %xmm0, %ymm0
1625 ; AVX512VL-NEXT:    retq
1626   %1 = shufflevector <2 x i64> %a0, <2 x i64> undef, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
1627   %2 = bitcast <4 x i64> %1 to <4 x double>
1628   %3 = shufflevector <4 x double> %2, <4 x double> undef, <4 x i32> zeroinitializer
1629   ret <4 x double> %3
1630 }
1631
1632 define <4 x double> @bitcast_v4f64_0426(<4 x double> %a, <4 x double> %b) {
1633 ; ALL-LABEL: bitcast_v4f64_0426:
1634 ; ALL:       # %bb.0:
1635 ; ALL-NEXT:    vunpcklpd {{.*#+}} ymm0 = ymm0[0],ymm1[0],ymm0[2],ymm1[2]
1636 ; ALL-NEXT:    retq
1637   %shuffle64 = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 4, i32 0, i32 6, i32 2>
1638   %bitcast32 = bitcast <4 x double> %shuffle64 to <8 x float>
1639   %shuffle32 = shufflevector <8 x float> %bitcast32, <8 x float> undef, <8 x i32> <i32 3, i32 2, i32 1, i32 0, i32 7, i32 6, i32 5, i32 4>
1640   %bitcast16 = bitcast <8 x float> %shuffle32 to <16 x i16>
1641   %shuffle16 = shufflevector <16 x i16> %bitcast16, <16 x i16> undef, <16 x i32> <i32 2, i32 3, i32 0, i32 1, i32 6, i32 7, i32 4, i32 5, i32 10, i32 11, i32 8, i32 9, i32 14, i32 15, i32 12, i32 13>
1642   %bitcast64 = bitcast <16 x i16> %shuffle16 to <4 x double>
1643   ret <4 x double> %bitcast64
1644 }
1645
1646 define <4 x i64> @concat_v4i64_0167(<4 x i64> %a0, <4 x i64> %a1) {
1647 ; ALL-LABEL: concat_v4i64_0167:
1648 ; ALL:       # %bb.0:
1649 ; ALL-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1,2,3],ymm1[4,5,6,7]
1650 ; ALL-NEXT:    retq
1651   %a0lo = shufflevector <4 x i64> %a0, <4 x i64> %a1, <2 x i32> <i32 0, i32 1>
1652   %a1hi = shufflevector <4 x i64> %a0, <4 x i64> %a1, <2 x i32> <i32 6, i32 7>
1653   %shuffle64 = shufflevector <2 x i64> %a0lo, <2 x i64> %a1hi, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
1654   ret <4 x i64> %shuffle64
1655 }
1656
1657 define <4 x i64> @concat_v4i64_0145_bc(<4 x i64> %a0, <4 x i64> %a1) {
1658 ; ALL-LABEL: concat_v4i64_0145_bc:
1659 ; ALL:       # %bb.0:
1660 ; ALL-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1661 ; ALL-NEXT:    retq
1662   %a0lo = shufflevector <4 x i64> %a0, <4 x i64> %a1, <2 x i32> <i32 0, i32 1>
1663   %a1lo = shufflevector <4 x i64> %a0, <4 x i64> %a1, <2 x i32> <i32 4, i32 5>
1664   %bc0lo = bitcast <2 x i64> %a0lo to <4 x i32>
1665   %bc1lo = bitcast <2 x i64> %a1lo to <4 x i32>
1666   %shuffle32 = shufflevector <4 x i32> %bc0lo, <4 x i32> %bc1lo, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
1667   %shuffle64 = bitcast <8 x i32> %shuffle32 to <4 x i64>
1668   ret <4 x i64> %shuffle64
1669 }
1670
1671 define <4 x i64> @insert_dup_mem_v4i64(i64* %ptr) {
1672 ; ALL-LABEL: insert_dup_mem_v4i64:
1673 ; ALL:       # %bb.0:
1674 ; ALL-NEXT:    vbroadcastsd (%rdi), %ymm0
1675 ; ALL-NEXT:    retq
1676   %tmp = load i64, i64* %ptr, align 1
1677   %tmp1 = insertelement <2 x i64> undef, i64 %tmp, i32 0
1678   %tmp2 = shufflevector <2 x i64> %tmp1, <2 x i64> undef, <4 x i32> zeroinitializer
1679   ret <4 x i64> %tmp2
1680 }
1681
1682 define <4 x i64> @shuffle_v4i64_1234(<4 x i64> %a, <4 x i64> %b) {
1683 ; AVX1-LABEL: shuffle_v4i64_1234:
1684 ; AVX1:       # %bb.0:
1685 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm1 = ymm0[2,3],ymm1[0,1]
1686 ; AVX1-NEXT:    vshufpd {{.*#+}} ymm0 = ymm0[1],ymm1[0],ymm0[3],ymm1[2]
1687 ; AVX1-NEXT:    retq
1688 ;
1689 ; AVX2-LABEL: shuffle_v4i64_1234:
1690 ; AVX2:       # %bb.0:
1691 ; AVX2-NEXT:    vperm2i128 {{.*#+}} ymm1 = ymm0[2,3],ymm1[0,1]
1692 ; AVX2-NEXT:    vpalignr {{.*#+}} ymm0 = ymm0[8,9,10,11,12,13,14,15],ymm1[0,1,2,3,4,5,6,7],ymm0[24,25,26,27,28,29,30,31],ymm1[16,17,18,19,20,21,22,23]
1693 ; AVX2-NEXT:    retq
1694 ;
1695 ; AVX512VL-LABEL: shuffle_v4i64_1234:
1696 ; AVX512VL:       # %bb.0:
1697 ; AVX512VL-NEXT:    valignq {{.*#+}} ymm0 = ymm0[1,2,3],ymm1[0]
1698 ; AVX512VL-NEXT:    retq
1699   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 1, i32 2, i32 3, i32 4>
1700   ret <4 x i64> %shuffle
1701 }
1702
1703 define <4 x i64> @shuffle_v4i64_1230(<4 x i64> %a) {
1704 ; AVX1-LABEL: shuffle_v4i64_1230:
1705 ; AVX1:       # %bb.0:
1706 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm1 = ymm0[2,3,0,1]
1707 ; AVX1-NEXT:    vshufpd {{.*#+}} ymm0 = ymm0[1],ymm1[0],ymm0[3],ymm1[2]
1708 ; AVX1-NEXT:    retq
1709 ;
1710 ; AVX2-LABEL: shuffle_v4i64_1230:
1711 ; AVX2:       # %bb.0:
1712 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[1,2,3,0]
1713 ; AVX2-NEXT:    retq
1714 ;
1715 ; AVX512VL-LABEL: shuffle_v4i64_1230:
1716 ; AVX512VL:       # %bb.0:
1717 ; AVX512VL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[1,2,3,0]
1718 ; AVX512VL-NEXT:    retq
1719   %shuffle = shufflevector <4 x i64> %a, <4 x i64> undef, <4 x i32> <i32 1, i32 2, i32 3, i32 0>
1720   ret <4 x i64> %shuffle
1721 }
1722
1723 define <4 x i64> @shuffle_v4i64_z0z3(<4 x i64> %a, <4 x i64> %b) {
1724 ; AVX1-LABEL: shuffle_v4i64_z0z3:
1725 ; AVX1:       # %bb.0:
1726 ; AVX1-NEXT:    vxorpd %xmm1, %xmm1, %xmm1
1727 ; AVX1-NEXT:    vshufpd {{.*#+}} ymm0 = ymm1[0],ymm0[0],ymm1[2],ymm0[3]
1728 ; AVX1-NEXT:    retq
1729 ;
1730 ; AVX2-SLOW-LABEL: shuffle_v4i64_z0z3:
1731 ; AVX2-SLOW:       # %bb.0:
1732 ; AVX2-SLOW-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,0,2,3]
1733 ; AVX2-SLOW-NEXT:    vxorps %xmm1, %xmm1, %xmm1
1734 ; AVX2-SLOW-NEXT:    vblendps {{.*#+}} ymm0 = ymm1[0,1],ymm0[2,3],ymm1[4,5],ymm0[6,7]
1735 ; AVX2-SLOW-NEXT:    retq
1736 ;
1737 ; AVX2-FAST-LABEL: shuffle_v4i64_z0z3:
1738 ; AVX2-FAST:       # %bb.0:
1739 ; AVX2-FAST-NEXT:    vpshufb {{.*#+}} ymm0 = zero,zero,zero,zero,zero,zero,zero,zero,ymm0[0,1,2,3,4,5,6,7],zero,zero,zero,zero,zero,zero,zero,zero,ymm0[24,25,26,27,28,29,30,31]
1740 ; AVX2-FAST-NEXT:    retq
1741 ;
1742 ; AVX512VL-SLOW-LABEL: shuffle_v4i64_z0z3:
1743 ; AVX512VL-SLOW:       # %bb.0:
1744 ; AVX512VL-SLOW-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,0,2,3]
1745 ; AVX512VL-SLOW-NEXT:    vxorps %xmm1, %xmm1, %xmm1
1746 ; AVX512VL-SLOW-NEXT:    vblendps {{.*#+}} ymm0 = ymm1[0,1],ymm0[2,3],ymm1[4,5],ymm0[6,7]
1747 ; AVX512VL-SLOW-NEXT:    retq
1748 ;
1749 ; AVX512VL-FAST-LABEL: shuffle_v4i64_z0z3:
1750 ; AVX512VL-FAST:       # %bb.0:
1751 ; AVX512VL-FAST-NEXT:    vpshufb {{.*#+}} ymm0 = zero,zero,zero,zero,zero,zero,zero,zero,ymm0[0,1,2,3,4,5,6,7],zero,zero,zero,zero,zero,zero,zero,zero,ymm0[24,25,26,27,28,29,30,31]
1752 ; AVX512VL-FAST-NEXT:    retq
1753   %1 = shufflevector <4 x i64> %a, <4 x i64> <i64 0, i64 undef, i64 undef, i64 undef>, <4 x i32> <i32 4, i32 0, i32 4, i32 3>
1754   ret <4 x i64> %1
1755 }
1756
1757 define <4 x i64> @shuffle_v4i64_1z2z(<4 x i64> %a, <4 x i64> %b) {
1758 ; AVX1-LABEL: shuffle_v4i64_1z2z:
1759 ; AVX1:       # %bb.0:
1760 ; AVX1-NEXT:    vxorpd %xmm1, %xmm1, %xmm1
1761 ; AVX1-NEXT:    vshufpd {{.*#+}} ymm0 = ymm0[1],ymm1[0],ymm0[2],ymm1[2]
1762 ; AVX1-NEXT:    retq
1763 ;
1764 ; AVX2-SLOW-LABEL: shuffle_v4i64_1z2z:
1765 ; AVX2-SLOW:       # %bb.0:
1766 ; AVX2-SLOW-NEXT:    vxorps %xmm1, %xmm1, %xmm1
1767 ; AVX2-SLOW-NEXT:    vblendps {{.*#+}} ymm0 = ymm1[0,1],ymm0[2,3,4,5,6,7]
1768 ; AVX2-SLOW-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[1,0,2,0]
1769 ; AVX2-SLOW-NEXT:    retq
1770 ;
1771 ; AVX2-FAST-LABEL: shuffle_v4i64_1z2z:
1772 ; AVX2-FAST:       # %bb.0:
1773 ; AVX2-FAST-NEXT:    vpshufb {{.*#+}} ymm0 = ymm0[8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,ymm0[16,17,18,19,20,21,22,23],zero,zero,zero,zero,zero,zero,zero,zero
1774 ; AVX2-FAST-NEXT:    retq
1775 ;
1776 ; AVX512VL-SLOW-LABEL: shuffle_v4i64_1z2z:
1777 ; AVX512VL-SLOW:       # %bb.0:
1778 ; AVX512VL-SLOW-NEXT:    vxorps %xmm1, %xmm1, %xmm1
1779 ; AVX512VL-SLOW-NEXT:    vblendps {{.*#+}} ymm0 = ymm1[0,1],ymm0[2,3,4,5,6,7]
1780 ; AVX512VL-SLOW-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[1,0,2,0]
1781 ; AVX512VL-SLOW-NEXT:    retq
1782 ;
1783 ; AVX512VL-FAST-LABEL: shuffle_v4i64_1z2z:
1784 ; AVX512VL-FAST:       # %bb.0:
1785 ; AVX512VL-FAST-NEXT:    vpshufb {{.*#+}} ymm0 = ymm0[8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,ymm0[16,17,18,19,20,21,22,23],zero,zero,zero,zero,zero,zero,zero,zero
1786 ; AVX512VL-FAST-NEXT:    retq
1787   %1 = shufflevector <4 x i64> %a, <4 x i64> <i64 0, i64 undef, i64 undef, i64 undef>, <4 x i32> <i32 1, i32 4, i32 2, i32 4>
1788   ret <4 x i64> %1
1789 }
1790
1791 define <4 x double> @add_v4f64_0246_1357(<4 x double> %a, <4 x double> %b) {
1792 ; AVX1-LABEL: add_v4f64_0246_1357:
1793 ; AVX1:       # %bb.0: # %entry
1794 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm2 = ymm0[2,3],ymm1[2,3]
1795 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1796 ; AVX1-NEXT:    vhaddpd %ymm2, %ymm0, %ymm0
1797 ; AVX1-NEXT:    retq
1798 ;
1799 ; AVX2-LABEL: add_v4f64_0246_1357:
1800 ; AVX2:       # %bb.0: # %entry
1801 ; AVX2-NEXT:    vunpcklpd {{.*#+}} ymm2 = ymm0[0],ymm1[0],ymm0[2],ymm1[2]
1802 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm2 = ymm2[0,2,1,3]
1803 ; AVX2-NEXT:    vunpckhpd {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3]
1804 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,2,1,3]
1805 ; AVX2-NEXT:    vaddpd %ymm0, %ymm2, %ymm0
1806 ; AVX2-NEXT:    retq
1807 ;
1808 ; AVX512VL-SLOW-LABEL: add_v4f64_0246_1357:
1809 ; AVX512VL-SLOW:       # %bb.0: # %entry
1810 ; AVX512VL-SLOW-NEXT:    vunpcklpd {{.*#+}} ymm2 = ymm0[0],ymm1[0],ymm0[2],ymm1[2]
1811 ; AVX512VL-SLOW-NEXT:    vpermpd {{.*#+}} ymm2 = ymm2[0,2,1,3]
1812 ; AVX512VL-SLOW-NEXT:    vunpckhpd {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3]
1813 ; AVX512VL-SLOW-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,2,1,3]
1814 ; AVX512VL-SLOW-NEXT:    vaddpd %ymm0, %ymm2, %ymm0
1815 ; AVX512VL-SLOW-NEXT:    retq
1816 ;
1817 ; AVX512VL-FAST-LABEL: add_v4f64_0246_1357:
1818 ; AVX512VL-FAST:       # %bb.0: # %entry
1819 ; AVX512VL-FAST-NEXT:    vmovapd {{.*#+}} ymm2 = [0,2,4,6]
1820 ; AVX512VL-FAST-NEXT:    vpermi2pd %ymm1, %ymm0, %ymm2
1821 ; AVX512VL-FAST-NEXT:    vmovapd {{.*#+}} ymm3 = [1,3,5,7]
1822 ; AVX512VL-FAST-NEXT:    vpermi2pd %ymm1, %ymm0, %ymm3
1823 ; AVX512VL-FAST-NEXT:    vaddpd %ymm3, %ymm2, %ymm0
1824 ; AVX512VL-FAST-NEXT:    retq
1825 entry:
1826   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 2, i32 4, i32 6>
1827   %shuffle1 = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 1, i32 3, i32 5, i32 7>
1828   %add = fadd <4 x double> %shuffle, %shuffle1
1829   ret <4 x double> %add
1830 }
1831
1832 define <4 x double> @add_v4f64_4602_5713(<4 x double> %a, <4 x double> %b) {
1833 ; AVX1-LABEL: add_v4f64_4602_5713:
1834 ; AVX1:       # %bb.0: # %entry
1835 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm2 = ymm1[2,3],ymm0[2,3]
1836 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1837 ; AVX1-NEXT:    vhaddpd %ymm2, %ymm0, %ymm0
1838 ; AVX1-NEXT:    retq
1839 ;
1840 ; AVX2-LABEL: add_v4f64_4602_5713:
1841 ; AVX2:       # %bb.0: # %entry
1842 ; AVX2-NEXT:    vunpcklpd {{.*#+}} ymm2 = ymm1[0],ymm0[0],ymm1[2],ymm0[2]
1843 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm2 = ymm2[0,2,1,3]
1844 ; AVX2-NEXT:    vunpckhpd {{.*#+}} ymm0 = ymm1[1],ymm0[1],ymm1[3],ymm0[3]
1845 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,2,1,3]
1846 ; AVX2-NEXT:    vaddpd %ymm0, %ymm2, %ymm0
1847 ; AVX2-NEXT:    retq
1848 ;
1849 ; AVX512VL-SLOW-LABEL: add_v4f64_4602_5713:
1850 ; AVX512VL-SLOW:       # %bb.0: # %entry
1851 ; AVX512VL-SLOW-NEXT:    vunpcklpd {{.*#+}} ymm2 = ymm1[0],ymm0[0],ymm1[2],ymm0[2]
1852 ; AVX512VL-SLOW-NEXT:    vpermpd {{.*#+}} ymm2 = ymm2[0,2,1,3]
1853 ; AVX512VL-SLOW-NEXT:    vunpckhpd {{.*#+}} ymm0 = ymm1[1],ymm0[1],ymm1[3],ymm0[3]
1854 ; AVX512VL-SLOW-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,2,1,3]
1855 ; AVX512VL-SLOW-NEXT:    vaddpd %ymm0, %ymm2, %ymm0
1856 ; AVX512VL-SLOW-NEXT:    retq
1857 ;
1858 ; AVX512VL-FAST-LABEL: add_v4f64_4602_5713:
1859 ; AVX512VL-FAST:       # %bb.0: # %entry
1860 ; AVX512VL-FAST-NEXT:    vmovapd {{.*#+}} ymm2 = [0,2,4,6]
1861 ; AVX512VL-FAST-NEXT:    vpermi2pd %ymm0, %ymm1, %ymm2
1862 ; AVX512VL-FAST-NEXT:    vmovapd {{.*#+}} ymm3 = [1,3,5,7]
1863 ; AVX512VL-FAST-NEXT:    vpermi2pd %ymm0, %ymm1, %ymm3
1864 ; AVX512VL-FAST-NEXT:    vaddpd %ymm3, %ymm2, %ymm0
1865 ; AVX512VL-FAST-NEXT:    retq
1866 entry:
1867   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 4, i32 6, i32 0, i32 2>
1868   %shuffle1 = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 5, i32 7, i32 1, i32 3>
1869   %add = fadd <4 x double> %shuffle, %shuffle1
1870   ret <4 x double> %add
1871 }
1872
1873 define <4 x i64> @add_v4i64_0246_1357(<4 x i64> %a, <4 x i64> %b) {
1874 ; AVX1-LABEL: add_v4i64_0246_1357:
1875 ; AVX1:       # %bb.0: # %entry
1876 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm2 = ymm0[2,3],ymm1[2,3]
1877 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
1878 ; AVX1-NEXT:    vunpcklpd {{.*#+}} ymm1 = ymm0[0],ymm2[0],ymm0[2],ymm2[2]
1879 ; AVX1-NEXT:    vunpckhpd {{.*#+}} ymm0 = ymm0[1],ymm2[1],ymm0[3],ymm2[3]
1880 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
1881 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
1882 ; AVX1-NEXT:    vpaddq %xmm2, %xmm3, %xmm2
1883 ; AVX1-NEXT:    vpaddq %xmm0, %xmm1, %xmm0
1884 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
1885 ; AVX1-NEXT:    retq
1886 ;
1887 ; AVX2-LABEL: add_v4i64_0246_1357:
1888 ; AVX2:       # %bb.0: # %entry
1889 ; AVX2-NEXT:    vpunpcklqdq {{.*#+}} ymm2 = ymm0[0],ymm1[0],ymm0[2],ymm1[2]
1890 ; AVX2-NEXT:    vpermq {{.*#+}} ymm2 = ymm2[0,2,1,3]
1891 ; AVX2-NEXT:    vpunpckhqdq {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3]
1892 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
1893 ; AVX2-NEXT:    vpaddq %ymm0, %ymm2, %ymm0
1894 ; AVX2-NEXT:    retq
1895 ;
1896 ; AVX512VL-SLOW-LABEL: add_v4i64_0246_1357:
1897 ; AVX512VL-SLOW:       # %bb.0: # %entry
1898 ; AVX512VL-SLOW-NEXT:    vpunpcklqdq {{.*#+}} ymm2 = ymm0[0],ymm1[0],ymm0[2],ymm1[2]
1899 ; AVX512VL-SLOW-NEXT:    vpermq {{.*#+}} ymm2 = ymm2[0,2,1,3]
1900 ; AVX512VL-SLOW-NEXT:    vpunpckhqdq {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3]
1901 ; AVX512VL-SLOW-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
1902 ; AVX512VL-SLOW-NEXT:    vpaddq %ymm0, %ymm2, %ymm0
1903 ; AVX512VL-SLOW-NEXT:    retq
1904 ;
1905 ; AVX512VL-FAST-LABEL: add_v4i64_0246_1357:
1906 ; AVX512VL-FAST:       # %bb.0: # %entry
1907 ; AVX512VL-FAST-NEXT:    vmovdqa {{.*#+}} ymm2 = [0,2,4,6]
1908 ; AVX512VL-FAST-NEXT:    vpermi2q %ymm1, %ymm0, %ymm2
1909 ; AVX512VL-FAST-NEXT:    vmovdqa {{.*#+}} ymm3 = [1,3,5,7]
1910 ; AVX512VL-FAST-NEXT:    vpermi2q %ymm1, %ymm0, %ymm3
1911 ; AVX512VL-FAST-NEXT:    vpaddq %ymm3, %ymm2, %ymm0
1912 ; AVX512VL-FAST-NEXT:    retq
1913 entry:
1914   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 2, i32 4, i32 6>
1915   %shuffle1 = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 1, i32 3, i32 5, i32 7>
1916   %add = add <4 x i64> %shuffle, %shuffle1
1917   ret <4 x i64> %add
1918 }
1919
1920 define <4 x i64> @add_v4i64_4602_5713(<4 x i64> %a, <4 x i64> %b) {
1921 ; AVX1-LABEL: add_v4i64_4602_5713:
1922 ; AVX1:       # %bb.0: # %entry
1923 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm2 = ymm1[2,3],ymm0[2,3]
1924 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
1925 ; AVX1-NEXT:    vunpcklpd {{.*#+}} ymm1 = ymm0[0],ymm2[0],ymm0[2],ymm2[2]
1926 ; AVX1-NEXT:    vunpckhpd {{.*#+}} ymm0 = ymm0[1],ymm2[1],ymm0[3],ymm2[3]
1927 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
1928 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
1929 ; AVX1-NEXT:    vpaddq %xmm2, %xmm3, %xmm2
1930 ; AVX1-NEXT:    vpaddq %xmm0, %xmm1, %xmm0
1931 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
1932 ; AVX1-NEXT:    retq
1933 ;
1934 ; AVX2-LABEL: add_v4i64_4602_5713:
1935 ; AVX2:       # %bb.0: # %entry
1936 ; AVX2-NEXT:    vpunpcklqdq {{.*#+}} ymm2 = ymm1[0],ymm0[0],ymm1[2],ymm0[2]
1937 ; AVX2-NEXT:    vpermq {{.*#+}} ymm2 = ymm2[0,2,1,3]
1938 ; AVX2-NEXT:    vpunpckhqdq {{.*#+}} ymm0 = ymm1[1],ymm0[1],ymm1[3],ymm0[3]
1939 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
1940 ; AVX2-NEXT:    vpaddq %ymm0, %ymm2, %ymm0
1941 ; AVX2-NEXT:    retq
1942 ;
1943 ; AVX512VL-SLOW-LABEL: add_v4i64_4602_5713:
1944 ; AVX512VL-SLOW:       # %bb.0: # %entry
1945 ; AVX512VL-SLOW-NEXT:    vpunpcklqdq {{.*#+}} ymm2 = ymm1[0],ymm0[0],ymm1[2],ymm0[2]
1946 ; AVX512VL-SLOW-NEXT:    vpermq {{.*#+}} ymm2 = ymm2[0,2,1,3]
1947 ; AVX512VL-SLOW-NEXT:    vpunpckhqdq {{.*#+}} ymm0 = ymm1[1],ymm0[1],ymm1[3],ymm0[3]
1948 ; AVX512VL-SLOW-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,1,3]
1949 ; AVX512VL-SLOW-NEXT:    vpaddq %ymm0, %ymm2, %ymm0
1950 ; AVX512VL-SLOW-NEXT:    retq
1951 ;
1952 ; AVX512VL-FAST-LABEL: add_v4i64_4602_5713:
1953 ; AVX512VL-FAST:       # %bb.0: # %entry
1954 ; AVX512VL-FAST-NEXT:    vmovdqa {{.*#+}} ymm2 = [0,2,4,6]
1955 ; AVX512VL-FAST-NEXT:    vpermi2q %ymm0, %ymm1, %ymm2
1956 ; AVX512VL-FAST-NEXT:    vmovdqa {{.*#+}} ymm3 = [1,3,5,7]
1957 ; AVX512VL-FAST-NEXT:    vpermi2q %ymm0, %ymm1, %ymm3
1958 ; AVX512VL-FAST-NEXT:    vpaddq %ymm3, %ymm2, %ymm0
1959 ; AVX512VL-FAST-NEXT:    retq
1960 entry:
1961   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 4, i32 6, i32 0, i32 2>
1962   %shuffle1 = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 5, i32 7, i32 1, i32 3>
1963   %add = add <4 x i64> %shuffle, %shuffle1
1964   ret <4 x i64> %add
1965 }
1966
1967 define <4 x double> @shuffle_v4f64_0zzz_optsize(<4 x double> %a) optsize {
1968 ; ALL-LABEL: shuffle_v4f64_0zzz_optsize:
1969 ; ALL:       # %bb.0:
1970 ; ALL-NEXT:    vmovq {{.*#+}} xmm0 = xmm0[0],zero
1971 ; ALL-NEXT:    retq
1972   %b = shufflevector <4 x double> %a, <4 x double> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 6, i32 7>
1973   ret <4 x double> %b
1974 }
1975
1976 define <4 x i64> @shuffle_v4i64_0zzz_optsize(<4 x i64> %a) optsize {
1977 ; ALL-LABEL: shuffle_v4i64_0zzz_optsize:
1978 ; ALL:       # %bb.0:
1979 ; ALL-NEXT:    vmovq {{.*#+}} xmm0 = xmm0[0],zero
1980 ; ALL-NEXT:    retq
1981   %b = shufflevector <4 x i64> %a, <4 x i64> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 6, i32 7>
1982   ret <4 x i64> %b
1983 }
1984
1985 define <8 x float> @shuffle_v8f32_0zzzzzzz_optsize(<8 x float> %a) optsize {
1986 ; ALL-LABEL: shuffle_v8f32_0zzzzzzz_optsize:
1987 ; ALL:       # %bb.0:
1988 ; ALL-NEXT:    vxorps %xmm1, %xmm1, %xmm1
1989 ; ALL-NEXT:    vmovss {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
1990 ; ALL-NEXT:    retq
1991   %b = shufflevector <8 x float> %a, <8 x float> zeroinitializer, <8 x i32> <i32 0, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
1992   ret <8 x float> %b
1993 }
1994
1995 define <8 x i32> @shuffle_v8i32_0zzzzzzz_optsize(<8 x i32> %a) optsize {
1996 ; ALL-LABEL: shuffle_v8i32_0zzzzzzz_optsize:
1997 ; ALL:       # %bb.0:
1998 ; ALL-NEXT:    vxorps %xmm1, %xmm1, %xmm1
1999 ; ALL-NEXT:    vmovss {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
2000 ; ALL-NEXT:    retq
2001   %b = shufflevector <8 x i32> %a, <8 x i32> zeroinitializer, <8 x i32> <i32 0, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
2002   ret <8 x i32> %b
2003 }
2004
2005 define <4 x i64> @unpckh_v4i64(<4 x i64> %x, <4 x i64> %y) {
2006 ; ALL-LABEL: unpckh_v4i64:
2007 ; ALL:       # %bb.0:
2008 ; ALL-NEXT:    vextractf128 $1, %ymm1, %xmm1
2009 ; ALL-NEXT:    vunpckhpd {{.*#+}} xmm0 = xmm0[1],xmm1[1]
2010 ; ALL-NEXT:    retq
2011   %unpckh = shufflevector <4 x i64> %x, <4 x i64> %y, <4 x i32> <i32 1, i32 7, i32 undef, i32 undef>
2012   ret <4 x i64> %unpckh
2013 }
2014
2015 define <4 x double> @unpckh_v4f64(<4 x double> %x, <4 x double> %y) {
2016 ; ALL-LABEL: unpckh_v4f64:
2017 ; ALL:       # %bb.0:
2018 ; ALL-NEXT:    vextractf128 $1, %ymm1, %xmm1
2019 ; ALL-NEXT:    vunpckhpd {{.*#+}} xmm0 = xmm0[1],xmm1[1]
2020 ; ALL-NEXT:    retq
2021   %unpckh = shufflevector <4 x double> %x, <4 x double> %y, <4 x i32> <i32 1, i32 7, i32 undef, i32 undef>
2022   ret <4 x double> %unpckh
2023 }
2024