llvm/test/CodeGen/X86/vector-shuffle-512-v16.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mcpu=x86-64 -mattr=+avx512f,+avx512dq | FileCheck %s --check-prefixes=ALL,AVX512F
   3 ; RUN: llc < %s -mcpu=x86-64 -mattr=+avx512bw,+avx512dq | FileCheck %s --check-prefixes=ALL,AVX512BW
   4
   5 target triple = "x86_64-unknown-unknown"
   6
   7 define <16 x float> @shuffle_v16f32_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00(<16 x float> %a, <16 x float> %b) {
   8 ; ALL-LABEL: shuffle_v16f32_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00:
   9 ; ALL:       # %bb.0:
  10 ; ALL-NEXT:    vbroadcastss %xmm0, %zmm0
  11 ; ALL-NEXT:    retq
  12   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32><i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0>
  13   ret <16 x float> %shuffle
  14 }
  15
  16 define <16 x float> @shuffle_v16f32_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08(<16 x float> %a, <16 x float> %b) {
  17 ; ALL-LABEL: shuffle_v16f32_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08:
  18 ; ALL:       # %bb.0:
  19 ; ALL-NEXT:    vextractf32x4 $2, %zmm0, %xmm0
  20 ; ALL-NEXT:    vbroadcastss %xmm0, %zmm0
  21 ; ALL-NEXT:    retq
  22   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32><i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8>
  23   ret <16 x float> %shuffle
  24 }
  25
  26 define <16 x float> @shuffle_v16f32_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08_bc(<16 x i32> %a, <16 x i32> %b) {
  27 ; ALL-LABEL: shuffle_v16f32_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08_bc:
  28 ; ALL:       # %bb.0:
  29 ; ALL-NEXT:    vextractf32x4 $2, %zmm0, %xmm0
  30 ; ALL-NEXT:    vbroadcastss %xmm0, %zmm0
  31 ; ALL-NEXT:    retq
  32   %tmp0 = bitcast <16 x i32> %a to <16 x float>
  33   %tmp1 = bitcast <16 x i32> %b to <16 x float>
  34   %shuffle = shufflevector <16 x float> %tmp0, <16 x float> %tmp1, <16 x i32><i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8>
  35   ret <16 x float> %shuffle
  36 }
  37
  38 define <16 x float> @shuffle_v16f32_00_10_01_11_04_14_05_15_08_18_09_19_0c_1c_0d_1d(<16 x float> %a, <16 x float> %b) {
  39 ; ALL-LABEL: shuffle_v16f32_00_10_01_11_04_14_05_15_08_18_09_19_0c_1c_0d_1d:
  40 ; ALL:       # %bb.0:
  41 ; ALL-NEXT:    vunpcklps {{.*#+}} zmm0 = zmm0[0],zmm1[0],zmm0[1],zmm1[1],zmm0[4],zmm1[4],zmm0[5],zmm1[5],zmm0[8],zmm1[8],zmm0[9],zmm1[9],zmm0[12],zmm1[12],zmm0[13],zmm1[13]
  42 ; ALL-NEXT:    retq
  43   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32><i32 0, i32 16, i32 1, i32 17, i32 4, i32 20, i32 5, i32 21, i32 8, i32 24, i32 9, i32 25, i32 12, i32 28, i32 13, i32 29>
  44   ret <16 x float> %shuffle
  45 }
  46
  47 define <16 x float> @shuffle_v16f32_00_zz_01_zz_04_zz_05_zz_08_zz_09_zz_0c_zz_0d_zz(<16 x float> %a, <16 x float> %b) {
  48 ; ALL-LABEL: shuffle_v16f32_00_zz_01_zz_04_zz_05_zz_08_zz_09_zz_0c_zz_0d_zz:
  49 ; ALL:       # %bb.0:
  50 ; ALL-NEXT:    vxorps %xmm1, %xmm1, %xmm1
  51 ; ALL-NEXT:    vunpcklps {{.*#+}} zmm0 = zmm0[0],zmm1[0],zmm0[1],zmm1[1],zmm0[4],zmm1[4],zmm0[5],zmm1[5],zmm0[8],zmm1[8],zmm0[9],zmm1[9],zmm0[12],zmm1[12],zmm0[13],zmm1[13]
  52 ; ALL-NEXT:    retq
  53   %shuffle = shufflevector <16 x float> %a, <16 x float> zeroinitializer, <16 x i32><i32 0, i32 16, i32 1, i32 16, i32 4, i32 16, i32 5, i32 16, i32 8, i32 16, i32 9, i32 16, i32 12, i32 16, i32 13, i32 16>
  54   ret <16 x float> %shuffle
  55 }
  56
  57 define <16 x float> @shuffle_v16f32_vunpcklps_swap(<16 x float> %a, <16 x float> %b) {
  58 ; ALL-LABEL: shuffle_v16f32_vunpcklps_swap:
  59 ; ALL:       # %bb.0:
  60 ; ALL-NEXT:    vunpcklps {{.*#+}} zmm0 = zmm1[0],zmm0[0],zmm1[1],zmm0[1],zmm1[4],zmm0[4],zmm1[5],zmm0[5],zmm1[8],zmm0[8],zmm1[9],zmm0[9],zmm1[12],zmm0[12],zmm1[13],zmm0[13]
  61 ; ALL-NEXT:    retq
  62   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 16, i32 0, i32 17, i32 1, i32 20, i32 4, i32 21, i32 5, i32 24, i32 8, i32 25, i32 9, i32 28, i32 12, i32 29, i32 13>
  63   ret <16 x float> %shuffle
  64 }
  65
  66 ; PR34382
  67 define <16 x float> @shuffle_v16f32_01_01_03_00_06_04_05_07_08_08_09_09_15_14_14_12(<16 x float> %a0) {
  68 ; ALL-LABEL: shuffle_v16f32_01_01_03_00_06_04_05_07_08_08_09_09_15_14_14_12:
  69 ; ALL:       # %bb.0:
  70 ; ALL-NEXT:    vpermilps {{.*#+}} zmm0 = zmm0[1,1,3,0,6,4,5,7,8,8,9,9,15,14,14,12]
  71 ; ALL-NEXT:    retq
  72   %shuffle = shufflevector <16 x float> %a0, <16 x float> undef, <16 x i32> <i32 1, i32 1, i32 3, i32 0, i32 6, i32 4, i32 5, i32 7, i32 8, i32 8, i32 9, i32 9, i32 15, i32 14, i32 14, i32 12>
  73   ret <16 x float> %shuffle
  74 }
  75
  76 define <16 x i32> @shuffle_v16i32_00_10_01_11_04_14_05_15_08_18_09_19_0c_1c_0d_1d(<16 x i32> %a, <16 x i32> %b) {
  77 ; ALL-LABEL: shuffle_v16i32_00_10_01_11_04_14_05_15_08_18_09_19_0c_1c_0d_1d:
  78 ; ALL:       # %bb.0:
  79 ; ALL-NEXT:    vunpcklps {{.*#+}} zmm0 = zmm0[0],zmm1[0],zmm0[1],zmm1[1],zmm0[4],zmm1[4],zmm0[5],zmm1[5],zmm0[8],zmm1[8],zmm0[9],zmm1[9],zmm0[12],zmm1[12],zmm0[13],zmm1[13]
  80 ; ALL-NEXT:    retq
  81   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 0, i32 16, i32 1, i32 17, i32 4, i32 20, i32 5, i32 21, i32 8, i32 24, i32 9, i32 25, i32 12, i32 28, i32 13, i32 29>
  82   ret <16 x i32> %shuffle
  83 }
  84
  85 define <16 x i32> @shuffle_v16i32_zz_10_zz_11_zz_14_zz_15_zz_18_zz_19_zz_1c_zz_1d(<16 x i32> %a, <16 x i32> %b) {
  86 ; ALL-LABEL: shuffle_v16i32_zz_10_zz_11_zz_14_zz_15_zz_18_zz_19_zz_1c_zz_1d:
  87 ; ALL:       # %bb.0:
  88 ; ALL-NEXT:    vxorps %xmm0, %xmm0, %xmm0
  89 ; ALL-NEXT:    vunpcklps {{.*#+}} zmm0 = zmm0[0],zmm1[0],zmm0[1],zmm1[1],zmm0[4],zmm1[4],zmm0[5],zmm1[5],zmm0[8],zmm1[8],zmm0[9],zmm1[9],zmm0[12],zmm1[12],zmm0[13],zmm1[13]
  90 ; ALL-NEXT:    retq
  91   %shuffle = shufflevector <16 x i32> zeroinitializer, <16 x i32> %b, <16 x i32><i32 15, i32 16, i32 13, i32 17, i32 11, i32 20, i32 9, i32 21, i32 7, i32 24, i32 5, i32 25, i32 3, i32 28, i32 1, i32 29>
  92   ret <16 x i32> %shuffle
  93 }
  94
  95 define <16 x float> @shuffle_v16f32_02_12_03_13_06_16_07_17_0a_1a_0b_1b_0e_1e_0f_1f(<16 x float> %a, <16 x float> %b) {
  96 ; ALL-LABEL: shuffle_v16f32_02_12_03_13_06_16_07_17_0a_1a_0b_1b_0e_1e_0f_1f:
  97 ; ALL:       # %bb.0:
  98 ; ALL-NEXT:    vunpckhps {{.*#+}} zmm0 = zmm0[2],zmm1[2],zmm0[3],zmm1[3],zmm0[6],zmm1[6],zmm0[7],zmm1[7],zmm0[10],zmm1[10],zmm0[11],zmm1[11],zmm0[14],zmm1[14],zmm0[15],zmm1[15]
  99 ; ALL-NEXT:    retq
 100   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32><i32 2, i32 18, i32 3, i32 19, i32 6, i32 22, i32 7, i32 23, i32 10, i32 26, i32 11, i32 27, i32 14, i32 30, i32 15, i32 31>
 101   ret <16 x float> %shuffle
 102 }
 103
 104 define <16 x float> @shuffle_v16f32_zz_12_zz_13_zz_16_zz_17_zz_1a_zz_1b_zz_1e_zz_1f(<16 x float> %a, <16 x float> %b) {
 105 ; ALL-LABEL: shuffle_v16f32_zz_12_zz_13_zz_16_zz_17_zz_1a_zz_1b_zz_1e_zz_1f:
 106 ; ALL:       # %bb.0:
 107 ; ALL-NEXT:    vxorps %xmm0, %xmm0, %xmm0
 108 ; ALL-NEXT:    vunpckhps {{.*#+}} zmm0 = zmm0[2],zmm1[2],zmm0[3],zmm1[3],zmm0[6],zmm1[6],zmm0[7],zmm1[7],zmm0[10],zmm1[10],zmm0[11],zmm1[11],zmm0[14],zmm1[14],zmm0[15],zmm1[15]
 109 ; ALL-NEXT:    retq
 110   %shuffle = shufflevector <16 x float> zeroinitializer, <16 x float> %b, <16 x i32><i32 0, i32 18, i32 0, i32 19, i32 4, i32 22, i32 4, i32 23, i32 6, i32 26, i32 6, i32 27, i32 8, i32 30, i32 8, i32 31>
 111   ret <16 x float> %shuffle
 112 }
 113
 114 define <16 x float> @shuffle_v16f32_00_00_02_02_04_04_06_06_08_08_10_10_12_12_14_14(<16 x float> %a, <16 x float> %b) {
 115 ; ALL-LABEL: shuffle_v16f32_00_00_02_02_04_04_06_06_08_08_10_10_12_12_14_14:
 116 ; ALL:       # %bb.0:
 117 ; ALL-NEXT:    vmovsldup {{.*#+}} zmm0 = zmm0[0,0,2,2,4,4,6,6,8,8,10,10,12,12,14,14]
 118 ; ALL-NEXT:    retq
 119   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32><i32 0, i32 0, i32 2, i32 2, i32 4, i32 4, i32 6, i32 6, i32 8, i32 8, i32 10, i32 10, i32 12, i32 12, i32 14, i32 14>
 120   ret <16 x float> %shuffle
 121 }
 122
 123 define <16 x float> @shuffle_v16f32_01_01_03_03_05_05_07_07_09_09_11_11_13_13_15_15(<16 x float> %a, <16 x float> %b) {
 124 ; ALL-LABEL: shuffle_v16f32_01_01_03_03_05_05_07_07_09_09_11_11_13_13_15_15:
 125 ; ALL:       # %bb.0:
 126 ; ALL-NEXT:    vmovshdup {{.*#+}} zmm0 = zmm0[1,1,3,3,5,5,7,7,9,9,11,11,13,13,15,15]
 127 ; ALL-NEXT:    retq
 128   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32><i32 1, i32 1, i32 3, i32 3, i32 5, i32 5, i32 7, i32 7, i32 9, i32 9, i32 11, i32 11, i32 13, i32 13, i32 15, i32 15>
 129   ret <16 x float> %shuffle
 130 }
 131
 132 define <16 x float> @shuffle_v16f32_00_01_00_01_06_07_06_07_08_09_10_11_12_13_12_13(<16 x float> %a, <16 x float> %b) {
 133 ; ALL-LABEL: shuffle_v16f32_00_01_00_01_06_07_06_07_08_09_10_11_12_13_12_13:
 134 ; ALL:       # %bb.0:
 135 ; ALL-NEXT:    vshufpd {{.*#+}} zmm0 = zmm0[0,0,3,3,4,5,6,6]
 136 ; ALL-NEXT:    retq
 137   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 0, i32 1, i32 0, i32 1, i32 6, i32 7, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 12, i32 13>
 138   ret <16 x float> %shuffle
 139 }
 140
 141 define <16 x float> @shuffle_v16f32_00_00_02_00_04_04_06_04_08_08_10_08_12_12_14_12(<16 x float> %a, <16 x float> %b) {
 142 ; ALL-LABEL: shuffle_v16f32_00_00_02_00_04_04_06_04_08_08_10_08_12_12_14_12:
 143 ; ALL:       # %bb.0:
 144 ; ALL-NEXT:    vshufps {{.*#+}} zmm0 = zmm0[0,0,2,0,4,4,6,4,8,8,10,8,12,12,14,12]
 145 ; ALL-NEXT:    retq
 146   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 0, i32 0, i32 2, i32 0, i32 4, i32 4, i32 6, i32 4, i32 8, i32 8, i32 10, i32 8, i32 12, i32 12, i32 14, i32 12>
 147   ret <16 x float> %shuffle
 148 }
 149
 150 define <16 x float> @shuffle_v16f32_03_uu_uu_uu_uu_04_uu_uu_uu_uu_11_uu_uu_uu_uu_12(<16 x float> %a, <16 x float> %b) {
 151 ; ALL-LABEL: shuffle_v16f32_03_uu_uu_uu_uu_04_uu_uu_uu_uu_11_uu_uu_uu_uu_12:
 152 ; ALL:       # %bb.0:
 153 ; ALL-NEXT:    vshufps {{.*#+}} zmm0 = zmm0[3,0,3,0,7,4,7,4,11,8,11,8,15,12,15,12]
 154 ; ALL-NEXT:    retq
 155   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 3, i32 undef, i32 undef, i32 undef, i32 undef, i32 4, i32 undef, i32 undef, i32 undef, i32 undef, i32 11, i32 undef, i32 undef, i32 undef, i32 undef, i32 12>
 156   ret <16 x float> %shuffle
 157 }
 158
 159 ; PR41203
 160 define <16 x float> @shuffle_v16f32_00_17_02_19_04_21_06_23_08_25_10_27_12_29_14_31(<16 x float> %a) {
 161 ; ALL-LABEL: shuffle_v16f32_00_17_02_19_04_21_06_23_08_25_10_27_12_29_14_31:
 162 ; ALL:       # %bb.0:
 163 ; ALL-NEXT:    vandpd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %zmm0, %zmm0
 164 ; ALL-NEXT:    retq
 165   %tmp1 = shufflevector <16 x float> %a, <16 x float> undef, <16 x i32> <i32 undef, i32 17, i32 undef, i32 19, i32 undef, i32 5, i32 undef, i32 7, i32 undef, i32 9, i32 undef, i32 11, i32 undef, i32 13, i32 undef, i32 15>
 166   %tmp2 = shufflevector <16 x float> %tmp1, <16 x float> <float 0.000000e+00, float undef, float 0.000000e+00, float undef, float 0.000000e+00, float undef, float 0.000000e+00, float undef, float 0.000000e+00, float undef, float 0.000000e+00, float undef, float 0.000000e+00, float undef, float 0.000000e+00, float undef>, <16 x i32> <i32 16, i32 1, i32 18, i32 3, i32 20, i32 5, i32 22, i32 7, i32 24, i32 9, i32 26, i32 11, i32 28, i32 13, i32 30, i32 15>
 167   ret <16 x float> %tmp2
 168 }
 169
 170 ; PR48322
 171 define <16 x float> @shuffle_v16f32_02_03_16_17_06_07_20_21_10_11_24_25_14_15_28_29(<16 x float> %a, <16 x float> %b) {
 172 ; ALL-LABEL: shuffle_v16f32_02_03_16_17_06_07_20_21_10_11_24_25_14_15_28_29:
 173 ; ALL:       # %bb.0:
 174 ; ALL-NEXT:    vshufpd {{.*#+}} zmm0 = zmm0[1],zmm1[0],zmm0[3],zmm1[2],zmm0[5],zmm1[4],zmm0[7],zmm1[6]
 175 ; ALL-NEXT:    retq
 176   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 2, i32 3, i32 16, i32 17, i32 6, i32 7, i32 20, i32 21, i32 10, i32 11, i32 24, i32 25, i32 14, i32 15, i32 28, i32 29>
 177   ret <16 x float> %shuffle
 178 }
 179
 180 define <16 x i32> @shuffle_v16i32_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00(<16 x i32> %a, <16 x i32> %b) {
 181 ; ALL-LABEL: shuffle_v16i32_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00:
 182 ; ALL:       # %bb.0:
 183 ; ALL-NEXT:    vbroadcastss %xmm0, %zmm0
 184 ; ALL-NEXT:    retq
 185   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0>
 186   ret <16 x i32> %shuffle
 187 }
 188
 189 define <16 x i32> @shuffle_v16i32_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04(<16 x i32> %a, <16 x i32> %b) {
 190 ; ALL-LABEL: shuffle_v16i32_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04:
 191 ; ALL:       # %bb.0:
 192 ; ALL-NEXT:    vextractf128 $1, %ymm0, %xmm0
 193 ; ALL-NEXT:    vbroadcastss %xmm0, %zmm0
 194 ; ALL-NEXT:    retq
 195   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
 196   ret <16 x i32> %shuffle
 197 }
 198
 199 define <16 x i32> @shuffle_v16i32_02_12_03_13_06_16_07_17_0a_1a_0b_1b_0e_1e_0f_1f(<16 x i32> %a, <16 x i32> %b) {
 200 ; ALL-LABEL: shuffle_v16i32_02_12_03_13_06_16_07_17_0a_1a_0b_1b_0e_1e_0f_1f:
 201 ; ALL:       # %bb.0:
 202 ; ALL-NEXT:    vunpckhps {{.*#+}} zmm0 = zmm0[2],zmm1[2],zmm0[3],zmm1[3],zmm0[6],zmm1[6],zmm0[7],zmm1[7],zmm0[10],zmm1[10],zmm0[11],zmm1[11],zmm0[14],zmm1[14],zmm0[15],zmm1[15]
 203 ; ALL-NEXT:    retq
 204   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 2, i32 18, i32 3, i32 19, i32 6, i32 22, i32 7, i32 23, i32 10, i32 26, i32 11, i32 27, i32 14, i32 30, i32 15, i32 31>
 205   ret <16 x i32> %shuffle
 206 }
 207
 208 define <16 x i32> @shuffle_v16i32_02_zz_03_zz_06_zz_07_zz_0a_zz_0b_zz_0e_zz_0f_zz(<16 x i32> %a, <16 x i32> %b) {
 209 ; ALL-LABEL: shuffle_v16i32_02_zz_03_zz_06_zz_07_zz_0a_zz_0b_zz_0e_zz_0f_zz:
 210 ; ALL:       # %bb.0:
 211 ; ALL-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 212 ; ALL-NEXT:    vunpckhps {{.*#+}} zmm0 = zmm0[2],zmm1[2],zmm0[3],zmm1[3],zmm0[6],zmm1[6],zmm0[7],zmm1[7],zmm0[10],zmm1[10],zmm0[11],zmm1[11],zmm0[14],zmm1[14],zmm0[15],zmm1[15]
 213 ; ALL-NEXT:    retq
 214   %shuffle = shufflevector <16 x i32> %a, <16 x i32> zeroinitializer, <16 x i32><i32 2, i32 30, i32 3, i32 28, i32 6, i32 26, i32 7, i32 24, i32 10, i32 22, i32 11, i32 20, i32 14, i32 18, i32 15, i32 16>
 215   ret <16 x i32> %shuffle
 216 }
 217
 218 define <16 x i32> @shuffle_v16i32_01_02_03_16_05_06_07_20_09_10_11_24_13_14_15_28(<16 x i32> %a, <16 x i32> %b) {
 219 ; AVX512F-LABEL: shuffle_v16i32_01_02_03_16_05_06_07_20_09_10_11_24_13_14_15_28:
 220 ; AVX512F:       # %bb.0:
 221 ; AVX512F-NEXT:    vmovdqa64 {{.*#+}} zmm2 = [1,2,3,16,5,6,7,20,9,10,11,24,13,14,15,28]
 222 ; AVX512F-NEXT:    vpermt2d %zmm1, %zmm2, %zmm0
 223 ; AVX512F-NEXT:    retq
 224 ;
 225 ; AVX512BW-LABEL: shuffle_v16i32_01_02_03_16_05_06_07_20_09_10_11_24_13_14_15_28:
 226 ; AVX512BW:       # %bb.0:
 227 ; AVX512BW-NEXT:    vpalignr {{.*#+}} zmm0 = zmm0[4,5,6,7,8,9,10,11,12,13,14,15],zmm1[0,1,2,3],zmm0[20,21,22,23,24,25,26,27,28,29,30,31],zmm1[16,17,18,19],zmm0[36,37,38,39,40,41,42,43,44,45,46,47],zmm1[32,33,34,35],zmm0[52,53,54,55,56,57,58,59,60,61,62,63],zmm1[48,49,50,51]
 228 ; AVX512BW-NEXT:    retq
 229   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 1, i32 2, i32 3, i32 16, i32 5, i32 6, i32 7, i32 20, i32 9, i32 10, i32 11, i32 24, i32 13, i32 14, i32 15, i32 28>
 230   ret <16 x i32> %shuffle
 231 }
 232
 233 define <16 x float> @shuffle_v16f32_02_05_u_u_07_u_0a_01_00_05_u_04_07_u_0a_01(<16 x float> %a)  {
 234 ; ALL-LABEL: shuffle_v16f32_02_05_u_u_07_u_0a_01_00_05_u_04_07_u_0a_01:
 235 ; ALL:       # %bb.0:
 236 ; ALL-NEXT:    vmovaps {{.*#+}} zmm1 = <2,5,u,u,7,u,10,1,0,5,u,4,7,u,10,1>
 237 ; ALL-NEXT:    vpermps %zmm0, %zmm1, %zmm0
 238 ; ALL-NEXT:    retq
 239   %c = shufflevector <16 x float> %a, <16 x float> undef, <16 x i32> <i32 2, i32 5, i32 undef, i32 undef, i32 7, i32 undef, i32 10, i32 1,  i32 0, i32 5, i32 undef, i32 4, i32 7, i32 undef, i32 10, i32 1>
 240   ret <16 x float> %c
 241 }
 242
 243 define <16 x i32> @shuffle_v16i32_02_05_u_u_07_u_0a_01_00_05_u_04_07_u_0a_01(<16 x i32> %a)  {
 244 ; ALL-LABEL: shuffle_v16i32_02_05_u_u_07_u_0a_01_00_05_u_04_07_u_0a_01:
 245 ; ALL:       # %bb.0:
 246 ; ALL-NEXT:    vmovaps {{.*#+}} zmm1 = <2,5,u,u,7,u,10,1,0,5,u,4,7,u,10,1>
 247 ; ALL-NEXT:    vpermps %zmm0, %zmm1, %zmm0
 248 ; ALL-NEXT:    retq
 249   %c = shufflevector <16 x i32> %a, <16 x i32> undef, <16 x i32> <i32 2, i32 5, i32 undef, i32 undef, i32 7, i32 undef, i32 10, i32 1,  i32 0, i32 5, i32 undef, i32 4, i32 7, i32 undef, i32 10, i32 1>
 250   ret <16 x i32> %c
 251 }
 252
 253 define <16 x i32> @shuffle_v16i32_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18(<16 x i32> %a, <16 x i32> %b)  {
 254 ; ALL-LABEL: shuffle_v16i32_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18:
 255 ; ALL:       # %bb.0:
 256 ; ALL-NEXT:    vmovdqa64 {{.*#+}} zmm2 = [15,31,14,22,13,29,4,28,11,27,10,26,9,25,8,24]
 257 ; ALL-NEXT:    vpermt2d %zmm1, %zmm2, %zmm0
 258 ; ALL-NEXT:    retq
 259   %c = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 15, i32 31, i32 14, i32 22, i32 13, i32 29, i32 4, i32 28, i32 11, i32 27, i32 10, i32 26, i32 9, i32 25, i32 8, i32 24>
 260   ret <16 x i32> %c
 261 }
 262
 263 define <16 x float> @shuffle_v16f32_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18(<16 x float> %a, <16 x float> %b)  {
 264 ; ALL-LABEL: shuffle_v16f32_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18:
 265 ; ALL:       # %bb.0:
 266 ; ALL-NEXT:    vmovaps {{.*#+}} zmm2 = [15,31,14,22,13,29,4,28,11,27,10,26,9,25,8,24]
 267 ; ALL-NEXT:    vpermt2ps %zmm1, %zmm2, %zmm0
 268 ; ALL-NEXT:    retq
 269   %c = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 15, i32 31, i32 14, i32 22, i32 13, i32 29, i32 4, i32 28, i32 11, i32 27, i32 10, i32 26, i32 9, i32 25, i32 8, i32 24>
 270   ret <16 x float> %c
 271 }
 272
 273 ; PR46249
 274 define <16 x i32> @shuffle_v16i32_0b_0a_09_08_0f_0e_0d_0c_03_02_01_00_07_06_05_04(<16 x i32> %a) {
 275 ; ALL-LABEL: shuffle_v16i32_0b_0a_09_08_0f_0e_0d_0c_03_02_01_00_07_06_05_04:
 276 ; ALL:       # %bb.0:
 277 ; ALL-NEXT:    vpshufd {{.*#+}} zmm0 = zmm0[3,2,1,0,7,6,5,4,11,10,9,8,15,14,13,12]
 278 ; ALL-NEXT:    vshufi64x2 {{.*#+}} zmm0 = zmm0[4,5,6,7,0,1,2,3]
 279 ; ALL-NEXT:    retq
 280   %1 = shufflevector <16 x i32> %a, <16 x i32> undef, <16 x i32> <i32 11, i32 10, i32 9, i32 8, i32 15, i32 14, i32 13, i32 12, i32 3, i32 2, i32 1, i32 0, i32 7, i32 6, i32 5, i32 4>
 281   ret <16 x i32> %1
 282 }
 283
 284 define <16 x float> @shuffle_v16f32_0b_0a_09_08_0f_0e_0d_0c_03_02_01_00_07_06_05_04(<16 x float> %a) {
 285 ; ALL-LABEL: shuffle_v16f32_0b_0a_09_08_0f_0e_0d_0c_03_02_01_00_07_06_05_04:
 286 ; ALL:       # %bb.0:
 287 ; ALL-NEXT:    vshufps {{.*#+}} zmm0 = zmm0[3,2,1,0,7,6,5,4,11,10,9,8,15,14,13,12]
 288 ; ALL-NEXT:    vshuff64x2 {{.*#+}} zmm0 = zmm0[4,5,6,7,0,1,2,3]
 289 ; ALL-NEXT:    retq
 290   %1 = shufflevector <16 x float> %a, <16 x float> undef, <16 x i32> <i32 11, i32 10, i32 9, i32 8, i32 15, i32 14, i32 13, i32 12, i32 3, i32 2, i32 1, i32 0, i32 7, i32 6, i32 5, i32 4>
 291   ret <16 x float> %1
 292 }
 293
 294 define <16 x float> @shuffle_v16f32_load_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18(<16 x float> %a, ptr %b)  {
 295 ; ALL-LABEL: shuffle_v16f32_load_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18:
 296 ; ALL:       # %bb.0:
 297 ; ALL-NEXT:    vmovaps {{.*#+}} zmm1 = [15,31,14,22,13,29,4,28,11,27,10,26,9,25,8,24]
 298 ; ALL-NEXT:    vpermt2ps (%rdi), %zmm1, %zmm0
 299 ; ALL-NEXT:    retq
 300   %c = load <16 x float>, ptr %b
 301   %d = shufflevector <16 x float> %a, <16 x float> %c, <16 x i32> <i32 15, i32 31, i32 14, i32 22, i32 13, i32 29, i32 4, i32 28, i32 11, i32 27, i32 10, i32 26, i32 9, i32 25, i32 8, i32 24>
 302   ret <16 x float> %d
 303 }
 304
 305 define <16 x float> @shuffle_v16f32_load_08_11_10_00_12_15_14_04(<16 x float> %a0, ptr %a1) {
 306 ; ALL-LABEL: shuffle_v16f32_load_08_11_10_00_12_15_14_04:
 307 ; ALL:       # %bb.0:
 308 ; ALL-NEXT:    vshufps {{.*#+}} zmm1 = zmm0[2,0],mem[0,0],zmm0[6,4],mem[4,4],zmm0[10,8],mem[8,8],zmm0[14,12],mem[12,12]
 309 ; ALL-NEXT:    vshufps {{.*#+}} zmm0 = zmm0[0,3],zmm1[0,2],zmm0[4,7],zmm1[4,6],zmm0[8,11],zmm1[8,10],zmm0[12,15],zmm1[12,14]
 310 ; ALL-NEXT:    retq
 311   %1 = load <16 x float>, ptr %a1
 312   %2 = shufflevector <16 x float> %1, <16 x float> %a0, <16 x i32> <i32 16, i32 19, i32 18, i32 0, i32 20, i32 23, i32 22, i32 4, i32 24, i32 27, i32 26, i32 8, i32 28, i32 31, i32 30, i32 12>
 313   ret <16 x float> %2
 314 }
 315
 316 define <16 x i32> @shuffle_v16i32_load_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18(<16 x i32> %a, ptr %b)  {
 317 ; ALL-LABEL: shuffle_v16i32_load_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18:
 318 ; ALL:       # %bb.0:
 319 ; ALL-NEXT:    vmovdqa64 {{.*#+}} zmm1 = [15,31,14,22,13,29,4,28,11,27,10,26,9,25,8,24]
 320 ; ALL-NEXT:    vpermt2d (%rdi), %zmm1, %zmm0
 321 ; ALL-NEXT:    retq
 322   %c = load <16 x i32>, ptr %b
 323   %d = shufflevector <16 x i32> %a, <16 x i32> %c, <16 x i32> <i32 15, i32 31, i32 14, i32 22, i32 13, i32 29, i32 4, i32 28, i32 11, i32 27, i32 10, i32 26, i32 9, i32 25, i32 8, i32 24>
 324   ret <16 x i32> %d
 325 }
 326
 327 define <16 x i32> @shuffle_v16i32_0_1_2_19_u_u_u_u_u_u_u_u_u_u_u_u(<16 x i32> %a, <16 x i32> %b)  {
 328 ; ALL-LABEL: shuffle_v16i32_0_1_2_19_u_u_u_u_u_u_u_u_u_u_u_u:
 329 ; ALL:       # %bb.0:
 330 ; ALL-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0,1,2],xmm1[3]
 331 ; ALL-NEXT:    retq
 332   %c = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 0, i32 1, i32 2, i32 19, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef>
 333   ret <16 x i32> %c
 334 }
 335
 336 ;FIXME: can do better with vpcompress
 337 define <8 x i32> @test_v16i32_1_3_5_7_9_11_13_15(<16 x i32> %v) {
 338 ; ALL-LABEL: test_v16i32_1_3_5_7_9_11_13_15:
 339 ; ALL:       # %bb.0:
 340 ; ALL-NEXT:    vextractf64x4 $1, %zmm0, %ymm1
 341 ; ALL-NEXT:    vshufps {{.*#+}} ymm0 = ymm0[1,3],ymm1[1,3],ymm0[5,7],ymm1[5,7]
 342 ; ALL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,2,1,3]
 343 ; ALL-NEXT:    retq
 344   %res = shufflevector <16 x i32> %v, <16 x i32> undef, <8 x i32> <i32 1, i32 3, i32 5, i32 7, i32 9, i32 11, i32 13, i32 15>
 345   ret <8 x i32> %res
 346 }
 347
 348 ;FIXME: can do better with vpcompress
 349 define <4 x i32> @test_v16i32_0_1_2_12 (<16 x i32> %v) {
 350 ; ALL-LABEL: test_v16i32_0_1_2_12:
 351 ; ALL:       # %bb.0:
 352 ; ALL-NEXT:    vextractf64x4 $1, %zmm0, %ymm1
 353 ; ALL-NEXT:    vextractf128 $1, %ymm1, %xmm1
 354 ; ALL-NEXT:    vbroadcastss %xmm1, %xmm1
 355 ; ALL-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0,1,2],xmm1[3]
 356 ; ALL-NEXT:    vzeroupper
 357 ; ALL-NEXT:    retq
 358   %res = shufflevector <16 x i32> %v, <16 x i32> undef, <4 x i32> <i32 0, i32 1, i32 2, i32 12>
 359   ret <4 x i32> %res
 360 }
 361
 362 ;PR31451
 363 ;FIXME: can do better with vpcompress
 364 define <4 x i32> @test_v16i32_0_4_8_12(<16 x i32> %v) {
 365 ; ALL-LABEL: test_v16i32_0_4_8_12:
 366 ; ALL:       # %bb.0:
 367 ; ALL-NEXT:    vmovaps {{.*#+}} xmm1 = [0,4,8,12]
 368 ; ALL-NEXT:    vpermps %zmm0, %zmm1, %zmm0
 369 ; ALL-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 370 ; ALL-NEXT:    vzeroupper
 371 ; ALL-NEXT:    retq
 372   %res = shufflevector <16 x i32> %v, <16 x i32> undef, <4 x i32> <i32 0, i32 4, i32 8, i32 12>
 373   ret <4 x i32> %res
 374 }
 375
 376 define <8 x float> @shuffle_v16f32_extract_256(ptr %RET, ptr %a) {
 377 ; ALL-LABEL: shuffle_v16f32_extract_256:
 378 ; ALL:       # %bb.0:
 379 ; ALL-NEXT:    vmovups 32(%rsi), %ymm0
 380 ; ALL-NEXT:    retq
 381   %v_a = load <16 x float>, ptr %a, align 4
 382   %v2 = shufflevector <16 x float> %v_a, <16 x float> undef, <8 x i32>  <i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 383   ret <8 x float> %v2
 384 }
 385
 386 ;FIXME: can do better with vcompressp
 387 define <8 x float> @test_v16f32_0_1_2_3_4_6_7_10 (<16 x float> %v) {
 388 ; ALL-LABEL: test_v16f32_0_1_2_3_4_6_7_10:
 389 ; ALL:       # %bb.0:
 390 ; ALL-NEXT:    vmovaps {{.*#+}} ymm1 = [0,1,2,3,4,6,7,10]
 391 ; ALL-NEXT:    vpermps %zmm0, %zmm1, %zmm0
 392 ; ALL-NEXT:    # kill: def $ymm0 killed $ymm0 killed $zmm0
 393 ; ALL-NEXT:    retq
 394   %res = shufflevector <16 x float> %v, <16 x float> undef, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 6, i32 7, i32 10>
 395   ret <8 x float> %res
 396 }
 397
 398 ;FIXME: can do better with vcompressp
 399 define <4 x float> @test_v16f32_0_1_3_6 (<16 x float> %v) {
 400 ; ALL-LABEL: test_v16f32_0_1_3_6:
 401 ; ALL:       # %bb.0:
 402 ; ALL-NEXT:    vmovaps {{.*#+}} xmm1 = [0,1,3,6]
 403 ; ALL-NEXT:    vpermps %zmm0, %zmm1, %zmm0
 404 ; ALL-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 405 ; ALL-NEXT:    vzeroupper
 406 ; ALL-NEXT:    retq
 407   %res = shufflevector <16 x float> %v, <16 x float> undef, <4 x i32> <i32 0, i32 1, i32 3, i32 6>
 408   ret <4 x float> %res
 409 }
 410
 411 define <16 x i32> @shuffle_v16i16_1_0_0_0_5_4_4_4_9_8_8_8_13_12_12_12(<16 x i32> %a, <16 x i32> %b)  {
 412 ; ALL-LABEL: shuffle_v16i16_1_0_0_0_5_4_4_4_9_8_8_8_13_12_12_12:
 413 ; ALL:       # %bb.0:
 414 ; ALL-NEXT:    vshufps {{.*#+}} zmm0 = zmm0[1,0,0,0,5,4,4,4,9,8,8,8,13,12,12,12]
 415 ; ALL-NEXT:    retq
 416   %c = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 1, i32 0, i32 0, i32 0, i32 5, i32 4, i32 4, i32 4, i32 9, i32 8, i32 8, i32 8, i32 13, i32 12, i32 12, i32 12>
 417   ret <16 x i32> %c
 418 }
 419
 420 define <16 x i32> @shuffle_v16i16_3_3_0_0_7_7_4_4_11_11_8_8_15_15_12_12(<16 x i32> %a, <16 x i32> %b)  {
 421 ; ALL-LABEL: shuffle_v16i16_3_3_0_0_7_7_4_4_11_11_8_8_15_15_12_12:
 422 ; ALL:       # %bb.0:
 423 ; ALL-NEXT:    vshufps {{.*#+}} zmm0 = zmm0[2,3,0,1,6,7,4,5,10,11,8,9,14,15,12,13]
 424 ; ALL-NEXT:    retq
 425   %c = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 2, i32 3, i32 0, i32 1, i32 6, i32 7, i32 4, i32 5, i32 10, i32 11, i32 8, i32 9, i32 14, i32 15, i32 12, i32 13>
 426   ret <16 x i32> %c
 427 }
 428
 429 define <16 x float> @shuffle_v16f32_00_01_10_10_04_05_14_14_08_09_18_18_0c_0d_1c_1c(<16 x float> %a, <16 x float> %b) {
 430 ; ALL-LABEL: shuffle_v16f32_00_01_10_10_04_05_14_14_08_09_18_18_0c_0d_1c_1c:
 431 ; ALL:       # %bb.0:
 432 ; ALL-NEXT:    vshufps {{.*#+}} zmm0 = zmm0[0,1],zmm1[0,0],zmm0[4,5],zmm1[4,4],zmm0[8,9],zmm1[8,8],zmm0[12,13],zmm1[12,12]
 433 ; ALL-NEXT:    retq
 434   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 0, i32 1, i32 16, i32 16, i32 4, i32 5, i32 20, i32 20, i32 8, i32 9, i32 24, i32 24, i32 12, i32 13, i32 28, i32 28>
 435   ret <16 x float> %shuffle
 436 }
 437
 438 define <16 x i32> @insert_mem_and_zero_v16i32(ptr %ptr) {
 439 ; ALL-LABEL: insert_mem_and_zero_v16i32:
 440 ; ALL:       # %bb.0:
 441 ; ALL-NEXT:    vmovss {{.*#+}} xmm0 = mem[0],zero,zero,zero
 442 ; ALL-NEXT:    retq
 443   %a = load i32, ptr %ptr
 444   %v = insertelement <16 x i32> undef, i32 %a, i32 0
 445   %shuffle = shufflevector <16 x i32> %v, <16 x i32> zeroinitializer, <16 x i32> <i32 0, i32 17, i32 18, i32 19, i32 20, i32 21, i32 22, i32 23, i32 24, i32 25, i32 26, i32 27, i32 28, i32 29, i32 30, i32 31>
 446   ret <16 x i32> %shuffle
 447 }
 448
 449
 450 define <16 x i32> @shuffle_v16i32_0zzzzzzzzzzzzzzz(<16 x i32> %a) {
 451 ; ALL-LABEL: shuffle_v16i32_0zzzzzzzzzzzzzzz:
 452 ; ALL:       # %bb.0:
 453 ; ALL-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 454 ; ALL-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
 455 ; ALL-NEXT:    retq
 456   %shuffle = shufflevector <16 x i32> %a, <16 x i32> zeroinitializer, <16 x i32> <i32 0, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16>
 457   ret <16 x i32> %shuffle
 458 }
 459
 460 define <16 x float> @shuffle_v16f32_0zzzzzzzzzzzzzzz(<16 x float> %a) {
 461 ; ALL-LABEL: shuffle_v16f32_0zzzzzzzzzzzzzzz:
 462 ; ALL:       # %bb.0:
 463 ; ALL-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 464 ; ALL-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
 465 ; ALL-NEXT:    retq
 466   %shuffle = shufflevector <16 x float> %a, <16 x float> zeroinitializer, <16 x i32> <i32 0, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16>
 467   ret <16 x float> %shuffle
 468 }
 469
 470 define <16 x i32> @shuffle_v16i32_16_zz_17_zz_18_zz_19_zz_20_zz_21_zz_22_zz_23_zz(<16 x i32> %a) {
 471 ; ALL-LABEL: shuffle_v16i32_16_zz_17_zz_18_zz_19_zz_20_zz_21_zz_22_zz_23_zz:
 472 ; ALL:       # %bb.0:
 473 ; ALL-NEXT:    vpmovzxdq {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero
 474 ; ALL-NEXT:    retq
 475   %shuffle = shufflevector <16 x i32> zeroinitializer, <16 x i32> %a, <16 x i32> <i32 16, i32 0, i32 17, i32 0, i32 18, i32 0, i32 19, i32 0, i32 20, i32 0, i32 21, i32 0, i32 22, i32 0, i32 23, i32 0>
 476   ret <16 x i32> %shuffle
 477 }
 478
 479 define <16 x i32> @shuffle_v16i32_01_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16(<16 x i32> %a, <16 x i32> %b) {
 480 ; ALL-LABEL: shuffle_v16i32_01_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16:
 481 ; ALL:       # %bb.0:
 482 ; ALL-NEXT:    valignd {{.*#+}} zmm0 = zmm0[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15],zmm1[0]
 483 ; ALL-NEXT:    retq
 484   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15, i32 16>
 485   ret <16 x i32> %shuffle
 486 }
 487
 488 define <16 x i32> @shuffle_v16i32_01_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00(<16 x i32> %a) {
 489 ; ALL-LABEL: shuffle_v16i32_01_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00:
 490 ; ALL:       # %bb.0:
 491 ; ALL-NEXT:    valignd {{.*#+}} zmm0 = zmm0[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,0]
 492 ; ALL-NEXT:    retq
 493   %shuffle = shufflevector <16 x i32> %a, <16 x i32> undef, <16 x i32><i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15, i32 0>
 494   ret <16 x i32> %shuffle
 495 }
 496
 497 define <16 x i32> @shuffle_v16i32_00_03_16_19_04_07_20_23_08_11_24_27_12_15_28_31(<16 x i32> %a, <16 x i32> %b) {
 498 ; ALL-LABEL: shuffle_v16i32_00_03_16_19_04_07_20_23_08_11_24_27_12_15_28_31:
 499 ; ALL:       # %bb.0:
 500 ; ALL-NEXT:    vshufps {{.*#+}} zmm0 = zmm0[0,3],zmm1[0,3],zmm0[4,7],zmm1[4,7],zmm0[8,11],zmm1[8,11],zmm0[12,15],zmm1[12,15]
 501 ; ALL-NEXT:    retq
 502   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 0, i32 3, i32 16, i32 19, i32 4, i32 7, i32 20, i32 23, i32 8, i32 11, i32 24, i32 27, i32 12, i32 15, i32 28, i32 31>
 503   ret <16 x i32> %shuffle
 504 }
 505
 506 define <16 x i32> @shuffle_v16i32_16_16_02_03_20_20_06_07_24_24_10_11_28_28_uu_uu(<16 x i32> %a, <16 x i32> %b) {
 507 ; ALL-LABEL: shuffle_v16i32_16_16_02_03_20_20_06_07_24_24_10_11_28_28_uu_uu:
 508 ; ALL:       # %bb.0:
 509 ; ALL-NEXT:    vshufps {{.*#+}} zmm0 = zmm1[0,0],zmm0[2,3],zmm1[4,4],zmm0[6,7],zmm1[8,8],zmm0[10,11],zmm1[12,12],zmm0[14,15]
 510 ; ALL-NEXT:    retq
 511   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 16, i32 16, i32 02, i32 03, i32 20, i32 20, i32 06, i32 07, i32 24, i32 24, i32 10, i32 11, i32 28, i32 28, i32 undef, i32 undef>
 512   ret <16 x i32> %shuffle
 513 }
 514
 515 ; PR48322
 516 define <16 x i32> @shuffle_v16i32_02_03_16_17_06_07_20_21_10_11_24_25_14_15_28_29(<16 x i32> %a, <16 x i32> %b) {
 517 ; AVX512F-LABEL: shuffle_v16i32_02_03_16_17_06_07_20_21_10_11_24_25_14_15_28_29:
 518 ; AVX512F:       # %bb.0:
 519 ; AVX512F-NEXT:    vmovdqa64 {{.*#+}} zmm2 = [1,8,3,10,5,12,7,14]
 520 ; AVX512F-NEXT:    vpermt2q %zmm1, %zmm2, %zmm0
 521 ; AVX512F-NEXT:    retq
 522 ;
 523 ; AVX512BW-LABEL: shuffle_v16i32_02_03_16_17_06_07_20_21_10_11_24_25_14_15_28_29:
 524 ; AVX512BW:       # %bb.0:
 525 ; AVX512BW-NEXT:    vpalignr {{.*#+}} zmm0 = zmm0[8,9,10,11,12,13,14,15],zmm1[0,1,2,3,4,5,6,7],zmm0[24,25,26,27,28,29,30,31],zmm1[16,17,18,19,20,21,22,23],zmm0[40,41,42,43,44,45,46,47],zmm1[32,33,34,35,36,37,38,39],zmm0[56,57,58,59,60,61,62,63],zmm1[48,49,50,51,52,53,54,55]
 526 ; AVX512BW-NEXT:    retq
 527   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 2, i32 3, i32 16, i32 17, i32 6, i32 7, i32 20, i32 21, i32 10, i32 11, i32 24, i32 25, i32 14, i32 15, i32 28, i32 29>
 528   ret <16 x i32> %shuffle
 529 }
 530
 531 define <16 x i32> @shuffle_v8i32_17_16_01_00_21_20_05_04_25_24_09_08_29_28_13_12(<16 x i32> %a, <16 x i32> %b) {
 532 ; ALL-LABEL: shuffle_v8i32_17_16_01_00_21_20_05_04_25_24_09_08_29_28_13_12:
 533 ; ALL:       # %bb.0:
 534 ; ALL-NEXT:    vshufps {{.*#+}} zmm0 = zmm1[1,0],zmm0[1,0],zmm1[5,4],zmm0[5,4],zmm1[9,8],zmm0[9,8],zmm1[13,12],zmm0[13,12]
 535 ; ALL-NEXT:    retq
 536   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 17, i32 16, i32 01, i32 00, i32 21, i32 20, i32 05, i32 04, i32 25, i32 24, i32 09, i32 08, i32 29, i32 28, i32 13, i32 12>
 537   ret <16 x i32> %shuffle
 538 }
 539
 540 define <16 x float> @shuffle_v8f32_v16f32_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04(<8 x float> %a) {
 541 ; ALL-LABEL: shuffle_v8f32_v16f32_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04:
 542 ; ALL:       # %bb.0:
 543 ; ALL-NEXT:    vextractf128 $1, %ymm0, %xmm0
 544 ; ALL-NEXT:    vbroadcastss %xmm0, %zmm0
 545 ; ALL-NEXT:    retq
 546   %shuffle = shufflevector <8 x float> %a, <8 x float> undef, <16 x i32> <i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
 547   ret <16 x float> %shuffle
 548 }
 549
 550 define <16 x float> @insert_sub0_0(<16 x float> %base, <4 x float> %sub1, <4 x float> %sub2, <4 x float> %sub3, <4 x float> %sub4) {
 551 ; ALL-LABEL: insert_sub0_0:
 552 ; ALL:       # %bb.0:
 553 ; ALL-NEXT:    vinsertf32x4 $0, %xmm1, %zmm0, %zmm0
 554 ; ALL-NEXT:    retq
 555   %sub12 = shufflevector <4 x float> %sub1, <4 x float> %sub2, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
 556   %sub34 = shufflevector <4 x float> %sub3, <4 x float> %sub4, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
 557   %sub1234 = shufflevector <8 x float> %sub12, <8 x float> %sub34, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 558   %res = shufflevector <16 x float> %base, <16 x float> %sub1234, <16 x i32> <i32 16, i32 17, i32 18, i32 19, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 559   ret <16 x float> %res
 560 }
 561
 562 define <16 x float> @insert_sub1_12(<16 x float> %base, <4 x float> %sub1, <4 x float> %sub2, <4 x float> %sub3, <4 x float> %sub4) {
 563 ; ALL-LABEL: insert_sub1_12:
 564 ; ALL:       # %bb.0:
 565 ; ALL-NEXT:    vinsertf32x4 $3, %xmm2, %zmm0, %zmm0
 566 ; ALL-NEXT:    retq
 567   %sub12 = shufflevector <4 x float> %sub1, <4 x float> %sub2, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
 568   %sub34 = shufflevector <4 x float> %sub3, <4 x float> %sub4, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
 569   %sub1234 = shufflevector <8 x float> %sub12, <8 x float> %sub34, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 570   %res = shufflevector <16 x float> %base, <16 x float> %sub1234, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 20, i32 21, i32 22, i32 23>
 571   ret <16 x float> %res
 572 }
 573
 574 define <16 x float> @insert_sub2_4(<16 x float> %base, <4 x float> %sub1, <4 x float> %sub2, <4 x float> %sub3, <4 x float> %sub4) {
 575 ; ALL-LABEL: insert_sub2_4:
 576 ; ALL:       # %bb.0:
 577 ; ALL-NEXT:    vinsertf32x4 $1, %xmm3, %zmm0, %zmm0
 578 ; ALL-NEXT:    retq
 579   %sub12 = shufflevector <4 x float> %sub1, <4 x float> %sub2, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
 580   %sub34 = shufflevector <4 x float> %sub3, <4 x float> %sub4, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
 581   %sub1234 = shufflevector <8 x float> %sub12, <8 x float> %sub34, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 582   %res = shufflevector <16 x float> %base, <16 x float> %sub1234, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 24, i32 25, i32 26, i32 27, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 583   ret <16 x float> %res
 584 }
 585
 586 define <16 x float> @insert_sub01_8(<16 x float> %base, <4 x float> %sub1, <4 x float> %sub2, <4 x float> %sub3, <4 x float> %sub4) {
 587 ; ALL-LABEL: insert_sub01_8:
 588 ; ALL:       # %bb.0:
 589 ; ALL-NEXT:    # kill: def $xmm1 killed $xmm1 def $ymm1
 590 ; ALL-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
 591 ; ALL-NEXT:    vinsertf64x4 $1, %ymm1, %zmm0, %zmm0
 592 ; ALL-NEXT:    retq
 593   %sub12 = shufflevector <4 x float> %sub1, <4 x float> %sub2, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
 594   %sub34 = shufflevector <4 x float> %sub3, <4 x float> %sub4, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
 595   %sub1234 = shufflevector <8 x float> %sub12, <8 x float> %sub34, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 596   %res = shufflevector <16 x float> %base, <16 x float> %sub1234, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 16, i32 17, i32 18, i32 19, i32 20, i32 21, i32 22, i32 23>
 597   ret <16 x float> %res
 598 }
 599
 600 define <16 x float> @insert_sub23_0(<16 x float> %base, <4 x float> %sub1, <4 x float> %sub2, <4 x float> %sub3, <4 x float> %sub4) {
 601 ; ALL-LABEL: insert_sub23_0:
 602 ; ALL:       # %bb.0:
 603 ; ALL-NEXT:    # kill: def $xmm3 killed $xmm3 def $ymm3
 604 ; ALL-NEXT:    vinsertf128 $1, %xmm4, %ymm3, %ymm1
 605 ; ALL-NEXT:    vinsertf64x4 $0, %ymm1, %zmm0, %zmm0
 606 ; ALL-NEXT:    retq
 607   %sub12 = shufflevector <4 x float> %sub1, <4 x float> %sub2, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
 608   %sub34 = shufflevector <4 x float> %sub3, <4 x float> %sub4, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
 609   %sub1234 = shufflevector <8 x float> %sub12, <8 x float> %sub34, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 610   %res = shufflevector <16 x float> %base, <16 x float> %sub1234, <16 x i32> <i32 24, i32 25, i32 26, i32 27, i32 28, i32 29, i32 30, i32 31, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 611   ret <16 x float> %res
 612 }
 613
 614 define <16 x i32> @mask_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00_01(<16 x i32> %a, <16 x i32> %passthru, i16 %mask) {
 615 ; AVX512F-LABEL: mask_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00_01:
 616 ; AVX512F:       # %bb.0:
 617 ; AVX512F-NEXT:    kmovw %edi, %k1
 618 ; AVX512F-NEXT:    valignd {{.*#+}} zmm1 {%k1} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15,0,1]
 619 ; AVX512F-NEXT:    vmovdqa64 %zmm1, %zmm0
 620 ; AVX512F-NEXT:    retq
 621 ;
 622 ; AVX512BW-LABEL: mask_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00_01:
 623 ; AVX512BW:       # %bb.0:
 624 ; AVX512BW-NEXT:    kmovd %edi, %k1
 625 ; AVX512BW-NEXT:    valignd {{.*#+}} zmm1 {%k1} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15,0,1]
 626 ; AVX512BW-NEXT:    vmovdqa64 %zmm1, %zmm0
 627 ; AVX512BW-NEXT:    retq
 628   %shuffle = shufflevector <16 x i32> %a, <16 x i32> undef, <16 x i32><i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15, i32 0, i32 1>
 629   %mask.cast = bitcast i16 %mask to <16 x i1>
 630   %res = select <16 x i1> %mask.cast, <16 x i32> %shuffle, <16 x i32> %passthru
 631   ret <16 x i32> %res
 632 }
 633
 634 define <16 x i32> @mask_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16_17(<16 x i32> %a, <16 x i32> %b, <16 x i32> %passthru, i16 %mask) {
 635 ; AVX512F-LABEL: mask_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16_17:
 636 ; AVX512F:       # %bb.0:
 637 ; AVX512F-NEXT:    kmovw %edi, %k1
 638 ; AVX512F-NEXT:    valignd {{.*#+}} zmm2 {%k1} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15],zmm1[0,1]
 639 ; AVX512F-NEXT:    vmovdqa64 %zmm2, %zmm0
 640 ; AVX512F-NEXT:    retq
 641 ;
 642 ; AVX512BW-LABEL: mask_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16_17:
 643 ; AVX512BW:       # %bb.0:
 644 ; AVX512BW-NEXT:    kmovd %edi, %k1
 645 ; AVX512BW-NEXT:    valignd {{.*#+}} zmm2 {%k1} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15],zmm1[0,1]
 646 ; AVX512BW-NEXT:    vmovdqa64 %zmm2, %zmm0
 647 ; AVX512BW-NEXT:    retq
 648   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15, i32 16, i32 17>
 649   %mask.cast = bitcast i16 %mask to <16 x i1>
 650   %res = select <16 x i1> %mask.cast, <16 x i32> %shuffle, <16 x i32> %passthru
 651   ret <16 x i32> %res
 652 }
 653
 654 define <16 x i32> @maskz_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00_01(<16 x i32> %a, i16 %mask) {
 655 ; AVX512F-LABEL: maskz_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00_01:
 656 ; AVX512F:       # %bb.0:
 657 ; AVX512F-NEXT:    kmovw %edi, %k1
 658 ; AVX512F-NEXT:    valignd {{.*#+}} zmm0 {%k1} {z} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15,0,1]
 659 ; AVX512F-NEXT:    retq
 660 ;
 661 ; AVX512BW-LABEL: maskz_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00_01:
 662 ; AVX512BW:       # %bb.0:
 663 ; AVX512BW-NEXT:    kmovd %edi, %k1
 664 ; AVX512BW-NEXT:    valignd {{.*#+}} zmm0 {%k1} {z} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15,0,1]
 665 ; AVX512BW-NEXT:    retq
 666   %shuffle = shufflevector <16 x i32> %a, <16 x i32> undef, <16 x i32><i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15, i32 0, i32 1>
 667   %mask.cast = bitcast i16 %mask to <16 x i1>
 668   %res = select <16 x i1> %mask.cast, <16 x i32> %shuffle, <16 x i32> zeroinitializer
 669   ret <16 x i32> %res
 670 }
 671
 672 define <16 x i32> @maskz_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16_17(<16 x i32> %a, <16 x i32> %b, i16 %mask) {
 673 ; AVX512F-LABEL: maskz_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16_17:
 674 ; AVX512F:       # %bb.0:
 675 ; AVX512F-NEXT:    kmovw %edi, %k1
 676 ; AVX512F-NEXT:    valignd {{.*#+}} zmm0 {%k1} {z} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15],zmm1[0,1]
 677 ; AVX512F-NEXT:    retq
 678 ;
 679 ; AVX512BW-LABEL: maskz_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16_17:
 680 ; AVX512BW:       # %bb.0:
 681 ; AVX512BW-NEXT:    kmovd %edi, %k1
 682 ; AVX512BW-NEXT:    valignd {{.*#+}} zmm0 {%k1} {z} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15],zmm1[0,1]
 683 ; AVX512BW-NEXT:    retq
 684   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15, i32 16, i32 17>
 685   %mask.cast = bitcast i16 %mask to <16 x i1>
 686   %res = select <16 x i1> %mask.cast, <16 x i32> %shuffle, <16 x i32> zeroinitializer
 687   ret <16 x i32> %res
 688 }
 689
 690 define <16 x float> @test_vshuff32x4_512(<16 x float> %x, <16 x float> %x1) nounwind {
 691 ; ALL-LABEL: test_vshuff32x4_512:
 692 ; ALL:       # %bb.0:
 693 ; ALL-NEXT:    vshuff64x2 {{.*#+}} zmm0 = zmm0[0,1,2,3],zmm1[2,3,0,1]
 694 ; ALL-NEXT:    retq
 695   %res = shufflevector <16 x float> %x, <16 x float> %x1, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 20, i32 21, i32 22, i32 23, i32 16, i32 17, i32 18, i32 19>
 696   ret <16 x float> %res
 697 }
 698
 699 define <16 x i32> @test_vshufi32x4_512(<16 x i32> %x, <16 x i32> %x1) nounwind {
 700 ; ALL-LABEL: test_vshufi32x4_512:
 701 ; ALL:       # %bb.0:
 702 ; ALL-NEXT:    vshufi64x2 {{.*#+}} zmm0 = zmm0[0,1,2,3],zmm1[2,3,0,1]
 703 ; ALL-NEXT:    retq
 704   %res = shufflevector <16 x i32> %x, <16 x i32> %x1, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 20, i32 21, i32 22, i32 23, i32 16, i32 17, i32 18, i32 19>
 705   ret <16 x i32> %res
 706 }
 707
 708 define <16 x float> @test_vshuff32x4_512_mask(<16 x float> %x, <16 x float> %x1, <16 x float> %y, <16 x i1> %mask) nounwind {
 709 ; AVX512F-LABEL: test_vshuff32x4_512_mask:
 710 ; AVX512F:       # %bb.0:
 711 ; AVX512F-NEXT:    vpmovsxbd %xmm3, %zmm3
 712 ; AVX512F-NEXT:    vpslld $31, %zmm3, %zmm3
 713 ; AVX512F-NEXT:    vpmovd2m %zmm3, %k1
 714 ; AVX512F-NEXT:    vshuff32x4 {{.*#+}} zmm2 {%k1} = zmm0[0,1,2,3,4,5,6,7],zmm1[4,5,6,7,0,1,2,3]
 715 ; AVX512F-NEXT:    vmovaps %zmm2, %zmm0
 716 ; AVX512F-NEXT:    retq
 717 ;
 718 ; AVX512BW-LABEL: test_vshuff32x4_512_mask:
 719 ; AVX512BW:       # %bb.0:
 720 ; AVX512BW-NEXT:    vpsllw $7, %xmm3, %xmm3
 721 ; AVX512BW-NEXT:    vpmovb2m %zmm3, %k1
 722 ; AVX512BW-NEXT:    vshuff32x4 {{.*#+}} zmm2 {%k1} = zmm0[0,1,2,3,4,5,6,7],zmm1[4,5,6,7,0,1,2,3]
 723 ; AVX512BW-NEXT:    vmovaps %zmm2, %zmm0
 724 ; AVX512BW-NEXT:    retq
 725   %x2 = shufflevector <16 x float> %x, <16 x float> %x1, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 20, i32 21, i32 22, i32 23, i32 16, i32 17, i32 18, i32 19>
 726   %res = select <16 x i1> %mask, <16 x float> %x2, <16 x float> %y
 727   ret <16 x float> %res
 728 }
 729
 730 define <16 x i32> @test_vshufi32x4_512_mask(<16 x i32> %x, <16 x i32> %x1, <16 x i32> %y, <16 x i1> %mask) nounwind {
 731 ; AVX512F-LABEL: test_vshufi32x4_512_mask:
 732 ; AVX512F:       # %bb.0:
 733 ; AVX512F-NEXT:    vpmovsxbd %xmm3, %zmm3
 734 ; AVX512F-NEXT:    vpslld $31, %zmm3, %zmm3
 735 ; AVX512F-NEXT:    vpmovd2m %zmm3, %k1
 736 ; AVX512F-NEXT:    vshufi32x4 {{.*#+}} zmm2 {%k1} = zmm0[0,1,2,3,4,5,6,7],zmm1[4,5,6,7,0,1,2,3]
 737 ; AVX512F-NEXT:    vmovdqa64 %zmm2, %zmm0
 738 ; AVX512F-NEXT:    retq
 739 ;
 740 ; AVX512BW-LABEL: test_vshufi32x4_512_mask:
 741 ; AVX512BW:       # %bb.0:
 742 ; AVX512BW-NEXT:    vpsllw $7, %xmm3, %xmm3
 743 ; AVX512BW-NEXT:    vpmovb2m %zmm3, %k1
 744 ; AVX512BW-NEXT:    vshufi32x4 {{.*#+}} zmm2 {%k1} = zmm0[0,1,2,3,4,5,6,7],zmm1[4,5,6,7,0,1,2,3]
 745 ; AVX512BW-NEXT:    vmovdqa64 %zmm2, %zmm0
 746 ; AVX512BW-NEXT:    retq
 747   %x2 = shufflevector <16 x i32> %x, <16 x i32> %x1, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 20, i32 21, i32 22, i32 23, i32 16, i32 17, i32 18, i32 19>
 748   %res = select <16 x i1> %mask, <16 x i32> %x2, <16 x i32> %y
 749   ret <16 x i32> %res
 750 }
 751
 752 define <16 x float> @mask_shuffle_v16f32_00_01_02_03_04_05_06_07_16_17_18_19_20_21_22_23(<16 x float> %a, <16 x float> %b, <16 x float> %passthru, i16 %mask) {
 753 ; AVX512F-LABEL: mask_shuffle_v16f32_00_01_02_03_04_05_06_07_16_17_18_19_20_21_22_23:
 754 ; AVX512F:       # %bb.0:
 755 ; AVX512F-NEXT:    kmovw %edi, %k1
 756 ; AVX512F-NEXT:    vinsertf32x8 $1, %ymm1, %zmm0, %zmm2 {%k1}
 757 ; AVX512F-NEXT:    vmovaps %zmm2, %zmm0
 758 ; AVX512F-NEXT:    retq
 759 ;
 760 ; AVX512BW-LABEL: mask_shuffle_v16f32_00_01_02_03_04_05_06_07_16_17_18_19_20_21_22_23:
 761 ; AVX512BW:       # %bb.0:
 762 ; AVX512BW-NEXT:    kmovd %edi, %k1
 763 ; AVX512BW-NEXT:    vinsertf32x8 $1, %ymm1, %zmm0, %zmm2 {%k1}
 764 ; AVX512BW-NEXT:    vmovaps %zmm2, %zmm0
 765 ; AVX512BW-NEXT:    retq
 766   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 16, i32 17, i32 18, i32 19, i32 20, i32 21, i32 22, i32 23>
 767   %mask.cast = bitcast i16 %mask to <16 x i1>
 768   %res = select <16 x i1> %mask.cast, <16 x float> %shuffle, <16 x float> %passthru
 769   ret <16 x float> %res
 770 }
 771
 772 define <16 x float> @mask_shuffle_v16f32_00_01_02_03_16_17_18_19_08_09_10_11_12_13_14_15(<16 x float> %a, <16 x float> %b, <16 x float> %passthru, i16 %mask) {
 773 ; AVX512F-LABEL: mask_shuffle_v16f32_00_01_02_03_16_17_18_19_08_09_10_11_12_13_14_15:
 774 ; AVX512F:       # %bb.0:
 775 ; AVX512F-NEXT:    kmovw %edi, %k1
 776 ; AVX512F-NEXT:    vinsertf32x4 $1, %xmm1, %zmm0, %zmm2 {%k1}
 777 ; AVX512F-NEXT:    vmovaps %zmm2, %zmm0
 778 ; AVX512F-NEXT:    retq
 779 ;
 780 ; AVX512BW-LABEL: mask_shuffle_v16f32_00_01_02_03_16_17_18_19_08_09_10_11_12_13_14_15:
 781 ; AVX512BW:       # %bb.0:
 782 ; AVX512BW-NEXT:    kmovd %edi, %k1
 783 ; AVX512BW-NEXT:    vinsertf32x4 $1, %xmm1, %zmm0, %zmm2 {%k1}
 784 ; AVX512BW-NEXT:    vmovaps %zmm2, %zmm0
 785 ; AVX512BW-NEXT:    retq
 786   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 16, i32 17, i32 18, i32 19, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 787   %mask.cast = bitcast i16 %mask to <16 x i1>
 788   %res = select <16 x i1> %mask.cast, <16 x float> %shuffle, <16 x float> %passthru
 789   ret <16 x float> %res
 790 }
 791
 792 define <16 x i32> @mask_shuffle_v16i32_00_01_02_03_04_05_06_07_16_17_18_19_20_21_22_23(<16 x i32> %a, <16 x i32> %b, <16 x i32> %passthru, i16 %mask) {
 793 ; AVX512F-LABEL: mask_shuffle_v16i32_00_01_02_03_04_05_06_07_16_17_18_19_20_21_22_23:
 794 ; AVX512F:       # %bb.0:
 795 ; AVX512F-NEXT:    kmovw %edi, %k1
 796 ; AVX512F-NEXT:    vinserti32x8 $1, %ymm1, %zmm0, %zmm2 {%k1}
 797 ; AVX512F-NEXT:    vmovdqa64 %zmm2, %zmm0
 798 ; AVX512F-NEXT:    retq
 799 ;
 800 ; AVX512BW-LABEL: mask_shuffle_v16i32_00_01_02_03_04_05_06_07_16_17_18_19_20_21_22_23:
 801 ; AVX512BW:       # %bb.0:
 802 ; AVX512BW-NEXT:    kmovd %edi, %k1
 803 ; AVX512BW-NEXT:    vinserti32x8 $1, %ymm1, %zmm0, %zmm2 {%k1}
 804 ; AVX512BW-NEXT:    vmovdqa64 %zmm2, %zmm0
 805 ; AVX512BW-NEXT:    retq
 806   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 16, i32 17, i32 18, i32 19, i32 20, i32 21, i32 22, i32 23>
 807   %mask.cast = bitcast i16 %mask to <16 x i1>
 808   %res = select <16 x i1> %mask.cast, <16 x i32> %shuffle, <16 x i32> %passthru
 809   ret <16 x i32> %res
 810 }
 811
 812 define <16 x i32> @mask_shuffle_v16i32_00_01_02_03_16_17_18_19_08_09_10_11_12_13_14_15(<16 x i32> %a, <16 x i32> %b, <16 x i32> %passthru, i16 %mask) {
 813 ; AVX512F-LABEL: mask_shuffle_v16i32_00_01_02_03_16_17_18_19_08_09_10_11_12_13_14_15:
 814 ; AVX512F:       # %bb.0:
 815 ; AVX512F-NEXT:    kmovw %edi, %k1
 816 ; AVX512F-NEXT:    vinserti32x4 $1, %xmm1, %zmm0, %zmm2 {%k1}
 817 ; AVX512F-NEXT:    vmovdqa64 %zmm2, %zmm0
 818 ; AVX512F-NEXT:    retq
 819 ;
 820 ; AVX512BW-LABEL: mask_shuffle_v16i32_00_01_02_03_16_17_18_19_08_09_10_11_12_13_14_15:
 821 ; AVX512BW:       # %bb.0:
 822 ; AVX512BW-NEXT:    kmovd %edi, %k1
 823 ; AVX512BW-NEXT:    vinserti32x4 $1, %xmm1, %zmm0, %zmm2 {%k1}
 824 ; AVX512BW-NEXT:    vmovdqa64 %zmm2, %zmm0
 825 ; AVX512BW-NEXT:    retq
 826   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 16, i32 17, i32 18, i32 19, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 827   %mask.cast = bitcast i16 %mask to <16 x i1>
 828   %res = select <16 x i1> %mask.cast, <16 x i32> %shuffle, <16 x i32> %passthru
 829   ret <16 x i32> %res
 830 }
 831
 832 define <16 x i32> @mask_shuffle_v4i32_v16i32_00_01_02_03_00_01_02_03_00_01_02_03_00_01_02_03(<4 x i32> %a) {
 833 ; ALL-LABEL: mask_shuffle_v4i32_v16i32_00_01_02_03_00_01_02_03_00_01_02_03_00_01_02_03:
 834 ; ALL:       # %bb.0:
 835 ; ALL-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 836 ; ALL-NEXT:    vshufi64x2 {{.*#+}} zmm0 = zmm0[0,1,0,1,0,1,0,1]
 837 ; ALL-NEXT:    retq
 838   %res = shufflevector <4 x i32> %a, <4 x i32> undef, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
 839   ret <16 x i32> %res
 840 }
 841
 842 define <16 x float> @mask_shuffle_v4f32_v16f32_00_01_02_03_00_01_02_03_00_01_02_03_00_01_02_03(<4 x float> %a) {
 843 ; ALL-LABEL: mask_shuffle_v4f32_v16f32_00_01_02_03_00_01_02_03_00_01_02_03_00_01_02_03:
 844 ; ALL:       # %bb.0:
 845 ; ALL-NEXT:    # kill: def $xmm0 killed $xmm0 def $zmm0
 846 ; ALL-NEXT:    vshuff64x2 {{.*#+}} zmm0 = zmm0[0,1,0,1,0,1,0,1]
 847 ; ALL-NEXT:    retq
 848   %res = shufflevector <4 x float> %a, <4 x float> undef, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
 849   ret <16 x float> %res
 850 }
 851
 852 %struct.foo = type { [4 x double], [3 x [4 x double]], [4 x double] }
 853
 854 ; This test previously hung in shuffle combining. https://github.com/ispc/ispc/issues/1864
 855 define void @ispc_1864(ptr %arg) {
 856 ; ALL-LABEL: ispc_1864:
 857 ; ALL:       # %bb.0: # %bb
 858 ; ALL-NEXT:    pushq %rbp
 859 ; ALL-NEXT:    .cfi_def_cfa_offset 16
 860 ; ALL-NEXT:    .cfi_offset %rbp, -16
 861 ; ALL-NEXT:    movq %rsp, %rbp
 862 ; ALL-NEXT:    .cfi_def_cfa_register %rbp
 863 ; ALL-NEXT:    andq $-64, %rsp
 864 ; ALL-NEXT:    subq $4864, %rsp # imm = 0x1300
 865 ; ALL-NEXT:    vbroadcastss {{.*#+}} ymm0 = [-5.0E+0,-5.0E+0,-5.0E+0,-5.0E+0,-5.0E+0,-5.0E+0,-5.0E+0,-5.0E+0]
 866 ; ALL-NEXT:    vmulps 32(%rdi), %ymm0, %ymm0
 867 ; ALL-NEXT:    vcvtps2pd %ymm0, %zmm0
 868 ; ALL-NEXT:    vshuff64x2 {{.*#+}} zmm0 = zmm0[2,3,4,5,4,5,6,7]
 869 ; ALL-NEXT:    vmovapd %ymm0, {{[0-9]+}}(%rsp)
 870 ; ALL-NEXT:    movq %rbp, %rsp
 871 ; ALL-NEXT:    popq %rbp
 872 ; ALL-NEXT:    .cfi_def_cfa %rsp, 8
 873 ; ALL-NEXT:    vzeroupper
 874 ; ALL-NEXT:    retq
 875 bb:
 876   %tmp = alloca [30 x %struct.foo], align 64
 877   %tmp1 = load <16 x float>, ptr %arg, align 4
 878   %tmp2 = fmul <16 x float> %tmp1, <float -5.000000e+00, float -5.000000e+00, float -5.000000e+00, float -5.000000e+00, float -5.000000e+00, float -5.000000e+00, float -5.000000e+00, float -5.000000e+00, float -5.000000e+00, float -5.000000e+00, float -5.000000e+00, float -5.000000e+00, float -5.000000e+00, float -5.000000e+00, float -5.000000e+00, float -5.000000e+00>
 879   %tmp3 = fpext <16 x float> %tmp2 to <16 x double>
 880   %tmp4 = getelementptr inbounds [30 x %struct.foo], ptr %tmp, i64 0, i64 3, i32 2, i64 0
 881   %tmp5 = extractelement <16 x double> %tmp3, i32 10
 882   store double %tmp5, ptr %tmp4, align 32
 883   %tmp6 = getelementptr inbounds [30 x %struct.foo], ptr %tmp, i64 0, i64 3, i32 2, i64 1
 884   %tmp7 = extractelement <16 x double> %tmp3, i32 11
 885   store double %tmp7, ptr %tmp6, align 8
 886   %tmp8 = getelementptr inbounds [30 x %struct.foo], ptr %tmp, i64 0, i64 3, i32 2, i64 2
 887   %tmp9 = extractelement <16 x double> %tmp3, i32 12
 888   store double %tmp9, ptr %tmp8, align 16
 889   %tmp10 = getelementptr inbounds [30 x %struct.foo], ptr %tmp, i64 0, i64 3, i32 2, i64 3
 890   %tmp11 = extractelement <16 x double> %tmp3, i32 13
 891   store double %tmp11, ptr %tmp10, align 8
 892   ret void
 893 }
 894