test/CodeGen/X86/vector-shuffle-512-v16.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mcpu=x86-64 -mattr=+avx512f,+avx512dq | FileCheck %s --check-prefix=ALL --check-prefix=AVX512 --check-prefix=AVX512F
   3 ; RUN: llc < %s -mcpu=x86-64 -mattr=+avx512bw,+avx512dq | FileCheck %s --check-prefix=ALL --check-prefix=AVX512 --check-prefix=AVX512BW
   4
   5 target triple = "x86_64-unknown-unknown"
   6
   7 define <16 x float> @shuffle_v16f32_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00(<16 x float> %a, <16 x float> %b) {
   8 ; ALL-LABEL: shuffle_v16f32_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00:
   9 ; ALL:       # %bb.0:
  10 ; ALL-NEXT:    vbroadcastss %xmm0, %zmm0
  11 ; ALL-NEXT:    retq
  12   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32><i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0>
  13   ret <16 x float> %shuffle
  14 }
  15
  16 define <16 x float> @shuffle_v16f32_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08(<16 x float> %a, <16 x float> %b) {
  17 ; ALL-LABEL: shuffle_v16f32_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08:
  18 ; ALL:       # %bb.0:
  19 ; ALL-NEXT:    vextractf32x4 $2, %zmm0, %xmm0
  20 ; ALL-NEXT:    vbroadcastss %xmm0, %zmm0
  21 ; ALL-NEXT:    retq
  22   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32><i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8>
  23   ret <16 x float> %shuffle
  24 }
  25
  26 define <16 x float> @shuffle_v16f32_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08_bc(<16 x i32> %a, <16 x i32> %b) {
  27 ; ALL-LABEL: shuffle_v16f32_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08_bc:
  28 ; ALL:       # %bb.0:
  29 ; ALL-NEXT:    vextractf32x4 $2, %zmm0, %xmm0
  30 ; ALL-NEXT:    vbroadcastss %xmm0, %zmm0
  31 ; ALL-NEXT:    retq
  32   %tmp0 = bitcast <16 x i32> %a to <16 x float>
  33   %tmp1 = bitcast <16 x i32> %b to <16 x float>
  34   %shuffle = shufflevector <16 x float> %tmp0, <16 x float> %tmp1, <16 x i32><i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8>
  35   ret <16 x float> %shuffle
  36 }
  37
  38 define <16 x float> @shuffle_v16f32_00_10_01_11_04_14_05_15_08_18_09_19_0c_1c_0d_1d(<16 x float> %a, <16 x float> %b) {
  39 ; ALL-LABEL: shuffle_v16f32_00_10_01_11_04_14_05_15_08_18_09_19_0c_1c_0d_1d:
  40 ; ALL:       # %bb.0:
  41 ; ALL-NEXT:    vunpcklps {{.*#+}} zmm0 = zmm0[0],zmm1[0],zmm0[1],zmm1[1],zmm0[4],zmm1[4],zmm0[5],zmm1[5],zmm0[8],zmm1[8],zmm0[9],zmm1[9],zmm0[12],zmm1[12],zmm0[13],zmm1[13]
  42 ; ALL-NEXT:    retq
  43   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32><i32 0, i32 16, i32 1, i32 17, i32 4, i32 20, i32 5, i32 21, i32 8, i32 24, i32 9, i32 25, i32 12, i32 28, i32 13, i32 29>
  44   ret <16 x float> %shuffle
  45 }
  46
  47 define <16 x float> @shuffle_v16f32_00_zz_01_zz_04_zz_05_zz_08_zz_09_zz_0c_zz_0d_zz(<16 x float> %a, <16 x float> %b) {
  48 ; ALL-LABEL: shuffle_v16f32_00_zz_01_zz_04_zz_05_zz_08_zz_09_zz_0c_zz_0d_zz:
  49 ; ALL:       # %bb.0:
  50 ; ALL-NEXT:    vxorps %xmm1, %xmm1, %xmm1
  51 ; ALL-NEXT:    vunpcklps {{.*#+}} zmm0 = zmm0[0],zmm1[0],zmm0[1],zmm1[1],zmm0[4],zmm1[4],zmm0[5],zmm1[5],zmm0[8],zmm1[8],zmm0[9],zmm1[9],zmm0[12],zmm1[12],zmm0[13],zmm1[13]
  52 ; ALL-NEXT:    retq
  53   %shuffle = shufflevector <16 x float> %a, <16 x float> zeroinitializer, <16 x i32><i32 0, i32 16, i32 1, i32 16, i32 4, i32 16, i32 5, i32 16, i32 8, i32 16, i32 9, i32 16, i32 12, i32 16, i32 13, i32 16>
  54   ret <16 x float> %shuffle
  55 }
  56
  57 define <16 x float> @shuffle_v16f32_vunpcklps_swap(<16 x float> %a, <16 x float> %b) {
  58 ; ALL-LABEL: shuffle_v16f32_vunpcklps_swap:
  59 ; ALL:       # %bb.0:
  60 ; ALL-NEXT:    vunpcklps {{.*#+}} zmm0 = zmm1[0],zmm0[0],zmm1[1],zmm0[1],zmm1[4],zmm0[4],zmm1[5],zmm0[5],zmm1[8],zmm0[8],zmm1[9],zmm0[9],zmm1[12],zmm0[12],zmm1[13],zmm0[13]
  61 ; ALL-NEXT:    retq
  62   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 16, i32 0, i32 17, i32 1, i32 20, i32 4, i32 21, i32 5, i32 24, i32 8, i32 25, i32 9, i32 28, i32 12, i32 29, i32 13>
  63   ret <16 x float> %shuffle
  64 }
  65
  66 ; PR34382
  67 define <16 x float> @shuffle_v16f32_01_01_03_00_06_04_05_07_08_08_09_09_15_14_14_12(<16 x float> %a0) {
  68 ; ALL-LABEL: shuffle_v16f32_01_01_03_00_06_04_05_07_08_08_09_09_15_14_14_12:
  69 ; ALL:       # %bb.0:
  70 ; ALL-NEXT:    vpermilps {{.*#+}} zmm0 = zmm0[1,1,3,0,6,4,5,7,8,8,9,9,15,14,14,12]
  71 ; ALL-NEXT:    retq
  72   %shuffle = shufflevector <16 x float> %a0, <16 x float> undef, <16 x i32> <i32 1, i32 1, i32 3, i32 0, i32 6, i32 4, i32 5, i32 7, i32 8, i32 8, i32 9, i32 9, i32 15, i32 14, i32 14, i32 12>
  73   ret <16 x float> %shuffle
  74 }
  75
  76 define <16 x i32> @shuffle_v16i32_00_10_01_11_04_14_05_15_08_18_09_19_0c_1c_0d_1d(<16 x i32> %a, <16 x i32> %b) {
  77 ; ALL-LABEL: shuffle_v16i32_00_10_01_11_04_14_05_15_08_18_09_19_0c_1c_0d_1d:
  78 ; ALL:       # %bb.0:
  79 ; ALL-NEXT:    vunpcklps {{.*#+}} zmm0 = zmm0[0],zmm1[0],zmm0[1],zmm1[1],zmm0[4],zmm1[4],zmm0[5],zmm1[5],zmm0[8],zmm1[8],zmm0[9],zmm1[9],zmm0[12],zmm1[12],zmm0[13],zmm1[13]
  80 ; ALL-NEXT:    retq
  81   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 0, i32 16, i32 1, i32 17, i32 4, i32 20, i32 5, i32 21, i32 8, i32 24, i32 9, i32 25, i32 12, i32 28, i32 13, i32 29>
  82   ret <16 x i32> %shuffle
  83 }
  84
  85 define <16 x i32> @shuffle_v16i32_zz_10_zz_11_zz_14_zz_15_zz_18_zz_19_zz_1c_zz_1d(<16 x i32> %a, <16 x i32> %b) {
  86 ; ALL-LABEL: shuffle_v16i32_zz_10_zz_11_zz_14_zz_15_zz_18_zz_19_zz_1c_zz_1d:
  87 ; ALL:       # %bb.0:
  88 ; ALL-NEXT:    vxorps %xmm0, %xmm0, %xmm0
  89 ; ALL-NEXT:    vunpcklps {{.*#+}} zmm0 = zmm0[0],zmm1[0],zmm0[1],zmm1[1],zmm0[4],zmm1[4],zmm0[5],zmm1[5],zmm0[8],zmm1[8],zmm0[9],zmm1[9],zmm0[12],zmm1[12],zmm0[13],zmm1[13]
  90 ; ALL-NEXT:    retq
  91   %shuffle = shufflevector <16 x i32> zeroinitializer, <16 x i32> %b, <16 x i32><i32 15, i32 16, i32 13, i32 17, i32 11, i32 20, i32 9, i32 21, i32 7, i32 24, i32 5, i32 25, i32 3, i32 28, i32 1, i32 29>
  92   ret <16 x i32> %shuffle
  93 }
  94
  95 define <16 x float> @shuffle_v16f32_02_12_03_13_06_16_07_17_0a_1a_0b_1b_0e_1e_0f_1f(<16 x float> %a, <16 x float> %b) {
  96 ; ALL-LABEL: shuffle_v16f32_02_12_03_13_06_16_07_17_0a_1a_0b_1b_0e_1e_0f_1f:
  97 ; ALL:       # %bb.0:
  98 ; ALL-NEXT:    vunpckhps {{.*#+}} zmm0 = zmm0[2],zmm1[2],zmm0[3],zmm1[3],zmm0[6],zmm1[6],zmm0[7],zmm1[7],zmm0[10],zmm1[10],zmm0[11],zmm1[11],zmm0[14],zmm1[14],zmm0[15],zmm1[15]
  99 ; ALL-NEXT:    retq
 100   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32><i32 2, i32 18, i32 3, i32 19, i32 6, i32 22, i32 7, i32 23, i32 10, i32 26, i32 11, i32 27, i32 14, i32 30, i32 15, i32 31>
 101   ret <16 x float> %shuffle
 102 }
 103
 104 define <16 x float> @shuffle_v16f32_zz_12_zz_13_zz_16_zz_17_zz_1a_zz_1b_zz_1e_zz_1f(<16 x float> %a, <16 x float> %b) {
 105 ; ALL-LABEL: shuffle_v16f32_zz_12_zz_13_zz_16_zz_17_zz_1a_zz_1b_zz_1e_zz_1f:
 106 ; ALL:       # %bb.0:
 107 ; ALL-NEXT:    vxorps %xmm0, %xmm0, %xmm0
 108 ; ALL-NEXT:    vunpckhps {{.*#+}} zmm0 = zmm0[2],zmm1[2],zmm0[3],zmm1[3],zmm0[6],zmm1[6],zmm0[7],zmm1[7],zmm0[10],zmm1[10],zmm0[11],zmm1[11],zmm0[14],zmm1[14],zmm0[15],zmm1[15]
 109 ; ALL-NEXT:    retq
 110   %shuffle = shufflevector <16 x float> zeroinitializer, <16 x float> %b, <16 x i32><i32 0, i32 18, i32 0, i32 19, i32 4, i32 22, i32 4, i32 23, i32 6, i32 26, i32 6, i32 27, i32 8, i32 30, i32 8, i32 31>
 111   ret <16 x float> %shuffle
 112 }
 113
 114 define <16 x float> @shuffle_v16f32_00_00_02_02_04_04_06_06_08_08_10_10_12_12_14_14(<16 x float> %a, <16 x float> %b) {
 115 ; ALL-LABEL: shuffle_v16f32_00_00_02_02_04_04_06_06_08_08_10_10_12_12_14_14:
 116 ; ALL:       # %bb.0:
 117 ; ALL-NEXT:    vmovsldup {{.*#+}} zmm0 = zmm0[0,0,2,2,4,4,6,6,8,8,10,10,12,12,14,14]
 118 ; ALL-NEXT:    retq
 119   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32><i32 0, i32 0, i32 2, i32 2, i32 4, i32 4, i32 6, i32 6, i32 8, i32 8, i32 10, i32 10, i32 12, i32 12, i32 14, i32 14>
 120   ret <16 x float> %shuffle
 121 }
 122
 123 define <16 x float> @shuffle_v16f32_01_01_03_03_05_05_07_07_09_09_11_11_13_13_15_15(<16 x float> %a, <16 x float> %b) {
 124 ; ALL-LABEL: shuffle_v16f32_01_01_03_03_05_05_07_07_09_09_11_11_13_13_15_15:
 125 ; ALL:       # %bb.0:
 126 ; ALL-NEXT:    vmovshdup {{.*#+}} zmm0 = zmm0[1,1,3,3,5,5,7,7,9,9,11,11,13,13,15,15]
 127 ; ALL-NEXT:    retq
 128   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32><i32 1, i32 1, i32 3, i32 3, i32 5, i32 5, i32 7, i32 7, i32 9, i32 9, i32 11, i32 11, i32 13, i32 13, i32 15, i32 15>
 129   ret <16 x float> %shuffle
 130 }
 131
 132 define <16 x float> @shuffle_v16f32_00_01_00_01_06_07_06_07_08_09_10_11_12_13_12_13(<16 x float> %a, <16 x float> %b) {
 133 ; ALL-LABEL: shuffle_v16f32_00_01_00_01_06_07_06_07_08_09_10_11_12_13_12_13:
 134 ; ALL:       # %bb.0:
 135 ; ALL-NEXT:    vpermilpd {{.*#+}} zmm0 = zmm0[0,0,3,3,4,5,6,6]
 136 ; ALL-NEXT:    retq
 137   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 0, i32 1, i32 0, i32 1, i32 6, i32 7, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 12, i32 13>
 138   ret <16 x float> %shuffle
 139 }
 140
 141 define <16 x float> @shuffle_v16f32_00_00_02_00_04_04_06_04_08_08_10_08_12_12_14_12(<16 x float> %a, <16 x float> %b) {
 142 ; ALL-LABEL: shuffle_v16f32_00_00_02_00_04_04_06_04_08_08_10_08_12_12_14_12:
 143 ; ALL:       # %bb.0:
 144 ; ALL-NEXT:    vpermilps {{.*#+}} zmm0 = zmm0[0,0,2,0,4,4,6,4,8,8,10,8,12,12,14,12]
 145 ; ALL-NEXT:    retq
 146   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 0, i32 0, i32 2, i32 0, i32 4, i32 4, i32 6, i32 4, i32 8, i32 8, i32 10, i32 8, i32 12, i32 12, i32 14, i32 12>
 147   ret <16 x float> %shuffle
 148 }
 149
 150 define <16 x float> @shuffle_v16f32_03_uu_uu_uu_uu_04_uu_uu_uu_uu_11_uu_uu_uu_uu_12(<16 x float> %a, <16 x float> %b) {
 151 ; ALL-LABEL: shuffle_v16f32_03_uu_uu_uu_uu_04_uu_uu_uu_uu_11_uu_uu_uu_uu_12:
 152 ; ALL:       # %bb.0:
 153 ; ALL-NEXT:    vpermilps {{.*#+}} zmm0 = zmm0[3,0,3,0,7,4,7,4,11,8,11,8,15,12,15,12]
 154 ; ALL-NEXT:    retq
 155   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 3, i32 undef, i32 undef, i32 undef, i32 undef, i32 4, i32 undef, i32 undef, i32 undef, i32 undef, i32 11, i32 undef, i32 undef, i32 undef, i32 undef, i32 12>
 156   ret <16 x float> %shuffle
 157 }
 158
 159 ; PR41203
 160 define <16 x float> @shuffle_v16f32_00_17_02_19_04_21_06_23_08_25_10_27_12_29_14_31(<16 x float> %a) {
 161 ; ALL-LABEL: shuffle_v16f32_00_17_02_19_04_21_06_23_08_25_10_27_12_29_14_31:
 162 ; ALL:       # %bb.0:
 163 ; ALL-NEXT:    vandps {{.*}}(%rip), %zmm0, %zmm0
 164 ; ALL-NEXT:    retq
 165   %tmp1 = shufflevector <16 x float> %a, <16 x float> undef, <16 x i32> <i32 undef, i32 17, i32 undef, i32 19, i32 undef, i32 5, i32 undef, i32 7, i32 undef, i32 9, i32 undef, i32 11, i32 undef, i32 13, i32 undef, i32 15>
 166   %tmp2 = shufflevector <16 x float> %tmp1, <16 x float> <float 0.000000e+00, float undef, float 0.000000e+00, float undef, float 0.000000e+00, float undef, float 0.000000e+00, float undef, float 0.000000e+00, float undef, float 0.000000e+00, float undef, float 0.000000e+00, float undef, float 0.000000e+00, float undef>, <16 x i32> <i32 16, i32 1, i32 18, i32 3, i32 20, i32 5, i32 22, i32 7, i32 24, i32 9, i32 26, i32 11, i32 28, i32 13, i32 30, i32 15>
 167   ret <16 x float> %tmp2
 168 }
 169
 170 define <16 x i32> @shuffle_v16i32_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00(<16 x i32> %a, <16 x i32> %b) {
 171 ; ALL-LABEL: shuffle_v16i32_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00:
 172 ; ALL:       # %bb.0:
 173 ; ALL-NEXT:    vbroadcastss %xmm0, %zmm0
 174 ; ALL-NEXT:    retq
 175   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0>
 176   ret <16 x i32> %shuffle
 177 }
 178
 179 define <16 x i32> @shuffle_v16i32_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04(<16 x i32> %a, <16 x i32> %b) {
 180 ; ALL-LABEL: shuffle_v16i32_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04:
 181 ; ALL:       # %bb.0:
 182 ; ALL-NEXT:    vextractf128 $1, %ymm0, %xmm0
 183 ; ALL-NEXT:    vbroadcastss %xmm0, %zmm0
 184 ; ALL-NEXT:    retq
 185   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
 186   ret <16 x i32> %shuffle
 187 }
 188
 189 define <16 x i32> @shuffle_v16i32_02_12_03_13_06_16_07_17_0a_1a_0b_1b_0e_1e_0f_1f(<16 x i32> %a, <16 x i32> %b) {
 190 ; ALL-LABEL: shuffle_v16i32_02_12_03_13_06_16_07_17_0a_1a_0b_1b_0e_1e_0f_1f:
 191 ; ALL:       # %bb.0:
 192 ; ALL-NEXT:    vunpckhps {{.*#+}} zmm0 = zmm0[2],zmm1[2],zmm0[3],zmm1[3],zmm0[6],zmm1[6],zmm0[7],zmm1[7],zmm0[10],zmm1[10],zmm0[11],zmm1[11],zmm0[14],zmm1[14],zmm0[15],zmm1[15]
 193 ; ALL-NEXT:    retq
 194   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 2, i32 18, i32 3, i32 19, i32 6, i32 22, i32 7, i32 23, i32 10, i32 26, i32 11, i32 27, i32 14, i32 30, i32 15, i32 31>
 195   ret <16 x i32> %shuffle
 196 }
 197
 198 define <16 x i32> @shuffle_v16i32_02_zz_03_zz_06_zz_07_zz_0a_zz_0b_zz_0e_zz_0f_zz(<16 x i32> %a, <16 x i32> %b) {
 199 ; ALL-LABEL: shuffle_v16i32_02_zz_03_zz_06_zz_07_zz_0a_zz_0b_zz_0e_zz_0f_zz:
 200 ; ALL:       # %bb.0:
 201 ; ALL-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 202 ; ALL-NEXT:    vunpckhps {{.*#+}} zmm0 = zmm0[2],zmm1[2],zmm0[3],zmm1[3],zmm0[6],zmm1[6],zmm0[7],zmm1[7],zmm0[10],zmm1[10],zmm0[11],zmm1[11],zmm0[14],zmm1[14],zmm0[15],zmm1[15]
 203 ; ALL-NEXT:    retq
 204   %shuffle = shufflevector <16 x i32> %a, <16 x i32> zeroinitializer, <16 x i32><i32 2, i32 30, i32 3, i32 28, i32 6, i32 26, i32 7, i32 24, i32 10, i32 22, i32 11, i32 20, i32 14, i32 18, i32 15, i32 16>
 205   ret <16 x i32> %shuffle
 206 }
 207
 208 define <16 x i32> @shuffle_v16i32_01_02_03_16_05_06_07_20_09_10_11_24_13_14_15_28(<16 x i32> %a, <16 x i32> %b) {
 209 ; AVX512F-LABEL: shuffle_v16i32_01_02_03_16_05_06_07_20_09_10_11_24_13_14_15_28:
 210 ; AVX512F:       # %bb.0:
 211 ; AVX512F-NEXT:    vmovdqa64 {{.*#+}} zmm2 = [1,2,3,16,5,6,7,20,9,10,11,24,13,14,15,28]
 212 ; AVX512F-NEXT:    vpermt2d %zmm1, %zmm2, %zmm0
 213 ; AVX512F-NEXT:    retq
 214 ;
 215 ; AVX512BW-LABEL: shuffle_v16i32_01_02_03_16_05_06_07_20_09_10_11_24_13_14_15_28:
 216 ; AVX512BW:       # %bb.0:
 217 ; AVX512BW-NEXT:    vpalignr {{.*#+}} zmm0 = zmm0[4,5,6,7,8,9,10,11,12,13,14,15],zmm1[0,1,2,3],zmm0[20,21,22,23,24,25,26,27,28,29,30,31],zmm1[16,17,18,19],zmm0[36,37,38,39,40,41,42,43,44,45,46,47],zmm1[32,33,34,35],zmm0[52,53,54,55,56,57,58,59,60,61,62,63],zmm1[48,49,50,51]
 218 ; AVX512BW-NEXT:    retq
 219   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 1, i32 2, i32 3, i32 16, i32 5, i32 6, i32 7, i32 20, i32 9, i32 10, i32 11, i32 24, i32 13, i32 14, i32 15, i32 28>
 220   ret <16 x i32> %shuffle
 221 }
 222
 223 define <16 x float> @shuffle_v16f32_02_05_u_u_07_u_0a_01_00_05_u_04_07_u_0a_01(<16 x float> %a)  {
 224 ; ALL-LABEL: shuffle_v16f32_02_05_u_u_07_u_0a_01_00_05_u_04_07_u_0a_01:
 225 ; ALL:       # %bb.0:
 226 ; ALL-NEXT:    vmovaps {{.*#+}} zmm1 = <2,5,u,u,7,u,10,1,0,5,u,4,7,u,10,1>
 227 ; ALL-NEXT:    vpermps %zmm0, %zmm1, %zmm0
 228 ; ALL-NEXT:    retq
 229   %c = shufflevector <16 x float> %a, <16 x float> undef, <16 x i32> <i32 2, i32 5, i32 undef, i32 undef, i32 7, i32 undef, i32 10, i32 1,  i32 0, i32 5, i32 undef, i32 4, i32 7, i32 undef, i32 10, i32 1>
 230   ret <16 x float> %c
 231 }
 232
 233 define <16 x i32> @shuffle_v16i32_02_05_u_u_07_u_0a_01_00_05_u_04_07_u_0a_01(<16 x i32> %a)  {
 234 ; ALL-LABEL: shuffle_v16i32_02_05_u_u_07_u_0a_01_00_05_u_04_07_u_0a_01:
 235 ; ALL:       # %bb.0:
 236 ; ALL-NEXT:    vmovaps {{.*#+}} zmm1 = <2,5,u,u,7,u,10,1,0,5,u,4,7,u,10,1>
 237 ; ALL-NEXT:    vpermps %zmm0, %zmm1, %zmm0
 238 ; ALL-NEXT:    retq
 239   %c = shufflevector <16 x i32> %a, <16 x i32> undef, <16 x i32> <i32 2, i32 5, i32 undef, i32 undef, i32 7, i32 undef, i32 10, i32 1,  i32 0, i32 5, i32 undef, i32 4, i32 7, i32 undef, i32 10, i32 1>
 240   ret <16 x i32> %c
 241 }
 242
 243 define <16 x i32> @shuffle_v16i32_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18(<16 x i32> %a, <16 x i32> %b)  {
 244 ; ALL-LABEL: shuffle_v16i32_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18:
 245 ; ALL:       # %bb.0:
 246 ; ALL-NEXT:    vmovdqa64 {{.*#+}} zmm2 = [15,31,14,22,13,29,4,28,11,27,10,26,9,25,8,24]
 247 ; ALL-NEXT:    vpermt2d %zmm1, %zmm2, %zmm0
 248 ; ALL-NEXT:    retq
 249   %c = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 15, i32 31, i32 14, i32 22, i32 13, i32 29, i32 4, i32 28, i32 11, i32 27, i32 10, i32 26, i32 9, i32 25, i32 8, i32 24>
 250   ret <16 x i32> %c
 251 }
 252
 253 define <16 x float> @shuffle_v16f32_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18(<16 x float> %a, <16 x float> %b)  {
 254 ; ALL-LABEL: shuffle_v16f32_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18:
 255 ; ALL:       # %bb.0:
 256 ; ALL-NEXT:    vmovaps {{.*#+}} zmm2 = [15,31,14,22,13,29,4,28,11,27,10,26,9,25,8,24]
 257 ; ALL-NEXT:    vpermt2ps %zmm1, %zmm2, %zmm0
 258 ; ALL-NEXT:    retq
 259   %c = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 15, i32 31, i32 14, i32 22, i32 13, i32 29, i32 4, i32 28, i32 11, i32 27, i32 10, i32 26, i32 9, i32 25, i32 8, i32 24>
 260   ret <16 x float> %c
 261 }
 262
 263 define <16 x float> @shuffle_v16f32_load_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18(<16 x float> %a, <16 x float>* %b)  {
 264 ; ALL-LABEL: shuffle_v16f32_load_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18:
 265 ; ALL:       # %bb.0:
 266 ; ALL-NEXT:    vmovaps {{.*#+}} zmm1 = [15,31,14,22,13,29,4,28,11,27,10,26,9,25,8,24]
 267 ; ALL-NEXT:    vpermt2ps (%rdi), %zmm1, %zmm0
 268 ; ALL-NEXT:    retq
 269   %c = load <16 x float>, <16 x float>* %b
 270   %d = shufflevector <16 x float> %a, <16 x float> %c, <16 x i32> <i32 15, i32 31, i32 14, i32 22, i32 13, i32 29, i32 4, i32 28, i32 11, i32 27, i32 10, i32 26, i32 9, i32 25, i32 8, i32 24>
 271   ret <16 x float> %d
 272 }
 273
 274 define <16 x i32> @shuffle_v16i32_load_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18(<16 x i32> %a, <16 x i32>* %b)  {
 275 ; ALL-LABEL: shuffle_v16i32_load_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18:
 276 ; ALL:       # %bb.0:
 277 ; ALL-NEXT:    vmovdqa64 {{.*#+}} zmm1 = [15,31,14,22,13,29,4,28,11,27,10,26,9,25,8,24]
 278 ; ALL-NEXT:    vpermt2d (%rdi), %zmm1, %zmm0
 279 ; ALL-NEXT:    retq
 280   %c = load <16 x i32>, <16 x i32>* %b
 281   %d = shufflevector <16 x i32> %a, <16 x i32> %c, <16 x i32> <i32 15, i32 31, i32 14, i32 22, i32 13, i32 29, i32 4, i32 28, i32 11, i32 27, i32 10, i32 26, i32 9, i32 25, i32 8, i32 24>
 282   ret <16 x i32> %d
 283 }
 284
 285 define <16 x i32> @shuffle_v16i32_0_1_2_19_u_u_u_u_u_u_u_u_u_u_u_u(<16 x i32> %a, <16 x i32> %b)  {
 286 ; ALL-LABEL: shuffle_v16i32_0_1_2_19_u_u_u_u_u_u_u_u_u_u_u_u:
 287 ; ALL:       # %bb.0:
 288 ; ALL-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0,1,2],xmm1[3]
 289 ; ALL-NEXT:    retq
 290   %c = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 0, i32 1, i32 2, i32 19, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef>
 291   ret <16 x i32> %c
 292 }
 293
 294 ;FIXME: can do better with vpcompress
 295 define <8 x i32> @test_v16i32_1_3_5_7_9_11_13_15(<16 x i32> %v) {
 296 ; ALL-LABEL: test_v16i32_1_3_5_7_9_11_13_15:
 297 ; ALL:       # %bb.0:
 298 ; ALL-NEXT:    vextractf64x4 $1, %zmm0, %ymm1
 299 ; ALL-NEXT:    vshufps {{.*#+}} ymm0 = ymm0[1,3],ymm1[1,3],ymm0[5,7],ymm1[5,7]
 300 ; ALL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,2,1,3]
 301 ; ALL-NEXT:    retq
 302   %res = shufflevector <16 x i32> %v, <16 x i32> undef, <8 x i32> <i32 1, i32 3, i32 5, i32 7, i32 9, i32 11, i32 13, i32 15>
 303   ret <8 x i32> %res
 304 }
 305
 306 ;FIXME: can do better with vpcompress
 307 define <4 x i32> @test_v16i32_0_1_2_12 (<16 x i32> %v) {
 308 ; ALL-LABEL: test_v16i32_0_1_2_12:
 309 ; ALL:       # %bb.0:
 310 ; ALL-NEXT:    vextractf64x4 $1, %zmm0, %ymm1
 311 ; ALL-NEXT:    vextractf128 $1, %ymm1, %xmm1
 312 ; ALL-NEXT:    vbroadcastss %xmm1, %xmm1
 313 ; ALL-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0,1,2],xmm1[3]
 314 ; ALL-NEXT:    vzeroupper
 315 ; ALL-NEXT:    retq
 316   %res = shufflevector <16 x i32> %v, <16 x i32> undef, <4 x i32> <i32 0, i32 1, i32 2, i32 12>
 317   ret <4 x i32> %res
 318 }
 319
 320 ;PR31451
 321 ;FIXME: can do better with vpcompress
 322 define <4 x i32> @test_v16i32_0_4_8_12(<16 x i32> %v) {
 323 ; ALL-LABEL: test_v16i32_0_4_8_12:
 324 ; ALL:       # %bb.0:
 325 ; ALL-NEXT:    vmovaps {{.*#+}} xmm1 = [0,4,8,12]
 326 ; ALL-NEXT:    vpermps %zmm0, %zmm1, %zmm0
 327 ; ALL-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 328 ; ALL-NEXT:    vzeroupper
 329 ; ALL-NEXT:    retq
 330   %res = shufflevector <16 x i32> %v, <16 x i32> undef, <4 x i32> <i32 0, i32 4, i32 8, i32 12>
 331   ret <4 x i32> %res
 332 }
 333
 334 define <8 x float> @shuffle_v16f32_extract_256(float* %RET, float* %a) {
 335 ; ALL-LABEL: shuffle_v16f32_extract_256:
 336 ; ALL:       # %bb.0:
 337 ; ALL-NEXT:    vmovups 32(%rsi), %ymm0
 338 ; ALL-NEXT:    retq
 339   %ptr_a = bitcast float* %a to <16 x float>*
 340   %v_a = load <16 x float>, <16 x float>* %ptr_a, align 4
 341   %v2 = shufflevector <16 x float> %v_a, <16 x float> undef, <8 x i32>  <i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 342   ret <8 x float> %v2
 343 }
 344
 345 ;FIXME: can do better with vcompressp
 346 define <8 x float> @test_v16f32_0_1_2_3_4_6_7_10 (<16 x float> %v) {
 347 ; ALL-LABEL: test_v16f32_0_1_2_3_4_6_7_10:
 348 ; ALL:       # %bb.0:
 349 ; ALL-NEXT:    vextractf32x4 $2, %zmm0, %xmm1
 350 ; ALL-NEXT:    vmovsldup {{.*#+}} xmm1 = xmm1[0,0,2,2]
 351 ; ALL-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm1
 352 ; ALL-NEXT:    vpermilps {{.*#+}} ymm0 = ymm0[0,1,2,3,4,6,7,u]
 353 ; ALL-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1,2,3,4,5,6],ymm1[7]
 354 ; ALL-NEXT:    retq
 355   %res = shufflevector <16 x float> %v, <16 x float> undef, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 6, i32 7, i32 10>
 356   ret <8 x float> %res
 357 }
 358
 359 ;FIXME: can do better with vcompressp
 360 define <4 x float> @test_v16f32_0_1_3_6 (<16 x float> %v) {
 361 ; ALL-LABEL: test_v16f32_0_1_3_6:
 362 ; ALL:       # %bb.0:
 363 ; ALL-NEXT:    vbroadcasti32x4 {{.*#+}} zmm1 = [0,1,3,6,0,1,3,6,0,1,3,6,0,1,3,6]
 364 ; ALL-NEXT:    # zmm1 = mem[0,1,2,3,0,1,2,3,0,1,2,3,0,1,2,3]
 365 ; ALL-NEXT:    vpermd %zmm0, %zmm1, %zmm0
 366 ; ALL-NEXT:    # kill: def $xmm0 killed $xmm0 killed $zmm0
 367 ; ALL-NEXT:    vzeroupper
 368 ; ALL-NEXT:    retq
 369   %res = shufflevector <16 x float> %v, <16 x float> undef, <4 x i32> <i32 0, i32 1, i32 3, i32 6>
 370   ret <4 x float> %res
 371 }
 372
 373 define <16 x i32> @shuffle_v16i16_1_0_0_0_5_4_4_4_9_8_8_8_13_12_12_12(<16 x i32> %a, <16 x i32> %b)  {
 374 ; ALL-LABEL: shuffle_v16i16_1_0_0_0_5_4_4_4_9_8_8_8_13_12_12_12:
 375 ; ALL:       # %bb.0:
 376 ; ALL-NEXT:    vpermilps {{.*#+}} zmm0 = zmm0[1,0,0,0,5,4,4,4,9,8,8,8,13,12,12,12]
 377 ; ALL-NEXT:    retq
 378   %c = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 1, i32 0, i32 0, i32 0, i32 5, i32 4, i32 4, i32 4, i32 9, i32 8, i32 8, i32 8, i32 13, i32 12, i32 12, i32 12>
 379   ret <16 x i32> %c
 380 }
 381
 382 define <16 x i32> @shuffle_v16i16_3_3_0_0_7_7_4_4_11_11_8_8_15_15_12_12(<16 x i32> %a, <16 x i32> %b)  {
 383 ; ALL-LABEL: shuffle_v16i16_3_3_0_0_7_7_4_4_11_11_8_8_15_15_12_12:
 384 ; ALL:       # %bb.0:
 385 ; ALL-NEXT:    vpermilps {{.*#+}} zmm0 = zmm0[2,3,0,1,6,7,4,5,10,11,8,9,14,15,12,13]
 386 ; ALL-NEXT:    retq
 387   %c = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 2, i32 3, i32 0, i32 1, i32 6, i32 7, i32 4, i32 5, i32 10, i32 11, i32 8, i32 9, i32 14, i32 15, i32 12, i32 13>
 388   ret <16 x i32> %c
 389 }
 390
 391 define <16 x float> @shuffle_v16f32_00_01_10_10_04_05_14_14_08_09_18_18_0c_0d_1c_1c(<16 x float> %a, <16 x float> %b) {
 392 ; ALL-LABEL: shuffle_v16f32_00_01_10_10_04_05_14_14_08_09_18_18_0c_0d_1c_1c:
 393 ; ALL:       # %bb.0:
 394 ; ALL-NEXT:    vshufps {{.*#+}} zmm0 = zmm0[0,1],zmm1[0,0],zmm0[4,5],zmm1[4,4],zmm0[8,9],zmm1[8,8],zmm0[12,13],zmm1[12,12]
 395 ; ALL-NEXT:    retq
 396   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 0, i32 1, i32 16, i32 16, i32 4, i32 5, i32 20, i32 20, i32 8, i32 9, i32 24, i32 24, i32 12, i32 13, i32 28, i32 28>
 397   ret <16 x float> %shuffle
 398 }
 399
 400 define <16 x i32> @insert_mem_and_zero_v16i32(i32* %ptr) {
 401 ; ALL-LABEL: insert_mem_and_zero_v16i32:
 402 ; ALL:       # %bb.0:
 403 ; ALL-NEXT:    vmovss {{.*#+}} xmm0 = mem[0],zero,zero,zero
 404 ; ALL-NEXT:    retq
 405   %a = load i32, i32* %ptr
 406   %v = insertelement <16 x i32> undef, i32 %a, i32 0
 407   %shuffle = shufflevector <16 x i32> %v, <16 x i32> zeroinitializer, <16 x i32> <i32 0, i32 17, i32 18, i32 19, i32 20, i32 21, i32 22, i32 23, i32 24, i32 25, i32 26, i32 27, i32 28, i32 29, i32 30, i32 31>
 408   ret <16 x i32> %shuffle
 409 }
 410
 411
 412 define <16 x i32> @shuffle_v16i32_0zzzzzzzzzzzzzzz(<16 x i32> %a) {
 413 ; ALL-LABEL: shuffle_v16i32_0zzzzzzzzzzzzzzz:
 414 ; ALL:       # %bb.0:
 415 ; ALL-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 416 ; ALL-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
 417 ; ALL-NEXT:    retq
 418   %shuffle = shufflevector <16 x i32> %a, <16 x i32> zeroinitializer, <16 x i32> <i32 0, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16>
 419   ret <16 x i32> %shuffle
 420 }
 421
 422 define <16 x float> @shuffle_v16f32_0zzzzzzzzzzzzzzz(<16 x float> %a) {
 423 ; ALL-LABEL: shuffle_v16f32_0zzzzzzzzzzzzzzz:
 424 ; ALL:       # %bb.0:
 425 ; ALL-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 426 ; ALL-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
 427 ; ALL-NEXT:    retq
 428   %shuffle = shufflevector <16 x float> %a, <16 x float> zeroinitializer, <16 x i32> <i32 0, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16>
 429   ret <16 x float> %shuffle
 430 }
 431
 432 define <16 x i32> @shuffle_v16i32_16_zz_17_zz_18_zz_19_zz_20_zz_21_zz_22_zz_23_zz(<16 x i32> %a) {
 433 ; ALL-LABEL: shuffle_v16i32_16_zz_17_zz_18_zz_19_zz_20_zz_21_zz_22_zz_23_zz:
 434 ; ALL:       # %bb.0:
 435 ; ALL-NEXT:    vpmovzxdq {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero
 436 ; ALL-NEXT:    retq
 437   %shuffle = shufflevector <16 x i32> zeroinitializer, <16 x i32> %a, <16 x i32> <i32 16, i32 0, i32 17, i32 0, i32 18, i32 0, i32 19, i32 0, i32 20, i32 0, i32 21, i32 0, i32 22, i32 0, i32 23, i32 0>
 438   ret <16 x i32> %shuffle
 439 }
 440
 441 define <16 x i32> @shuffle_v16i32_01_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16(<16 x i32> %a, <16 x i32> %b) {
 442 ; ALL-LABEL: shuffle_v16i32_01_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16:
 443 ; ALL:       # %bb.0:
 444 ; ALL-NEXT:    valignd {{.*#+}} zmm0 = zmm0[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15],zmm1[0]
 445 ; ALL-NEXT:    retq
 446   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15, i32 16>
 447   ret <16 x i32> %shuffle
 448 }
 449
 450 define <16 x i32> @shuffle_v16i32_01_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00(<16 x i32> %a) {
 451 ; ALL-LABEL: shuffle_v16i32_01_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00:
 452 ; ALL:       # %bb.0:
 453 ; ALL-NEXT:    valignd {{.*#+}} zmm0 = zmm0[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,0]
 454 ; ALL-NEXT:    retq
 455   %shuffle = shufflevector <16 x i32> %a, <16 x i32> undef, <16 x i32><i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15, i32 0>
 456   ret <16 x i32> %shuffle
 457 }
 458
 459 define <16 x i32> @shuffle_v16i32_00_03_16_19_04_07_20_23_08_11_24_27_12_15_28_31(<16 x i32> %a, <16 x i32> %b) {
 460 ; ALL-LABEL: shuffle_v16i32_00_03_16_19_04_07_20_23_08_11_24_27_12_15_28_31:
 461 ; ALL:       # %bb.0:
 462 ; ALL-NEXT:    vshufps {{.*#+}} zmm0 = zmm0[0,3],zmm1[0,3],zmm0[4,7],zmm1[4,7],zmm0[8,11],zmm1[8,11],zmm0[12,15],zmm1[12,15]
 463 ; ALL-NEXT:    retq
 464   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 0, i32 3, i32 16, i32 19, i32 4, i32 7, i32 20, i32 23, i32 8, i32 11, i32 24, i32 27, i32 12, i32 15, i32 28, i32 31>
 465   ret <16 x i32> %shuffle
 466 }
 467
 468 define <16 x i32> @shuffle_v16i32_16_16_02_03_20_20_06_07_24_24_10_11_28_28_uu_uu(<16 x i32> %a, <16 x i32> %b) {
 469 ; ALL-LABEL: shuffle_v16i32_16_16_02_03_20_20_06_07_24_24_10_11_28_28_uu_uu:
 470 ; ALL:       # %bb.0:
 471 ; ALL-NEXT:    vshufps {{.*#+}} zmm0 = zmm1[0,0],zmm0[2,3],zmm1[4,4],zmm0[6,7],zmm1[8,8],zmm0[10,11],zmm1[12,12],zmm0[14,15]
 472 ; ALL-NEXT:    retq
 473   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 16, i32 16, i32 02, i32 03, i32 20, i32 20, i32 06, i32 07, i32 24, i32 24, i32 10, i32 11, i32 28, i32 28, i32 undef, i32 undef>
 474   ret <16 x i32> %shuffle
 475 }
 476
 477 define <16 x i32> @shuffle_v8i32_17_16_01_00_21_20_05_04_25_24_09_08_29_28_13_12(<16 x i32> %a, <16 x i32> %b) {
 478 ; ALL-LABEL: shuffle_v8i32_17_16_01_00_21_20_05_04_25_24_09_08_29_28_13_12:
 479 ; ALL:       # %bb.0:
 480 ; ALL-NEXT:    vshufps {{.*#+}} zmm0 = zmm1[1,0],zmm0[1,0],zmm1[5,4],zmm0[5,4],zmm1[9,8],zmm0[9,8],zmm1[13,12],zmm0[13,12]
 481 ; ALL-NEXT:    retq
 482   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 17, i32 16, i32 01, i32 00, i32 21, i32 20, i32 05, i32 04, i32 25, i32 24, i32 09, i32 08, i32 29, i32 28, i32 13, i32 12>
 483   ret <16 x i32> %shuffle
 484 }
 485
 486 define <16 x float> @shuffle_v8f32_v16f32_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04(<8 x float> %a) {
 487 ; ALL-LABEL: shuffle_v8f32_v16f32_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04:
 488 ; ALL:       # %bb.0:
 489 ; ALL-NEXT:    vextractf128 $1, %ymm0, %xmm0
 490 ; ALL-NEXT:    vbroadcastss %xmm0, %zmm0
 491 ; ALL-NEXT:    retq
 492   %shuffle = shufflevector <8 x float> %a, <8 x float> undef, <16 x i32> <i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
 493   ret <16 x float> %shuffle
 494 }
 495
 496 define <16 x i32> @mask_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00_01(<16 x i32> %a, <16 x i32> %passthru, i16 %mask) {
 497 ; AVX512F-LABEL: mask_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00_01:
 498 ; AVX512F:       # %bb.0:
 499 ; AVX512F-NEXT:    kmovw %edi, %k1
 500 ; AVX512F-NEXT:    valignd {{.*#+}} zmm1 {%k1} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15,0,1]
 501 ; AVX512F-NEXT:    vmovdqa64 %zmm1, %zmm0
 502 ; AVX512F-NEXT:    retq
 503 ;
 504 ; AVX512BW-LABEL: mask_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00_01:
 505 ; AVX512BW:       # %bb.0:
 506 ; AVX512BW-NEXT:    kmovd %edi, %k1
 507 ; AVX512BW-NEXT:    valignd {{.*#+}} zmm1 {%k1} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15,0,1]
 508 ; AVX512BW-NEXT:    vmovdqa64 %zmm1, %zmm0
 509 ; AVX512BW-NEXT:    retq
 510   %shuffle = shufflevector <16 x i32> %a, <16 x i32> undef, <16 x i32><i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15, i32 0, i32 1>
 511   %mask.cast = bitcast i16 %mask to <16 x i1>
 512   %res = select <16 x i1> %mask.cast, <16 x i32> %shuffle, <16 x i32> %passthru
 513   ret <16 x i32> %res
 514 }
 515
 516 define <16 x i32> @mask_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16_17(<16 x i32> %a, <16 x i32> %b, <16 x i32> %passthru, i16 %mask) {
 517 ; AVX512F-LABEL: mask_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16_17:
 518 ; AVX512F:       # %bb.0:
 519 ; AVX512F-NEXT:    kmovw %edi, %k1
 520 ; AVX512F-NEXT:    valignd {{.*#+}} zmm2 {%k1} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15],zmm1[0,1]
 521 ; AVX512F-NEXT:    vmovdqa64 %zmm2, %zmm0
 522 ; AVX512F-NEXT:    retq
 523 ;
 524 ; AVX512BW-LABEL: mask_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16_17:
 525 ; AVX512BW:       # %bb.0:
 526 ; AVX512BW-NEXT:    kmovd %edi, %k1
 527 ; AVX512BW-NEXT:    valignd {{.*#+}} zmm2 {%k1} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15],zmm1[0,1]
 528 ; AVX512BW-NEXT:    vmovdqa64 %zmm2, %zmm0
 529 ; AVX512BW-NEXT:    retq
 530   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15, i32 16, i32 17>
 531   %mask.cast = bitcast i16 %mask to <16 x i1>
 532   %res = select <16 x i1> %mask.cast, <16 x i32> %shuffle, <16 x i32> %passthru
 533   ret <16 x i32> %res
 534 }
 535
 536 define <16 x i32> @maskz_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00_01(<16 x i32> %a, i16 %mask) {
 537 ; AVX512F-LABEL: maskz_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00_01:
 538 ; AVX512F:       # %bb.0:
 539 ; AVX512F-NEXT:    kmovw %edi, %k1
 540 ; AVX512F-NEXT:    valignd {{.*#+}} zmm0 {%k1} {z} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15,0,1]
 541 ; AVX512F-NEXT:    retq
 542 ;
 543 ; AVX512BW-LABEL: maskz_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00_01:
 544 ; AVX512BW:       # %bb.0:
 545 ; AVX512BW-NEXT:    kmovd %edi, %k1
 546 ; AVX512BW-NEXT:    valignd {{.*#+}} zmm0 {%k1} {z} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15,0,1]
 547 ; AVX512BW-NEXT:    retq
 548   %shuffle = shufflevector <16 x i32> %a, <16 x i32> undef, <16 x i32><i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15, i32 0, i32 1>
 549   %mask.cast = bitcast i16 %mask to <16 x i1>
 550   %res = select <16 x i1> %mask.cast, <16 x i32> %shuffle, <16 x i32> zeroinitializer
 551   ret <16 x i32> %res
 552 }
 553
 554 define <16 x i32> @maskz_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16_17(<16 x i32> %a, <16 x i32> %b, i16 %mask) {
 555 ; AVX512F-LABEL: maskz_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16_17:
 556 ; AVX512F:       # %bb.0:
 557 ; AVX512F-NEXT:    kmovw %edi, %k1
 558 ; AVX512F-NEXT:    valignd {{.*#+}} zmm0 {%k1} {z} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15],zmm1[0,1]
 559 ; AVX512F-NEXT:    retq
 560 ;
 561 ; AVX512BW-LABEL: maskz_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16_17:
 562 ; AVX512BW:       # %bb.0:
 563 ; AVX512BW-NEXT:    kmovd %edi, %k1
 564 ; AVX512BW-NEXT:    valignd {{.*#+}} zmm0 {%k1} {z} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15],zmm1[0,1]
 565 ; AVX512BW-NEXT:    retq
 566   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15, i32 16, i32 17>
 567   %mask.cast = bitcast i16 %mask to <16 x i1>
 568   %res = select <16 x i1> %mask.cast, <16 x i32> %shuffle, <16 x i32> zeroinitializer
 569   ret <16 x i32> %res
 570 }
 571
 572 define <16 x float> @test_vshuff32x4_512(<16 x float> %x, <16 x float> %x1) nounwind {
 573 ; ALL-LABEL: test_vshuff32x4_512:
 574 ; ALL:       # %bb.0:
 575 ; ALL-NEXT:    vshuff64x2 {{.*#+}} zmm0 = zmm0[0,1,2,3],zmm1[2,3,0,1]
 576 ; ALL-NEXT:    retq
 577   %res = shufflevector <16 x float> %x, <16 x float> %x1, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 20, i32 21, i32 22, i32 23, i32 16, i32 17, i32 18, i32 19>
 578   ret <16 x float> %res
 579 }
 580
 581 define <16 x i32> @test_vshufi32x4_512(<16 x i32> %x, <16 x i32> %x1) nounwind {
 582 ; ALL-LABEL: test_vshufi32x4_512:
 583 ; ALL:       # %bb.0:
 584 ; ALL-NEXT:    vshufi64x2 {{.*#+}} zmm0 = zmm0[0,1,2,3],zmm1[2,3,0,1]
 585 ; ALL-NEXT:    retq
 586   %res = shufflevector <16 x i32> %x, <16 x i32> %x1, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 20, i32 21, i32 22, i32 23, i32 16, i32 17, i32 18, i32 19>
 587   ret <16 x i32> %res
 588 }
 589
 590 define <16 x float> @test_vshuff32x4_512_mask(<16 x float> %x, <16 x float> %x1, <16 x float> %y, <16 x i1> %mask) nounwind {
 591 ; AVX512F-LABEL: test_vshuff32x4_512_mask:
 592 ; AVX512F:       # %bb.0:
 593 ; AVX512F-NEXT:    vpmovsxbd %xmm3, %zmm3
 594 ; AVX512F-NEXT:    vpslld $31, %zmm3, %zmm3
 595 ; AVX512F-NEXT:    vpmovd2m %zmm3, %k1
 596 ; AVX512F-NEXT:    vshuff32x4 {{.*#+}} zmm2 {%k1} = zmm0[0,1,2,3,4,5,6,7],zmm1[4,5,6,7,0,1,2,3]
 597 ; AVX512F-NEXT:    vmovaps %zmm2, %zmm0
 598 ; AVX512F-NEXT:    retq
 599 ;
 600 ; AVX512BW-LABEL: test_vshuff32x4_512_mask:
 601 ; AVX512BW:       # %bb.0:
 602 ; AVX512BW-NEXT:    vpsllw $7, %xmm3, %xmm3
 603 ; AVX512BW-NEXT:    vpmovb2m %zmm3, %k1
 604 ; AVX512BW-NEXT:    vshuff32x4 {{.*#+}} zmm2 {%k1} = zmm0[0,1,2,3,4,5,6,7],zmm1[4,5,6,7,0,1,2,3]
 605 ; AVX512BW-NEXT:    vmovaps %zmm2, %zmm0
 606 ; AVX512BW-NEXT:    retq
 607   %x2 = shufflevector <16 x float> %x, <16 x float> %x1, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 20, i32 21, i32 22, i32 23, i32 16, i32 17, i32 18, i32 19>
 608   %res = select <16 x i1> %mask, <16 x float> %x2, <16 x float> %y
 609   ret <16 x float> %res
 610 }
 611
 612 define <16 x i32> @test_vshufi32x4_512_mask(<16 x i32> %x, <16 x i32> %x1, <16 x i32> %y, <16 x i1> %mask) nounwind {
 613 ; AVX512F-LABEL: test_vshufi32x4_512_mask:
 614 ; AVX512F:       # %bb.0:
 615 ; AVX512F-NEXT:    vpmovsxbd %xmm3, %zmm3
 616 ; AVX512F-NEXT:    vpslld $31, %zmm3, %zmm3
 617 ; AVX512F-NEXT:    vpmovd2m %zmm3, %k1
 618 ; AVX512F-NEXT:    vshufi32x4 {{.*#+}} zmm2 {%k1} = zmm0[0,1,2,3,4,5,6,7],zmm1[4,5,6,7,0,1,2,3]
 619 ; AVX512F-NEXT:    vmovdqa64 %zmm2, %zmm0
 620 ; AVX512F-NEXT:    retq
 621 ;
 622 ; AVX512BW-LABEL: test_vshufi32x4_512_mask:
 623 ; AVX512BW:       # %bb.0:
 624 ; AVX512BW-NEXT:    vpsllw $7, %xmm3, %xmm3
 625 ; AVX512BW-NEXT:    vpmovb2m %zmm3, %k1
 626 ; AVX512BW-NEXT:    vshufi32x4 {{.*#+}} zmm2 {%k1} = zmm0[0,1,2,3,4,5,6,7],zmm1[4,5,6,7,0,1,2,3]
 627 ; AVX512BW-NEXT:    vmovdqa64 %zmm2, %zmm0
 628 ; AVX512BW-NEXT:    retq
 629   %x2 = shufflevector <16 x i32> %x, <16 x i32> %x1, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 20, i32 21, i32 22, i32 23, i32 16, i32 17, i32 18, i32 19>
 630   %res = select <16 x i1> %mask, <16 x i32> %x2, <16 x i32> %y
 631   ret <16 x i32> %res
 632 }
 633
 634 define <16 x float> @mask_shuffle_v16f32_00_01_02_03_04_05_06_07_16_17_18_19_20_21_22_23(<16 x float> %a, <16 x float> %b, <16 x float> %passthru, i16 %mask) {
 635 ; AVX512F-LABEL: mask_shuffle_v16f32_00_01_02_03_04_05_06_07_16_17_18_19_20_21_22_23:
 636 ; AVX512F:       # %bb.0:
 637 ; AVX512F-NEXT:    kmovw %edi, %k1
 638 ; AVX512F-NEXT:    vinsertf32x8 $1, %ymm1, %zmm0, %zmm2 {%k1}
 639 ; AVX512F-NEXT:    vmovaps %zmm2, %zmm0
 640 ; AVX512F-NEXT:    retq
 641 ;
 642 ; AVX512BW-LABEL: mask_shuffle_v16f32_00_01_02_03_04_05_06_07_16_17_18_19_20_21_22_23:
 643 ; AVX512BW:       # %bb.0:
 644 ; AVX512BW-NEXT:    kmovd %edi, %k1
 645 ; AVX512BW-NEXT:    vinsertf32x8 $1, %ymm1, %zmm0, %zmm2 {%k1}
 646 ; AVX512BW-NEXT:    vmovaps %zmm2, %zmm0
 647 ; AVX512BW-NEXT:    retq
 648   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 16, i32 17, i32 18, i32 19, i32 20, i32 21, i32 22, i32 23>
 649   %mask.cast = bitcast i16 %mask to <16 x i1>
 650   %res = select <16 x i1> %mask.cast, <16 x float> %shuffle, <16 x float> %passthru
 651   ret <16 x float> %res
 652 }
 653
 654 define <16 x float> @mask_shuffle_v16f32_00_01_02_03_16_17_18_19_08_09_10_11_12_13_14_15(<16 x float> %a, <16 x float> %b, <16 x float> %passthru, i16 %mask) {
 655 ; AVX512F-LABEL: mask_shuffle_v16f32_00_01_02_03_16_17_18_19_08_09_10_11_12_13_14_15:
 656 ; AVX512F:       # %bb.0:
 657 ; AVX512F-NEXT:    kmovw %edi, %k1
 658 ; AVX512F-NEXT:    vinsertf32x4 $1, %xmm1, %zmm0, %zmm2 {%k1}
 659 ; AVX512F-NEXT:    vmovaps %zmm2, %zmm0
 660 ; AVX512F-NEXT:    retq
 661 ;
 662 ; AVX512BW-LABEL: mask_shuffle_v16f32_00_01_02_03_16_17_18_19_08_09_10_11_12_13_14_15:
 663 ; AVX512BW:       # %bb.0:
 664 ; AVX512BW-NEXT:    kmovd %edi, %k1
 665 ; AVX512BW-NEXT:    vinsertf32x4 $1, %xmm1, %zmm0, %zmm2 {%k1}
 666 ; AVX512BW-NEXT:    vmovaps %zmm2, %zmm0
 667 ; AVX512BW-NEXT:    retq
 668   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 16, i32 17, i32 18, i32 19, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 669   %mask.cast = bitcast i16 %mask to <16 x i1>
 670   %res = select <16 x i1> %mask.cast, <16 x float> %shuffle, <16 x float> %passthru
 671   ret <16 x float> %res
 672 }
 673
 674 define <16 x i32> @mask_shuffle_v16i32_00_01_02_03_04_05_06_07_16_17_18_19_20_21_22_23(<16 x i32> %a, <16 x i32> %b, <16 x i32> %passthru, i16 %mask) {
 675 ; AVX512F-LABEL: mask_shuffle_v16i32_00_01_02_03_04_05_06_07_16_17_18_19_20_21_22_23:
 676 ; AVX512F:       # %bb.0:
 677 ; AVX512F-NEXT:    kmovw %edi, %k1
 678 ; AVX512F-NEXT:    vinserti32x8 $1, %ymm1, %zmm0, %zmm2 {%k1}
 679 ; AVX512F-NEXT:    vmovdqa64 %zmm2, %zmm0
 680 ; AVX512F-NEXT:    retq
 681 ;
 682 ; AVX512BW-LABEL: mask_shuffle_v16i32_00_01_02_03_04_05_06_07_16_17_18_19_20_21_22_23:
 683 ; AVX512BW:       # %bb.0:
 684 ; AVX512BW-NEXT:    kmovd %edi, %k1
 685 ; AVX512BW-NEXT:    vinserti32x8 $1, %ymm1, %zmm0, %zmm2 {%k1}
 686 ; AVX512BW-NEXT:    vmovdqa64 %zmm2, %zmm0
 687 ; AVX512BW-NEXT:    retq
 688   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 16, i32 17, i32 18, i32 19, i32 20, i32 21, i32 22, i32 23>
 689   %mask.cast = bitcast i16 %mask to <16 x i1>
 690   %res = select <16 x i1> %mask.cast, <16 x i32> %shuffle, <16 x i32> %passthru
 691   ret <16 x i32> %res
 692 }
 693
 694 define <16 x i32> @mask_shuffle_v16i32_00_01_02_03_16_17_18_19_08_09_10_11_12_13_14_15(<16 x i32> %a, <16 x i32> %b, <16 x i32> %passthru, i16 %mask) {
 695 ; AVX512F-LABEL: mask_shuffle_v16i32_00_01_02_03_16_17_18_19_08_09_10_11_12_13_14_15:
 696 ; AVX512F:       # %bb.0:
 697 ; AVX512F-NEXT:    kmovw %edi, %k1
 698 ; AVX512F-NEXT:    vinserti32x4 $1, %xmm1, %zmm0, %zmm2 {%k1}
 699 ; AVX512F-NEXT:    vmovdqa64 %zmm2, %zmm0
 700 ; AVX512F-NEXT:    retq
 701 ;
 702 ; AVX512BW-LABEL: mask_shuffle_v16i32_00_01_02_03_16_17_18_19_08_09_10_11_12_13_14_15:
 703 ; AVX512BW:       # %bb.0:
 704 ; AVX512BW-NEXT:    kmovd %edi, %k1
 705 ; AVX512BW-NEXT:    vinserti32x4 $1, %xmm1, %zmm0, %zmm2 {%k1}
 706 ; AVX512BW-NEXT:    vmovdqa64 %zmm2, %zmm0
 707 ; AVX512BW-NEXT:    retq
 708   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 16, i32 17, i32 18, i32 19, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 709   %mask.cast = bitcast i16 %mask to <16 x i1>
 710   %res = select <16 x i1> %mask.cast, <16 x i32> %shuffle, <16 x i32> %passthru
 711   ret <16 x i32> %res
 712 }
 713
 714 define <16 x i32> @mask_shuffle_v4i32_v16i32_00_01_02_03_00_01_02_03_00_01_02_03_00_01_02_03(<4 x i32> %a) {
 715 ; ALL-LABEL: mask_shuffle_v4i32_v16i32_00_01_02_03_00_01_02_03_00_01_02_03_00_01_02_03:
 716 ; ALL:       # %bb.0:
 717 ; ALL-NEXT:    # kill: def $xmm0 killed $xmm0 def $ymm0
 718 ; ALL-NEXT:    vinsertf128 $1, %xmm0, %ymm0, %ymm0
 719 ; ALL-NEXT:    vinsertf64x4 $1, %ymm0, %zmm0, %zmm0
 720 ; ALL-NEXT:    retq
 721   %res = shufflevector <4 x i32> %a, <4 x i32> undef, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
 722   ret <16 x i32> %res
 723 }
 724
 725 define <16 x float> @mask_shuffle_v4f32_v16f32_00_01_02_03_00_01_02_03_00_01_02_03_00_01_02_03(<4 x float> %a) {
 726 ; ALL-LABEL: mask_shuffle_v4f32_v16f32_00_01_02_03_00_01_02_03_00_01_02_03_00_01_02_03:
 727 ; ALL:       # %bb.0:
 728 ; ALL-NEXT:    # kill: def $xmm0 killed $xmm0 def $ymm0
 729 ; ALL-NEXT:    vinsertf128 $1, %xmm0, %ymm0, %ymm0
 730 ; ALL-NEXT:    vinsertf64x4 $1, %ymm0, %zmm0, %zmm0
 731 ; ALL-NEXT:    retq
 732   %res = shufflevector <4 x float> %a, <4 x float> undef, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
 733   ret <16 x float> %res
 734 }