test/CodeGen/X86/vector-shuffle-512-v16.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mcpu=x86-64 -mattr=+avx512f,+avx512dq | FileCheck %s --check-prefix=ALL --check-prefix=AVX512 --check-prefix=AVX512F
   3 ; RUN: llc < %s -mcpu=x86-64 -mattr=+avx512bw,+avx512dq | FileCheck %s --check-prefix=ALL --check-prefix=AVX512 --check-prefix=AVX512BW
   4
   5 target triple = "x86_64-unknown-unknown"
   6
   7 define <16 x float> @shuffle_v16f32_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00(<16 x float> %a, <16 x float> %b) {
   8 ; ALL-LABEL: shuffle_v16f32_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00:
   9 ; ALL:       # %bb.0:
  10 ; ALL-NEXT:    vbroadcastss %xmm0, %zmm0
  11 ; ALL-NEXT:    retq
  12   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32><i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0>
  13   ret <16 x float> %shuffle
  14 }
  15
  16 define <16 x float> @shuffle_v16f32_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08(<16 x float> %a, <16 x float> %b) {
  17 ; ALL-LABEL: shuffle_v16f32_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08:
  18 ; ALL:       # %bb.0:
  19 ; ALL-NEXT:    vextractf32x4 $2, %zmm0, %xmm0
  20 ; ALL-NEXT:    vbroadcastss %xmm0, %zmm0
  21 ; ALL-NEXT:    retq
  22   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32><i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8>
  23   ret <16 x float> %shuffle
  24 }
  25
  26 define <16 x float> @shuffle_v16f32_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08_bc(<16 x i32> %a, <16 x i32> %b) {
  27 ; ALL-LABEL: shuffle_v16f32_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08_08_bc:
  28 ; ALL:       # %bb.0:
  29 ; ALL-NEXT:    vextractf32x4 $2, %zmm0, %xmm0
  30 ; ALL-NEXT:    vbroadcastss %xmm0, %zmm0
  31 ; ALL-NEXT:    retq
  32   %tmp0 = bitcast <16 x i32> %a to <16 x float>
  33   %tmp1 = bitcast <16 x i32> %b to <16 x float>
  34   %shuffle = shufflevector <16 x float> %tmp0, <16 x float> %tmp1, <16 x i32><i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8, i32 8>
  35   ret <16 x float> %shuffle
  36 }
  37
  38 define <16 x float> @shuffle_v16f32_00_10_01_11_04_14_05_15_08_18_09_19_0c_1c_0d_1d(<16 x float> %a, <16 x float> %b) {
  39 ; ALL-LABEL: shuffle_v16f32_00_10_01_11_04_14_05_15_08_18_09_19_0c_1c_0d_1d:
  40 ; ALL:       # %bb.0:
  41 ; ALL-NEXT:    vunpcklps {{.*#+}} zmm0 = zmm0[0],zmm1[0],zmm0[1],zmm1[1],zmm0[4],zmm1[4],zmm0[5],zmm1[5],zmm0[8],zmm1[8],zmm0[9],zmm1[9],zmm0[12],zmm1[12],zmm0[13],zmm1[13]
  42 ; ALL-NEXT:    retq
  43   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32><i32 0, i32 16, i32 1, i32 17, i32 4, i32 20, i32 5, i32 21, i32 8, i32 24, i32 9, i32 25, i32 12, i32 28, i32 13, i32 29>
  44   ret <16 x float> %shuffle
  45 }
  46
  47 define <16 x float> @shuffle_v16f32_00_zz_01_zz_04_zz_05_zz_08_zz_09_zz_0c_zz_0d_zz(<16 x float> %a, <16 x float> %b) {
  48 ; ALL-LABEL: shuffle_v16f32_00_zz_01_zz_04_zz_05_zz_08_zz_09_zz_0c_zz_0d_zz:
  49 ; ALL:       # %bb.0:
  50 ; ALL-NEXT:    vxorps %xmm1, %xmm1, %xmm1
  51 ; ALL-NEXT:    vunpcklps {{.*#+}} zmm0 = zmm0[0],zmm1[0],zmm0[1],zmm1[1],zmm0[4],zmm1[4],zmm0[5],zmm1[5],zmm0[8],zmm1[8],zmm0[9],zmm1[9],zmm0[12],zmm1[12],zmm0[13],zmm1[13]
  52 ; ALL-NEXT:    retq
  53   %shuffle = shufflevector <16 x float> %a, <16 x float> zeroinitializer, <16 x i32><i32 0, i32 16, i32 1, i32 16, i32 4, i32 16, i32 5, i32 16, i32 8, i32 16, i32 9, i32 16, i32 12, i32 16, i32 13, i32 16>
  54   ret <16 x float> %shuffle
  55 }
  56
  57 define <16 x float> @shuffle_v16f32_vunpcklps_swap(<16 x float> %a, <16 x float> %b) {
  58 ; ALL-LABEL: shuffle_v16f32_vunpcklps_swap:
  59 ; ALL:       # %bb.0:
  60 ; ALL-NEXT:    vunpcklps {{.*#+}} zmm0 = zmm1[0],zmm0[0],zmm1[1],zmm0[1],zmm1[4],zmm0[4],zmm1[5],zmm0[5],zmm1[8],zmm0[8],zmm1[9],zmm0[9],zmm1[12],zmm0[12],zmm1[13],zmm0[13]
  61 ; ALL-NEXT:    retq
  62   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 16, i32 0, i32 17, i32 1, i32 20, i32 4, i32 21, i32 5, i32 24, i32 8, i32 25, i32 9, i32 28, i32 12, i32 29, i32 13>
  63   ret <16 x float> %shuffle
  64 }
  65
  66 ; PR34382
  67 define <16 x float> @shuffle_v16f32_01_01_03_00_06_04_05_07_08_08_09_09_15_14_14_12(<16 x float> %a0) {
  68 ; ALL-LABEL: shuffle_v16f32_01_01_03_00_06_04_05_07_08_08_09_09_15_14_14_12:
  69 ; ALL:       # %bb.0:
  70 ; ALL-NEXT:    vpermilps {{.*#+}} zmm0 = zmm0[1,1,3,0,6,4,5,7,8,8,9,9,15,14,14,12]
  71 ; ALL-NEXT:    retq
  72   %shuffle = shufflevector <16 x float> %a0, <16 x float> undef, <16 x i32> <i32 1, i32 1, i32 3, i32 0, i32 6, i32 4, i32 5, i32 7, i32 8, i32 8, i32 9, i32 9, i32 15, i32 14, i32 14, i32 12>
  73   ret <16 x float> %shuffle
  74 }
  75
  76 define <16 x i32> @shuffle_v16i32_00_10_01_11_04_14_05_15_08_18_09_19_0c_1c_0d_1d(<16 x i32> %a, <16 x i32> %b) {
  77 ; ALL-LABEL: shuffle_v16i32_00_10_01_11_04_14_05_15_08_18_09_19_0c_1c_0d_1d:
  78 ; ALL:       # %bb.0:
  79 ; ALL-NEXT:    vunpcklps {{.*#+}} zmm0 = zmm0[0],zmm1[0],zmm0[1],zmm1[1],zmm0[4],zmm1[4],zmm0[5],zmm1[5],zmm0[8],zmm1[8],zmm0[9],zmm1[9],zmm0[12],zmm1[12],zmm0[13],zmm1[13]
  80 ; ALL-NEXT:    retq
  81   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 0, i32 16, i32 1, i32 17, i32 4, i32 20, i32 5, i32 21, i32 8, i32 24, i32 9, i32 25, i32 12, i32 28, i32 13, i32 29>
  82   ret <16 x i32> %shuffle
  83 }
  84
  85 define <16 x i32> @shuffle_v16i32_zz_10_zz_11_zz_14_zz_15_zz_18_zz_19_zz_1c_zz_1d(<16 x i32> %a, <16 x i32> %b) {
  86 ; ALL-LABEL: shuffle_v16i32_zz_10_zz_11_zz_14_zz_15_zz_18_zz_19_zz_1c_zz_1d:
  87 ; ALL:       # %bb.0:
  88 ; ALL-NEXT:    vxorps %xmm0, %xmm0, %xmm0
  89 ; ALL-NEXT:    vunpcklps {{.*#+}} zmm0 = zmm0[0],zmm1[0],zmm0[1],zmm1[1],zmm0[4],zmm1[4],zmm0[5],zmm1[5],zmm0[8],zmm1[8],zmm0[9],zmm1[9],zmm0[12],zmm1[12],zmm0[13],zmm1[13]
  90 ; ALL-NEXT:    retq
  91   %shuffle = shufflevector <16 x i32> zeroinitializer, <16 x i32> %b, <16 x i32><i32 15, i32 16, i32 13, i32 17, i32 11, i32 20, i32 9, i32 21, i32 7, i32 24, i32 5, i32 25, i32 3, i32 28, i32 1, i32 29>
  92   ret <16 x i32> %shuffle
  93 }
  94
  95 define <16 x float> @shuffle_v16f32_02_12_03_13_06_16_07_17_0a_1a_0b_1b_0e_1e_0f_1f(<16 x float> %a, <16 x float> %b) {
  96 ; ALL-LABEL: shuffle_v16f32_02_12_03_13_06_16_07_17_0a_1a_0b_1b_0e_1e_0f_1f:
  97 ; ALL:       # %bb.0:
  98 ; ALL-NEXT:    vunpckhps {{.*#+}} zmm0 = zmm0[2],zmm1[2],zmm0[3],zmm1[3],zmm0[6],zmm1[6],zmm0[7],zmm1[7],zmm0[10],zmm1[10],zmm0[11],zmm1[11],zmm0[14],zmm1[14],zmm0[15],zmm1[15]
  99 ; ALL-NEXT:    retq
 100   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32><i32 2, i32 18, i32 3, i32 19, i32 6, i32 22, i32 7, i32 23, i32 10, i32 26, i32 11, i32 27, i32 14, i32 30, i32 15, i32 31>
 101   ret <16 x float> %shuffle
 102 }
 103
 104 define <16 x float> @shuffle_v16f32_zz_12_zz_13_zz_16_zz_17_zz_1a_zz_1b_zz_1e_zz_1f(<16 x float> %a, <16 x float> %b) {
 105 ; ALL-LABEL: shuffle_v16f32_zz_12_zz_13_zz_16_zz_17_zz_1a_zz_1b_zz_1e_zz_1f:
 106 ; ALL:       # %bb.0:
 107 ; ALL-NEXT:    vxorps %xmm0, %xmm0, %xmm0
 108 ; ALL-NEXT:    vunpckhps {{.*#+}} zmm0 = zmm0[2],zmm1[2],zmm0[3],zmm1[3],zmm0[6],zmm1[6],zmm0[7],zmm1[7],zmm0[10],zmm1[10],zmm0[11],zmm1[11],zmm0[14],zmm1[14],zmm0[15],zmm1[15]
 109 ; ALL-NEXT:    retq
 110   %shuffle = shufflevector <16 x float> zeroinitializer, <16 x float> %b, <16 x i32><i32 0, i32 18, i32 0, i32 19, i32 4, i32 22, i32 4, i32 23, i32 6, i32 26, i32 6, i32 27, i32 8, i32 30, i32 8, i32 31>
 111   ret <16 x float> %shuffle
 112 }
 113
 114 define <16 x float> @shuffle_v16f32_00_00_02_02_04_04_06_06_08_08_10_10_12_12_14_14(<16 x float> %a, <16 x float> %b) {
 115 ; ALL-LABEL: shuffle_v16f32_00_00_02_02_04_04_06_06_08_08_10_10_12_12_14_14:
 116 ; ALL:       # %bb.0:
 117 ; ALL-NEXT:    vmovsldup {{.*#+}} zmm0 = zmm0[0,0,2,2,4,4,6,6,8,8,10,10,12,12,14,14]
 118 ; ALL-NEXT:    retq
 119   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32><i32 0, i32 0, i32 2, i32 2, i32 4, i32 4, i32 6, i32 6, i32 8, i32 8, i32 10, i32 10, i32 12, i32 12, i32 14, i32 14>
 120   ret <16 x float> %shuffle
 121 }
 122
 123 define <16 x float> @shuffle_v16f32_01_01_03_03_05_05_07_07_09_09_11_11_13_13_15_15(<16 x float> %a, <16 x float> %b) {
 124 ; ALL-LABEL: shuffle_v16f32_01_01_03_03_05_05_07_07_09_09_11_11_13_13_15_15:
 125 ; ALL:       # %bb.0:
 126 ; ALL-NEXT:    vmovshdup {{.*#+}} zmm0 = zmm0[1,1,3,3,5,5,7,7,9,9,11,11,13,13,15,15]
 127 ; ALL-NEXT:    retq
 128   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32><i32 1, i32 1, i32 3, i32 3, i32 5, i32 5, i32 7, i32 7, i32 9, i32 9, i32 11, i32 11, i32 13, i32 13, i32 15, i32 15>
 129   ret <16 x float> %shuffle
 130 }
 131
 132 define <16 x float> @shuffle_v16f32_00_01_00_01_06_07_06_07_08_09_10_11_12_13_12_13(<16 x float> %a, <16 x float> %b) {
 133 ; ALL-LABEL: shuffle_v16f32_00_01_00_01_06_07_06_07_08_09_10_11_12_13_12_13:
 134 ; ALL:       # %bb.0:
 135 ; ALL-NEXT:    vpermilpd {{.*#+}} zmm0 = zmm0[0,0,3,3,4,5,6,6]
 136 ; ALL-NEXT:    retq
 137   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 0, i32 1, i32 0, i32 1, i32 6, i32 7, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 12, i32 13>
 138   ret <16 x float> %shuffle
 139 }
 140
 141 define <16 x float> @shuffle_v16f32_00_00_02_00_04_04_06_04_08_08_10_08_12_12_14_12(<16 x float> %a, <16 x float> %b) {
 142 ; ALL-LABEL: shuffle_v16f32_00_00_02_00_04_04_06_04_08_08_10_08_12_12_14_12:
 143 ; ALL:       # %bb.0:
 144 ; ALL-NEXT:    vpermilps {{.*#+}} zmm0 = zmm0[0,0,2,0,4,4,6,4,8,8,10,8,12,12,14,12]
 145 ; ALL-NEXT:    retq
 146   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 0, i32 0, i32 2, i32 0, i32 4, i32 4, i32 6, i32 4, i32 8, i32 8, i32 10, i32 8, i32 12, i32 12, i32 14, i32 12>
 147   ret <16 x float> %shuffle
 148 }
 149
 150 define <16 x float> @shuffle_v16f32_03_uu_uu_uu_uu_04_uu_uu_uu_uu_11_uu_uu_uu_uu_12(<16 x float> %a, <16 x float> %b) {
 151 ; ALL-LABEL: shuffle_v16f32_03_uu_uu_uu_uu_04_uu_uu_uu_uu_11_uu_uu_uu_uu_12:
 152 ; ALL:       # %bb.0:
 153 ; ALL-NEXT:    vpermilps {{.*#+}} zmm0 = zmm0[3,0,3,0,7,4,7,4,11,8,11,8,15,12,15,12]
 154 ; ALL-NEXT:    retq
 155   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 3, i32 undef, i32 undef, i32 undef, i32 undef, i32 4, i32 undef, i32 undef, i32 undef, i32 undef, i32 11, i32 undef, i32 undef, i32 undef, i32 undef, i32 12>
 156   ret <16 x float> %shuffle
 157 }
 158
 159 define <16 x i32> @shuffle_v16i32_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00(<16 x i32> %a, <16 x i32> %b) {
 160 ; ALL-LABEL: shuffle_v16i32_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00_00:
 161 ; ALL:       # %bb.0:
 162 ; ALL-NEXT:    vbroadcastss %xmm0, %zmm0
 163 ; ALL-NEXT:    retq
 164   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0>
 165   ret <16 x i32> %shuffle
 166 }
 167
 168 define <16 x i32> @shuffle_v16i32_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04(<16 x i32> %a, <16 x i32> %b) {
 169 ; ALL-LABEL: shuffle_v16i32_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04:
 170 ; ALL:       # %bb.0:
 171 ; ALL-NEXT:    vextractf128 $1, %ymm0, %xmm0
 172 ; ALL-NEXT:    vbroadcastss %xmm0, %zmm0
 173 ; ALL-NEXT:    retq
 174   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
 175   ret <16 x i32> %shuffle
 176 }
 177
 178 define <16 x i32> @shuffle_v16i32_02_12_03_13_06_16_07_17_0a_1a_0b_1b_0e_1e_0f_1f(<16 x i32> %a, <16 x i32> %b) {
 179 ; ALL-LABEL: shuffle_v16i32_02_12_03_13_06_16_07_17_0a_1a_0b_1b_0e_1e_0f_1f:
 180 ; ALL:       # %bb.0:
 181 ; ALL-NEXT:    vunpckhps {{.*#+}} zmm0 = zmm0[2],zmm1[2],zmm0[3],zmm1[3],zmm0[6],zmm1[6],zmm0[7],zmm1[7],zmm0[10],zmm1[10],zmm0[11],zmm1[11],zmm0[14],zmm1[14],zmm0[15],zmm1[15]
 182 ; ALL-NEXT:    retq
 183   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 2, i32 18, i32 3, i32 19, i32 6, i32 22, i32 7, i32 23, i32 10, i32 26, i32 11, i32 27, i32 14, i32 30, i32 15, i32 31>
 184   ret <16 x i32> %shuffle
 185 }
 186
 187 define <16 x i32> @shuffle_v16i32_02_zz_03_zz_06_zz_07_zz_0a_zz_0b_zz_0e_zz_0f_zz(<16 x i32> %a, <16 x i32> %b) {
 188 ; ALL-LABEL: shuffle_v16i32_02_zz_03_zz_06_zz_07_zz_0a_zz_0b_zz_0e_zz_0f_zz:
 189 ; ALL:       # %bb.0:
 190 ; ALL-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 191 ; ALL-NEXT:    vunpckhps {{.*#+}} zmm0 = zmm0[2],zmm1[2],zmm0[3],zmm1[3],zmm0[6],zmm1[6],zmm0[7],zmm1[7],zmm0[10],zmm1[10],zmm0[11],zmm1[11],zmm0[14],zmm1[14],zmm0[15],zmm1[15]
 192 ; ALL-NEXT:    retq
 193   %shuffle = shufflevector <16 x i32> %a, <16 x i32> zeroinitializer, <16 x i32><i32 2, i32 30, i32 3, i32 28, i32 6, i32 26, i32 7, i32 24, i32 10, i32 22, i32 11, i32 20, i32 14, i32 18, i32 15, i32 16>
 194   ret <16 x i32> %shuffle
 195 }
 196
 197 define <16 x i32> @shuffle_v16i32_01_02_03_16_05_06_07_20_09_10_11_24_13_14_15_28(<16 x i32> %a, <16 x i32> %b) {
 198 ; AVX512F-LABEL: shuffle_v16i32_01_02_03_16_05_06_07_20_09_10_11_24_13_14_15_28:
 199 ; AVX512F:       # %bb.0:
 200 ; AVX512F-NEXT:    vmovdqa64 {{.*#+}} zmm2 = [1,2,3,16,5,6,7,20,9,10,11,24,13,14,15,28]
 201 ; AVX512F-NEXT:    vpermt2d %zmm1, %zmm2, %zmm0
 202 ; AVX512F-NEXT:    retq
 203 ;
 204 ; AVX512BW-LABEL: shuffle_v16i32_01_02_03_16_05_06_07_20_09_10_11_24_13_14_15_28:
 205 ; AVX512BW:       # %bb.0:
 206 ; AVX512BW-NEXT:    vpalignr {{.*#+}} zmm0 = zmm0[4,5,6,7,8,9,10,11,12,13,14,15],zmm1[0,1,2,3],zmm0[20,21,22,23,24,25,26,27,28,29,30,31],zmm1[16,17,18,19],zmm0[36,37,38,39,40,41,42,43,44,45,46,47],zmm1[32,33,34,35],zmm0[52,53,54,55,56,57,58,59,60,61,62,63],zmm1[48,49,50,51]
 207 ; AVX512BW-NEXT:    retq
 208   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 1, i32 2, i32 3, i32 16, i32 5, i32 6, i32 7, i32 20, i32 9, i32 10, i32 11, i32 24, i32 13, i32 14, i32 15, i32 28>
 209   ret <16 x i32> %shuffle
 210 }
 211
 212 define <16 x float> @shuffle_v16f32_02_05_u_u_07_u_0a_01_00_05_u_04_07_u_0a_01(<16 x float> %a)  {
 213 ; ALL-LABEL: shuffle_v16f32_02_05_u_u_07_u_0a_01_00_05_u_04_07_u_0a_01:
 214 ; ALL:       # %bb.0:
 215 ; ALL-NEXT:    vmovaps {{.*#+}} zmm1 = <2,5,u,u,7,u,10,1,0,5,u,4,7,u,10,1>
 216 ; ALL-NEXT:    vpermps %zmm0, %zmm1, %zmm0
 217 ; ALL-NEXT:    retq
 218   %c = shufflevector <16 x float> %a, <16 x float> undef, <16 x i32> <i32 2, i32 5, i32 undef, i32 undef, i32 7, i32 undef, i32 10, i32 1,  i32 0, i32 5, i32 undef, i32 4, i32 7, i32 undef, i32 10, i32 1>
 219   ret <16 x float> %c
 220 }
 221
 222 define <16 x i32> @shuffle_v16i32_02_05_u_u_07_u_0a_01_00_05_u_04_07_u_0a_01(<16 x i32> %a)  {
 223 ; ALL-LABEL: shuffle_v16i32_02_05_u_u_07_u_0a_01_00_05_u_04_07_u_0a_01:
 224 ; ALL:       # %bb.0:
 225 ; ALL-NEXT:    vmovaps {{.*#+}} zmm1 = <2,5,u,u,7,u,10,1,0,5,u,4,7,u,10,1>
 226 ; ALL-NEXT:    vpermps %zmm0, %zmm1, %zmm0
 227 ; ALL-NEXT:    retq
 228   %c = shufflevector <16 x i32> %a, <16 x i32> undef, <16 x i32> <i32 2, i32 5, i32 undef, i32 undef, i32 7, i32 undef, i32 10, i32 1,  i32 0, i32 5, i32 undef, i32 4, i32 7, i32 undef, i32 10, i32 1>
 229   ret <16 x i32> %c
 230 }
 231
 232 define <16 x i32> @shuffle_v16i32_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18(<16 x i32> %a, <16 x i32> %b)  {
 233 ; ALL-LABEL: shuffle_v16i32_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18:
 234 ; ALL:       # %bb.0:
 235 ; ALL-NEXT:    vmovdqa64 {{.*#+}} zmm2 = [15,31,14,22,13,29,4,28,11,27,10,26,9,25,8,24]
 236 ; ALL-NEXT:    vpermt2d %zmm1, %zmm2, %zmm0
 237 ; ALL-NEXT:    retq
 238   %c = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 15, i32 31, i32 14, i32 22, i32 13, i32 29, i32 4, i32 28, i32 11, i32 27, i32 10, i32 26, i32 9, i32 25, i32 8, i32 24>
 239   ret <16 x i32> %c
 240 }
 241
 242 define <16 x float> @shuffle_v16f32_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18(<16 x float> %a, <16 x float> %b)  {
 243 ; ALL-LABEL: shuffle_v16f32_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18:
 244 ; ALL:       # %bb.0:
 245 ; ALL-NEXT:    vmovaps {{.*#+}} zmm2 = [15,31,14,22,13,29,4,28,11,27,10,26,9,25,8,24]
 246 ; ALL-NEXT:    vpermt2ps %zmm1, %zmm2, %zmm0
 247 ; ALL-NEXT:    retq
 248   %c = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 15, i32 31, i32 14, i32 22, i32 13, i32 29, i32 4, i32 28, i32 11, i32 27, i32 10, i32 26, i32 9, i32 25, i32 8, i32 24>
 249   ret <16 x float> %c
 250 }
 251
 252 define <16 x float> @shuffle_v16f32_load_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18(<16 x float> %a, <16 x float>* %b)  {
 253 ; ALL-LABEL: shuffle_v16f32_load_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18:
 254 ; ALL:       # %bb.0:
 255 ; ALL-NEXT:    vmovaps {{.*#+}} zmm1 = [15,31,14,22,13,29,4,28,11,27,10,26,9,25,8,24]
 256 ; ALL-NEXT:    vpermt2ps (%rdi), %zmm1, %zmm0
 257 ; ALL-NEXT:    retq
 258   %c = load <16 x float>, <16 x float>* %b
 259   %d = shufflevector <16 x float> %a, <16 x float> %c, <16 x i32> <i32 15, i32 31, i32 14, i32 22, i32 13, i32 29, i32 4, i32 28, i32 11, i32 27, i32 10, i32 26, i32 9, i32 25, i32 8, i32 24>
 260   ret <16 x float> %d
 261 }
 262
 263 define <16 x i32> @shuffle_v16i32_load_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18(<16 x i32> %a, <16 x i32>* %b)  {
 264 ; ALL-LABEL: shuffle_v16i32_load_0f_1f_0e_16_0d_1d_04_1e_0b_1b_0a_1a_09_19_08_18:
 265 ; ALL:       # %bb.0:
 266 ; ALL-NEXT:    vmovdqa64 {{.*#+}} zmm1 = [15,31,14,22,13,29,4,28,11,27,10,26,9,25,8,24]
 267 ; ALL-NEXT:    vpermt2d (%rdi), %zmm1, %zmm0
 268 ; ALL-NEXT:    retq
 269   %c = load <16 x i32>, <16 x i32>* %b
 270   %d = shufflevector <16 x i32> %a, <16 x i32> %c, <16 x i32> <i32 15, i32 31, i32 14, i32 22, i32 13, i32 29, i32 4, i32 28, i32 11, i32 27, i32 10, i32 26, i32 9, i32 25, i32 8, i32 24>
 271   ret <16 x i32> %d
 272 }
 273
 274 define <16 x i32> @shuffle_v16i32_0_1_2_19_u_u_u_u_u_u_u_u_u_u_u_u(<16 x i32> %a, <16 x i32> %b)  {
 275 ; ALL-LABEL: shuffle_v16i32_0_1_2_19_u_u_u_u_u_u_u_u_u_u_u_u:
 276 ; ALL:       # %bb.0:
 277 ; ALL-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0,1,2],xmm1[3]
 278 ; ALL-NEXT:    retq
 279   %c = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 0, i32 1, i32 2, i32 19, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef, i32 undef>
 280   ret <16 x i32> %c
 281 }
 282
 283 ;FIXME: can do better with vpcompress
 284 define <8 x i32> @test_v16i32_1_3_5_7_9_11_13_15(<16 x i32> %v) {
 285 ; ALL-LABEL: test_v16i32_1_3_5_7_9_11_13_15:
 286 ; ALL:       # %bb.0:
 287 ; ALL-NEXT:    vextractf64x4 $1, %zmm0, %ymm1
 288 ; ALL-NEXT:    vshufps {{.*#+}} ymm0 = ymm0[1,3],ymm1[1,3],ymm0[5,7],ymm1[5,7]
 289 ; ALL-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,2,1,3]
 290 ; ALL-NEXT:    retq
 291   %res = shufflevector <16 x i32> %v, <16 x i32> undef, <8 x i32> <i32 1, i32 3, i32 5, i32 7, i32 9, i32 11, i32 13, i32 15>
 292   ret <8 x i32> %res
 293 }
 294
 295 ;FIXME: can do better with vpcompress
 296 define <4 x i32> @test_v16i32_0_1_2_12 (<16 x i32> %v) {
 297 ; ALL-LABEL: test_v16i32_0_1_2_12:
 298 ; ALL:       # %bb.0:
 299 ; ALL-NEXT:    vextractf64x4 $1, %zmm0, %ymm1
 300 ; ALL-NEXT:    vextractf128 $1, %ymm1, %xmm1
 301 ; ALL-NEXT:    vbroadcastss %xmm1, %xmm1
 302 ; ALL-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0,1,2],xmm1[3]
 303 ; ALL-NEXT:    vzeroupper
 304 ; ALL-NEXT:    retq
 305   %res = shufflevector <16 x i32> %v, <16 x i32> undef, <4 x i32> <i32 0, i32 1, i32 2, i32 12>
 306   ret <4 x i32> %res
 307 }
 308
 309 ;PR31451
 310 ;FIXME: can do better with vpcompress
 311 define <4 x i32> @test_v16i32_0_4_8_12(<16 x i32> %v) {
 312 ; ALL-LABEL: test_v16i32_0_4_8_12:
 313 ; ALL:       # %bb.0:
 314 ; ALL-NEXT:    vextractf128 $1, %ymm0, %xmm1
 315 ; ALL-NEXT:    vunpcklps {{.*#+}} xmm1 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 316 ; ALL-NEXT:    vextractf64x4 $1, %zmm0, %ymm0
 317 ; ALL-NEXT:    vmovaps {{.*#+}} ymm2 = <u,u,0,4,u,u,u,u>
 318 ; ALL-NEXT:    vpermps %ymm0, %ymm2, %ymm0
 319 ; ALL-NEXT:    vblendps {{.*#+}} xmm0 = xmm1[0,1],xmm0[2,3]
 320 ; ALL-NEXT:    vzeroupper
 321 ; ALL-NEXT:    retq
 322   %res = shufflevector <16 x i32> %v, <16 x i32> undef, <4 x i32> <i32 0, i32 4, i32 8, i32 12>
 323   ret <4 x i32> %res
 324 }
 325
 326 define <8 x float> @shuffle_v16f32_extract_256(float* %RET, float* %a) {
 327 ; ALL-LABEL: shuffle_v16f32_extract_256:
 328 ; ALL:       # %bb.0:
 329 ; ALL-NEXT:    vmovups 32(%rsi), %ymm0
 330 ; ALL-NEXT:    retq
 331   %ptr_a = bitcast float* %a to <16 x float>*
 332   %v_a = load <16 x float>, <16 x float>* %ptr_a, align 4
 333   %v2 = shufflevector <16 x float> %v_a, <16 x float> undef, <8 x i32>  <i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 334   ret <8 x float> %v2
 335 }
 336
 337 ;FIXME: can do better with vcompressp
 338 define <8 x float> @test_v16f32_0_1_2_3_4_6_7_10 (<16 x float> %v) {
 339 ; ALL-LABEL: test_v16f32_0_1_2_3_4_6_7_10:
 340 ; ALL:       # %bb.0:
 341 ; ALL-NEXT:    vextractf32x4 $2, %zmm0, %xmm1
 342 ; ALL-NEXT:    vmovsldup {{.*#+}} xmm1 = xmm1[0,0,2,2]
 343 ; ALL-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm1
 344 ; ALL-NEXT:    vpermilps {{.*#+}} ymm0 = ymm0[0,1,2,3,4,6,7,u]
 345 ; ALL-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1,2,3,4,5,6],ymm1[7]
 346 ; ALL-NEXT:    retq
 347   %res = shufflevector <16 x float> %v, <16 x float> undef, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 6, i32 7, i32 10>
 348   ret <8 x float> %res
 349 }
 350
 351 ;FIXME: can do better with vcompressp
 352 define <4 x float> @test_v16f32_0_1_3_6 (<16 x float> %v) {
 353 ; ALL-LABEL: test_v16f32_0_1_3_6:
 354 ; ALL:       # %bb.0:
 355 ; ALL-NEXT:    vpermilps {{.*#+}} xmm1 = xmm0[0,1,3,3]
 356 ; ALL-NEXT:    vextractf128 $1, %ymm0, %xmm0
 357 ; ALL-NEXT:    vpermilpd {{.*#+}} xmm0 = xmm0[1,0]
 358 ; ALL-NEXT:    vinsertps {{.*#+}} xmm0 = xmm1[0,1,2],xmm0[0]
 359 ; ALL-NEXT:    vzeroupper
 360 ; ALL-NEXT:    retq
 361   %res = shufflevector <16 x float> %v, <16 x float> undef, <4 x i32> <i32 0, i32 1, i32 3, i32 6>
 362   ret <4 x float> %res
 363 }
 364
 365 define <16 x i32> @shuffle_v16i16_1_0_0_0_5_4_4_4_9_8_8_8_13_12_12_12(<16 x i32> %a, <16 x i32> %b)  {
 366 ; ALL-LABEL: shuffle_v16i16_1_0_0_0_5_4_4_4_9_8_8_8_13_12_12_12:
 367 ; ALL:       # %bb.0:
 368 ; ALL-NEXT:    vpermilps {{.*#+}} zmm0 = zmm0[1,0,0,0,5,4,4,4,9,8,8,8,13,12,12,12]
 369 ; ALL-NEXT:    retq
 370   %c = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 1, i32 0, i32 0, i32 0, i32 5, i32 4, i32 4, i32 4, i32 9, i32 8, i32 8, i32 8, i32 13, i32 12, i32 12, i32 12>
 371   ret <16 x i32> %c
 372 }
 373
 374 define <16 x i32> @shuffle_v16i16_3_3_0_0_7_7_4_4_11_11_8_8_15_15_12_12(<16 x i32> %a, <16 x i32> %b)  {
 375 ; ALL-LABEL: shuffle_v16i16_3_3_0_0_7_7_4_4_11_11_8_8_15_15_12_12:
 376 ; ALL:       # %bb.0:
 377 ; ALL-NEXT:    vpermilps {{.*#+}} zmm0 = zmm0[2,3,0,1,6,7,4,5,10,11,8,9,14,15,12,13]
 378 ; ALL-NEXT:    retq
 379   %c = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 2, i32 3, i32 0, i32 1, i32 6, i32 7, i32 4, i32 5, i32 10, i32 11, i32 8, i32 9, i32 14, i32 15, i32 12, i32 13>
 380   ret <16 x i32> %c
 381 }
 382
 383 define <16 x float> @shuffle_v16f32_00_01_10_10_04_05_14_14_08_09_18_18_0c_0d_1c_1c(<16 x float> %a, <16 x float> %b) {
 384 ; ALL-LABEL: shuffle_v16f32_00_01_10_10_04_05_14_14_08_09_18_18_0c_0d_1c_1c:
 385 ; ALL:       # %bb.0:
 386 ; ALL-NEXT:    vshufps {{.*#+}} zmm0 = zmm0[0,1],zmm1[0,0],zmm0[4,5],zmm1[4,4],zmm0[8,9],zmm1[8,8],zmm0[12,13],zmm1[12,12]
 387 ; ALL-NEXT:    retq
 388   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 0, i32 1, i32 16, i32 16, i32 4, i32 5, i32 20, i32 20, i32 8, i32 9, i32 24, i32 24, i32 12, i32 13, i32 28, i32 28>
 389   ret <16 x float> %shuffle
 390 }
 391
 392 define <16 x i32> @insert_mem_and_zero_v16i32(i32* %ptr) {
 393 ; ALL-LABEL: insert_mem_and_zero_v16i32:
 394 ; ALL:       # %bb.0:
 395 ; ALL-NEXT:    vmovss {{.*#+}} xmm0 = mem[0],zero,zero,zero
 396 ; ALL-NEXT:    retq
 397   %a = load i32, i32* %ptr
 398   %v = insertelement <16 x i32> undef, i32 %a, i32 0
 399   %shuffle = shufflevector <16 x i32> %v, <16 x i32> zeroinitializer, <16 x i32> <i32 0, i32 17, i32 18, i32 19, i32 20, i32 21, i32 22, i32 23, i32 24, i32 25, i32 26, i32 27, i32 28, i32 29, i32 30, i32 31>
 400   ret <16 x i32> %shuffle
 401 }
 402
 403
 404 define <16 x i32> @shuffle_v16i32_0zzzzzzzzzzzzzzz(<16 x i32> %a) {
 405 ; ALL-LABEL: shuffle_v16i32_0zzzzzzzzzzzzzzz:
 406 ; ALL:       # %bb.0:
 407 ; ALL-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 408 ; ALL-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
 409 ; ALL-NEXT:    retq
 410   %shuffle = shufflevector <16 x i32> %a, <16 x i32> zeroinitializer, <16 x i32> <i32 0, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16>
 411   ret <16 x i32> %shuffle
 412 }
 413
 414 define <16 x float> @shuffle_v16f32_0zzzzzzzzzzzzzzz(<16 x float> %a) {
 415 ; ALL-LABEL: shuffle_v16f32_0zzzzzzzzzzzzzzz:
 416 ; ALL:       # %bb.0:
 417 ; ALL-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 418 ; ALL-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
 419 ; ALL-NEXT:    retq
 420   %shuffle = shufflevector <16 x float> %a, <16 x float> zeroinitializer, <16 x i32> <i32 0, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16>
 421   ret <16 x float> %shuffle
 422 }
 423
 424 define <16 x i32> @shuffle_v16i32_16_zz_17_zz_18_zz_19_zz_20_zz_21_zz_22_zz_23_zz(<16 x i32> %a) {
 425 ; ALL-LABEL: shuffle_v16i32_16_zz_17_zz_18_zz_19_zz_20_zz_21_zz_22_zz_23_zz:
 426 ; ALL:       # %bb.0:
 427 ; ALL-NEXT:    vpmovzxdq {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero
 428 ; ALL-NEXT:    retq
 429   %shuffle = shufflevector <16 x i32> zeroinitializer, <16 x i32> %a, <16 x i32> <i32 16, i32 0, i32 17, i32 0, i32 18, i32 0, i32 19, i32 0, i32 20, i32 0, i32 21, i32 0, i32 22, i32 0, i32 23, i32 0>
 430   ret <16 x i32> %shuffle
 431 }
 432
 433 define <16 x i32> @shuffle_v16i32_01_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16(<16 x i32> %a, <16 x i32> %b) {
 434 ; ALL-LABEL: shuffle_v16i32_01_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16:
 435 ; ALL:       # %bb.0:
 436 ; ALL-NEXT:    valignd {{.*#+}} zmm0 = zmm0[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15],zmm1[0]
 437 ; ALL-NEXT:    retq
 438   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15, i32 16>
 439   ret <16 x i32> %shuffle
 440 }
 441
 442 define <16 x i32> @shuffle_v16i32_01_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00(<16 x i32> %a) {
 443 ; ALL-LABEL: shuffle_v16i32_01_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00:
 444 ; ALL:       # %bb.0:
 445 ; ALL-NEXT:    valignd {{.*#+}} zmm0 = zmm0[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,0]
 446 ; ALL-NEXT:    retq
 447   %shuffle = shufflevector <16 x i32> %a, <16 x i32> undef, <16 x i32><i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15, i32 0>
 448   ret <16 x i32> %shuffle
 449 }
 450
 451 define <16 x i32> @shuffle_v16i32_00_03_16_19_04_07_20_23_08_11_24_27_12_15_28_31(<16 x i32> %a, <16 x i32> %b) {
 452 ; ALL-LABEL: shuffle_v16i32_00_03_16_19_04_07_20_23_08_11_24_27_12_15_28_31:
 453 ; ALL:       # %bb.0:
 454 ; ALL-NEXT:    vshufps {{.*#+}} zmm0 = zmm0[0,3],zmm1[0,3],zmm0[4,7],zmm1[4,7],zmm0[8,11],zmm1[8,11],zmm0[12,15],zmm1[12,15]
 455 ; ALL-NEXT:    retq
 456   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 0, i32 3, i32 16, i32 19, i32 4, i32 7, i32 20, i32 23, i32 8, i32 11, i32 24, i32 27, i32 12, i32 15, i32 28, i32 31>
 457   ret <16 x i32> %shuffle
 458 }
 459
 460 define <16 x i32> @shuffle_v16i32_16_16_02_03_20_20_06_07_24_24_10_11_28_28_uu_uu(<16 x i32> %a, <16 x i32> %b) {
 461 ; ALL-LABEL: shuffle_v16i32_16_16_02_03_20_20_06_07_24_24_10_11_28_28_uu_uu:
 462 ; ALL:       # %bb.0:
 463 ; ALL-NEXT:    vshufps {{.*#+}} zmm0 = zmm1[0,0],zmm0[2,3],zmm1[4,4],zmm0[6,7],zmm1[8,8],zmm0[10,11],zmm1[12,12],zmm0[14,15]
 464 ; ALL-NEXT:    retq
 465   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 16, i32 16, i32 02, i32 03, i32 20, i32 20, i32 06, i32 07, i32 24, i32 24, i32 10, i32 11, i32 28, i32 28, i32 undef, i32 undef>
 466   ret <16 x i32> %shuffle
 467 }
 468
 469 define <16 x i32> @shuffle_v8i32_17_16_01_00_21_20_05_04_25_24_09_08_29_28_13_12(<16 x i32> %a, <16 x i32> %b) {
 470 ; ALL-LABEL: shuffle_v8i32_17_16_01_00_21_20_05_04_25_24_09_08_29_28_13_12:
 471 ; ALL:       # %bb.0:
 472 ; ALL-NEXT:    vshufps {{.*#+}} zmm0 = zmm1[1,0],zmm0[1,0],zmm1[5,4],zmm0[5,4],zmm1[9,8],zmm0[9,8],zmm1[13,12],zmm0[13,12]
 473 ; ALL-NEXT:    retq
 474   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 17, i32 16, i32 01, i32 00, i32 21, i32 20, i32 05, i32 04, i32 25, i32 24, i32 09, i32 08, i32 29, i32 28, i32 13, i32 12>
 475   ret <16 x i32> %shuffle
 476 }
 477
 478 define <16 x float> @shuffle_v8f32_v16f32_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04(<8 x float> %a) {
 479 ; ALL-LABEL: shuffle_v8f32_v16f32_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04_04:
 480 ; ALL:       # %bb.0:
 481 ; ALL-NEXT:    vextractf128 $1, %ymm0, %xmm0
 482 ; ALL-NEXT:    vbroadcastss %xmm0, %zmm0
 483 ; ALL-NEXT:    retq
 484   %shuffle = shufflevector <8 x float> %a, <8 x float> undef, <16 x i32> <i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
 485   ret <16 x float> %shuffle
 486 }
 487
 488 define <16 x i32> @mask_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00_01(<16 x i32> %a, <16 x i32> %passthru, i16 %mask) {
 489 ; AVX512F-LABEL: mask_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00_01:
 490 ; AVX512F:       # %bb.0:
 491 ; AVX512F-NEXT:    kmovw %edi, %k1
 492 ; AVX512F-NEXT:    valignd {{.*#+}} zmm1 {%k1} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15,0,1]
 493 ; AVX512F-NEXT:    vmovdqa64 %zmm1, %zmm0
 494 ; AVX512F-NEXT:    retq
 495 ;
 496 ; AVX512BW-LABEL: mask_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00_01:
 497 ; AVX512BW:       # %bb.0:
 498 ; AVX512BW-NEXT:    kmovd %edi, %k1
 499 ; AVX512BW-NEXT:    valignd {{.*#+}} zmm1 {%k1} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15,0,1]
 500 ; AVX512BW-NEXT:    vmovdqa64 %zmm1, %zmm0
 501 ; AVX512BW-NEXT:    retq
 502   %shuffle = shufflevector <16 x i32> %a, <16 x i32> undef, <16 x i32><i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15, i32 0, i32 1>
 503   %mask.cast = bitcast i16 %mask to <16 x i1>
 504   %res = select <16 x i1> %mask.cast, <16 x i32> %shuffle, <16 x i32> %passthru
 505   ret <16 x i32> %res
 506 }
 507
 508 define <16 x i32> @mask_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16_17(<16 x i32> %a, <16 x i32> %b, <16 x i32> %passthru, i16 %mask) {
 509 ; AVX512F-LABEL: mask_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16_17:
 510 ; AVX512F:       # %bb.0:
 511 ; AVX512F-NEXT:    kmovw %edi, %k1
 512 ; AVX512F-NEXT:    valignd {{.*#+}} zmm2 {%k1} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15],zmm1[0,1]
 513 ; AVX512F-NEXT:    vmovdqa64 %zmm2, %zmm0
 514 ; AVX512F-NEXT:    retq
 515 ;
 516 ; AVX512BW-LABEL: mask_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16_17:
 517 ; AVX512BW:       # %bb.0:
 518 ; AVX512BW-NEXT:    kmovd %edi, %k1
 519 ; AVX512BW-NEXT:    valignd {{.*#+}} zmm2 {%k1} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15],zmm1[0,1]
 520 ; AVX512BW-NEXT:    vmovdqa64 %zmm2, %zmm0
 521 ; AVX512BW-NEXT:    retq
 522   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15, i32 16, i32 17>
 523   %mask.cast = bitcast i16 %mask to <16 x i1>
 524   %res = select <16 x i1> %mask.cast, <16 x i32> %shuffle, <16 x i32> %passthru
 525   ret <16 x i32> %res
 526 }
 527
 528 define <16 x i32> @maskz_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00_01(<16 x i32> %a, i16 %mask) {
 529 ; AVX512F-LABEL: maskz_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00_01:
 530 ; AVX512F:       # %bb.0:
 531 ; AVX512F-NEXT:    kmovw %edi, %k1
 532 ; AVX512F-NEXT:    valignd {{.*#+}} zmm0 {%k1} {z} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15,0,1]
 533 ; AVX512F-NEXT:    retq
 534 ;
 535 ; AVX512BW-LABEL: maskz_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_00_01:
 536 ; AVX512BW:       # %bb.0:
 537 ; AVX512BW-NEXT:    kmovd %edi, %k1
 538 ; AVX512BW-NEXT:    valignd {{.*#+}} zmm0 {%k1} {z} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15,0,1]
 539 ; AVX512BW-NEXT:    retq
 540   %shuffle = shufflevector <16 x i32> %a, <16 x i32> undef, <16 x i32><i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15, i32 0, i32 1>
 541   %mask.cast = bitcast i16 %mask to <16 x i1>
 542   %res = select <16 x i1> %mask.cast, <16 x i32> %shuffle, <16 x i32> zeroinitializer
 543   ret <16 x i32> %res
 544 }
 545
 546 define <16 x i32> @maskz_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16_17(<16 x i32> %a, <16 x i32> %b, i16 %mask) {
 547 ; AVX512F-LABEL: maskz_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16_17:
 548 ; AVX512F:       # %bb.0:
 549 ; AVX512F-NEXT:    kmovw %edi, %k1
 550 ; AVX512F-NEXT:    valignd {{.*#+}} zmm0 {%k1} {z} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15],zmm1[0,1]
 551 ; AVX512F-NEXT:    retq
 552 ;
 553 ; AVX512BW-LABEL: maskz_shuffle_v16i32_02_03_04_05_06_07_08_09_10_11_12_13_14_15_16_17:
 554 ; AVX512BW:       # %bb.0:
 555 ; AVX512BW-NEXT:    kmovd %edi, %k1
 556 ; AVX512BW-NEXT:    valignd {{.*#+}} zmm0 {%k1} {z} = zmm0[2,3,4,5,6,7,8,9,10,11,12,13,14,15],zmm1[0,1]
 557 ; AVX512BW-NEXT:    retq
 558   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32><i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15, i32 16, i32 17>
 559   %mask.cast = bitcast i16 %mask to <16 x i1>
 560   %res = select <16 x i1> %mask.cast, <16 x i32> %shuffle, <16 x i32> zeroinitializer
 561   ret <16 x i32> %res
 562 }
 563
 564 define <16 x float> @test_vshuff32x4_512(<16 x float> %x, <16 x float> %x1) nounwind {
 565 ; ALL-LABEL: test_vshuff32x4_512:
 566 ; ALL:       # %bb.0:
 567 ; ALL-NEXT:    vshuff64x2 {{.*#+}} zmm0 = zmm0[0,1,2,3],zmm1[2,3,0,1]
 568 ; ALL-NEXT:    retq
 569   %res = shufflevector <16 x float> %x, <16 x float> %x1, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 20, i32 21, i32 22, i32 23, i32 16, i32 17, i32 18, i32 19>
 570   ret <16 x float> %res
 571 }
 572
 573 define <16 x i32> @test_vshufi32x4_512(<16 x i32> %x, <16 x i32> %x1) nounwind {
 574 ; ALL-LABEL: test_vshufi32x4_512:
 575 ; ALL:       # %bb.0:
 576 ; ALL-NEXT:    vshufi64x2 {{.*#+}} zmm0 = zmm0[0,1,2,3],zmm1[2,3,0,1]
 577 ; ALL-NEXT:    retq
 578   %res = shufflevector <16 x i32> %x, <16 x i32> %x1, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 20, i32 21, i32 22, i32 23, i32 16, i32 17, i32 18, i32 19>
 579   ret <16 x i32> %res
 580 }
 581
 582 define <16 x float> @test_vshuff32x4_512_mask(<16 x float> %x, <16 x float> %x1, <16 x float> %y, <16 x i1> %mask) nounwind {
 583 ; AVX512F-LABEL: test_vshuff32x4_512_mask:
 584 ; AVX512F:       # %bb.0:
 585 ; AVX512F-NEXT:    vpmovzxbd {{.*#+}} zmm3 = xmm3[0],zero,zero,zero,xmm3[1],zero,zero,zero,xmm3[2],zero,zero,zero,xmm3[3],zero,zero,zero,xmm3[4],zero,zero,zero,xmm3[5],zero,zero,zero,xmm3[6],zero,zero,zero,xmm3[7],zero,zero,zero,xmm3[8],zero,zero,zero,xmm3[9],zero,zero,zero,xmm3[10],zero,zero,zero,xmm3[11],zero,zero,zero,xmm3[12],zero,zero,zero,xmm3[13],zero,zero,zero,xmm3[14],zero,zero,zero,xmm3[15],zero,zero,zero
 586 ; AVX512F-NEXT:    vpslld $31, %zmm3, %zmm3
 587 ; AVX512F-NEXT:    vpmovd2m %zmm3, %k1
 588 ; AVX512F-NEXT:    vshuff32x4 {{.*#+}} zmm2 {%k1} = zmm0[0,1,2,3,4,5,6,7],zmm1[4,5,6,7,0,1,2,3]
 589 ; AVX512F-NEXT:    vmovaps %zmm2, %zmm0
 590 ; AVX512F-NEXT:    retq
 591 ;
 592 ; AVX512BW-LABEL: test_vshuff32x4_512_mask:
 593 ; AVX512BW:       # %bb.0:
 594 ; AVX512BW-NEXT:    vpsllw $7, %xmm3, %xmm3
 595 ; AVX512BW-NEXT:    vpmovb2m %zmm3, %k1
 596 ; AVX512BW-NEXT:    vshuff32x4 {{.*#+}} zmm2 {%k1} = zmm0[0,1,2,3,4,5,6,7],zmm1[4,5,6,7,0,1,2,3]
 597 ; AVX512BW-NEXT:    vmovaps %zmm2, %zmm0
 598 ; AVX512BW-NEXT:    retq
 599   %x2 = shufflevector <16 x float> %x, <16 x float> %x1, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 20, i32 21, i32 22, i32 23, i32 16, i32 17, i32 18, i32 19>
 600   %res = select <16 x i1> %mask, <16 x float> %x2, <16 x float> %y
 601   ret <16 x float> %res
 602 }
 603
 604 define <16 x i32> @test_vshufi32x4_512_mask(<16 x i32> %x, <16 x i32> %x1, <16 x i32> %y, <16 x i1> %mask) nounwind {
 605 ; AVX512F-LABEL: test_vshufi32x4_512_mask:
 606 ; AVX512F:       # %bb.0:
 607 ; AVX512F-NEXT:    vpmovzxbd {{.*#+}} zmm3 = xmm3[0],zero,zero,zero,xmm3[1],zero,zero,zero,xmm3[2],zero,zero,zero,xmm3[3],zero,zero,zero,xmm3[4],zero,zero,zero,xmm3[5],zero,zero,zero,xmm3[6],zero,zero,zero,xmm3[7],zero,zero,zero,xmm3[8],zero,zero,zero,xmm3[9],zero,zero,zero,xmm3[10],zero,zero,zero,xmm3[11],zero,zero,zero,xmm3[12],zero,zero,zero,xmm3[13],zero,zero,zero,xmm3[14],zero,zero,zero,xmm3[15],zero,zero,zero
 608 ; AVX512F-NEXT:    vpslld $31, %zmm3, %zmm3
 609 ; AVX512F-NEXT:    vpmovd2m %zmm3, %k1
 610 ; AVX512F-NEXT:    vshufi32x4 {{.*#+}} zmm2 {%k1} = zmm0[0,1,2,3,4,5,6,7],zmm1[4,5,6,7,0,1,2,3]
 611 ; AVX512F-NEXT:    vmovdqa64 %zmm2, %zmm0
 612 ; AVX512F-NEXT:    retq
 613 ;
 614 ; AVX512BW-LABEL: test_vshufi32x4_512_mask:
 615 ; AVX512BW:       # %bb.0:
 616 ; AVX512BW-NEXT:    vpsllw $7, %xmm3, %xmm3
 617 ; AVX512BW-NEXT:    vpmovb2m %zmm3, %k1
 618 ; AVX512BW-NEXT:    vshufi32x4 {{.*#+}} zmm2 {%k1} = zmm0[0,1,2,3,4,5,6,7],zmm1[4,5,6,7,0,1,2,3]
 619 ; AVX512BW-NEXT:    vmovdqa64 %zmm2, %zmm0
 620 ; AVX512BW-NEXT:    retq
 621   %x2 = shufflevector <16 x i32> %x, <16 x i32> %x1, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 20, i32 21, i32 22, i32 23, i32 16, i32 17, i32 18, i32 19>
 622   %res = select <16 x i1> %mask, <16 x i32> %x2, <16 x i32> %y
 623   ret <16 x i32> %res
 624 }
 625
 626 define <16 x float> @mask_shuffle_v16f32_00_01_02_03_04_05_06_07_16_17_18_19_20_21_22_23(<16 x float> %a, <16 x float> %b, <16 x float> %passthru, i16 %mask) {
 627 ; AVX512F-LABEL: mask_shuffle_v16f32_00_01_02_03_04_05_06_07_16_17_18_19_20_21_22_23:
 628 ; AVX512F:       # %bb.0:
 629 ; AVX512F-NEXT:    kmovw %edi, %k1
 630 ; AVX512F-NEXT:    vinsertf32x8 $1, %ymm1, %zmm0, %zmm2 {%k1}
 631 ; AVX512F-NEXT:    vmovaps %zmm2, %zmm0
 632 ; AVX512F-NEXT:    retq
 633 ;
 634 ; AVX512BW-LABEL: mask_shuffle_v16f32_00_01_02_03_04_05_06_07_16_17_18_19_20_21_22_23:
 635 ; AVX512BW:       # %bb.0:
 636 ; AVX512BW-NEXT:    kmovd %edi, %k1
 637 ; AVX512BW-NEXT:    vinsertf32x8 $1, %ymm1, %zmm0, %zmm2 {%k1}
 638 ; AVX512BW-NEXT:    vmovaps %zmm2, %zmm0
 639 ; AVX512BW-NEXT:    retq
 640   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 16, i32 17, i32 18, i32 19, i32 20, i32 21, i32 22, i32 23>
 641   %mask.cast = bitcast i16 %mask to <16 x i1>
 642   %res = select <16 x i1> %mask.cast, <16 x float> %shuffle, <16 x float> %passthru
 643   ret <16 x float> %res
 644 }
 645
 646 define <16 x float> @mask_shuffle_v16f32_00_01_02_03_16_17_18_19_08_09_10_11_12_13_14_15(<16 x float> %a, <16 x float> %b, <16 x float> %passthru, i16 %mask) {
 647 ; AVX512F-LABEL: mask_shuffle_v16f32_00_01_02_03_16_17_18_19_08_09_10_11_12_13_14_15:
 648 ; AVX512F:       # %bb.0:
 649 ; AVX512F-NEXT:    kmovw %edi, %k1
 650 ; AVX512F-NEXT:    vinsertf32x4 $1, %xmm1, %zmm0, %zmm2 {%k1}
 651 ; AVX512F-NEXT:    vmovaps %zmm2, %zmm0
 652 ; AVX512F-NEXT:    retq
 653 ;
 654 ; AVX512BW-LABEL: mask_shuffle_v16f32_00_01_02_03_16_17_18_19_08_09_10_11_12_13_14_15:
 655 ; AVX512BW:       # %bb.0:
 656 ; AVX512BW-NEXT:    kmovd %edi, %k1
 657 ; AVX512BW-NEXT:    vinsertf32x4 $1, %xmm1, %zmm0, %zmm2 {%k1}
 658 ; AVX512BW-NEXT:    vmovaps %zmm2, %zmm0
 659 ; AVX512BW-NEXT:    retq
 660   %shuffle = shufflevector <16 x float> %a, <16 x float> %b, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 16, i32 17, i32 18, i32 19, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 661   %mask.cast = bitcast i16 %mask to <16 x i1>
 662   %res = select <16 x i1> %mask.cast, <16 x float> %shuffle, <16 x float> %passthru
 663   ret <16 x float> %res
 664 }
 665
 666 define <16 x i32> @mask_shuffle_v16i32_00_01_02_03_04_05_06_07_16_17_18_19_20_21_22_23(<16 x i32> %a, <16 x i32> %b, <16 x i32> %passthru, i16 %mask) {
 667 ; AVX512F-LABEL: mask_shuffle_v16i32_00_01_02_03_04_05_06_07_16_17_18_19_20_21_22_23:
 668 ; AVX512F:       # %bb.0:
 669 ; AVX512F-NEXT:    kmovw %edi, %k1
 670 ; AVX512F-NEXT:    vinserti32x8 $1, %ymm1, %zmm0, %zmm2 {%k1}
 671 ; AVX512F-NEXT:    vmovdqa64 %zmm2, %zmm0
 672 ; AVX512F-NEXT:    retq
 673 ;
 674 ; AVX512BW-LABEL: mask_shuffle_v16i32_00_01_02_03_04_05_06_07_16_17_18_19_20_21_22_23:
 675 ; AVX512BW:       # %bb.0:
 676 ; AVX512BW-NEXT:    kmovd %edi, %k1
 677 ; AVX512BW-NEXT:    vinserti32x8 $1, %ymm1, %zmm0, %zmm2 {%k1}
 678 ; AVX512BW-NEXT:    vmovdqa64 %zmm2, %zmm0
 679 ; AVX512BW-NEXT:    retq
 680   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 16, i32 17, i32 18, i32 19, i32 20, i32 21, i32 22, i32 23>
 681   %mask.cast = bitcast i16 %mask to <16 x i1>
 682   %res = select <16 x i1> %mask.cast, <16 x i32> %shuffle, <16 x i32> %passthru
 683   ret <16 x i32> %res
 684 }
 685
 686 define <16 x i32> @mask_shuffle_v16i32_00_01_02_03_16_17_18_19_08_09_10_11_12_13_14_15(<16 x i32> %a, <16 x i32> %b, <16 x i32> %passthru, i16 %mask) {
 687 ; AVX512F-LABEL: mask_shuffle_v16i32_00_01_02_03_16_17_18_19_08_09_10_11_12_13_14_15:
 688 ; AVX512F:       # %bb.0:
 689 ; AVX512F-NEXT:    kmovw %edi, %k1
 690 ; AVX512F-NEXT:    vinserti32x4 $1, %xmm1, %zmm0, %zmm2 {%k1}
 691 ; AVX512F-NEXT:    vmovdqa64 %zmm2, %zmm0
 692 ; AVX512F-NEXT:    retq
 693 ;
 694 ; AVX512BW-LABEL: mask_shuffle_v16i32_00_01_02_03_16_17_18_19_08_09_10_11_12_13_14_15:
 695 ; AVX512BW:       # %bb.0:
 696 ; AVX512BW-NEXT:    kmovd %edi, %k1
 697 ; AVX512BW-NEXT:    vinserti32x4 $1, %xmm1, %zmm0, %zmm2 {%k1}
 698 ; AVX512BW-NEXT:    vmovdqa64 %zmm2, %zmm0
 699 ; AVX512BW-NEXT:    retq
 700   %shuffle = shufflevector <16 x i32> %a, <16 x i32> %b, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 16, i32 17, i32 18, i32 19, i32 8, i32 9, i32 10, i32 11, i32 12, i32 13, i32 14, i32 15>
 701   %mask.cast = bitcast i16 %mask to <16 x i1>
 702   %res = select <16 x i1> %mask.cast, <16 x i32> %shuffle, <16 x i32> %passthru
 703   ret <16 x i32> %res
 704 }
 705
 706 define <16 x i32> @mask_shuffle_v4i32_v16i32_00_01_02_03_00_01_02_03_00_01_02_03_00_01_02_03(<4 x i32> %a) {
 707 ; ALL-LABEL: mask_shuffle_v4i32_v16i32_00_01_02_03_00_01_02_03_00_01_02_03_00_01_02_03:
 708 ; ALL:       # %bb.0:
 709 ; ALL-NEXT:    # kill: def $xmm0 killed $xmm0 def $ymm0
 710 ; ALL-NEXT:    vinsertf128 $1, %xmm0, %ymm0, %ymm0
 711 ; ALL-NEXT:    vinsertf64x4 $1, %ymm0, %zmm0, %zmm0
 712 ; ALL-NEXT:    retq
 713   %res = shufflevector <4 x i32> %a, <4 x i32> undef, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
 714   ret <16 x i32> %res
 715 }
 716
 717 define <16 x float> @mask_shuffle_v4f32_v16f32_00_01_02_03_00_01_02_03_00_01_02_03_00_01_02_03(<4 x float> %a) {
 718 ; ALL-LABEL: mask_shuffle_v4f32_v16f32_00_01_02_03_00_01_02_03_00_01_02_03_00_01_02_03:
 719 ; ALL:       # %bb.0:
 720 ; ALL-NEXT:    # kill: def $xmm0 killed $xmm0 def $ymm0
 721 ; ALL-NEXT:    vinsertf128 $1, %xmm0, %ymm0, %ymm0
 722 ; ALL-NEXT:    vinsertf64x4 $1, %ymm0, %zmm0, %zmm0
 723 ; ALL-NEXT:    retq
 724   %res = shufflevector <4 x float> %a, <4 x float> undef, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
 725   ret <16 x float> %res
 726 }