llvm/test/Transforms/VectorCombine/AArch64/shuffletoidentity.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_test_checks.py
   2 ; RUN: opt -passes=vector-combine -S %s | FileCheck %s
   3
   4 target triple = "aarch64"
   5
   6 define <8 x i8> @trivial(<8 x i8> %a) {
   7 ; CHECK-LABEL: @trivial(
   8 ; CHECK-NEXT:    ret <8 x i8> [[A:%.*]]
   9 ;
  10   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
  11   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
  12   %r = shufflevector <4 x i8> %at, <4 x i8> %ab, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
  13   ret <8 x i8> %r
  14 }
  15
  16 define <4 x i32> @add_same_operands(<4 x i32> %x) {
  17 ; CHECK-LABEL: @add_same_operands(
  18 ; CHECK-NEXT:    [[REVSHUF:%.*]] = add <4 x i32> [[X:%.*]], [[X]]
  19 ; CHECK-NEXT:    ret <4 x i32> [[REVSHUF]]
  20 ;
  21   %shuf = shufflevector <4 x i32> %x, <4 x i32> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
  22   %add = add <4 x i32> %shuf, %shuf
  23   %revshuf = shufflevector <4 x i32> %add, <4 x i32> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
  24   ret <4 x i32> %revshuf
  25 }
  26
  27 define <8 x i8> @add_different_operands(<8 x i8> %a, <8 x i8> %b) {
  28 ; CHECK-LABEL: @add_different_operands(
  29 ; CHECK-NEXT:    [[R:%.*]] = add <8 x i8> [[A:%.*]], [[B:%.*]]
  30 ; CHECK-NEXT:    ret <8 x i8> [[R]]
  31 ;
  32   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
  33   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
  34   %bb = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
  35   %bt = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
  36   %abt = add <4 x i8> %at, %bt
  37   %abb = add <4 x i8> %ab, %bb
  38   %r = shufflevector <4 x i8> %abt, <4 x i8> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
  39   ret <8 x i8> %r
  40 }
  41
  42 ; Different opcodes
  43 define <8 x i8> @wrong_addsub(<8 x i8> %a, <8 x i8> %b) {
  44 ; CHECK-LABEL: @wrong_addsub(
  45 ; CHECK-NEXT:    [[AB:%.*]] = shufflevector <8 x i8> [[A:%.*]], <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
  46 ; CHECK-NEXT:    [[AT:%.*]] = shufflevector <8 x i8> [[A]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
  47 ; CHECK-NEXT:    [[BB:%.*]] = shufflevector <8 x i8> [[B:%.*]], <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
  48 ; CHECK-NEXT:    [[BT:%.*]] = shufflevector <8 x i8> [[B]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
  49 ; CHECK-NEXT:    [[ABT:%.*]] = add <4 x i8> [[AT]], [[BT]]
  50 ; CHECK-NEXT:    [[ABB:%.*]] = sub <4 x i8> [[AB]], [[BB]]
  51 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <4 x i8> [[ABT]], <4 x i8> [[ABB]], <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
  52 ; CHECK-NEXT:    ret <8 x i8> [[R]]
  53 ;
  54   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
  55   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
  56   %bb = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
  57   %bt = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
  58   %abt = add <4 x i8> %at, %bt
  59   %abb = sub <4 x i8> %ab, %bb
  60   %r = shufflevector <4 x i8> %abt, <4 x i8> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
  61   ret <8 x i8> %r
  62 }
  63
  64 ; Different lanes that do not make an identity
  65 define <8 x i8> @wrong_lanes(<8 x i8> %a, <8 x i8> %b) {
  66 ; CHECK-LABEL: @wrong_lanes(
  67 ; CHECK-NEXT:    [[AB:%.*]] = shufflevector <8 x i8> [[A:%.*]], <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
  68 ; CHECK-NEXT:    [[AT:%.*]] = shufflevector <8 x i8> [[A]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
  69 ; CHECK-NEXT:    [[BB:%.*]] = shufflevector <8 x i8> [[B:%.*]], <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
  70 ; CHECK-NEXT:    [[BT:%.*]] = shufflevector <8 x i8> [[B]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
  71 ; CHECK-NEXT:    [[ABT:%.*]] = add <4 x i8> [[AT]], [[BT]]
  72 ; CHECK-NEXT:    [[ABB:%.*]] = add <4 x i8> [[AB]], [[BB]]
  73 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <4 x i8> [[ABT]], <4 x i8> [[ABB]], <8 x i32> <i32 6, i32 7, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
  74 ; CHECK-NEXT:    ret <8 x i8> [[R]]
  75 ;
  76   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
  77   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
  78   %bb = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
  79   %bt = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
  80   %abt = add <4 x i8> %at, %bt
  81   %abb = add <4 x i8> %ab, %bb
  82   %r = shufflevector <4 x i8> %abt, <4 x i8> %abb, <8 x i32> <i32 6, i32 7, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
  83   ret <8 x i8> %r
  84 }
  85
  86 define <8 x half> @fadd(<8 x half> %a, <8 x half> %b) {
  87 ; CHECK-LABEL: @fadd(
  88 ; CHECK-NEXT:    [[R:%.*]] = fadd <8 x half> [[A:%.*]], [[B:%.*]]
  89 ; CHECK-NEXT:    ret <8 x half> [[R]]
  90 ;
  91   %ab = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
  92   %at = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
  93   %bb = shufflevector <8 x half> %b, <8 x half> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
  94   %bt = shufflevector <8 x half> %b, <8 x half> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
  95   %abt = fadd <4 x half> %at, %bt
  96   %abb = fadd <4 x half> %ab, %bb
  97   %r = shufflevector <4 x half> %abt, <4 x half> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
  98   ret <8 x half> %r
  99 }
 100
 101 define <8 x half> @fneg(<8 x half> %a, <8 x half> %b) {
 102 ; CHECK-LABEL: @fneg(
 103 ; CHECK-NEXT:    [[R:%.*]] = fneg <8 x half> [[A:%.*]]
 104 ; CHECK-NEXT:    ret <8 x half> [[R]]
 105 ;
 106   %ab = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 107   %at = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 108   %abt = fneg <4 x half> %at
 109   %abb = fneg <4 x half> %ab
 110   %r = shufflevector <4 x half> %abt, <4 x half> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 111   ret <8 x half> %r
 112 }
 113
 114 define <8 x i8> @abs(<8 x i8> %a) {
 115 ; CHECK-LABEL: @abs(
 116 ; CHECK-NEXT:    [[R:%.*]] = call <8 x i8> @llvm.abs.v8i8(<8 x i8> [[A:%.*]], i1 false)
 117 ; CHECK-NEXT:    ret <8 x i8> [[R]]
 118 ;
 119   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 120   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 121   %abt = call <4 x i8> @llvm.abs.v4i8(<4 x i8> %at, i1 false)
 122   %abb = call <4 x i8> @llvm.abs.v4i8(<4 x i8> %ab, i1 false)
 123   %r = shufflevector <4 x i8> %abt, <4 x i8> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 124   ret <8 x i8> %r
 125 }
 126
 127 define <8 x half> @powi(<8 x half> %a) {
 128 ; CHECK-LABEL: @powi(
 129 ; CHECK-NEXT:    [[R:%.*]] = call <8 x half> @llvm.powi.v8f16.i32(<8 x half> [[A:%.*]], i32 10)
 130 ; CHECK-NEXT:    ret <8 x half> [[R]]
 131 ;
 132   %ab = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 133   %at = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 134   %abt = call <4 x half> @llvm.powi.v4f16.i32(<4 x half> %at, i32 10)
 135   %abb = call <4 x half> @llvm.powi.v4f16.i32(<4 x half> %ab, i32 10)
 136   %r = shufflevector <4 x half> %abt, <4 x half> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 137   ret <8 x half> %r
 138 }
 139
 140 ; Check that call instructions are treated separately from intrinsics.
 141 define <8 x half> @callinst(<8 x half> %a) {
 142 ; CHECK-LABEL: @callinst(
 143 ; CHECK-NEXT:    [[AB:%.*]] = shufflevector <8 x half> [[A:%.*]], <8 x half> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 144 ; CHECK-NEXT:    [[AT:%.*]] = shufflevector <8 x half> [[A]], <8 x half> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 145 ; CHECK-NEXT:    [[ABT:%.*]] = call <4 x half> @othercall(<4 x half> [[AT]])
 146 ; CHECK-NEXT:    [[ABB:%.*]] = call <4 x half> @llvm.fabs.v4f16(<4 x half> [[AB]])
 147 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <4 x half> [[ABT]], <4 x half> [[ABB]], <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 148 ; CHECK-NEXT:    ret <8 x half> [[R]]
 149 ;
 150   %ab = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 151   %at = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 152   %abt = call <4 x half> @othercall(<4 x half> %at)
 153   %abb = call <4 x half> @llvm.fabs.v4f16(<4 x half> %ab)
 154   %r = shufflevector <4 x half> %abt, <4 x half> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 155   ret <8 x half> %r
 156 }
 157 define <8 x half> @callinst2(<8 x half> %a) {
 158 ; CHECK-LABEL: @callinst2(
 159 ; CHECK-NEXT:    [[AB:%.*]] = shufflevector <8 x half> [[A:%.*]], <8 x half> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 160 ; CHECK-NEXT:    [[AT:%.*]] = shufflevector <8 x half> [[A]], <8 x half> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 161 ; CHECK-NEXT:    [[ABT:%.*]] = call <4 x half> @llvm.fabs.v4f16(<4 x half> [[AT]])
 162 ; CHECK-NEXT:    [[ABB:%.*]] = call <4 x half> @othercall(<4 x half> [[AB]])
 163 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <4 x half> [[ABT]], <4 x half> [[ABB]], <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 164 ; CHECK-NEXT:    ret <8 x half> [[R]]
 165 ;
 166   %ab = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 167   %at = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 168   %abt = call <4 x half> @llvm.fabs.v4f16(<4 x half> %at)
 169   %abb = call <4 x half> @othercall(<4 x half> %ab)
 170   %r = shufflevector <4 x half> %abt, <4 x half> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 171   ret <8 x half> %r
 172 }
 173 declare <4 x half> @othercall(<4 x half>)
 174
 175 define <8 x i32> @lrint(<8 x half> %a) {
 176 ; CHECK-LABEL: @lrint(
 177 ; CHECK-NEXT:    [[R:%.*]] = call <8 x i32> @llvm.lrint.v8i32.v8f16(<8 x half> [[A:%.*]])
 178 ; CHECK-NEXT:    ret <8 x i32> [[R]]
 179 ;
 180   %ab = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 181   %at = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 182   %abt = call <4 x i32> @llvm.lrint.v4i32.v4f16(<4 x half> %at)
 183   %abb = call <4 x i32> @llvm.lrint.v4i32.v4f16(<4 x half> %ab)
 184   %r = shufflevector <4 x i32> %abt, <4 x i32> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 185   ret <8 x i32> %r
 186 }
 187
 188 define <8 x i8> @abs_different(<8 x i8> %a) {
 189 ; CHECK-LABEL: @abs_different(
 190 ; CHECK-NEXT:    [[AB:%.*]] = shufflevector <8 x i8> [[A:%.*]], <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 191 ; CHECK-NEXT:    [[AT:%.*]] = shufflevector <8 x i8> [[A]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 192 ; CHECK-NEXT:    [[ABT:%.*]] = call <4 x i8> @llvm.abs.v4i8(<4 x i8> [[AT]], i1 true)
 193 ; CHECK-NEXT:    [[ABB:%.*]] = call <4 x i8> @llvm.abs.v4i8(<4 x i8> [[AB]], i1 false)
 194 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <4 x i8> [[ABT]], <4 x i8> [[ABB]], <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 195 ; CHECK-NEXT:    ret <8 x i8> [[R]]
 196 ;
 197   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 198   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 199   %abt = call <4 x i8> @llvm.abs.v4i8(<4 x i8> %at, i1 true)
 200   %abb = call <4 x i8> @llvm.abs.v4i8(<4 x i8> %ab, i1 false)
 201   %r = shufflevector <4 x i8> %abt, <4 x i8> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 202   ret <8 x i8> %r
 203 }
 204
 205 define <4 x i32> @poison_intrinsic(<2 x i16> %l256) {
 206 ; CHECK-LABEL: @poison_intrinsic(
 207 ; CHECK-NEXT:    [[L266:%.*]] = call <2 x i16> @llvm.abs.v2i16(<2 x i16> [[L256:%.*]], i1 false)
 208 ; CHECK-NEXT:    [[L267:%.*]] = zext <2 x i16> [[L266]] to <2 x i32>
 209 ; CHECK-NEXT:    [[L271:%.*]] = shufflevector <2 x i32> [[L267]], <2 x i32> poison, <4 x i32> <i32 0, i32 1, i32 poison, i32 poison>
 210 ; CHECK-NEXT:    ret <4 x i32> [[L271]]
 211 ;
 212   %l266 = call <2 x i16> @llvm.abs.v2i16(<2 x i16> %l256, i1 false)
 213   %l267 = zext <2 x i16> %l266 to <2 x i32>
 214   %l271 = shufflevector <2 x i32> %l267, <2 x i32> poison, <4 x i32> <i32 0, i32 1, i32 poison, i32 poison>
 215   ret <4 x i32> %l271
 216 }
 217
 218 define <8 x half> @splat0(<8 x half> %a, <8 x half> %b) {
 219 ; CHECK-LABEL: @splat0(
 220 ; CHECK-NEXT:    [[TMP1:%.*]] = shufflevector <8 x half> [[B:%.*]], <8 x half> poison, <8 x i32> zeroinitializer
 221 ; CHECK-NEXT:    [[R:%.*]] = fadd <8 x half> [[A:%.*]], [[TMP1]]
 222 ; CHECK-NEXT:    ret <8 x half> [[R]]
 223 ;
 224   %ab = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 225   %at = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 226   %bs = shufflevector <8 x half> %b, <8 x half> poison, <4 x i32> zeroinitializer
 227   %abt = fadd <4 x half> %at, %bs
 228   %abb = fadd <4 x half> %ab, %bs
 229   %r = shufflevector <4 x half> %abt, <4 x half> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 230   ret <8 x half> %r
 231 }
 232
 233 define <8 x half> @splat2(<8 x half> %a, <8 x half> %b) {
 234 ; CHECK-LABEL: @splat2(
 235 ; CHECK-NEXT:    [[TMP1:%.*]] = shufflevector <8 x half> [[B:%.*]], <8 x half> poison, <8 x i32> <i32 2, i32 2, i32 2, i32 2, i32 2, i32 2, i32 2, i32 2>
 236 ; CHECK-NEXT:    [[R:%.*]] = fadd <8 x half> [[A:%.*]], [[TMP1]]
 237 ; CHECK-NEXT:    ret <8 x half> [[R]]
 238 ;
 239   %ab = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 240   %at = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 241   %bs = shufflevector <8 x half> %b, <8 x half> poison, <4 x i32> <i32 2, i32 2, i32 2, i32 2>
 242   %abt = fadd <4 x half> %at, %bs
 243   %abb = fadd <4 x half> %ab, %bs
 244   %r = shufflevector <4 x half> %abt, <4 x half> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 245   ret <8 x half> %r
 246 }
 247
 248 define <8 x half> @splatandidentity(<8 x half> %a, <8 x half> %b) {
 249 ; CHECK-LABEL: @splatandidentity(
 250 ; CHECK-NEXT:    [[TMP1:%.*]] = shufflevector <8 x half> [[A:%.*]], <8 x half> poison, <8 x i32> zeroinitializer
 251 ; CHECK-NEXT:    [[R:%.*]] = fadd <8 x half> [[A]], [[TMP1]]
 252 ; CHECK-NEXT:    ret <8 x half> [[R]]
 253 ;
 254   %ab = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 255   %at = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 256   %bs = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> zeroinitializer
 257   %abt = fadd <4 x half> %at, %bs
 258   %abb = fadd <4 x half> %ab, %bs
 259   %r = shufflevector <4 x half> %abt, <4 x half> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 260   ret <8 x half> %r
 261 }
 262
 263 define <8 x half> @splattwice(<8 x half> %a, <8 x half> %b) {
 264 ; CHECK-LABEL: @splattwice(
 265 ; CHECK-NEXT:    [[TMP1:%.*]] = shufflevector <8 x half> [[A:%.*]], <8 x half> poison, <8 x i32> zeroinitializer
 266 ; CHECK-NEXT:    [[TMP2:%.*]] = shufflevector <8 x half> [[B:%.*]], <8 x half> poison, <8 x i32> zeroinitializer
 267 ; CHECK-NEXT:    [[R:%.*]] = fadd <8 x half> [[TMP1]], [[TMP2]]
 268 ; CHECK-NEXT:    ret <8 x half> [[R]]
 269 ;
 270   %as = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> zeroinitializer
 271   %bs = shufflevector <8 x half> %b, <8 x half> poison, <4 x i32> zeroinitializer
 272   %ab1 = fadd <4 x half> %as, %bs
 273   %ab2 = fadd <4 x half> %as, %bs
 274   %r = shufflevector <4 x half> %ab1, <4 x half> %ab2, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 275   ret <8 x half> %r
 276 }
 277
 278 define <8 x i8> @undeflane(<8 x i8> %a, <8 x i8> %b) {
 279 ; CHECK-LABEL: @undeflane(
 280 ; CHECK-NEXT:    [[R:%.*]] = add <8 x i8> [[A:%.*]], [[B:%.*]]
 281 ; CHECK-NEXT:    ret <8 x i8> [[R]]
 282 ;
 283   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 284   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 285   %bb = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 286   %bt = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 287   %abt = add <4 x i8> %at, %bt
 288   %abb = add <4 x i8> %ab, %bb
 289   %r = shufflevector <4 x i8> %abt, <4 x i8> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 poison, i32 1, i32 0>
 290   ret <8 x i8> %r
 291 }
 292
 293 define <8 x i8> @constantsplat(<8 x i8> %a) {
 294 ; CHECK-LABEL: @constantsplat(
 295 ; CHECK-NEXT:    [[R:%.*]] = add <8 x i8> [[A:%.*]], splat (i8 10)
 296 ; CHECK-NEXT:    ret <8 x i8> [[R]]
 297 ;
 298   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 299   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 300   %abt = add <4 x i8> %at, <i8 10, i8 10, i8 10, i8 10>
 301   %abb = add <4 x i8> %ab, <i8 10, i8 10, i8 10, i8 10>
 302   %r = shufflevector <4 x i8> %abt, <4 x i8> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 303   ret <8 x i8> %r
 304 }
 305
 306 define <8 x i8> @constantdiff(<8 x i8> %a) {
 307 ; CHECK-LABEL: @constantdiff(
 308 ; CHECK-NEXT:    [[AB:%.*]] = shufflevector <8 x i8> [[A:%.*]], <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 309 ; CHECK-NEXT:    [[AT:%.*]] = shufflevector <8 x i8> [[A]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 310 ; CHECK-NEXT:    [[ABT:%.*]] = add <4 x i8> [[AT]], <i8 1, i8 2, i8 3, i8 4>
 311 ; CHECK-NEXT:    [[ABB:%.*]] = add <4 x i8> [[AB]], <i8 5, i8 6, i8 7, i8 8>
 312 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <4 x i8> [[ABT]], <4 x i8> [[ABB]], <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 313 ; CHECK-NEXT:    ret <8 x i8> [[R]]
 314 ;
 315   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 316   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 317   %abt = add <4 x i8> %at, <i8 1, i8 2, i8 3, i8 4>
 318   %abb = add <4 x i8> %ab, <i8 5, i8 6, i8 7, i8 8>
 319   %r = shufflevector <4 x i8> %abt, <4 x i8> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 320   ret <8 x i8> %r
 321 }
 322
 323 define <8 x i8> @constantdiff2(<8 x i8> %a) {
 324 ; CHECK-LABEL: @constantdiff2(
 325 ; CHECK-NEXT:    [[AB:%.*]] = shufflevector <8 x i8> [[A:%.*]], <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 326 ; CHECK-NEXT:    [[AT:%.*]] = shufflevector <8 x i8> [[A]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 327 ; CHECK-NEXT:    [[ABT:%.*]] = add <4 x i8> [[AT]], <i8 1, i8 2, i8 3, i8 4>
 328 ; CHECK-NEXT:    [[ABB:%.*]] = add <4 x i8> [[AB]], <i8 1, i8 2, i8 3, i8 4>
 329 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <4 x i8> [[ABT]], <4 x i8> [[ABB]], <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 330 ; CHECK-NEXT:    ret <8 x i8> [[R]]
 331 ;
 332   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 333   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 334   %abt = add <4 x i8> %at, <i8 1, i8 2, i8 3, i8 4>
 335   %abb = add <4 x i8> %ab, <i8 1, i8 2, i8 3, i8 4>
 336   %r = shufflevector <4 x i8> %abt, <4 x i8> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 337   ret <8 x i8> %r
 338 }
 339
 340 define <8 x half> @constantsplatf(<8 x half> %a) {
 341 ; CHECK-LABEL: @constantsplatf(
 342 ; CHECK-NEXT:    [[R:%.*]] = fadd <8 x half> [[A:%.*]], splat (half 0xH4900)
 343 ; CHECK-NEXT:    ret <8 x half> [[R]]
 344 ;
 345   %ab = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 346   %at = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 347   %abt = fadd <4 x half> %at, <half 10.0, half 10.0, half 10.0, half 10.0>
 348   %abb = fadd <4 x half> %ab, <half 10.0, half 10.0, half 10.0, half 10.0>
 349   %r = shufflevector <4 x half> %abt, <4 x half> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 350   ret <8 x half> %r
 351 }
 352
 353 define <8 x i8> @inner_shuffle(<8 x i8> %a, <8 x i8> %b, <8 x i8> %c) {
 354 ; CHECK-LABEL: @inner_shuffle(
 355 ; CHECK-NEXT:    [[TMP1:%.*]] = mul <8 x i8> [[A:%.*]], [[B:%.*]]
 356 ; CHECK-NEXT:    [[TMP2:%.*]] = shufflevector <8 x i8> [[C:%.*]], <8 x i8> poison, <8 x i32> zeroinitializer
 357 ; CHECK-NEXT:    [[R:%.*]] = add <8 x i8> [[TMP1]], [[TMP2]]
 358 ; CHECK-NEXT:    ret <8 x i8> [[R]]
 359 ;
 360   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
 361   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 4, i32 5, i32 6, i32 7>
 362   %bb = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
 363   %bt = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 4, i32 5, i32 6, i32 7>
 364   %cs = shufflevector <8 x i8> %c, <8 x i8> poison, <4 x i32> zeroinitializer
 365   %abt = mul <4 x i8> %at, %bt
 366   %abb = mul <4 x i8> %ab, %bb
 367   %abt2 = shufflevector <4 x i8> %abt, <4 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 368   %abb2 = shufflevector <4 x i8> %abb, <4 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 369   %abt3 = add <4 x i8> %abt2, %cs
 370   %abb3 = add <4 x i8> %abb2, %cs
 371   %r = shufflevector <4 x i8> %abt3, <4 x i8> %abb3, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 372   ret <8 x i8> %r
 373 }
 374
 375 define <4 x i32> @extrause_add_same_operands(<4 x i32> %x) {
 376 ; CHECK-LABEL: @extrause_add_same_operands(
 377 ; CHECK-NEXT:    [[SHUF:%.*]] = shufflevector <4 x i32> [[X:%.*]], <4 x i32> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 378 ; CHECK-NEXT:    [[REVSHUF:%.*]] = add <4 x i32> [[X]], [[X]]
 379 ; CHECK-NEXT:    [[ADD2:%.*]] = add <4 x i32> [[SHUF]], [[REVSHUF]]
 380 ; CHECK-NEXT:    ret <4 x i32> [[ADD2]]
 381 ;
 382   %shuf = shufflevector <4 x i32> %x, <4 x i32> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 383   %add = add <4 x i32> %shuf, %shuf
 384   %revshuf = shufflevector <4 x i32> %add, <4 x i32> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 385   %add2 = add <4 x i32> %shuf, %revshuf
 386   ret <4 x i32> %add2
 387 }
 388
 389 define <8 x i8> @extrause_add_different_operands(<8 x i8> %a, <8 x i8> %b) {
 390 ; CHECK-LABEL: @extrause_add_different_operands(
 391 ; CHECK-NEXT:    [[AB:%.*]] = shufflevector <8 x i8> [[A:%.*]], <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 392 ; CHECK-NEXT:    [[AT:%.*]] = shufflevector <8 x i8> [[A]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 393 ; CHECK-NEXT:    [[BB:%.*]] = shufflevector <8 x i8> [[B:%.*]], <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 394 ; CHECK-NEXT:    [[BT:%.*]] = shufflevector <8 x i8> [[B]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 395 ; CHECK-NEXT:    [[ABT:%.*]] = add <4 x i8> [[AT]], [[BT]]
 396 ; CHECK-NEXT:    [[ABB:%.*]] = add <4 x i8> [[AB]], [[BB]]
 397 ; CHECK-NEXT:    call void @use(<4 x i8> [[ABB]])
 398 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <4 x i8> [[ABT]], <4 x i8> [[ABB]], <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 399 ; CHECK-NEXT:    ret <8 x i8> [[R]]
 400 ;
 401   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 402   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 403   %bb = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 404   %bt = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 405   %abt = add <4 x i8> %at, %bt
 406   %abb = add <4 x i8> %ab, %bb
 407   call void @use(<4 x i8> %abb)
 408   %r = shufflevector <4 x i8> %abt, <4 x i8> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 409   ret <8 x i8> %r
 410 }
 411
 412 define <8 x i8> @extrause_shuffle(<8 x i8> %a, <8 x i8> %b) {
 413 ; CHECK-LABEL: @extrause_shuffle(
 414 ; CHECK-NEXT:    [[BT:%.*]] = shufflevector <8 x i8> [[B:%.*]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 415 ; CHECK-NEXT:    call void @use(<4 x i8> [[BT]])
 416 ; CHECK-NEXT:    [[R:%.*]] = add <8 x i8> [[A:%.*]], [[B]]
 417 ; CHECK-NEXT:    ret <8 x i8> [[R]]
 418 ;
 419   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 420   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 421   %bb = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 422   %bt = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 423   call void @use(<4 x i8> %bt)
 424   %abt = add <4 x i8> %at, %bt
 425   %abb = add <4 x i8> %ab, %bb
 426   %r = shufflevector <4 x i8> %abt, <4 x i8> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 427   ret <8 x i8> %r
 428 }
 429
 430 define <8 x i8> @icmpsel(<8 x i8> %a, <8 x i8> %b, <8 x i8> %c, <8 x i8> %d) {
 431 ; CHECK-LABEL: @icmpsel(
 432 ; CHECK-NEXT:    [[TMP1:%.*]] = icmp slt <8 x i8> [[A:%.*]], [[B:%.*]]
 433 ; CHECK-NEXT:    [[R:%.*]] = select <8 x i1> [[TMP1]], <8 x i8> [[C:%.*]], <8 x i8> [[D:%.*]]
 434 ; CHECK-NEXT:    ret <8 x i8> [[R]]
 435 ;
 436   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 437   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 438   %bb = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 439   %bt = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 440   %cb = shufflevector <8 x i8> %c, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 441   %ct = shufflevector <8 x i8> %c, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 442   %db = shufflevector <8 x i8> %d, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 443   %dt = shufflevector <8 x i8> %d, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 444   %abt1 = icmp slt <4 x i8> %at, %bt
 445   %abb1 = icmp slt <4 x i8> %ab, %bb
 446   %abt = select <4 x i1> %abt1, <4 x i8> %ct, <4 x i8> %dt
 447   %abb = select <4 x i1> %abb1, <4 x i8> %cb, <4 x i8> %db
 448   %r = shufflevector <4 x i8> %abt, <4 x i8> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 449   ret <8 x i8> %r
 450 }
 451
 452 define <8 x i8> @icmpsel_diffentcond(<8 x i8> %a, <8 x i8> %b, <8 x i8> %c, <8 x i8> %d) {
 453 ; CHECK-LABEL: @icmpsel_diffentcond(
 454 ; CHECK-NEXT:    [[AB:%.*]] = shufflevector <8 x i8> [[A:%.*]], <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 455 ; CHECK-NEXT:    [[AT:%.*]] = shufflevector <8 x i8> [[A]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 456 ; CHECK-NEXT:    [[BB:%.*]] = shufflevector <8 x i8> [[B:%.*]], <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 457 ; CHECK-NEXT:    [[BT:%.*]] = shufflevector <8 x i8> [[B]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 458 ; CHECK-NEXT:    [[CB:%.*]] = shufflevector <8 x i8> [[C:%.*]], <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 459 ; CHECK-NEXT:    [[CT:%.*]] = shufflevector <8 x i8> [[C]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 460 ; CHECK-NEXT:    [[DB:%.*]] = shufflevector <8 x i8> [[D:%.*]], <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 461 ; CHECK-NEXT:    [[DT:%.*]] = shufflevector <8 x i8> [[D]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 462 ; CHECK-NEXT:    [[ABT1:%.*]] = icmp slt <4 x i8> [[AT]], [[BT]]
 463 ; CHECK-NEXT:    [[ABB1:%.*]] = icmp ult <4 x i8> [[AB]], [[BB]]
 464 ; CHECK-NEXT:    [[ABT:%.*]] = select <4 x i1> [[ABT1]], <4 x i8> [[CT]], <4 x i8> [[DT]]
 465 ; CHECK-NEXT:    [[ABB:%.*]] = select <4 x i1> [[ABB1]], <4 x i8> [[CB]], <4 x i8> [[DB]]
 466 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <4 x i8> [[ABT]], <4 x i8> [[ABB]], <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 467 ; CHECK-NEXT:    ret <8 x i8> [[R]]
 468 ;
 469   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 470   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 471   %bb = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 472   %bt = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 473   %cb = shufflevector <8 x i8> %c, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 474   %ct = shufflevector <8 x i8> %c, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 475   %db = shufflevector <8 x i8> %d, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 476   %dt = shufflevector <8 x i8> %d, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 477   %abt1 = icmp slt <4 x i8> %at, %bt
 478   %abb1 = icmp ult <4 x i8> %ab, %bb
 479   %abt = select <4 x i1> %abt1, <4 x i8> %ct, <4 x i8> %dt
 480   %abb = select <4 x i1> %abb1, <4 x i8> %cb, <4 x i8> %db
 481   %r = shufflevector <4 x i8> %abt, <4 x i8> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 482   ret <8 x i8> %r
 483 }
 484
 485 define <8 x i8> @fcmpsel(<8 x half> %a, <8 x half> %b, <8 x i8> %c, <8 x i8> %d) {
 486 ; CHECK-LABEL: @fcmpsel(
 487 ; CHECK-NEXT:    [[TMP1:%.*]] = fcmp olt <8 x half> [[A:%.*]], [[B:%.*]]
 488 ; CHECK-NEXT:    [[R:%.*]] = select <8 x i1> [[TMP1]], <8 x i8> [[C:%.*]], <8 x i8> [[D:%.*]]
 489 ; CHECK-NEXT:    ret <8 x i8> [[R]]
 490 ;
 491   %ab = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 492   %at = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 493   %bb = shufflevector <8 x half> %b, <8 x half> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 494   %bt = shufflevector <8 x half> %b, <8 x half> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 495   %cb = shufflevector <8 x i8> %c, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 496   %ct = shufflevector <8 x i8> %c, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 497   %db = shufflevector <8 x i8> %d, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 498   %dt = shufflevector <8 x i8> %d, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 499   %abt1 = fcmp olt <4 x half> %at, %bt
 500   %abb1 = fcmp olt <4 x half> %ab, %bb
 501   %abt = select <4 x i1> %abt1, <4 x i8> %ct, <4 x i8> %dt
 502   %abb = select <4 x i1> %abb1, <4 x i8> %cb, <4 x i8> %db
 503   %r = shufflevector <4 x i8> %abt, <4 x i8> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 504   ret <8 x i8> %r
 505 }
 506
 507 define <8 x half> @fma(<8 x half> %a, <8 x half> %b, <8 x half> %c) {
 508 ; CHECK-LABEL: @fma(
 509 ; CHECK-NEXT:    [[R:%.*]] = call <8 x half> @llvm.fma.v8f16(<8 x half> [[A:%.*]], <8 x half> [[B:%.*]], <8 x half> [[C:%.*]])
 510 ; CHECK-NEXT:    ret <8 x half> [[R]]
 511 ;
 512   %ab = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 513   %at = shufflevector <8 x half> %a, <8 x half> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 514   %bb = shufflevector <8 x half> %b, <8 x half> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 515   %bt = shufflevector <8 x half> %b, <8 x half> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 516   %cb = shufflevector <8 x half> %c, <8 x half> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 517   %ct = shufflevector <8 x half> %c, <8 x half> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 518   %abb = call <4 x half> @llvm.fma.v4f16(<4 x half> %ab, <4 x half> %bb, <4 x half> %cb)
 519   %abt = call <4 x half> @llvm.fma.v4f16(<4 x half> %at, <4 x half> %bt, <4 x half> %ct)
 520   %r = shufflevector <4 x half> %abt, <4 x half> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 521   ret <8 x half> %r
 522 }
 523
 524 define <4 x i64> @single_zext(<4 x i32> %x) {
 525 ; CHECK-LABEL: @single_zext(
 526 ; CHECK-NEXT:    [[REVSHUF:%.*]] = zext <4 x i32> [[X:%.*]] to <4 x i64>
 527 ; CHECK-NEXT:    ret <4 x i64> [[REVSHUF]]
 528 ;
 529   %shuf = shufflevector <4 x i32> %x, <4 x i32> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 530   %zext = zext <4 x i32> %shuf to <4 x i64>
 531   %revshuf = shufflevector <4 x i64> %zext, <4 x i64> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 532   ret <4 x i64> %revshuf
 533 }
 534
 535 define <4 x i64> @not_zext(<4 x i32> %x) {
 536 ; CHECK-LABEL: @not_zext(
 537 ; CHECK-NEXT:    [[ZEXT:%.*]] = zext <4 x i32> [[X:%.*]] to <4 x i64>
 538 ; CHECK-NEXT:    [[REVSHUF:%.*]] = shufflevector <4 x i64> [[ZEXT]], <4 x i64> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 539 ; CHECK-NEXT:    ret <4 x i64> [[REVSHUF]]
 540 ;
 541   %zext = zext <4 x i32> %x to <4 x i64>
 542   %revshuf = shufflevector <4 x i64> %zext, <4 x i64> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 543   ret <4 x i64> %revshuf
 544 }
 545
 546 define <4 x i64> @not_zext2(<4 x i32> %x) {
 547 ; CHECK-LABEL: @not_zext2(
 548 ; CHECK-NEXT:    [[SHUF:%.*]] = shufflevector <4 x i32> [[X:%.*]], <4 x i32> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 549 ; CHECK-NEXT:    [[ZEXT:%.*]] = zext <4 x i32> [[SHUF]] to <4 x i64>
 550 ; CHECK-NEXT:    ret <4 x i64> [[ZEXT]]
 551 ;
 552   %shuf = shufflevector <4 x i32> %x, <4 x i32> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 553   %zext = zext <4 x i32> %shuf to <4 x i64>
 554   ret <4 x i64> %zext
 555 }
 556
 557 define i32 @not_bitcast(<4 x i8> %x) {
 558 ; CHECK-LABEL: @not_bitcast(
 559 ; CHECK-NEXT:    [[SHUF:%.*]] = shufflevector <4 x i8> [[X:%.*]], <4 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 560 ; CHECK-NEXT:    [[BITCAST:%.*]] = bitcast <4 x i8> [[SHUF]] to i32
 561 ; CHECK-NEXT:    ret i32 [[BITCAST]]
 562 ;
 563   %shuf = shufflevector <4 x i8> %x, <4 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 564   %bitcast = bitcast <4 x i8> %shuf to i32
 565   ret i32 %bitcast
 566 }
 567
 568 define <8 x i16> @not_bitcast2(<4 x i32> %x, <8 x i16> %y) {
 569 ; CHECK-LABEL: @not_bitcast2(
 570 ; CHECK-NEXT:    [[CAST:%.*]] = bitcast <4 x i32> [[X:%.*]] to <8 x i16>
 571 ; CHECK-NEXT:    [[OUT:%.*]] = shufflevector <8 x i16> [[Y:%.*]], <8 x i16> [[CAST]], <8 x i32> <i32 8, i32 1, i32 10, i32 3, i32 12, i32 5, i32 14, i32 7>
 572 ; CHECK-NEXT:    ret <8 x i16> [[OUT]]
 573 ;
 574   %cast = bitcast <4 x i32> %x to <8 x i16>
 575   %out = shufflevector <8 x i16> %y, <8 x i16> %cast, <8 x i32> <i32 8, i32 1, i32 10, i32 3, i32 12, i32 5, i32 14, i32 7>
 576   ret <8 x i16> %out
 577 }
 578
 579 define void @exttrunc(<8 x i32> %a, <8 x i32> %b, ptr %p) {
 580 ; CHECK-LABEL: @exttrunc(
 581 ; CHECK-NEXT:    [[TMP1:%.*]] = zext <8 x i32> [[A:%.*]] to <8 x i64>
 582 ; CHECK-NEXT:    [[TMP2:%.*]] = sext <8 x i32> [[B:%.*]] to <8 x i64>
 583 ; CHECK-NEXT:    [[TMP3:%.*]] = add <8 x i64> [[TMP1]], [[TMP2]]
 584 ; CHECK-NEXT:    [[R:%.*]] = trunc <8 x i64> [[TMP3]] to <8 x i32>
 585 ; CHECK-NEXT:    store <8 x i32> [[R]], ptr [[P:%.*]], align 32
 586 ; CHECK-NEXT:    ret void
 587 ;
 588   %ab = shufflevector <8 x i32> %a, <8 x i32> poison, <4 x i32> <i32 0, i32 2, i32 4, i32 6>
 589   %at = shufflevector <8 x i32> %a, <8 x i32> poison, <4 x i32> <i32 1, i32 3, i32 5, i32 7>
 590   %bb = shufflevector <8 x i32> %b, <8 x i32> poison, <4 x i32> <i32 0, i32 2, i32 4, i32 6>
 591   %bt = shufflevector <8 x i32> %b, <8 x i32> poison, <4 x i32> <i32 1, i32 3, i32 5, i32 7>
 592   %ab1 = zext <4 x i32> %ab to <4 x i64>
 593   %at1 = zext <4 x i32> %at to <4 x i64>
 594   %bb1 = sext <4 x i32> %bb to <4 x i64>
 595   %bt1 = sext <4 x i32> %bt to <4 x i64>
 596   %abb = add <4 x i64> %ab1, %bb1
 597   %abt = add <4 x i64> %at1, %bt1
 598   %abb1 = trunc <4 x i64> %abb to <4 x i32>
 599   %abt1 = trunc <4 x i64> %abt to <4 x i32>
 600   %r = shufflevector <4 x i32> %abb1, <4 x i32> %abt1, <8 x i32> <i32 0, i32 4, i32 1, i32 5, i32 2, i32 6, i32 3, i32 7>
 601   store <8 x i32> %r, ptr %p
 602   ret void
 603 }
 604
 605 define void @zext(<8 x i16> %a, <8 x i16> %b, ptr %p) {
 606 ; CHECK-LABEL: @zext(
 607 ; CHECK-NEXT:    [[TMP1:%.*]] = zext <8 x i16> [[A:%.*]] to <8 x i32>
 608 ; CHECK-NEXT:    [[TMP2:%.*]] = zext <8 x i16> [[B:%.*]] to <8 x i32>
 609 ; CHECK-NEXT:    [[R:%.*]] = add <8 x i32> [[TMP1]], [[TMP2]]
 610 ; CHECK-NEXT:    store <8 x i32> [[R]], ptr [[P:%.*]], align 32
 611 ; CHECK-NEXT:    ret void
 612 ;
 613   %ab = shufflevector <8 x i16> %a, <8 x i16> poison, <4 x i32> <i32 0, i32 2, i32 4, i32 6>
 614   %at = shufflevector <8 x i16> %a, <8 x i16> poison, <4 x i32> <i32 1, i32 3, i32 5, i32 7>
 615   %bb = shufflevector <8 x i16> %b, <8 x i16> poison, <4 x i32> <i32 0, i32 2, i32 4, i32 6>
 616   %bt = shufflevector <8 x i16> %b, <8 x i16> poison, <4 x i32> <i32 1, i32 3, i32 5, i32 7>
 617   %ab1 = zext <4 x i16> %ab to <4 x i32>
 618   %at1 = zext <4 x i16> %at to <4 x i32>
 619   %bb1 = zext <4 x i16> %bb to <4 x i32>
 620   %bt1 = zext <4 x i16> %bt to <4 x i32>
 621   %abb = add <4 x i32> %ab1, %bb1
 622   %abt = add <4 x i32> %at1, %bt1
 623   %r = shufflevector <4 x i32> %abb, <4 x i32> %abt, <8 x i32> <i32 0, i32 4, i32 1, i32 5, i32 2, i32 6, i32 3, i32 7>
 624   store <8 x i32> %r, ptr %p
 625   ret void
 626 }
 627
 628 define void @sext(<8 x i16> %a, <8 x i16> %b, ptr %p) {
 629 ; CHECK-LABEL: @sext(
 630 ; CHECK-NEXT:    [[TMP1:%.*]] = sext <8 x i16> [[A:%.*]] to <8 x i32>
 631 ; CHECK-NEXT:    [[TMP2:%.*]] = sext <8 x i16> [[B:%.*]] to <8 x i32>
 632 ; CHECK-NEXT:    [[R:%.*]] = add <8 x i32> [[TMP1]], [[TMP2]]
 633 ; CHECK-NEXT:    store <8 x i32> [[R]], ptr [[P:%.*]], align 32
 634 ; CHECK-NEXT:    ret void
 635 ;
 636   %ab = shufflevector <8 x i16> %a, <8 x i16> poison, <4 x i32> <i32 0, i32 2, i32 4, i32 6>
 637   %at = shufflevector <8 x i16> %a, <8 x i16> poison, <4 x i32> <i32 1, i32 3, i32 5, i32 7>
 638   %bb = shufflevector <8 x i16> %b, <8 x i16> poison, <4 x i32> <i32 0, i32 2, i32 4, i32 6>
 639   %bt = shufflevector <8 x i16> %b, <8 x i16> poison, <4 x i32> <i32 1, i32 3, i32 5, i32 7>
 640   %ab1 = sext <4 x i16> %ab to <4 x i32>
 641   %at1 = sext <4 x i16> %at to <4 x i32>
 642   %bb1 = sext <4 x i16> %bb to <4 x i32>
 643   %bt1 = sext <4 x i16> %bt to <4 x i32>
 644   %abb = add <4 x i32> %ab1, %bb1
 645   %abt = add <4 x i32> %at1, %bt1
 646   %r = shufflevector <4 x i32> %abb, <4 x i32> %abt, <8 x i32> <i32 0, i32 4, i32 1, i32 5, i32 2, i32 6, i32 3, i32 7>
 647   store <8 x i32> %r, ptr %p
 648   ret void
 649 }
 650
 651 define void @szext(<8 x i32> %a, <8 x i32> %b, ptr %p) {
 652 ; CHECK-LABEL: @szext(
 653 ; CHECK-NEXT:    [[AB:%.*]] = shufflevector <8 x i32> [[A:%.*]], <8 x i32> poison, <4 x i32> <i32 0, i32 2, i32 4, i32 6>
 654 ; CHECK-NEXT:    [[AT:%.*]] = shufflevector <8 x i32> [[A]], <8 x i32> poison, <4 x i32> <i32 1, i32 3, i32 5, i32 7>
 655 ; CHECK-NEXT:    [[AB1:%.*]] = sext <4 x i32> [[AB]] to <4 x i64>
 656 ; CHECK-NEXT:    [[AT1:%.*]] = zext <4 x i32> [[AT]] to <4 x i64>
 657 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <4 x i64> [[AB1]], <4 x i64> [[AT1]], <8 x i32> <i32 0, i32 4, i32 1, i32 5, i32 2, i32 6, i32 3, i32 7>
 658 ; CHECK-NEXT:    store <8 x i64> [[R]], ptr [[P:%.*]], align 64
 659 ; CHECK-NEXT:    ret void
 660 ;
 661   %ab = shufflevector <8 x i32> %a, <8 x i32> poison, <4 x i32> <i32 0, i32 2, i32 4, i32 6>
 662   %at = shufflevector <8 x i32> %a, <8 x i32> poison, <4 x i32> <i32 1, i32 3, i32 5, i32 7>
 663   %ab1 = sext <4 x i32> %ab to <4 x i64>
 664   %at1 = zext <4 x i32> %at to <4 x i64>
 665   %r = shufflevector <4 x i64> %ab1, <4 x i64> %at1, <8 x i32> <i32 0, i32 4, i32 1, i32 5, i32 2, i32 6, i32 3, i32 7>
 666   store <8 x i64> %r, ptr %p
 667   ret void
 668 }
 669
 670 define void @zext_types(<8 x i16> %a, <8 x i32> %b, ptr %p) {
 671 ; CHECK-LABEL: @zext_types(
 672 ; CHECK-NEXT:    [[AB:%.*]] = shufflevector <8 x i16> [[A:%.*]], <8 x i16> poison, <4 x i32> <i32 0, i32 2, i32 4, i32 6>
 673 ; CHECK-NEXT:    [[AT:%.*]] = shufflevector <8 x i32> [[B:%.*]], <8 x i32> poison, <4 x i32> <i32 1, i32 3, i32 5, i32 7>
 674 ; CHECK-NEXT:    [[AB1:%.*]] = zext <4 x i16> [[AB]] to <4 x i64>
 675 ; CHECK-NEXT:    [[AT1:%.*]] = zext <4 x i32> [[AT]] to <4 x i64>
 676 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <4 x i64> [[AB1]], <4 x i64> [[AT1]], <8 x i32> <i32 0, i32 4, i32 1, i32 5, i32 2, i32 6, i32 3, i32 7>
 677 ; CHECK-NEXT:    store <8 x i64> [[R]], ptr [[P:%.*]], align 64
 678 ; CHECK-NEXT:    ret void
 679 ;
 680   %ab = shufflevector <8 x i16> %a, <8 x i16> poison, <4 x i32> <i32 0, i32 2, i32 4, i32 6>
 681   %at = shufflevector <8 x i32> %b, <8 x i32> poison, <4 x i32> <i32 1, i32 3, i32 5, i32 7>
 682   %ab1 = zext <4 x i16> %ab to <4 x i64>
 683   %at1 = zext <4 x i32> %at to <4 x i64>
 684   %r = shufflevector <4 x i64> %ab1, <4 x i64> %at1, <8 x i32> <i32 0, i32 4, i32 1, i32 5, i32 2, i32 6, i32 3, i32 7>
 685   store <8 x i64> %r, ptr %p
 686   ret void
 687 }
 688
 689 define void @trunc(<8 x i64> %a, <8 x i64> %b, ptr %p) {
 690 ; CHECK-LABEL: @trunc(
 691 ; CHECK-NEXT:    [[R:%.*]] = trunc <8 x i64> [[A:%.*]] to <8 x i32>
 692 ; CHECK-NEXT:    store <8 x i32> [[R]], ptr [[P:%.*]], align 32
 693 ; CHECK-NEXT:    ret void
 694 ;
 695   %ab = shufflevector <8 x i64> %a, <8 x i64> poison, <4 x i32> <i32 0, i32 2, i32 4, i32 6>
 696   %at = shufflevector <8 x i64> %a, <8 x i64> poison, <4 x i32> <i32 1, i32 3, i32 5, i32 7>
 697   %abb1 = trunc <4 x i64> %ab to <4 x i32>
 698   %abt1 = trunc <4 x i64> %at to <4 x i32>
 699   %r = shufflevector <4 x i32> %abb1, <4 x i32> %abt1, <8 x i32> <i32 0, i32 4, i32 1, i32 5, i32 2, i32 6, i32 3, i32 7>
 700   store <8 x i32> %r, ptr %p
 701   ret void
 702 }
 703
 704 define <4 x i64> @zext_chain(<4 x i16> %x) {
 705 ; CHECK-LABEL: @zext_chain(
 706 ; CHECK-NEXT:    [[TMP1:%.*]] = zext <4 x i16> [[X:%.*]] to <4 x i32>
 707 ; CHECK-NEXT:    [[REVSHUF:%.*]] = sext <4 x i32> [[TMP1]] to <4 x i64>
 708 ; CHECK-NEXT:    ret <4 x i64> [[REVSHUF]]
 709 ;
 710   %shuf = shufflevector <4 x i16> %x, <4 x i16> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 711   %zext = zext <4 x i16> %shuf to <4 x i32>
 712   %sext = sext <4 x i32> %zext to <4 x i64>
 713   %revshuf = shufflevector <4 x i64> %sext, <4 x i64> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 714   ret <4 x i64> %revshuf
 715 }
 716
 717 define <4 x i32> @add_chain(<4 x i32> %x) {
 718 ; CHECK-LABEL: @add_chain(
 719 ; CHECK-NEXT:    [[SHUF:%.*]] = shufflevector <4 x i32> [[X:%.*]], <4 x i32> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 720 ; CHECK-NEXT:    [[ADD:%.*]] = add <4 x i32> [[SHUF]], [[SHUF]]
 721 ; CHECK-NEXT:    [[ADD2:%.*]] = add <4 x i32> [[ADD]], [[ADD]]
 722 ; CHECK-NEXT:    [[REVSHUF:%.*]] = shufflevector <4 x i32> [[ADD2]], <4 x i32> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 723 ; CHECK-NEXT:    ret <4 x i32> [[REVSHUF]]
 724 ;
 725   %shuf = shufflevector <4 x i32> %x, <4 x i32> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 726   %add = add <4 x i32> %shuf, %shuf
 727   %add2 = add <4 x i32> %add, %add
 728   %revshuf = shufflevector <4 x i32> %add2, <4 x i32> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 729   ret <4 x i32> %revshuf
 730 }
 731
 732 define <4 x i64> @zext_add_chain(<4 x i32> %x) {
 733 ; CHECK-LABEL: @zext_add_chain(
 734 ; CHECK-NEXT:    [[SHUF:%.*]] = shufflevector <4 x i32> [[X:%.*]], <4 x i32> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 735 ; CHECK-NEXT:    [[ZEXT:%.*]] = zext <4 x i32> [[SHUF]] to <4 x i64>
 736 ; CHECK-NEXT:    [[ADD:%.*]] = add <4 x i64> [[ZEXT]], [[ZEXT]]
 737 ; CHECK-NEXT:    [[REVSHUF:%.*]] = shufflevector <4 x i64> [[ADD]], <4 x i64> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 738 ; CHECK-NEXT:    ret <4 x i64> [[REVSHUF]]
 739 ;
 740   %shuf = shufflevector <4 x i32> %x, <4 x i32> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 741   %zext = zext <4 x i32> %shuf to <4 x i64>
 742   %add = add <4 x i64> %zext, %zext
 743   %revshuf = shufflevector <4 x i64> %add, <4 x i64> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 744   ret <4 x i64> %revshuf
 745 }
 746
 747 define <8 x i8> @intrinsics_minmax(<8 x i8> %a, <8 x i8> %b) {
 748 ; CHECK-LABEL: @intrinsics_minmax(
 749 ; CHECK-NEXT:    [[TMP1:%.*]] = call <8 x i8> @llvm.smin.v8i8(<8 x i8> [[A:%.*]], <8 x i8> [[B:%.*]])
 750 ; CHECK-NEXT:    [[TMP2:%.*]] = call <8 x i8> @llvm.smax.v8i8(<8 x i8> [[TMP1]], <8 x i8> [[B]])
 751 ; CHECK-NEXT:    [[TMP3:%.*]] = call <8 x i8> @llvm.umin.v8i8(<8 x i8> [[TMP2]], <8 x i8> [[B]])
 752 ; CHECK-NEXT:    [[R:%.*]] = call <8 x i8> @llvm.umax.v8i8(<8 x i8> [[TMP3]], <8 x i8> [[B]])
 753 ; CHECK-NEXT:    ret <8 x i8> [[R]]
 754 ;
 755   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 756   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 757   %bb = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 758   %bt = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 759   %abt = call <4 x i8> @llvm.smin.v4i8(<4 x i8> %at, <4 x i8> %bt)
 760   %abb = call <4 x i8> @llvm.smin.v4i8(<4 x i8> %ab, <4 x i8> %bb)
 761   %abt1 = call <4 x i8> @llvm.smax.v4i8(<4 x i8> %abt, <4 x i8> %bt)
 762   %abb1 = call <4 x i8> @llvm.smax.v4i8(<4 x i8> %abb, <4 x i8> %bb)
 763   %abt2 = call <4 x i8> @llvm.umin.v4i8(<4 x i8> %abt1, <4 x i8> %bt)
 764   %abb2 = call <4 x i8> @llvm.umin.v4i8(<4 x i8> %abb1, <4 x i8> %bb)
 765   %abt3 = call <4 x i8> @llvm.umax.v4i8(<4 x i8> %abt2, <4 x i8> %bt)
 766   %abb3 = call <4 x i8> @llvm.umax.v4i8(<4 x i8> %abb2, <4 x i8> %bb)
 767   %r = shufflevector <4 x i8> %abt3, <4 x i8> %abb3, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 768   ret <8 x i8> %r
 769 }
 770
 771 define <8 x i8> @intrinsics_addsat(<8 x i8> %a, <8 x i8> %b) {
 772 ; CHECK-LABEL: @intrinsics_addsat(
 773 ; CHECK-NEXT:    [[TMP1:%.*]] = call <8 x i8> @llvm.sadd.sat.v8i8(<8 x i8> [[A:%.*]], <8 x i8> [[B:%.*]])
 774 ; CHECK-NEXT:    [[TMP2:%.*]] = call <8 x i8> @llvm.ssub.sat.v8i8(<8 x i8> [[TMP1]], <8 x i8> [[B]])
 775 ; CHECK-NEXT:    [[TMP3:%.*]] = call <8 x i8> @llvm.uadd.sat.v8i8(<8 x i8> [[TMP2]], <8 x i8> [[B]])
 776 ; CHECK-NEXT:    [[R:%.*]] = call <8 x i8> @llvm.usub.sat.v8i8(<8 x i8> [[TMP3]], <8 x i8> [[B]])
 777 ; CHECK-NEXT:    ret <8 x i8> [[R]]
 778 ;
 779   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 780   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 781   %bb = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 782   %bt = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 783   %abt = call <4 x i8> @llvm.sadd.sat.v4i8(<4 x i8> %at, <4 x i8> %bt)
 784   %abb = call <4 x i8> @llvm.sadd.sat.v4i8(<4 x i8> %ab, <4 x i8> %bb)
 785   %abt1 = call <4 x i8> @llvm.ssub.sat.v4i8(<4 x i8> %abt, <4 x i8> %bt)
 786   %abb1 = call <4 x i8> @llvm.ssub.sat.v4i8(<4 x i8> %abb, <4 x i8> %bb)
 787   %abt2 = call <4 x i8> @llvm.uadd.sat.v4i8(<4 x i8> %abt1, <4 x i8> %bt)
 788   %abb2 = call <4 x i8> @llvm.uadd.sat.v4i8(<4 x i8> %abb1, <4 x i8> %bb)
 789   %abt3 = call <4 x i8> @llvm.usub.sat.v4i8(<4 x i8> %abt2, <4 x i8> %bt)
 790   %abb3 = call <4 x i8> @llvm.usub.sat.v4i8(<4 x i8> %abb2, <4 x i8> %bb)
 791   %r = shufflevector <4 x i8> %abt3, <4 x i8> %abb3, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 792   ret <8 x i8> %r
 793 }
 794
 795 define <8 x i8> @intrinsics_different(<8 x i8> %a, <8 x i8> %b) {
 796 ; CHECK-LABEL: @intrinsics_different(
 797 ; CHECK-NEXT:    [[AB:%.*]] = shufflevector <8 x i8> [[A:%.*]], <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 798 ; CHECK-NEXT:    [[AT:%.*]] = shufflevector <8 x i8> [[A]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 799 ; CHECK-NEXT:    [[BB:%.*]] = shufflevector <8 x i8> [[B:%.*]], <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 800 ; CHECK-NEXT:    [[BT:%.*]] = shufflevector <8 x i8> [[B]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 801 ; CHECK-NEXT:    [[ABT:%.*]] = call <4 x i8> @llvm.smin.v4i8(<4 x i8> [[AT]], <4 x i8> [[BT]])
 802 ; CHECK-NEXT:    [[ABB:%.*]] = call <4 x i8> @llvm.umin.v4i8(<4 x i8> [[AB]], <4 x i8> [[BB]])
 803 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <4 x i8> [[ABT]], <4 x i8> [[ABB]], <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 804 ; CHECK-NEXT:    ret <8 x i8> [[R]]
 805 ;
 806   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 807   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 808   %bb = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 809   %bt = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 810   %abt = call <4 x i8> @llvm.smin(<4 x i8> %at, <4 x i8> %bt)
 811   %abb = call <4 x i8> @llvm.umin(<4 x i8> %ab, <4 x i8> %bb)
 812   %r = shufflevector <4 x i8> %abt, <4 x i8> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 813   ret <8 x i8> %r
 814 }
 815
 816 ; div and rem are currently excluded.
 817 define <8 x i8> @div(<8 x i8> %a, <8 x i8> %b) {
 818 ; CHECK-LABEL: @div(
 819 ; CHECK-NEXT:    [[AB:%.*]] = shufflevector <8 x i8> [[A:%.*]], <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 820 ; CHECK-NEXT:    [[AT:%.*]] = shufflevector <8 x i8> [[A]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 821 ; CHECK-NEXT:    [[BB:%.*]] = shufflevector <8 x i8> [[B:%.*]], <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 822 ; CHECK-NEXT:    [[BT:%.*]] = shufflevector <8 x i8> [[B]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 823 ; CHECK-NEXT:    [[ABT:%.*]] = udiv <4 x i8> [[AT]], [[BT]]
 824 ; CHECK-NEXT:    [[ABB:%.*]] = udiv <4 x i8> [[AB]], [[BB]]
 825 ; CHECK-NEXT:    [[R:%.*]] = shufflevector <4 x i8> [[ABT]], <4 x i8> [[ABB]], <8 x i32> <i32 7, i32 poison, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 826 ; CHECK-NEXT:    ret <8 x i8> [[R]]
 827 ;
 828   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 829   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 830   %bb = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 831   %bt = shufflevector <8 x i8> %b, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
 832   %abt = udiv <4 x i8> %at, %bt
 833   %abb = udiv <4 x i8> %ab, %bb
 834   %r = shufflevector <4 x i8> %abt, <4 x i8> %abb, <8 x i32> <i32 7, i32 poison, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
 835   ret <8 x i8> %r
 836 }
 837
 838 define void @v8f64interleave(i64 %0, ptr %1, ptr %x, double %z) {
 839 ; CHECK-LABEL: @v8f64interleave(
 840 ; CHECK-NEXT:  entry:
 841 ; CHECK-NEXT:    [[BROADCAST_SPLATINSERT:%.*]] = insertelement <2 x double> poison, double [[Z:%.*]], i64 0
 842 ; CHECK-NEXT:    [[WIDE_VEC:%.*]] = load <16 x double>, ptr [[TMP1:%.*]], align 8
 843 ; CHECK-NEXT:    [[TMP2:%.*]] = getelementptr inbounds double, ptr [[X:%.*]], i64 [[TMP0:%.*]]
 844 ; CHECK-NEXT:    [[WIDE_VEC34:%.*]] = load <16 x double>, ptr [[TMP2]], align 8
 845 ; CHECK-NEXT:    [[TMP3:%.*]] = or disjoint i64 [[TMP0]], 7
 846 ; CHECK-NEXT:    [[TMP4:%.*]] = getelementptr inbounds double, ptr [[X]], i64 [[TMP3]]
 847 ; CHECK-NEXT:    [[TMP5:%.*]] = getelementptr inbounds i8, ptr [[TMP4]], i64 -56
 848 ; CHECK-NEXT:    [[TMP6:%.*]] = shufflevector <2 x double> [[BROADCAST_SPLATINSERT]], <2 x double> poison, <16 x i32> zeroinitializer
 849 ; CHECK-NEXT:    [[TMP7:%.*]] = fmul fast <16 x double> [[WIDE_VEC]], [[TMP6]]
 850 ; CHECK-NEXT:    [[INTERLEAVED_VEC:%.*]] = fadd fast <16 x double> [[WIDE_VEC34]], [[TMP7]]
 851 ; CHECK-NEXT:    store <16 x double> [[INTERLEAVED_VEC]], ptr [[TMP5]], align 8
 852 ; CHECK-NEXT:    ret void
 853 ;
 854 entry:
 855   %broadcast.splatinsert = insertelement <2 x double> poison, double %z, i64 0
 856   %broadcast.splat = shufflevector <2 x double> %broadcast.splatinsert, <2 x double> poison, <2 x i32> zeroinitializer
 857   %wide.vec = load <16 x double>, ptr %1, align 8
 858   %strided.vec = shufflevector <16 x double> %wide.vec, <16 x double> poison, <2 x i32> <i32 0, i32 8>
 859   %strided.vec27 = shufflevector <16 x double> %wide.vec, <16 x double> poison, <2 x i32> <i32 1, i32 9>
 860   %strided.vec28 = shufflevector <16 x double> %wide.vec, <16 x double> poison, <2 x i32> <i32 2, i32 10>
 861   %strided.vec29 = shufflevector <16 x double> %wide.vec, <16 x double> poison, <2 x i32> <i32 3, i32 11>
 862   %strided.vec30 = shufflevector <16 x double> %wide.vec, <16 x double> poison, <2 x i32> <i32 4, i32 12>
 863   %strided.vec31 = shufflevector <16 x double> %wide.vec, <16 x double> poison, <2 x i32> <i32 5, i32 13>
 864   %strided.vec32 = shufflevector <16 x double> %wide.vec, <16 x double> poison, <2 x i32> <i32 6, i32 14>
 865   %strided.vec33 = shufflevector <16 x double> %wide.vec, <16 x double> poison, <2 x i32> <i32 7, i32 15>
 866   %2 = fmul fast <2 x double> %strided.vec, %broadcast.splat
 867   %3 = getelementptr inbounds double, ptr %x, i64 %0
 868   %wide.vec34 = load <16 x double>, ptr %3, align 8
 869   %strided.vec35 = shufflevector <16 x double> %wide.vec34, <16 x double> poison, <2 x i32> <i32 0, i32 8>
 870   %strided.vec36 = shufflevector <16 x double> %wide.vec34, <16 x double> poison, <2 x i32> <i32 1, i32 9>
 871   %strided.vec37 = shufflevector <16 x double> %wide.vec34, <16 x double> poison, <2 x i32> <i32 2, i32 10>
 872   %strided.vec38 = shufflevector <16 x double> %wide.vec34, <16 x double> poison, <2 x i32> <i32 3, i32 11>
 873   %strided.vec39 = shufflevector <16 x double> %wide.vec34, <16 x double> poison, <2 x i32> <i32 4, i32 12>
 874   %strided.vec40 = shufflevector <16 x double> %wide.vec34, <16 x double> poison, <2 x i32> <i32 5, i32 13>
 875   %strided.vec41 = shufflevector <16 x double> %wide.vec34, <16 x double> poison, <2 x i32> <i32 6, i32 14>
 876   %strided.vec42 = shufflevector <16 x double> %wide.vec34, <16 x double> poison, <2 x i32> <i32 7, i32 15>
 877   %4 = fadd fast <2 x double> %strided.vec35, %2
 878   %5 = fmul fast <2 x double> %strided.vec27, %broadcast.splat
 879   %6 = fadd fast <2 x double> %strided.vec36, %5
 880   %7 = fmul fast <2 x double> %strided.vec28, %broadcast.splat
 881   %8 = fadd fast <2 x double> %strided.vec37, %7
 882   %9 = fmul fast <2 x double> %strided.vec29, %broadcast.splat
 883   %10 = fadd fast <2 x double> %strided.vec38, %9
 884   %11 = fmul fast <2 x double> %strided.vec30, %broadcast.splat
 885   %12 = fadd fast <2 x double> %strided.vec39, %11
 886   %13 = fmul fast <2 x double> %strided.vec31, %broadcast.splat
 887   %14 = fadd fast <2 x double> %strided.vec40, %13
 888   %15 = fmul fast <2 x double> %strided.vec32, %broadcast.splat
 889   %16 = fadd fast <2 x double> %strided.vec41, %15
 890   %17 = or disjoint i64 %0, 7
 891   %18 = fmul fast <2 x double> %strided.vec33, %broadcast.splat
 892   %19 = getelementptr inbounds double, ptr %x, i64 %17
 893   %20 = fadd fast <2 x double> %strided.vec42, %18
 894   %21 = getelementptr inbounds i8, ptr %19, i64 -56
 895   %22 = shufflevector <2 x double> %4, <2 x double> %6, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
 896   %23 = shufflevector <2 x double> %8, <2 x double> %10, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
 897   %24 = shufflevector <2 x double> %12, <2 x double> %14, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
 898   %25 = shufflevector <2 x double> %16, <2 x double> %20, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
 899   %26 = shufflevector <4 x double> %22, <4 x double> %23, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
 900   %27 = shufflevector <4 x double> %24, <4 x double> %25, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
 901   %interleaved.vec = shufflevector <8 x double> %26, <8 x double> %27, <16 x i32> <i32 0, i32 2, i32 4, i32 6, i32 8, i32 10, i32 12, i32 14, i32 1, i32 3, i32 5, i32 7, i32 9, i32 11, i32 13, i32 15>
 902   store <16 x double> %interleaved.vec, ptr %21, align 8
 903   ret void
 904 }
 905
 906 define <4 x i8> @singleop(<4 x i8> %a, <4 x i8> %b) {
 907 ; CHECK-LABEL: @singleop(
 908 ; CHECK-NEXT:    [[TMP1:%.*]] = zext <4 x i8> [[A:%.*]] to <4 x i16>
 909 ; CHECK-NEXT:    [[TMP2:%.*]] = shufflevector <4 x i8> [[B:%.*]], <4 x i8> poison, <4 x i32> zeroinitializer
 910 ; CHECK-NEXT:    [[TMP3:%.*]] = zext <4 x i8> [[TMP2]] to <4 x i16>
 911 ; CHECK-NEXT:    [[TMP4:%.*]] = add <4 x i16> [[TMP1]], [[TMP3]]
 912 ; CHECK-NEXT:    [[R:%.*]] = trunc <4 x i16> [[TMP4]] to <4 x i8>
 913 ; CHECK-NEXT:    ret <4 x i8> [[R]]
 914 ;
 915   %a1 = shufflevector <4 x i8> %a, <4 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 916   %b1 = shufflevector <4 x i8> %b, <4 x i8> poison, <4 x i32> <i32 0, i32 0, i32 0, i32 0>
 917   %a2 = zext <4 x i8> %a1 to <4 x i16>
 918   %b2 = zext <4 x i8> %b1 to <4 x i16>
 919   %ab = add <4 x i16> %a2, %b2
 920   %t = trunc <4 x i16> %ab to <4 x i8>
 921   %r = shufflevector <4 x i8> %t, <4 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 922   ret <4 x i8> %r
 923 }
 924
 925 define <4 x i64> @cast_mismatched_types(<4 x i32> %x) {
 926 ; CHECK-LABEL: @cast_mismatched_types(
 927 ; CHECK-NEXT:    [[SHUF:%.*]] = shufflevector <4 x i32> [[X:%.*]], <4 x i32> poison, <2 x i32> <i32 0, i32 2>
 928 ; CHECK-NEXT:    [[ZEXT:%.*]] = zext <2 x i32> [[SHUF]] to <2 x i64>
 929 ; CHECK-NEXT:    [[EXTSHUF:%.*]] = shufflevector <2 x i64> [[ZEXT]], <2 x i64> poison, <4 x i32> <i32 0, i32 2, i32 1, i32 3>
 930 ; CHECK-NEXT:    ret <4 x i64> [[EXTSHUF]]
 931 ;
 932   %shuf = shufflevector <4 x i32> %x, <4 x i32> poison, <2 x i32> <i32 0, i32 2>
 933   %zext = zext <2 x i32> %shuf to <2 x i64>
 934   %extshuf = shufflevector <2 x i64> %zext, <2 x i64> poison, <4 x i32> <i32 0, i32 2, i32 1, i32 3>
 935   ret <4 x i64> %extshuf
 936 }
 937
 938 define <4 x float> @fadd_mismatched_types(<4 x float> %x, <4 x float> %y) {
 939 ; CHECK-LABEL: @fadd_mismatched_types(
 940 ; CHECK-NEXT:    [[TMP1:%.*]] = shufflevector <4 x float> [[X:%.*]], <4 x float> poison, <4 x i32> <i32 0, i32 poison, i32 2, i32 poison>
 941 ; CHECK-NEXT:    [[TMP2:%.*]] = shufflevector <4 x float> [[Y:%.*]], <4 x float> poison, <4 x i32> <i32 1, i32 poison, i32 3, i32 poison>
 942 ; CHECK-NEXT:    [[EXTSHUF:%.*]] = fadd fast <4 x float> [[TMP1]], [[TMP2]]
 943 ; CHECK-NEXT:    ret <4 x float> [[EXTSHUF]]
 944 ;
 945   %shuf.x = shufflevector <4 x float> %x, <4 x float> poison, <2 x i32> <i32 0, i32 2>
 946   %shuf.y = shufflevector <4 x float> %y, <4 x float> poison, <2 x i32> <i32 1, i32 3>
 947   %fadd = fadd fast <2 x float> %shuf.x, %shuf.y
 948   %extshuf = shufflevector <2 x float> %fadd, <2 x float> poison, <4 x i32> <i32 0, i32 2, i32 1, i32 3>
 949   ret <4 x float> %extshuf
 950 }
 951
 952 define void @maximal_legal_fpmath(ptr %addr1, ptr %addr2, ptr %result, float %val) {
 953 ; CHECK-LABEL: @maximal_legal_fpmath(
 954 ; CHECK-NEXT:    [[SPLATINSERT:%.*]] = insertelement <4 x float> poison, float [[VAL:%.*]], i64 0
 955 ; CHECK-NEXT:    [[VEC1:%.*]] = load <16 x float>, ptr [[ADDR1:%.*]], align 4
 956 ; CHECK-NEXT:    [[VEC2:%.*]] = load <16 x float>, ptr [[ADDR2:%.*]], align 4
 957 ; CHECK-NEXT:    [[TMP1:%.*]] = shufflevector <4 x float> [[SPLATINSERT]], <4 x float> poison, <16 x i32> zeroinitializer
 958 ; CHECK-NEXT:    [[TMP2:%.*]] = fmul contract <16 x float> [[TMP1]], [[VEC2]]
 959 ; CHECK-NEXT:    [[INTERLEAVED_VEC:%.*]] = fadd reassoc contract <16 x float> [[VEC1]], [[TMP2]]
 960 ; CHECK-NEXT:    store <16 x float> [[INTERLEAVED_VEC]], ptr [[RESULT:%.*]], align 4
 961 ; CHECK-NEXT:    ret void
 962 ;
 963   %splatinsert = insertelement <4 x float> poison, float %val, i64 0
 964   %incoming.vec = shufflevector <4 x float> %splatinsert, <4 x float> poison, <4 x i32> zeroinitializer
 965
 966   %vec1 = load <16 x float>, ptr %addr1, align 4
 967   %strided.vec1 = shufflevector <16 x float> %vec1, <16 x float> poison, <4 x i32> <i32 0, i32 4, i32 8, i32 12>
 968   %strided.vec2 = shufflevector <16 x float> %vec1, <16 x float> poison, <4 x i32> <i32 1, i32 5, i32 9, i32 13>
 969   %strided.vec3 = shufflevector <16 x float> %vec1, <16 x float> poison, <4 x i32> <i32 2, i32 6, i32 10, i32 14>
 970   %strided.vec4 = shufflevector <16 x float> %vec1, <16 x float> poison, <4 x i32> <i32 3, i32 7, i32 11, i32 15>
 971
 972   %vec2 = load <16 x float>, ptr %addr2, align 4
 973   %strided.vec6 = shufflevector <16 x float> %vec2, <16 x float> poison, <4 x i32> <i32 0, i32 4, i32 8, i32 12>
 974   %strided.vec7 = shufflevector <16 x float> %vec2, <16 x float> poison, <4 x i32> <i32 1, i32 5, i32 9, i32 13>
 975   %strided.vec8 = shufflevector <16 x float> %vec2, <16 x float> poison, <4 x i32> <i32 2, i32 6, i32 10, i32 14>
 976   %strided.vec9 = shufflevector <16 x float> %vec2, <16 x float> poison, <4 x i32> <i32 3, i32 7, i32 11, i32 15>
 977
 978   %1 = fmul fast <4 x float> %incoming.vec, %strided.vec6
 979   %2 = fadd fast <4 x float> %strided.vec1, %1
 980   %3 = fmul contract <4 x float> %incoming.vec, %strided.vec7
 981   %4 = fadd fast <4 x float> %strided.vec2, %3
 982   %5 = fmul contract reassoc <4 x float> %incoming.vec, %strided.vec8
 983   %6 = fadd fast <4 x float> %strided.vec3, %5
 984   %7 = fmul contract reassoc <4 x float> %incoming.vec, %strided.vec9
 985   %8 = fadd contract reassoc <4 x float> %strided.vec4, %7
 986
 987   %9 = shufflevector <4 x float> %2, <4 x float> %4, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
 988   %10 = shufflevector <4 x float> %6, <4 x float> %8, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
 989   %interleaved.vec = shufflevector <8 x float> %9, <8 x float> %10, <16 x i32> <i32 0, i32 4, i32 8, i32 12, i32 1, i32 5, i32 9, i32 13, i32 2, i32 6, i32 10, i32 14, i32 3, i32 7, i32 11, i32 15>
 990   store <16 x float> %interleaved.vec, ptr %result, align 4
 991
 992   ret void
 993 }
 994
 995 ; Peek through (repeated) bitcasts to find a common source value.
 996 define <4 x i64> @bitcast_smax_v8i32_v4i32(<4 x i64> %a, <4 x i64> %b) {
 997 ; CHECK-LABEL: @bitcast_smax_v8i32_v4i32(
 998 ; CHECK-NEXT:    [[A_BC0:%.*]] = bitcast <4 x i64> [[A:%.*]] to <8 x i32>
 999 ; CHECK-NEXT:    [[B_BC0:%.*]] = bitcast <4 x i64> [[B:%.*]] to <8 x i32>
1000 ; CHECK-NEXT:    [[CMP:%.*]] = icmp slt <8 x i32> [[A_BC0]], [[B_BC0]]
1001 ; CHECK-NEXT:    [[A_BC1:%.*]] = bitcast <4 x i64> [[A]] to <8 x i32>
1002 ; CHECK-NEXT:    [[B_BC1:%.*]] = bitcast <4 x i64> [[B]] to <8 x i32>
1003 ; CHECK-NEXT:    [[CONCAT:%.*]] = select <8 x i1> [[CMP]], <8 x i32> [[B_BC1]], <8 x i32> [[A_BC1]]
1004 ; CHECK-NEXT:    [[RES:%.*]] = bitcast <8 x i32> [[CONCAT]] to <4 x i64>
1005 ; CHECK-NEXT:    ret <4 x i64> [[RES]]
1006 ;
1007   %a.bc0 = bitcast <4 x i64> %a to <8 x i32>
1008   %b.bc0 = bitcast <4 x i64> %b to <8 x i32>
1009   %cmp = icmp slt <8 x i32> %a.bc0, %b.bc0
1010   %cmp.lo = shufflevector <8 x i1> %cmp, <8 x i1> poison, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
1011   %cmp.hi = shufflevector <8 x i1> %cmp, <8 x i1> poison, <4 x i32> <i32 4, i32 5, i32 6, i32 7>
1012
1013   %a.bc1 = bitcast <4 x i64> %a to <8 x i32>
1014   %b.bc1 = bitcast <4 x i64> %b to <8 x i32>
1015   %a.lo = shufflevector <8 x i32> %a.bc1, <8 x i32> poison, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
1016   %b.lo = shufflevector <8 x i32> %b.bc1, <8 x i32> poison, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
1017   %lo = select <4 x i1> %cmp.lo, <4 x i32> %b.lo, <4 x i32> %a.lo
1018
1019   %a.bc2 = bitcast <4 x i64> %a to <8 x i32>
1020   %b.bc2 = bitcast <4 x i64> %b to <8 x i32>
1021   %a.hi = shufflevector <8 x i32> %a.bc2, <8 x i32> poison, <4 x i32> <i32 4, i32 5, i32 6, i32 7>
1022   %b.hi = shufflevector <8 x i32> %b.bc2, <8 x i32> poison, <4 x i32> <i32 4, i32 5, i32 6, i32 7>
1023   %hi = select <4 x i1> %cmp.hi, <4 x i32> %b.hi, <4 x i32> %a.hi
1024
1025   %concat = shufflevector <4 x i32> %lo, <4 x i32> %hi, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
1026   %res = bitcast <8 x i32> %concat to <4 x i64>
1027   ret <4 x i64> %res
1028 }
1029
1030 define void @bitcast_srcty_mismatch() {
1031 ; CHECK-LABEL: @bitcast_srcty_mismatch(
1032 ; CHECK-NEXT:  entry:
1033 ; CHECK-NEXT:    [[SHUFFLE_I_I:%.*]] = shufflevector <2 x i64> zeroinitializer, <2 x i64> zeroinitializer, <2 x i32> <i32 1, i32 3>
1034 ; CHECK-NEXT:    [[TMP0:%.*]] = bitcast <4 x i32> zeroinitializer to <4 x float>
1035 ; CHECK-NEXT:    [[TMP1:%.*]] = bitcast <2 x i64> [[SHUFFLE_I_I]] to <4 x float>
1036 ; CHECK-NEXT:    [[SHUFP_I196:%.*]] = shufflevector <4 x float> [[TMP0]], <4 x float> [[TMP1]], <4 x i32> <i32 2, i32 1, i32 4, i32 7>
1037 ; CHECK-NEXT:    store <4 x float> [[SHUFP_I196]], ptr null, align 16
1038 ; CHECK-NEXT:    ret void
1039 ;
1040 entry:
1041   %shuffle.i.i = shufflevector <2 x i64> zeroinitializer, <2 x i64> zeroinitializer, <2 x i32> <i32 1, i32 3>
1042   %0 = bitcast <4 x i32> zeroinitializer to <4 x float>
1043   %1 = bitcast <2 x i64> %shuffle.i.i to <4 x float>
1044   %shufp.i196 = shufflevector <4 x float> %0, <4 x float> %1, <4 x i32> <i32 2, i32 1, i32 4, i32 7>
1045   store <4 x float> %shufp.i196, ptr null, align 16
1046   ret void
1047 }
1048
1049 define <2 x float> @first_scalar_select(<2 x float> %0, <2 x float> %1, float %x) {
1050 ; CHECK-LABEL: @first_scalar_select(
1051 ; CHECK-NEXT:  entry:
1052 ; CHECK-NEXT:    [[CMP_I903:%.*]] = fcmp ogt float [[X:%.*]], 0.000000e+00
1053 ; CHECK-NEXT:    [[SEL1639:%.*]] = select i1 [[CMP_I903]], <2 x float> [[TMP0:%.*]], <2 x float> [[TMP1:%.*]]
1054 ; CHECK-NEXT:    [[TMP2:%.*]] = fcmp ogt <2 x float> [[TMP0]], zeroinitializer
1055 ; CHECK-NEXT:    [[SEL48_I913:%.*]] = select <2 x i1> [[TMP2]], <2 x float> [[TMP0]], <2 x float> [[TMP1]]
1056 ; CHECK-NEXT:    [[TMP3:%.*]] = shufflevector <2 x float> [[SEL1639]], <2 x float> [[SEL48_I913]], <2 x i32> <i32 0, i32 3>
1057 ; CHECK-NEXT:    ret <2 x float> [[TMP3]]
1058 ;
1059 entry:
1060   %cmp.i903 = fcmp ogt float %x, 0.000000e+00
1061   %sel1639 = select i1 %cmp.i903, <2 x float> %0, <2 x float> %1
1062   %3 = fcmp ogt <2 x float> %0, zeroinitializer
1063   %sel48.i913 = select <2 x i1> %3, <2 x float> %0, <2 x float> %1
1064   %4 = shufflevector <2 x float> %sel1639, <2 x float> %sel48.i913, <2 x i32> <i32 0, i32 3>
1065   ret <2 x float> %4
1066 }
1067
1068 define <16 x i64> @operandbundles(<4 x i64> %a, <4 x i64> %b, <4 x i64> %c) {
1069 ; CHECK-LABEL: @operandbundles(
1070 ; CHECK-NEXT:    [[CALL:%.*]] = call <4 x i64> @llvm.fshl.v4i64(<4 x i64> [[A:%.*]], <4 x i64> [[B:%.*]], <4 x i64> [[C:%.*]]) [ "jl_roots"(ptr addrspace(10) null, ptr addrspace(10) null) ]
1071 ; CHECK-NEXT:    [[SHUFFLEVECTOR:%.*]] = shufflevector <4 x i64> [[CALL]], <4 x i64> poison, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison>
1072 ; CHECK-NEXT:    [[SHUFFLEVECTOR1:%.*]] = shufflevector <16 x i64> [[SHUFFLEVECTOR]], <16 x i64> undef, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 20, i32 21, i32 22, i32 23, i32 24, i32 25, i32 26, i32 27, i32 28, i32 29, i32 30, i32 31>
1073 ; CHECK-NEXT:    ret <16 x i64> [[SHUFFLEVECTOR1]]
1074 ;
1075   %call = call <4 x i64> @llvm.fshl.v4i64(<4 x i64> %a, <4 x i64> %b, <4 x i64> %c) [ "jl_roots"(ptr addrspace(10) null, ptr addrspace(10) null) ]
1076   %shufflevector = shufflevector <4 x i64> %call, <4 x i64> poison, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison>
1077   %shufflevector1 = shufflevector <16 x i64> %shufflevector, <16 x i64> undef, <16 x i32> <i32 0, i32 1, i32 2, i32 3, i32 20, i32 21, i32 22, i32 23, i32 24, i32 25, i32 26, i32 27, i32 28, i32 29, i32 30, i32 31>
1078   ret <16 x i64> %shufflevector1
1079 }
1080
1081 define <8 x i8> @operandbundles_first(<8 x i8> %a) {
1082 ; CHECK-LABEL: @operandbundles_first(
1083 ; CHECK-NEXT:    [[AT:%.*]] = shufflevector <8 x i8> [[A:%.*]], <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
1084 ; CHECK-NEXT:    [[ABT:%.*]] = call <4 x i8> @llvm.abs.v4i8(<4 x i8> [[AT]], i1 false) [ "jl_roots"(ptr addrspace(10) null, ptr addrspace(10) null) ]
1085 ; CHECK-NEXT:    [[R:%.*]] = call <8 x i8> @llvm.abs.v8i8(<8 x i8> [[A]], i1 false)
1086 ; CHECK-NEXT:    ret <8 x i8> [[R]]
1087 ;
1088   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
1089   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
1090   %abt = call <4 x i8> @llvm.abs.v4i8(<4 x i8> %at, i1 false) [ "jl_roots"(ptr addrspace(10) null, ptr addrspace(10) null) ]
1091   %abb = call <4 x i8> @llvm.abs.v4i8(<4 x i8> %ab, i1 false)
1092   %r = shufflevector <4 x i8> %abt, <4 x i8> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
1093   ret <8 x i8> %r
1094 }
1095
1096 define <8 x i8> @operandbundles_second(<8 x i8> %a) {
1097 ; CHECK-LABEL: @operandbundles_second(
1098 ; CHECK-NEXT:    [[AB:%.*]] = shufflevector <8 x i8> [[A:%.*]], <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
1099 ; CHECK-NEXT:    [[ABB:%.*]] = call <4 x i8> @llvm.abs.v4i8(<4 x i8> [[AB]], i1 false) [ "jl_roots"(ptr addrspace(10) null, ptr addrspace(10) null) ]
1100 ; CHECK-NEXT:    [[R:%.*]] = call <8 x i8> @llvm.abs.v8i8(<8 x i8> [[A]], i1 false)
1101 ; CHECK-NEXT:    ret <8 x i8> [[R]]
1102 ;
1103   %ab = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
1104   %at = shufflevector <8 x i8> %a, <8 x i8> poison, <4 x i32> <i32 7, i32 6, i32 5, i32 4>
1105   %abt = call <4 x i8> @llvm.abs.v4i8(<4 x i8> %at, i1 false)
1106   %abb = call <4 x i8> @llvm.abs.v4i8(<4 x i8> %ab, i1 false) [ "jl_roots"(ptr addrspace(10) null, ptr addrspace(10) null) ]
1107   %r = shufflevector <4 x i8> %abt, <4 x i8> %abb, <8 x i32> <i32 7, i32 6, i32 5, i32 4, i32 3, i32 2, i32 1, i32 0>
1108   ret <8 x i8> %r
1109 }
1110
1111 declare <4 x i64> @llvm.fshl.v4i64(<4 x i64>, <4 x i64>, <4 x i64>)
1112 declare void @use(<4 x i8>)