test/Transforms/LoopVectorize/X86/load-deref-pred.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_test_checks.py
   2 ; RUN: opt -S -force-vector-width=4 -loop-vectorize -mcpu=haswell < %s | FileCheck %s
   3
   4 target datalayout = "e-m:e-i64:64-f80:128-n8:16:32:64-S128-ni:1"
   5 target triple = "x86_64-unknown-linux-gnu"
   6
   7 ;; This file includes tests for avoiding the need for a masked.load
   8 ;; We don't need a masked.load for this due to deref facts, and can instead
   9 ;; use a plain vector load.
  10
  11 declare void @init(i32*)
  12
  13 ;; For ease of explanation, this one demonstrates
  14 ;; with a range check, but there are better lowering options specifically for
  15 ;; this test (i.e. reducing the iteration space of the vector copy), so
  16 ;; following tests are written more generically.
  17 define i32 @test_explicit_pred(i64 %len) {
  18 ; CHECK-LABEL: @test_explicit_pred(
  19 ; CHECK-NEXT:  entry:
  20 ; CHECK-NEXT:    [[ALLOCA:%.*]] = alloca [4096 x i32]
  21 ; CHECK-NEXT:    [[BASE:%.*]] = bitcast [4096 x i32]* [[ALLOCA]] to i32*
  22 ; CHECK-NEXT:    call void @init(i32* [[BASE]])
  23 ; CHECK-NEXT:    br i1 false, label [[SCALAR_PH:%.*]], label [[VECTOR_PH:%.*]]
  24 ; CHECK:       vector.ph:
  25 ; CHECK-NEXT:    [[BROADCAST_SPLATINSERT:%.*]] = insertelement <4 x i64> undef, i64 [[LEN:%.*]], i32 0
  26 ; CHECK-NEXT:    [[BROADCAST_SPLAT:%.*]] = shufflevector <4 x i64> [[BROADCAST_SPLATINSERT]], <4 x i64> undef, <4 x i32> zeroinitializer
  27 ; CHECK-NEXT:    [[BROADCAST_SPLATINSERT7:%.*]] = insertelement <4 x i64> undef, i64 [[LEN]], i32 0
  28 ; CHECK-NEXT:    [[BROADCAST_SPLAT8:%.*]] = shufflevector <4 x i64> [[BROADCAST_SPLATINSERT7]], <4 x i64> undef, <4 x i32> zeroinitializer
  29 ; CHECK-NEXT:    [[BROADCAST_SPLATINSERT9:%.*]] = insertelement <4 x i64> undef, i64 [[LEN]], i32 0
  30 ; CHECK-NEXT:    [[BROADCAST_SPLAT10:%.*]] = shufflevector <4 x i64> [[BROADCAST_SPLATINSERT9]], <4 x i64> undef, <4 x i32> zeroinitializer
  31 ; CHECK-NEXT:    [[BROADCAST_SPLATINSERT11:%.*]] = insertelement <4 x i64> undef, i64 [[LEN]], i32 0
  32 ; CHECK-NEXT:    [[BROADCAST_SPLAT12:%.*]] = shufflevector <4 x i64> [[BROADCAST_SPLATINSERT11]], <4 x i64> undef, <4 x i32> zeroinitializer
  33 ; CHECK-NEXT:    br label [[VECTOR_BODY:%.*]]
  34 ; CHECK:       vector.body:
  35 ; CHECK-NEXT:    [[INDEX:%.*]] = phi i64 [ 0, [[VECTOR_PH]] ], [ [[INDEX_NEXT:%.*]], [[VECTOR_BODY]] ]
  36 ; CHECK-NEXT:    [[VEC_IND:%.*]] = phi <4 x i64> [ <i64 0, i64 1, i64 2, i64 3>, [[VECTOR_PH]] ], [ [[VEC_IND_NEXT:%.*]], [[VECTOR_BODY]] ]
  37 ; CHECK-NEXT:    [[VEC_PHI:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP36:%.*]], [[VECTOR_BODY]] ]
  38 ; CHECK-NEXT:    [[VEC_PHI4:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP37:%.*]], [[VECTOR_BODY]] ]
  39 ; CHECK-NEXT:    [[VEC_PHI5:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP38:%.*]], [[VECTOR_BODY]] ]
  40 ; CHECK-NEXT:    [[VEC_PHI6:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP39:%.*]], [[VECTOR_BODY]] ]
  41 ; CHECK-NEXT:    [[STEP_ADD:%.*]] = add <4 x i64> [[VEC_IND]], <i64 4, i64 4, i64 4, i64 4>
  42 ; CHECK-NEXT:    [[STEP_ADD1:%.*]] = add <4 x i64> [[STEP_ADD]], <i64 4, i64 4, i64 4, i64 4>
  43 ; CHECK-NEXT:    [[STEP_ADD2:%.*]] = add <4 x i64> [[STEP_ADD1]], <i64 4, i64 4, i64 4, i64 4>
  44 ; CHECK-NEXT:    [[TMP0:%.*]] = add i64 [[INDEX]], 0
  45 ; CHECK-NEXT:    [[TMP1:%.*]] = add i64 [[INDEX]], 1
  46 ; CHECK-NEXT:    [[TMP2:%.*]] = add i64 [[INDEX]], 2
  47 ; CHECK-NEXT:    [[TMP3:%.*]] = add i64 [[INDEX]], 3
  48 ; CHECK-NEXT:    [[TMP4:%.*]] = add i64 [[INDEX]], 4
  49 ; CHECK-NEXT:    [[TMP5:%.*]] = add i64 [[INDEX]], 5
  50 ; CHECK-NEXT:    [[TMP6:%.*]] = add i64 [[INDEX]], 6
  51 ; CHECK-NEXT:    [[TMP7:%.*]] = add i64 [[INDEX]], 7
  52 ; CHECK-NEXT:    [[TMP8:%.*]] = add i64 [[INDEX]], 8
  53 ; CHECK-NEXT:    [[TMP9:%.*]] = add i64 [[INDEX]], 9
  54 ; CHECK-NEXT:    [[TMP10:%.*]] = add i64 [[INDEX]], 10
  55 ; CHECK-NEXT:    [[TMP11:%.*]] = add i64 [[INDEX]], 11
  56 ; CHECK-NEXT:    [[TMP12:%.*]] = add i64 [[INDEX]], 12
  57 ; CHECK-NEXT:    [[TMP13:%.*]] = add i64 [[INDEX]], 13
  58 ; CHECK-NEXT:    [[TMP14:%.*]] = add i64 [[INDEX]], 14
  59 ; CHECK-NEXT:    [[TMP15:%.*]] = add i64 [[INDEX]], 15
  60 ; CHECK-NEXT:    [[TMP16:%.*]] = icmp slt <4 x i64> [[VEC_IND]], [[BROADCAST_SPLAT]]
  61 ; CHECK-NEXT:    [[TMP17:%.*]] = icmp slt <4 x i64> [[STEP_ADD]], [[BROADCAST_SPLAT8]]
  62 ; CHECK-NEXT:    [[TMP18:%.*]] = icmp slt <4 x i64> [[STEP_ADD1]], [[BROADCAST_SPLAT10]]
  63 ; CHECK-NEXT:    [[TMP19:%.*]] = icmp slt <4 x i64> [[STEP_ADD2]], [[BROADCAST_SPLAT12]]
  64 ; CHECK-NEXT:    [[TMP20:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP0]]
  65 ; CHECK-NEXT:    [[TMP21:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP4]]
  66 ; CHECK-NEXT:    [[TMP22:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP8]]
  67 ; CHECK-NEXT:    [[TMP23:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP12]]
  68 ; CHECK-NEXT:    [[TMP24:%.*]] = getelementptr inbounds i32, i32* [[TMP20]], i32 0
  69 ; CHECK-NEXT:    [[TMP25:%.*]] = bitcast i32* [[TMP24]] to <4 x i32>*
  70 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP25]], i32 4, <4 x i1> [[TMP16]], <4 x i32> undef)
  71 ; CHECK-NEXT:    [[TMP26:%.*]] = getelementptr inbounds i32, i32* [[TMP20]], i32 4
  72 ; CHECK-NEXT:    [[TMP27:%.*]] = bitcast i32* [[TMP26]] to <4 x i32>*
  73 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD13:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP27]], i32 4, <4 x i1> [[TMP17]], <4 x i32> undef)
  74 ; CHECK-NEXT:    [[TMP28:%.*]] = getelementptr inbounds i32, i32* [[TMP20]], i32 8
  75 ; CHECK-NEXT:    [[TMP29:%.*]] = bitcast i32* [[TMP28]] to <4 x i32>*
  76 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD14:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP29]], i32 4, <4 x i1> [[TMP18]], <4 x i32> undef)
  77 ; CHECK-NEXT:    [[TMP30:%.*]] = getelementptr inbounds i32, i32* [[TMP20]], i32 12
  78 ; CHECK-NEXT:    [[TMP31:%.*]] = bitcast i32* [[TMP30]] to <4 x i32>*
  79 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD15:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP31]], i32 4, <4 x i1> [[TMP19]], <4 x i32> undef)
  80 ; CHECK-NEXT:    [[TMP32:%.*]] = xor <4 x i1> [[TMP16]], <i1 true, i1 true, i1 true, i1 true>
  81 ; CHECK-NEXT:    [[TMP33:%.*]] = xor <4 x i1> [[TMP17]], <i1 true, i1 true, i1 true, i1 true>
  82 ; CHECK-NEXT:    [[TMP34:%.*]] = xor <4 x i1> [[TMP18]], <i1 true, i1 true, i1 true, i1 true>
  83 ; CHECK-NEXT:    [[TMP35:%.*]] = xor <4 x i1> [[TMP19]], <i1 true, i1 true, i1 true, i1 true>
  84 ; CHECK-NEXT:    [[PREDPHI:%.*]] = select <4 x i1> [[TMP16]], <4 x i32> [[WIDE_MASKED_LOAD]], <4 x i32> zeroinitializer
  85 ; CHECK-NEXT:    [[PREDPHI16:%.*]] = select <4 x i1> [[TMP17]], <4 x i32> [[WIDE_MASKED_LOAD13]], <4 x i32> zeroinitializer
  86 ; CHECK-NEXT:    [[PREDPHI17:%.*]] = select <4 x i1> [[TMP18]], <4 x i32> [[WIDE_MASKED_LOAD14]], <4 x i32> zeroinitializer
  87 ; CHECK-NEXT:    [[PREDPHI18:%.*]] = select <4 x i1> [[TMP19]], <4 x i32> [[WIDE_MASKED_LOAD15]], <4 x i32> zeroinitializer
  88 ; CHECK-NEXT:    [[TMP36]] = add <4 x i32> [[VEC_PHI]], [[PREDPHI]]
  89 ; CHECK-NEXT:    [[TMP37]] = add <4 x i32> [[VEC_PHI4]], [[PREDPHI16]]
  90 ; CHECK-NEXT:    [[TMP38]] = add <4 x i32> [[VEC_PHI5]], [[PREDPHI17]]
  91 ; CHECK-NEXT:    [[TMP39]] = add <4 x i32> [[VEC_PHI6]], [[PREDPHI18]]
  92 ; CHECK-NEXT:    [[INDEX_NEXT]] = add i64 [[INDEX]], 16
  93 ; CHECK-NEXT:    [[VEC_IND_NEXT]] = add <4 x i64> [[STEP_ADD2]], <i64 4, i64 4, i64 4, i64 4>
  94 ; CHECK-NEXT:    [[TMP40:%.*]] = icmp eq i64 [[INDEX_NEXT]], 4096
  95 ; CHECK-NEXT:    br i1 [[TMP40]], label [[MIDDLE_BLOCK:%.*]], label [[VECTOR_BODY]], !llvm.loop !0
  96 ; CHECK:       middle.block:
  97 ; CHECK-NEXT:    [[BIN_RDX:%.*]] = add <4 x i32> [[TMP37]], [[TMP36]]
  98 ; CHECK-NEXT:    [[BIN_RDX19:%.*]] = add <4 x i32> [[TMP38]], [[BIN_RDX]]
  99 ; CHECK-NEXT:    [[BIN_RDX20:%.*]] = add <4 x i32> [[TMP39]], [[BIN_RDX19]]
 100 ; CHECK-NEXT:    [[RDX_SHUF:%.*]] = shufflevector <4 x i32> [[BIN_RDX20]], <4 x i32> undef, <4 x i32> <i32 2, i32 3, i32 undef, i32 undef>
 101 ; CHECK-NEXT:    [[BIN_RDX21:%.*]] = add <4 x i32> [[BIN_RDX20]], [[RDX_SHUF]]
 102 ; CHECK-NEXT:    [[RDX_SHUF22:%.*]] = shufflevector <4 x i32> [[BIN_RDX21]], <4 x i32> undef, <4 x i32> <i32 1, i32 undef, i32 undef, i32 undef>
 103 ; CHECK-NEXT:    [[BIN_RDX23:%.*]] = add <4 x i32> [[BIN_RDX21]], [[RDX_SHUF22]]
 104 ; CHECK-NEXT:    [[TMP41:%.*]] = extractelement <4 x i32> [[BIN_RDX23]], i32 0
 105 ; CHECK-NEXT:    [[CMP_N:%.*]] = icmp eq i64 4096, 4096
 106 ; CHECK-NEXT:    br i1 [[CMP_N]], label [[LOOP_EXIT:%.*]], label [[SCALAR_PH]]
 107 ; CHECK:       scalar.ph:
 108 ; CHECK-NEXT:    [[BC_RESUME_VAL:%.*]] = phi i64 [ 4096, [[MIDDLE_BLOCK]] ], [ 0, [[ENTRY:%.*]] ]
 109 ; CHECK-NEXT:    [[BC_MERGE_RDX:%.*]] = phi i32 [ 0, [[ENTRY]] ], [ [[TMP41]], [[MIDDLE_BLOCK]] ]
 110 ; CHECK-NEXT:    br label [[LOOP:%.*]]
 111 ; CHECK:       loop:
 112 ; CHECK-NEXT:    [[IV:%.*]] = phi i64 [ [[BC_RESUME_VAL]], [[SCALAR_PH]] ], [ [[IV_NEXT:%.*]], [[LATCH:%.*]] ]
 113 ; CHECK-NEXT:    [[ACCUM:%.*]] = phi i32 [ [[BC_MERGE_RDX]], [[SCALAR_PH]] ], [ [[ACCUM_NEXT:%.*]], [[LATCH]] ]
 114 ; CHECK-NEXT:    [[IV_NEXT]] = add i64 [[IV]], 1
 115 ; CHECK-NEXT:    [[EARLYCND:%.*]] = icmp slt i64 [[IV]], [[LEN]]
 116 ; CHECK-NEXT:    br i1 [[EARLYCND]], label [[PRED:%.*]], label [[LATCH]]
 117 ; CHECK:       pred:
 118 ; CHECK-NEXT:    [[ADDR:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[IV]]
 119 ; CHECK-NEXT:    [[VAL:%.*]] = load i32, i32* [[ADDR]]
 120 ; CHECK-NEXT:    br label [[LATCH]]
 121 ; CHECK:       latch:
 122 ; CHECK-NEXT:    [[VAL_PHI:%.*]] = phi i32 [ 0, [[LOOP]] ], [ [[VAL]], [[PRED]] ]
 123 ; CHECK-NEXT:    [[ACCUM_NEXT]] = add i32 [[ACCUM]], [[VAL_PHI]]
 124 ; CHECK-NEXT:    [[EXIT:%.*]] = icmp ugt i64 [[IV]], 4094
 125 ; CHECK-NEXT:    br i1 [[EXIT]], label [[LOOP_EXIT]], label [[LOOP]], !llvm.loop !2
 126 ; CHECK:       loop_exit:
 127 ; CHECK-NEXT:    [[ACCUM_NEXT_LCSSA:%.*]] = phi i32 [ [[ACCUM_NEXT]], [[LATCH]] ], [ [[TMP41]], [[MIDDLE_BLOCK]] ]
 128 ; CHECK-NEXT:    ret i32 [[ACCUM_NEXT_LCSSA]]
 129 ;
 130 entry:
 131   %alloca = alloca [4096 x i32]
 132   %base = bitcast [4096 x i32]* %alloca to i32*
 133   call void @init(i32* %base)
 134   br label %loop
 135 loop:
 136   %iv = phi i64 [ 0, %entry ], [ %iv.next, %latch ]
 137   %accum = phi i32 [ 0, %entry ], [ %accum.next, %latch ]
 138   %iv.next = add i64 %iv, 1
 139   %earlycnd = icmp slt i64 %iv, %len
 140   br i1 %earlycnd, label %pred, label %latch
 141 pred:
 142   %addr = getelementptr inbounds i32, i32* %base, i64 %iv
 143   %val = load i32, i32* %addr
 144   br label %latch
 145 latch:
 146   %val.phi = phi i32 [0, %loop], [%val, %pred]
 147   %accum.next = add i32 %accum, %val.phi
 148   %exit = icmp ugt i64 %iv, 4094
 149   br i1 %exit, label %loop_exit, label %loop
 150
 151 loop_exit:
 152   ret i32 %accum.next
 153 }
 154
 155 ;; Similiar to the above, but without an analyzeable condition.
 156 define i32 @test_explicit_pred_generic(i64 %len, i1* %test_base) {
 157 ; CHECK-LABEL: @test_explicit_pred_generic(
 158 ; CHECK-NEXT:  entry:
 159 ; CHECK-NEXT:    [[ALLOCA:%.*]] = alloca [4096 x i32]
 160 ; CHECK-NEXT:    [[BASE:%.*]] = bitcast [4096 x i32]* [[ALLOCA]] to i32*
 161 ; CHECK-NEXT:    call void @init(i32* [[BASE]])
 162 ; CHECK-NEXT:    br i1 false, label [[SCALAR_PH:%.*]], label [[VECTOR_PH:%.*]]
 163 ; CHECK:       vector.ph:
 164 ; CHECK-NEXT:    br label [[VECTOR_BODY:%.*]]
 165 ; CHECK:       vector.body:
 166 ; CHECK-NEXT:    [[INDEX:%.*]] = phi i64 [ 0, [[VECTOR_PH]] ], [ [[INDEX_NEXT:%.*]], [[VECTOR_BODY]] ]
 167 ; CHECK-NEXT:    [[VEC_PHI:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP80:%.*]], [[VECTOR_BODY]] ]
 168 ; CHECK-NEXT:    [[VEC_PHI4:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP81:%.*]], [[VECTOR_BODY]] ]
 169 ; CHECK-NEXT:    [[VEC_PHI5:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP82:%.*]], [[VECTOR_BODY]] ]
 170 ; CHECK-NEXT:    [[VEC_PHI6:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP83:%.*]], [[VECTOR_BODY]] ]
 171 ; CHECK-NEXT:    [[BROADCAST_SPLATINSERT:%.*]] = insertelement <4 x i64> undef, i64 [[INDEX]], i32 0
 172 ; CHECK-NEXT:    [[BROADCAST_SPLAT:%.*]] = shufflevector <4 x i64> [[BROADCAST_SPLATINSERT]], <4 x i64> undef, <4 x i32> zeroinitializer
 173 ; CHECK-NEXT:    [[INDUCTION:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 0, i64 1, i64 2, i64 3>
 174 ; CHECK-NEXT:    [[INDUCTION1:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 4, i64 5, i64 6, i64 7>
 175 ; CHECK-NEXT:    [[INDUCTION2:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 8, i64 9, i64 10, i64 11>
 176 ; CHECK-NEXT:    [[INDUCTION3:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 12, i64 13, i64 14, i64 15>
 177 ; CHECK-NEXT:    [[TMP0:%.*]] = add i64 [[INDEX]], 0
 178 ; CHECK-NEXT:    [[TMP1:%.*]] = add i64 [[INDEX]], 1
 179 ; CHECK-NEXT:    [[TMP2:%.*]] = add i64 [[INDEX]], 2
 180 ; CHECK-NEXT:    [[TMP3:%.*]] = add i64 [[INDEX]], 3
 181 ; CHECK-NEXT:    [[TMP4:%.*]] = add i64 [[INDEX]], 4
 182 ; CHECK-NEXT:    [[TMP5:%.*]] = add i64 [[INDEX]], 5
 183 ; CHECK-NEXT:    [[TMP6:%.*]] = add i64 [[INDEX]], 6
 184 ; CHECK-NEXT:    [[TMP7:%.*]] = add i64 [[INDEX]], 7
 185 ; CHECK-NEXT:    [[TMP8:%.*]] = add i64 [[INDEX]], 8
 186 ; CHECK-NEXT:    [[TMP9:%.*]] = add i64 [[INDEX]], 9
 187 ; CHECK-NEXT:    [[TMP10:%.*]] = add i64 [[INDEX]], 10
 188 ; CHECK-NEXT:    [[TMP11:%.*]] = add i64 [[INDEX]], 11
 189 ; CHECK-NEXT:    [[TMP12:%.*]] = add i64 [[INDEX]], 12
 190 ; CHECK-NEXT:    [[TMP13:%.*]] = add i64 [[INDEX]], 13
 191 ; CHECK-NEXT:    [[TMP14:%.*]] = add i64 [[INDEX]], 14
 192 ; CHECK-NEXT:    [[TMP15:%.*]] = add i64 [[INDEX]], 15
 193 ; CHECK-NEXT:    [[TMP16:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE:%.*]], i64 [[TMP0]]
 194 ; CHECK-NEXT:    [[TMP17:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP1]]
 195 ; CHECK-NEXT:    [[TMP18:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP2]]
 196 ; CHECK-NEXT:    [[TMP19:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP3]]
 197 ; CHECK-NEXT:    [[TMP20:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP4]]
 198 ; CHECK-NEXT:    [[TMP21:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP5]]
 199 ; CHECK-NEXT:    [[TMP22:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP6]]
 200 ; CHECK-NEXT:    [[TMP23:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP7]]
 201 ; CHECK-NEXT:    [[TMP24:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP8]]
 202 ; CHECK-NEXT:    [[TMP25:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP9]]
 203 ; CHECK-NEXT:    [[TMP26:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP10]]
 204 ; CHECK-NEXT:    [[TMP27:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP11]]
 205 ; CHECK-NEXT:    [[TMP28:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP12]]
 206 ; CHECK-NEXT:    [[TMP29:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP13]]
 207 ; CHECK-NEXT:    [[TMP30:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP14]]
 208 ; CHECK-NEXT:    [[TMP31:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP15]]
 209 ; CHECK-NEXT:    [[TMP32:%.*]] = load i1, i1* [[TMP16]]
 210 ; CHECK-NEXT:    [[TMP33:%.*]] = load i1, i1* [[TMP17]]
 211 ; CHECK-NEXT:    [[TMP34:%.*]] = load i1, i1* [[TMP18]]
 212 ; CHECK-NEXT:    [[TMP35:%.*]] = load i1, i1* [[TMP19]]
 213 ; CHECK-NEXT:    [[TMP36:%.*]] = insertelement <4 x i1> undef, i1 [[TMP32]], i32 0
 214 ; CHECK-NEXT:    [[TMP37:%.*]] = insertelement <4 x i1> [[TMP36]], i1 [[TMP33]], i32 1
 215 ; CHECK-NEXT:    [[TMP38:%.*]] = insertelement <4 x i1> [[TMP37]], i1 [[TMP34]], i32 2
 216 ; CHECK-NEXT:    [[TMP39:%.*]] = insertelement <4 x i1> [[TMP38]], i1 [[TMP35]], i32 3
 217 ; CHECK-NEXT:    [[TMP40:%.*]] = load i1, i1* [[TMP20]]
 218 ; CHECK-NEXT:    [[TMP41:%.*]] = load i1, i1* [[TMP21]]
 219 ; CHECK-NEXT:    [[TMP42:%.*]] = load i1, i1* [[TMP22]]
 220 ; CHECK-NEXT:    [[TMP43:%.*]] = load i1, i1* [[TMP23]]
 221 ; CHECK-NEXT:    [[TMP44:%.*]] = insertelement <4 x i1> undef, i1 [[TMP40]], i32 0
 222 ; CHECK-NEXT:    [[TMP45:%.*]] = insertelement <4 x i1> [[TMP44]], i1 [[TMP41]], i32 1
 223 ; CHECK-NEXT:    [[TMP46:%.*]] = insertelement <4 x i1> [[TMP45]], i1 [[TMP42]], i32 2
 224 ; CHECK-NEXT:    [[TMP47:%.*]] = insertelement <4 x i1> [[TMP46]], i1 [[TMP43]], i32 3
 225 ; CHECK-NEXT:    [[TMP48:%.*]] = load i1, i1* [[TMP24]]
 226 ; CHECK-NEXT:    [[TMP49:%.*]] = load i1, i1* [[TMP25]]
 227 ; CHECK-NEXT:    [[TMP50:%.*]] = load i1, i1* [[TMP26]]
 228 ; CHECK-NEXT:    [[TMP51:%.*]] = load i1, i1* [[TMP27]]
 229 ; CHECK-NEXT:    [[TMP52:%.*]] = insertelement <4 x i1> undef, i1 [[TMP48]], i32 0
 230 ; CHECK-NEXT:    [[TMP53:%.*]] = insertelement <4 x i1> [[TMP52]], i1 [[TMP49]], i32 1
 231 ; CHECK-NEXT:    [[TMP54:%.*]] = insertelement <4 x i1> [[TMP53]], i1 [[TMP50]], i32 2
 232 ; CHECK-NEXT:    [[TMP55:%.*]] = insertelement <4 x i1> [[TMP54]], i1 [[TMP51]], i32 3
 233 ; CHECK-NEXT:    [[TMP56:%.*]] = load i1, i1* [[TMP28]]
 234 ; CHECK-NEXT:    [[TMP57:%.*]] = load i1, i1* [[TMP29]]
 235 ; CHECK-NEXT:    [[TMP58:%.*]] = load i1, i1* [[TMP30]]
 236 ; CHECK-NEXT:    [[TMP59:%.*]] = load i1, i1* [[TMP31]]
 237 ; CHECK-NEXT:    [[TMP60:%.*]] = insertelement <4 x i1> undef, i1 [[TMP56]], i32 0
 238 ; CHECK-NEXT:    [[TMP61:%.*]] = insertelement <4 x i1> [[TMP60]], i1 [[TMP57]], i32 1
 239 ; CHECK-NEXT:    [[TMP62:%.*]] = insertelement <4 x i1> [[TMP61]], i1 [[TMP58]], i32 2
 240 ; CHECK-NEXT:    [[TMP63:%.*]] = insertelement <4 x i1> [[TMP62]], i1 [[TMP59]], i32 3
 241 ; CHECK-NEXT:    [[TMP64:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP0]]
 242 ; CHECK-NEXT:    [[TMP65:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP4]]
 243 ; CHECK-NEXT:    [[TMP66:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP8]]
 244 ; CHECK-NEXT:    [[TMP67:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP12]]
 245 ; CHECK-NEXT:    [[TMP68:%.*]] = getelementptr inbounds i32, i32* [[TMP64]], i32 0
 246 ; CHECK-NEXT:    [[TMP69:%.*]] = bitcast i32* [[TMP68]] to <4 x i32>*
 247 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP69]], i32 4, <4 x i1> [[TMP39]], <4 x i32> undef)
 248 ; CHECK-NEXT:    [[TMP70:%.*]] = getelementptr inbounds i32, i32* [[TMP64]], i32 4
 249 ; CHECK-NEXT:    [[TMP71:%.*]] = bitcast i32* [[TMP70]] to <4 x i32>*
 250 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD7:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP71]], i32 4, <4 x i1> [[TMP47]], <4 x i32> undef)
 251 ; CHECK-NEXT:    [[TMP72:%.*]] = getelementptr inbounds i32, i32* [[TMP64]], i32 8
 252 ; CHECK-NEXT:    [[TMP73:%.*]] = bitcast i32* [[TMP72]] to <4 x i32>*
 253 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD8:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP73]], i32 4, <4 x i1> [[TMP55]], <4 x i32> undef)
 254 ; CHECK-NEXT:    [[TMP74:%.*]] = getelementptr inbounds i32, i32* [[TMP64]], i32 12
 255 ; CHECK-NEXT:    [[TMP75:%.*]] = bitcast i32* [[TMP74]] to <4 x i32>*
 256 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD9:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP75]], i32 4, <4 x i1> [[TMP63]], <4 x i32> undef)
 257 ; CHECK-NEXT:    [[TMP76:%.*]] = xor <4 x i1> [[TMP39]], <i1 true, i1 true, i1 true, i1 true>
 258 ; CHECK-NEXT:    [[TMP77:%.*]] = xor <4 x i1> [[TMP47]], <i1 true, i1 true, i1 true, i1 true>
 259 ; CHECK-NEXT:    [[TMP78:%.*]] = xor <4 x i1> [[TMP55]], <i1 true, i1 true, i1 true, i1 true>
 260 ; CHECK-NEXT:    [[TMP79:%.*]] = xor <4 x i1> [[TMP63]], <i1 true, i1 true, i1 true, i1 true>
 261 ; CHECK-NEXT:    [[PREDPHI:%.*]] = select <4 x i1> [[TMP39]], <4 x i32> [[WIDE_MASKED_LOAD]], <4 x i32> zeroinitializer
 262 ; CHECK-NEXT:    [[PREDPHI10:%.*]] = select <4 x i1> [[TMP47]], <4 x i32> [[WIDE_MASKED_LOAD7]], <4 x i32> zeroinitializer
 263 ; CHECK-NEXT:    [[PREDPHI11:%.*]] = select <4 x i1> [[TMP55]], <4 x i32> [[WIDE_MASKED_LOAD8]], <4 x i32> zeroinitializer
 264 ; CHECK-NEXT:    [[PREDPHI12:%.*]] = select <4 x i1> [[TMP63]], <4 x i32> [[WIDE_MASKED_LOAD9]], <4 x i32> zeroinitializer
 265 ; CHECK-NEXT:    [[TMP80]] = add <4 x i32> [[VEC_PHI]], [[PREDPHI]]
 266 ; CHECK-NEXT:    [[TMP81]] = add <4 x i32> [[VEC_PHI4]], [[PREDPHI10]]
 267 ; CHECK-NEXT:    [[TMP82]] = add <4 x i32> [[VEC_PHI5]], [[PREDPHI11]]
 268 ; CHECK-NEXT:    [[TMP83]] = add <4 x i32> [[VEC_PHI6]], [[PREDPHI12]]
 269 ; CHECK-NEXT:    [[INDEX_NEXT]] = add i64 [[INDEX]], 16
 270 ; CHECK-NEXT:    [[TMP84:%.*]] = icmp eq i64 [[INDEX_NEXT]], 4096
 271 ; CHECK-NEXT:    br i1 [[TMP84]], label [[MIDDLE_BLOCK:%.*]], label [[VECTOR_BODY]], !llvm.loop !4
 272 ; CHECK:       middle.block:
 273 ; CHECK-NEXT:    [[BIN_RDX:%.*]] = add <4 x i32> [[TMP81]], [[TMP80]]
 274 ; CHECK-NEXT:    [[BIN_RDX13:%.*]] = add <4 x i32> [[TMP82]], [[BIN_RDX]]
 275 ; CHECK-NEXT:    [[BIN_RDX14:%.*]] = add <4 x i32> [[TMP83]], [[BIN_RDX13]]
 276 ; CHECK-NEXT:    [[RDX_SHUF:%.*]] = shufflevector <4 x i32> [[BIN_RDX14]], <4 x i32> undef, <4 x i32> <i32 2, i32 3, i32 undef, i32 undef>
 277 ; CHECK-NEXT:    [[BIN_RDX15:%.*]] = add <4 x i32> [[BIN_RDX14]], [[RDX_SHUF]]
 278 ; CHECK-NEXT:    [[RDX_SHUF16:%.*]] = shufflevector <4 x i32> [[BIN_RDX15]], <4 x i32> undef, <4 x i32> <i32 1, i32 undef, i32 undef, i32 undef>
 279 ; CHECK-NEXT:    [[BIN_RDX17:%.*]] = add <4 x i32> [[BIN_RDX15]], [[RDX_SHUF16]]
 280 ; CHECK-NEXT:    [[TMP85:%.*]] = extractelement <4 x i32> [[BIN_RDX17]], i32 0
 281 ; CHECK-NEXT:    [[CMP_N:%.*]] = icmp eq i64 4096, 4096
 282 ; CHECK-NEXT:    br i1 [[CMP_N]], label [[LOOP_EXIT:%.*]], label [[SCALAR_PH]]
 283 ; CHECK:       scalar.ph:
 284 ; CHECK-NEXT:    [[BC_RESUME_VAL:%.*]] = phi i64 [ 4096, [[MIDDLE_BLOCK]] ], [ 0, [[ENTRY:%.*]] ]
 285 ; CHECK-NEXT:    [[BC_MERGE_RDX:%.*]] = phi i32 [ 0, [[ENTRY]] ], [ [[TMP85]], [[MIDDLE_BLOCK]] ]
 286 ; CHECK-NEXT:    br label [[LOOP:%.*]]
 287 ; CHECK:       loop:
 288 ; CHECK-NEXT:    [[IV:%.*]] = phi i64 [ [[BC_RESUME_VAL]], [[SCALAR_PH]] ], [ [[IV_NEXT:%.*]], [[LATCH:%.*]] ]
 289 ; CHECK-NEXT:    [[ACCUM:%.*]] = phi i32 [ [[BC_MERGE_RDX]], [[SCALAR_PH]] ], [ [[ACCUM_NEXT:%.*]], [[LATCH]] ]
 290 ; CHECK-NEXT:    [[IV_NEXT]] = add i64 [[IV]], 1
 291 ; CHECK-NEXT:    [[TEST_ADDR:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[IV]]
 292 ; CHECK-NEXT:    [[EARLYCND:%.*]] = load i1, i1* [[TEST_ADDR]]
 293 ; CHECK-NEXT:    br i1 [[EARLYCND]], label [[PRED:%.*]], label [[LATCH]]
 294 ; CHECK:       pred:
 295 ; CHECK-NEXT:    [[ADDR:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[IV]]
 296 ; CHECK-NEXT:    [[VAL:%.*]] = load i32, i32* [[ADDR]]
 297 ; CHECK-NEXT:    br label [[LATCH]]
 298 ; CHECK:       latch:
 299 ; CHECK-NEXT:    [[VAL_PHI:%.*]] = phi i32 [ 0, [[LOOP]] ], [ [[VAL]], [[PRED]] ]
 300 ; CHECK-NEXT:    [[ACCUM_NEXT]] = add i32 [[ACCUM]], [[VAL_PHI]]
 301 ; CHECK-NEXT:    [[EXIT:%.*]] = icmp ugt i64 [[IV]], 4094
 302 ; CHECK-NEXT:    br i1 [[EXIT]], label [[LOOP_EXIT]], label [[LOOP]], !llvm.loop !5
 303 ; CHECK:       loop_exit:
 304 ; CHECK-NEXT:    [[ACCUM_NEXT_LCSSA:%.*]] = phi i32 [ [[ACCUM_NEXT]], [[LATCH]] ], [ [[TMP85]], [[MIDDLE_BLOCK]] ]
 305 ; CHECK-NEXT:    ret i32 [[ACCUM_NEXT_LCSSA]]
 306 ;
 307 entry:
 308   %alloca = alloca [4096 x i32]
 309   %base = bitcast [4096 x i32]* %alloca to i32*
 310   call void @init(i32* %base)
 311   br label %loop
 312 loop:
 313   %iv = phi i64 [ 0, %entry ], [ %iv.next, %latch ]
 314   %accum = phi i32 [ 0, %entry ], [ %accum.next, %latch ]
 315   %iv.next = add i64 %iv, 1
 316   %test_addr = getelementptr inbounds i1, i1* %test_base, i64 %iv
 317   %earlycnd = load i1, i1* %test_addr
 318   br i1 %earlycnd, label %pred, label %latch
 319 pred:
 320   %addr = getelementptr inbounds i32, i32* %base, i64 %iv
 321   %val = load i32, i32* %addr
 322   br label %latch
 323 latch:
 324   %val.phi = phi i32 [0, %loop], [%val, %pred]
 325   %accum.next = add i32 %accum, %val.phi
 326   %exit = icmp ugt i64 %iv, 4094
 327   br i1 %exit, label %loop_exit, label %loop
 328
 329 loop_exit:
 330   ret i32 %accum.next
 331 }
 332
 333 define i32 @test_non_zero_start(i64 %len, i1* %test_base) {
 334 ; CHECK-LABEL: @test_non_zero_start(
 335 ; CHECK-NEXT:  entry:
 336 ; CHECK-NEXT:    [[ALLOCA:%.*]] = alloca [4096 x i32]
 337 ; CHECK-NEXT:    [[BASE:%.*]] = bitcast [4096 x i32]* [[ALLOCA]] to i32*
 338 ; CHECK-NEXT:    call void @init(i32* [[BASE]])
 339 ; CHECK-NEXT:    br i1 false, label [[SCALAR_PH:%.*]], label [[VECTOR_PH:%.*]]
 340 ; CHECK:       vector.ph:
 341 ; CHECK-NEXT:    br label [[VECTOR_BODY:%.*]]
 342 ; CHECK:       vector.body:
 343 ; CHECK-NEXT:    [[INDEX:%.*]] = phi i64 [ 0, [[VECTOR_PH]] ], [ [[INDEX_NEXT:%.*]], [[VECTOR_BODY]] ]
 344 ; CHECK-NEXT:    [[VEC_PHI:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP80:%.*]], [[VECTOR_BODY]] ]
 345 ; CHECK-NEXT:    [[VEC_PHI4:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP81:%.*]], [[VECTOR_BODY]] ]
 346 ; CHECK-NEXT:    [[VEC_PHI5:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP82:%.*]], [[VECTOR_BODY]] ]
 347 ; CHECK-NEXT:    [[VEC_PHI6:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP83:%.*]], [[VECTOR_BODY]] ]
 348 ; CHECK-NEXT:    [[OFFSET_IDX:%.*]] = add i64 1024, [[INDEX]]
 349 ; CHECK-NEXT:    [[BROADCAST_SPLATINSERT:%.*]] = insertelement <4 x i64> undef, i64 [[OFFSET_IDX]], i32 0
 350 ; CHECK-NEXT:    [[BROADCAST_SPLAT:%.*]] = shufflevector <4 x i64> [[BROADCAST_SPLATINSERT]], <4 x i64> undef, <4 x i32> zeroinitializer
 351 ; CHECK-NEXT:    [[INDUCTION:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 0, i64 1, i64 2, i64 3>
 352 ; CHECK-NEXT:    [[INDUCTION1:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 4, i64 5, i64 6, i64 7>
 353 ; CHECK-NEXT:    [[INDUCTION2:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 8, i64 9, i64 10, i64 11>
 354 ; CHECK-NEXT:    [[INDUCTION3:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 12, i64 13, i64 14, i64 15>
 355 ; CHECK-NEXT:    [[TMP0:%.*]] = add i64 [[OFFSET_IDX]], 0
 356 ; CHECK-NEXT:    [[TMP1:%.*]] = add i64 [[OFFSET_IDX]], 1
 357 ; CHECK-NEXT:    [[TMP2:%.*]] = add i64 [[OFFSET_IDX]], 2
 358 ; CHECK-NEXT:    [[TMP3:%.*]] = add i64 [[OFFSET_IDX]], 3
 359 ; CHECK-NEXT:    [[TMP4:%.*]] = add i64 [[OFFSET_IDX]], 4
 360 ; CHECK-NEXT:    [[TMP5:%.*]] = add i64 [[OFFSET_IDX]], 5
 361 ; CHECK-NEXT:    [[TMP6:%.*]] = add i64 [[OFFSET_IDX]], 6
 362 ; CHECK-NEXT:    [[TMP7:%.*]] = add i64 [[OFFSET_IDX]], 7
 363 ; CHECK-NEXT:    [[TMP8:%.*]] = add i64 [[OFFSET_IDX]], 8
 364 ; CHECK-NEXT:    [[TMP9:%.*]] = add i64 [[OFFSET_IDX]], 9
 365 ; CHECK-NEXT:    [[TMP10:%.*]] = add i64 [[OFFSET_IDX]], 10
 366 ; CHECK-NEXT:    [[TMP11:%.*]] = add i64 [[OFFSET_IDX]], 11
 367 ; CHECK-NEXT:    [[TMP12:%.*]] = add i64 [[OFFSET_IDX]], 12
 368 ; CHECK-NEXT:    [[TMP13:%.*]] = add i64 [[OFFSET_IDX]], 13
 369 ; CHECK-NEXT:    [[TMP14:%.*]] = add i64 [[OFFSET_IDX]], 14
 370 ; CHECK-NEXT:    [[TMP15:%.*]] = add i64 [[OFFSET_IDX]], 15
 371 ; CHECK-NEXT:    [[TMP16:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE:%.*]], i64 [[TMP0]]
 372 ; CHECK-NEXT:    [[TMP17:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP1]]
 373 ; CHECK-NEXT:    [[TMP18:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP2]]
 374 ; CHECK-NEXT:    [[TMP19:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP3]]
 375 ; CHECK-NEXT:    [[TMP20:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP4]]
 376 ; CHECK-NEXT:    [[TMP21:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP5]]
 377 ; CHECK-NEXT:    [[TMP22:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP6]]
 378 ; CHECK-NEXT:    [[TMP23:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP7]]
 379 ; CHECK-NEXT:    [[TMP24:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP8]]
 380 ; CHECK-NEXT:    [[TMP25:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP9]]
 381 ; CHECK-NEXT:    [[TMP26:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP10]]
 382 ; CHECK-NEXT:    [[TMP27:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP11]]
 383 ; CHECK-NEXT:    [[TMP28:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP12]]
 384 ; CHECK-NEXT:    [[TMP29:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP13]]
 385 ; CHECK-NEXT:    [[TMP30:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP14]]
 386 ; CHECK-NEXT:    [[TMP31:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP15]]
 387 ; CHECK-NEXT:    [[TMP32:%.*]] = load i1, i1* [[TMP16]]
 388 ; CHECK-NEXT:    [[TMP33:%.*]] = load i1, i1* [[TMP17]]
 389 ; CHECK-NEXT:    [[TMP34:%.*]] = load i1, i1* [[TMP18]]
 390 ; CHECK-NEXT:    [[TMP35:%.*]] = load i1, i1* [[TMP19]]
 391 ; CHECK-NEXT:    [[TMP36:%.*]] = insertelement <4 x i1> undef, i1 [[TMP32]], i32 0
 392 ; CHECK-NEXT:    [[TMP37:%.*]] = insertelement <4 x i1> [[TMP36]], i1 [[TMP33]], i32 1
 393 ; CHECK-NEXT:    [[TMP38:%.*]] = insertelement <4 x i1> [[TMP37]], i1 [[TMP34]], i32 2
 394 ; CHECK-NEXT:    [[TMP39:%.*]] = insertelement <4 x i1> [[TMP38]], i1 [[TMP35]], i32 3
 395 ; CHECK-NEXT:    [[TMP40:%.*]] = load i1, i1* [[TMP20]]
 396 ; CHECK-NEXT:    [[TMP41:%.*]] = load i1, i1* [[TMP21]]
 397 ; CHECK-NEXT:    [[TMP42:%.*]] = load i1, i1* [[TMP22]]
 398 ; CHECK-NEXT:    [[TMP43:%.*]] = load i1, i1* [[TMP23]]
 399 ; CHECK-NEXT:    [[TMP44:%.*]] = insertelement <4 x i1> undef, i1 [[TMP40]], i32 0
 400 ; CHECK-NEXT:    [[TMP45:%.*]] = insertelement <4 x i1> [[TMP44]], i1 [[TMP41]], i32 1
 401 ; CHECK-NEXT:    [[TMP46:%.*]] = insertelement <4 x i1> [[TMP45]], i1 [[TMP42]], i32 2
 402 ; CHECK-NEXT:    [[TMP47:%.*]] = insertelement <4 x i1> [[TMP46]], i1 [[TMP43]], i32 3
 403 ; CHECK-NEXT:    [[TMP48:%.*]] = load i1, i1* [[TMP24]]
 404 ; CHECK-NEXT:    [[TMP49:%.*]] = load i1, i1* [[TMP25]]
 405 ; CHECK-NEXT:    [[TMP50:%.*]] = load i1, i1* [[TMP26]]
 406 ; CHECK-NEXT:    [[TMP51:%.*]] = load i1, i1* [[TMP27]]
 407 ; CHECK-NEXT:    [[TMP52:%.*]] = insertelement <4 x i1> undef, i1 [[TMP48]], i32 0
 408 ; CHECK-NEXT:    [[TMP53:%.*]] = insertelement <4 x i1> [[TMP52]], i1 [[TMP49]], i32 1
 409 ; CHECK-NEXT:    [[TMP54:%.*]] = insertelement <4 x i1> [[TMP53]], i1 [[TMP50]], i32 2
 410 ; CHECK-NEXT:    [[TMP55:%.*]] = insertelement <4 x i1> [[TMP54]], i1 [[TMP51]], i32 3
 411 ; CHECK-NEXT:    [[TMP56:%.*]] = load i1, i1* [[TMP28]]
 412 ; CHECK-NEXT:    [[TMP57:%.*]] = load i1, i1* [[TMP29]]
 413 ; CHECK-NEXT:    [[TMP58:%.*]] = load i1, i1* [[TMP30]]
 414 ; CHECK-NEXT:    [[TMP59:%.*]] = load i1, i1* [[TMP31]]
 415 ; CHECK-NEXT:    [[TMP60:%.*]] = insertelement <4 x i1> undef, i1 [[TMP56]], i32 0
 416 ; CHECK-NEXT:    [[TMP61:%.*]] = insertelement <4 x i1> [[TMP60]], i1 [[TMP57]], i32 1
 417 ; CHECK-NEXT:    [[TMP62:%.*]] = insertelement <4 x i1> [[TMP61]], i1 [[TMP58]], i32 2
 418 ; CHECK-NEXT:    [[TMP63:%.*]] = insertelement <4 x i1> [[TMP62]], i1 [[TMP59]], i32 3
 419 ; CHECK-NEXT:    [[TMP64:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP0]]
 420 ; CHECK-NEXT:    [[TMP65:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP4]]
 421 ; CHECK-NEXT:    [[TMP66:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP8]]
 422 ; CHECK-NEXT:    [[TMP67:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP12]]
 423 ; CHECK-NEXT:    [[TMP68:%.*]] = getelementptr inbounds i32, i32* [[TMP64]], i32 0
 424 ; CHECK-NEXT:    [[TMP69:%.*]] = bitcast i32* [[TMP68]] to <4 x i32>*
 425 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP69]], i32 4, <4 x i1> [[TMP39]], <4 x i32> undef)
 426 ; CHECK-NEXT:    [[TMP70:%.*]] = getelementptr inbounds i32, i32* [[TMP64]], i32 4
 427 ; CHECK-NEXT:    [[TMP71:%.*]] = bitcast i32* [[TMP70]] to <4 x i32>*
 428 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD7:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP71]], i32 4, <4 x i1> [[TMP47]], <4 x i32> undef)
 429 ; CHECK-NEXT:    [[TMP72:%.*]] = getelementptr inbounds i32, i32* [[TMP64]], i32 8
 430 ; CHECK-NEXT:    [[TMP73:%.*]] = bitcast i32* [[TMP72]] to <4 x i32>*
 431 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD8:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP73]], i32 4, <4 x i1> [[TMP55]], <4 x i32> undef)
 432 ; CHECK-NEXT:    [[TMP74:%.*]] = getelementptr inbounds i32, i32* [[TMP64]], i32 12
 433 ; CHECK-NEXT:    [[TMP75:%.*]] = bitcast i32* [[TMP74]] to <4 x i32>*
 434 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD9:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP75]], i32 4, <4 x i1> [[TMP63]], <4 x i32> undef)
 435 ; CHECK-NEXT:    [[TMP76:%.*]] = xor <4 x i1> [[TMP39]], <i1 true, i1 true, i1 true, i1 true>
 436 ; CHECK-NEXT:    [[TMP77:%.*]] = xor <4 x i1> [[TMP47]], <i1 true, i1 true, i1 true, i1 true>
 437 ; CHECK-NEXT:    [[TMP78:%.*]] = xor <4 x i1> [[TMP55]], <i1 true, i1 true, i1 true, i1 true>
 438 ; CHECK-NEXT:    [[TMP79:%.*]] = xor <4 x i1> [[TMP63]], <i1 true, i1 true, i1 true, i1 true>
 439 ; CHECK-NEXT:    [[PREDPHI:%.*]] = select <4 x i1> [[TMP39]], <4 x i32> [[WIDE_MASKED_LOAD]], <4 x i32> zeroinitializer
 440 ; CHECK-NEXT:    [[PREDPHI10:%.*]] = select <4 x i1> [[TMP47]], <4 x i32> [[WIDE_MASKED_LOAD7]], <4 x i32> zeroinitializer
 441 ; CHECK-NEXT:    [[PREDPHI11:%.*]] = select <4 x i1> [[TMP55]], <4 x i32> [[WIDE_MASKED_LOAD8]], <4 x i32> zeroinitializer
 442 ; CHECK-NEXT:    [[PREDPHI12:%.*]] = select <4 x i1> [[TMP63]], <4 x i32> [[WIDE_MASKED_LOAD9]], <4 x i32> zeroinitializer
 443 ; CHECK-NEXT:    [[TMP80]] = add <4 x i32> [[VEC_PHI]], [[PREDPHI]]
 444 ; CHECK-NEXT:    [[TMP81]] = add <4 x i32> [[VEC_PHI4]], [[PREDPHI10]]
 445 ; CHECK-NEXT:    [[TMP82]] = add <4 x i32> [[VEC_PHI5]], [[PREDPHI11]]
 446 ; CHECK-NEXT:    [[TMP83]] = add <4 x i32> [[VEC_PHI6]], [[PREDPHI12]]
 447 ; CHECK-NEXT:    [[INDEX_NEXT]] = add i64 [[INDEX]], 16
 448 ; CHECK-NEXT:    [[TMP84:%.*]] = icmp eq i64 [[INDEX_NEXT]], 3072
 449 ; CHECK-NEXT:    br i1 [[TMP84]], label [[MIDDLE_BLOCK:%.*]], label [[VECTOR_BODY]], !llvm.loop !6
 450 ; CHECK:       middle.block:
 451 ; CHECK-NEXT:    [[BIN_RDX:%.*]] = add <4 x i32> [[TMP81]], [[TMP80]]
 452 ; CHECK-NEXT:    [[BIN_RDX13:%.*]] = add <4 x i32> [[TMP82]], [[BIN_RDX]]
 453 ; CHECK-NEXT:    [[BIN_RDX14:%.*]] = add <4 x i32> [[TMP83]], [[BIN_RDX13]]
 454 ; CHECK-NEXT:    [[RDX_SHUF:%.*]] = shufflevector <4 x i32> [[BIN_RDX14]], <4 x i32> undef, <4 x i32> <i32 2, i32 3, i32 undef, i32 undef>
 455 ; CHECK-NEXT:    [[BIN_RDX15:%.*]] = add <4 x i32> [[BIN_RDX14]], [[RDX_SHUF]]
 456 ; CHECK-NEXT:    [[RDX_SHUF16:%.*]] = shufflevector <4 x i32> [[BIN_RDX15]], <4 x i32> undef, <4 x i32> <i32 1, i32 undef, i32 undef, i32 undef>
 457 ; CHECK-NEXT:    [[BIN_RDX17:%.*]] = add <4 x i32> [[BIN_RDX15]], [[RDX_SHUF16]]
 458 ; CHECK-NEXT:    [[TMP85:%.*]] = extractelement <4 x i32> [[BIN_RDX17]], i32 0
 459 ; CHECK-NEXT:    [[CMP_N:%.*]] = icmp eq i64 3072, 3072
 460 ; CHECK-NEXT:    br i1 [[CMP_N]], label [[LOOP_EXIT:%.*]], label [[SCALAR_PH]]
 461 ; CHECK:       scalar.ph:
 462 ; CHECK-NEXT:    [[BC_RESUME_VAL:%.*]] = phi i64 [ 4096, [[MIDDLE_BLOCK]] ], [ 1024, [[ENTRY:%.*]] ]
 463 ; CHECK-NEXT:    [[BC_MERGE_RDX:%.*]] = phi i32 [ 0, [[ENTRY]] ], [ [[TMP85]], [[MIDDLE_BLOCK]] ]
 464 ; CHECK-NEXT:    br label [[LOOP:%.*]]
 465 ; CHECK:       loop:
 466 ; CHECK-NEXT:    [[IV:%.*]] = phi i64 [ [[BC_RESUME_VAL]], [[SCALAR_PH]] ], [ [[IV_NEXT:%.*]], [[LATCH:%.*]] ]
 467 ; CHECK-NEXT:    [[ACCUM:%.*]] = phi i32 [ [[BC_MERGE_RDX]], [[SCALAR_PH]] ], [ [[ACCUM_NEXT:%.*]], [[LATCH]] ]
 468 ; CHECK-NEXT:    [[IV_NEXT]] = add i64 [[IV]], 1
 469 ; CHECK-NEXT:    [[TEST_ADDR:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[IV]]
 470 ; CHECK-NEXT:    [[EARLYCND:%.*]] = load i1, i1* [[TEST_ADDR]]
 471 ; CHECK-NEXT:    br i1 [[EARLYCND]], label [[PRED:%.*]], label [[LATCH]]
 472 ; CHECK:       pred:
 473 ; CHECK-NEXT:    [[ADDR:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[IV]]
 474 ; CHECK-NEXT:    [[VAL:%.*]] = load i32, i32* [[ADDR]]
 475 ; CHECK-NEXT:    br label [[LATCH]]
 476 ; CHECK:       latch:
 477 ; CHECK-NEXT:    [[VAL_PHI:%.*]] = phi i32 [ 0, [[LOOP]] ], [ [[VAL]], [[PRED]] ]
 478 ; CHECK-NEXT:    [[ACCUM_NEXT]] = add i32 [[ACCUM]], [[VAL_PHI]]
 479 ; CHECK-NEXT:    [[EXIT:%.*]] = icmp ugt i64 [[IV]], 4094
 480 ; CHECK-NEXT:    br i1 [[EXIT]], label [[LOOP_EXIT]], label [[LOOP]], !llvm.loop !7
 481 ; CHECK:       loop_exit:
 482 ; CHECK-NEXT:    [[ACCUM_NEXT_LCSSA:%.*]] = phi i32 [ [[ACCUM_NEXT]], [[LATCH]] ], [ [[TMP85]], [[MIDDLE_BLOCK]] ]
 483 ; CHECK-NEXT:    ret i32 [[ACCUM_NEXT_LCSSA]]
 484 ;
 485 entry:
 486   %alloca = alloca [4096 x i32]
 487   %base = bitcast [4096 x i32]* %alloca to i32*
 488   call void @init(i32* %base)
 489   br label %loop
 490 loop:
 491   %iv = phi i64 [ 1024, %entry ], [ %iv.next, %latch ]
 492   %accum = phi i32 [ 0, %entry ], [ %accum.next, %latch ]
 493   %iv.next = add i64 %iv, 1
 494   %test_addr = getelementptr inbounds i1, i1* %test_base, i64 %iv
 495   %earlycnd = load i1, i1* %test_addr
 496   br i1 %earlycnd, label %pred, label %latch
 497 pred:
 498   %addr = getelementptr inbounds i32, i32* %base, i64 %iv
 499   %val = load i32, i32* %addr
 500   br label %latch
 501 latch:
 502   %val.phi = phi i32 [0, %loop], [%val, %pred]
 503   %accum.next = add i32 %accum, %val.phi
 504   %exit = icmp ugt i64 %iv, 4094
 505   br i1 %exit, label %loop_exit, label %loop
 506
 507 loop_exit:
 508   ret i32 %accum.next
 509 }
 510
 511 define i32 @neg_out_of_bounds_start(i64 %len, i1* %test_base) {
 512 ; CHECK-LABEL: @neg_out_of_bounds_start(
 513 ; CHECK-NEXT:  entry:
 514 ; CHECK-NEXT:    [[ALLOCA:%.*]] = alloca [4096 x i32]
 515 ; CHECK-NEXT:    [[BASE:%.*]] = bitcast [4096 x i32]* [[ALLOCA]] to i32*
 516 ; CHECK-NEXT:    call void @init(i32* [[BASE]])
 517 ; CHECK-NEXT:    br label [[LOOP:%.*]]
 518 ; CHECK:       loop:
 519 ; CHECK-NEXT:    [[IV:%.*]] = phi i64 [ -10, [[ENTRY:%.*]] ], [ [[IV_NEXT:%.*]], [[LATCH:%.*]] ]
 520 ; CHECK-NEXT:    [[ACCUM:%.*]] = phi i32 [ 0, [[ENTRY]] ], [ [[ACCUM_NEXT:%.*]], [[LATCH]] ]
 521 ; CHECK-NEXT:    [[IV_NEXT]] = add i64 [[IV]], 1
 522 ; CHECK-NEXT:    [[TEST_ADDR:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE:%.*]], i64 [[IV]]
 523 ; CHECK-NEXT:    [[EARLYCND:%.*]] = load i1, i1* [[TEST_ADDR]]
 524 ; CHECK-NEXT:    br i1 [[EARLYCND]], label [[PRED:%.*]], label [[LATCH]]
 525 ; CHECK:       pred:
 526 ; CHECK-NEXT:    [[ADDR:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[IV]]
 527 ; CHECK-NEXT:    [[VAL:%.*]] = load i32, i32* [[ADDR]]
 528 ; CHECK-NEXT:    br label [[LATCH]]
 529 ; CHECK:       latch:
 530 ; CHECK-NEXT:    [[VAL_PHI:%.*]] = phi i32 [ 0, [[LOOP]] ], [ [[VAL]], [[PRED]] ]
 531 ; CHECK-NEXT:    [[ACCUM_NEXT]] = add i32 [[ACCUM]], [[VAL_PHI]]
 532 ; CHECK-NEXT:    [[EXIT:%.*]] = icmp ugt i64 [[IV]], 4094
 533 ; CHECK-NEXT:    br i1 [[EXIT]], label [[LOOP_EXIT:%.*]], label [[LOOP]]
 534 ; CHECK:       loop_exit:
 535 ; CHECK-NEXT:    [[ACCUM_NEXT_LCSSA:%.*]] = phi i32 [ [[ACCUM_NEXT]], [[LATCH]] ]
 536 ; CHECK-NEXT:    ret i32 [[ACCUM_NEXT_LCSSA]]
 537 ;
 538 entry:
 539   %alloca = alloca [4096 x i32]
 540   %base = bitcast [4096 x i32]* %alloca to i32*
 541   call void @init(i32* %base)
 542   br label %loop
 543 loop:
 544   %iv = phi i64 [ -10, %entry ], [ %iv.next, %latch ]
 545   %accum = phi i32 [ 0, %entry ], [ %accum.next, %latch ]
 546   %iv.next = add i64 %iv, 1
 547   %test_addr = getelementptr inbounds i1, i1* %test_base, i64 %iv
 548   %earlycnd = load i1, i1* %test_addr
 549   br i1 %earlycnd, label %pred, label %latch
 550 pred:
 551   %addr = getelementptr inbounds i32, i32* %base, i64 %iv
 552   %val = load i32, i32* %addr
 553   br label %latch
 554 latch:
 555   %val.phi = phi i32 [0, %loop], [%val, %pred]
 556   %accum.next = add i32 %accum, %val.phi
 557   %exit = icmp ugt i64 %iv, 4094
 558   br i1 %exit, label %loop_exit, label %loop
 559
 560 loop_exit:
 561   ret i32 %accum.next
 562 }
 563
 564
 565 ;; TODO: handle non-unit strides
 566 define i32 @test_non_unit_stride(i64 %len, i1* %test_base) {
 567 ; CHECK-LABEL: @test_non_unit_stride(
 568 ; CHECK-NEXT:  entry:
 569 ; CHECK-NEXT:    [[ALLOCA:%.*]] = alloca [4096 x i32]
 570 ; CHECK-NEXT:    [[BASE:%.*]] = bitcast [4096 x i32]* [[ALLOCA]] to i32*
 571 ; CHECK-NEXT:    call void @init(i32* [[BASE]])
 572 ; CHECK-NEXT:    br i1 false, label [[SCALAR_PH:%.*]], label [[VECTOR_PH:%.*]]
 573 ; CHECK:       vector.ph:
 574 ; CHECK-NEXT:    br label [[VECTOR_BODY:%.*]]
 575 ; CHECK:       vector.body:
 576 ; CHECK-NEXT:    [[INDEX:%.*]] = phi i64 [ 0, [[VECTOR_PH]] ], [ [[INDEX_NEXT:%.*]], [[PRED_LOAD_CONTINUE36:%.*]] ]
 577 ; CHECK-NEXT:    [[VEC_PHI:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP148:%.*]], [[PRED_LOAD_CONTINUE36]] ]
 578 ; CHECK-NEXT:    [[VEC_PHI4:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP149:%.*]], [[PRED_LOAD_CONTINUE36]] ]
 579 ; CHECK-NEXT:    [[VEC_PHI5:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP150:%.*]], [[PRED_LOAD_CONTINUE36]] ]
 580 ; CHECK-NEXT:    [[VEC_PHI6:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP151:%.*]], [[PRED_LOAD_CONTINUE36]] ]
 581 ; CHECK-NEXT:    [[OFFSET_IDX:%.*]] = mul i64 [[INDEX]], 2
 582 ; CHECK-NEXT:    [[BROADCAST_SPLATINSERT:%.*]] = insertelement <4 x i64> undef, i64 [[OFFSET_IDX]], i32 0
 583 ; CHECK-NEXT:    [[BROADCAST_SPLAT:%.*]] = shufflevector <4 x i64> [[BROADCAST_SPLATINSERT]], <4 x i64> undef, <4 x i32> zeroinitializer
 584 ; CHECK-NEXT:    [[INDUCTION:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 0, i64 2, i64 4, i64 6>
 585 ; CHECK-NEXT:    [[INDUCTION1:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 8, i64 10, i64 12, i64 14>
 586 ; CHECK-NEXT:    [[INDUCTION2:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 16, i64 18, i64 20, i64 22>
 587 ; CHECK-NEXT:    [[INDUCTION3:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 24, i64 26, i64 28, i64 30>
 588 ; CHECK-NEXT:    [[TMP0:%.*]] = add i64 [[OFFSET_IDX]], 0
 589 ; CHECK-NEXT:    [[TMP1:%.*]] = add i64 [[OFFSET_IDX]], 2
 590 ; CHECK-NEXT:    [[TMP2:%.*]] = add i64 [[OFFSET_IDX]], 4
 591 ; CHECK-NEXT:    [[TMP3:%.*]] = add i64 [[OFFSET_IDX]], 6
 592 ; CHECK-NEXT:    [[TMP4:%.*]] = add i64 [[OFFSET_IDX]], 8
 593 ; CHECK-NEXT:    [[TMP5:%.*]] = add i64 [[OFFSET_IDX]], 10
 594 ; CHECK-NEXT:    [[TMP6:%.*]] = add i64 [[OFFSET_IDX]], 12
 595 ; CHECK-NEXT:    [[TMP7:%.*]] = add i64 [[OFFSET_IDX]], 14
 596 ; CHECK-NEXT:    [[TMP8:%.*]] = add i64 [[OFFSET_IDX]], 16
 597 ; CHECK-NEXT:    [[TMP9:%.*]] = add i64 [[OFFSET_IDX]], 18
 598 ; CHECK-NEXT:    [[TMP10:%.*]] = add i64 [[OFFSET_IDX]], 20
 599 ; CHECK-NEXT:    [[TMP11:%.*]] = add i64 [[OFFSET_IDX]], 22
 600 ; CHECK-NEXT:    [[TMP12:%.*]] = add i64 [[OFFSET_IDX]], 24
 601 ; CHECK-NEXT:    [[TMP13:%.*]] = add i64 [[OFFSET_IDX]], 26
 602 ; CHECK-NEXT:    [[TMP14:%.*]] = add i64 [[OFFSET_IDX]], 28
 603 ; CHECK-NEXT:    [[TMP15:%.*]] = add i64 [[OFFSET_IDX]], 30
 604 ; CHECK-NEXT:    [[TMP16:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE:%.*]], i64 [[TMP0]]
 605 ; CHECK-NEXT:    [[TMP17:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP1]]
 606 ; CHECK-NEXT:    [[TMP18:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP2]]
 607 ; CHECK-NEXT:    [[TMP19:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP3]]
 608 ; CHECK-NEXT:    [[TMP20:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP4]]
 609 ; CHECK-NEXT:    [[TMP21:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP5]]
 610 ; CHECK-NEXT:    [[TMP22:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP6]]
 611 ; CHECK-NEXT:    [[TMP23:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP7]]
 612 ; CHECK-NEXT:    [[TMP24:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP8]]
 613 ; CHECK-NEXT:    [[TMP25:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP9]]
 614 ; CHECK-NEXT:    [[TMP26:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP10]]
 615 ; CHECK-NEXT:    [[TMP27:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP11]]
 616 ; CHECK-NEXT:    [[TMP28:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP12]]
 617 ; CHECK-NEXT:    [[TMP29:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP13]]
 618 ; CHECK-NEXT:    [[TMP30:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP14]]
 619 ; CHECK-NEXT:    [[TMP31:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP15]]
 620 ; CHECK-NEXT:    [[TMP32:%.*]] = load i1, i1* [[TMP16]]
 621 ; CHECK-NEXT:    [[TMP33:%.*]] = load i1, i1* [[TMP17]]
 622 ; CHECK-NEXT:    [[TMP34:%.*]] = load i1, i1* [[TMP18]]
 623 ; CHECK-NEXT:    [[TMP35:%.*]] = load i1, i1* [[TMP19]]
 624 ; CHECK-NEXT:    [[TMP36:%.*]] = insertelement <4 x i1> undef, i1 [[TMP32]], i32 0
 625 ; CHECK-NEXT:    [[TMP37:%.*]] = insertelement <4 x i1> [[TMP36]], i1 [[TMP33]], i32 1
 626 ; CHECK-NEXT:    [[TMP38:%.*]] = insertelement <4 x i1> [[TMP37]], i1 [[TMP34]], i32 2
 627 ; CHECK-NEXT:    [[TMP39:%.*]] = insertelement <4 x i1> [[TMP38]], i1 [[TMP35]], i32 3
 628 ; CHECK-NEXT:    [[TMP40:%.*]] = load i1, i1* [[TMP20]]
 629 ; CHECK-NEXT:    [[TMP41:%.*]] = load i1, i1* [[TMP21]]
 630 ; CHECK-NEXT:    [[TMP42:%.*]] = load i1, i1* [[TMP22]]
 631 ; CHECK-NEXT:    [[TMP43:%.*]] = load i1, i1* [[TMP23]]
 632 ; CHECK-NEXT:    [[TMP44:%.*]] = insertelement <4 x i1> undef, i1 [[TMP40]], i32 0
 633 ; CHECK-NEXT:    [[TMP45:%.*]] = insertelement <4 x i1> [[TMP44]], i1 [[TMP41]], i32 1
 634 ; CHECK-NEXT:    [[TMP46:%.*]] = insertelement <4 x i1> [[TMP45]], i1 [[TMP42]], i32 2
 635 ; CHECK-NEXT:    [[TMP47:%.*]] = insertelement <4 x i1> [[TMP46]], i1 [[TMP43]], i32 3
 636 ; CHECK-NEXT:    [[TMP48:%.*]] = load i1, i1* [[TMP24]]
 637 ; CHECK-NEXT:    [[TMP49:%.*]] = load i1, i1* [[TMP25]]
 638 ; CHECK-NEXT:    [[TMP50:%.*]] = load i1, i1* [[TMP26]]
 639 ; CHECK-NEXT:    [[TMP51:%.*]] = load i1, i1* [[TMP27]]
 640 ; CHECK-NEXT:    [[TMP52:%.*]] = insertelement <4 x i1> undef, i1 [[TMP48]], i32 0
 641 ; CHECK-NEXT:    [[TMP53:%.*]] = insertelement <4 x i1> [[TMP52]], i1 [[TMP49]], i32 1
 642 ; CHECK-NEXT:    [[TMP54:%.*]] = insertelement <4 x i1> [[TMP53]], i1 [[TMP50]], i32 2
 643 ; CHECK-NEXT:    [[TMP55:%.*]] = insertelement <4 x i1> [[TMP54]], i1 [[TMP51]], i32 3
 644 ; CHECK-NEXT:    [[TMP56:%.*]] = load i1, i1* [[TMP28]]
 645 ; CHECK-NEXT:    [[TMP57:%.*]] = load i1, i1* [[TMP29]]
 646 ; CHECK-NEXT:    [[TMP58:%.*]] = load i1, i1* [[TMP30]]
 647 ; CHECK-NEXT:    [[TMP59:%.*]] = load i1, i1* [[TMP31]]
 648 ; CHECK-NEXT:    [[TMP60:%.*]] = insertelement <4 x i1> undef, i1 [[TMP56]], i32 0
 649 ; CHECK-NEXT:    [[TMP61:%.*]] = insertelement <4 x i1> [[TMP60]], i1 [[TMP57]], i32 1
 650 ; CHECK-NEXT:    [[TMP62:%.*]] = insertelement <4 x i1> [[TMP61]], i1 [[TMP58]], i32 2
 651 ; CHECK-NEXT:    [[TMP63:%.*]] = insertelement <4 x i1> [[TMP62]], i1 [[TMP59]], i32 3
 652 ; CHECK-NEXT:    [[TMP64:%.*]] = extractelement <4 x i1> [[TMP39]], i32 0
 653 ; CHECK-NEXT:    br i1 [[TMP64]], label [[PRED_LOAD_IF:%.*]], label [[PRED_LOAD_CONTINUE:%.*]]
 654 ; CHECK:       pred.load.if:
 655 ; CHECK-NEXT:    [[TMP65:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP0]]
 656 ; CHECK-NEXT:    [[TMP66:%.*]] = load i32, i32* [[TMP65]]
 657 ; CHECK-NEXT:    [[TMP67:%.*]] = insertelement <4 x i32> undef, i32 [[TMP66]], i32 0
 658 ; CHECK-NEXT:    br label [[PRED_LOAD_CONTINUE]]
 659 ; CHECK:       pred.load.continue:
 660 ; CHECK-NEXT:    [[TMP68:%.*]] = phi <4 x i32> [ undef, [[VECTOR_BODY]] ], [ [[TMP67]], [[PRED_LOAD_IF]] ]
 661 ; CHECK-NEXT:    [[TMP69:%.*]] = extractelement <4 x i1> [[TMP39]], i32 1
 662 ; CHECK-NEXT:    br i1 [[TMP69]], label [[PRED_LOAD_IF7:%.*]], label [[PRED_LOAD_CONTINUE8:%.*]]
 663 ; CHECK:       pred.load.if7:
 664 ; CHECK-NEXT:    [[TMP70:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP1]]
 665 ; CHECK-NEXT:    [[TMP71:%.*]] = load i32, i32* [[TMP70]]
 666 ; CHECK-NEXT:    [[TMP72:%.*]] = insertelement <4 x i32> [[TMP68]], i32 [[TMP71]], i32 1
 667 ; CHECK-NEXT:    br label [[PRED_LOAD_CONTINUE8]]
 668 ; CHECK:       pred.load.continue8:
 669 ; CHECK-NEXT:    [[TMP73:%.*]] = phi <4 x i32> [ [[TMP68]], [[PRED_LOAD_CONTINUE]] ], [ [[TMP72]], [[PRED_LOAD_IF7]] ]
 670 ; CHECK-NEXT:    [[TMP74:%.*]] = extractelement <4 x i1> [[TMP39]], i32 2
 671 ; CHECK-NEXT:    br i1 [[TMP74]], label [[PRED_LOAD_IF9:%.*]], label [[PRED_LOAD_CONTINUE10:%.*]]
 672 ; CHECK:       pred.load.if9:
 673 ; CHECK-NEXT:    [[TMP75:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP2]]
 674 ; CHECK-NEXT:    [[TMP76:%.*]] = load i32, i32* [[TMP75]]
 675 ; CHECK-NEXT:    [[TMP77:%.*]] = insertelement <4 x i32> [[TMP73]], i32 [[TMP76]], i32 2
 676 ; CHECK-NEXT:    br label [[PRED_LOAD_CONTINUE10]]
 677 ; CHECK:       pred.load.continue10:
 678 ; CHECK-NEXT:    [[TMP78:%.*]] = phi <4 x i32> [ [[TMP73]], [[PRED_LOAD_CONTINUE8]] ], [ [[TMP77]], [[PRED_LOAD_IF9]] ]
 679 ; CHECK-NEXT:    [[TMP79:%.*]] = extractelement <4 x i1> [[TMP39]], i32 3
 680 ; CHECK-NEXT:    br i1 [[TMP79]], label [[PRED_LOAD_IF11:%.*]], label [[PRED_LOAD_CONTINUE12:%.*]]
 681 ; CHECK:       pred.load.if11:
 682 ; CHECK-NEXT:    [[TMP80:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP3]]
 683 ; CHECK-NEXT:    [[TMP81:%.*]] = load i32, i32* [[TMP80]]
 684 ; CHECK-NEXT:    [[TMP82:%.*]] = insertelement <4 x i32> [[TMP78]], i32 [[TMP81]], i32 3
 685 ; CHECK-NEXT:    br label [[PRED_LOAD_CONTINUE12]]
 686 ; CHECK:       pred.load.continue12:
 687 ; CHECK-NEXT:    [[TMP83:%.*]] = phi <4 x i32> [ [[TMP78]], [[PRED_LOAD_CONTINUE10]] ], [ [[TMP82]], [[PRED_LOAD_IF11]] ]
 688 ; CHECK-NEXT:    [[TMP84:%.*]] = extractelement <4 x i1> [[TMP47]], i32 0
 689 ; CHECK-NEXT:    br i1 [[TMP84]], label [[PRED_LOAD_IF13:%.*]], label [[PRED_LOAD_CONTINUE14:%.*]]
 690 ; CHECK:       pred.load.if13:
 691 ; CHECK-NEXT:    [[TMP85:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP4]]
 692 ; CHECK-NEXT:    [[TMP86:%.*]] = load i32, i32* [[TMP85]]
 693 ; CHECK-NEXT:    [[TMP87:%.*]] = insertelement <4 x i32> undef, i32 [[TMP86]], i32 0
 694 ; CHECK-NEXT:    br label [[PRED_LOAD_CONTINUE14]]
 695 ; CHECK:       pred.load.continue14:
 696 ; CHECK-NEXT:    [[TMP88:%.*]] = phi <4 x i32> [ undef, [[PRED_LOAD_CONTINUE12]] ], [ [[TMP87]], [[PRED_LOAD_IF13]] ]
 697 ; CHECK-NEXT:    [[TMP89:%.*]] = extractelement <4 x i1> [[TMP47]], i32 1
 698 ; CHECK-NEXT:    br i1 [[TMP89]], label [[PRED_LOAD_IF15:%.*]], label [[PRED_LOAD_CONTINUE16:%.*]]
 699 ; CHECK:       pred.load.if15:
 700 ; CHECK-NEXT:    [[TMP90:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP5]]
 701 ; CHECK-NEXT:    [[TMP91:%.*]] = load i32, i32* [[TMP90]]
 702 ; CHECK-NEXT:    [[TMP92:%.*]] = insertelement <4 x i32> [[TMP88]], i32 [[TMP91]], i32 1
 703 ; CHECK-NEXT:    br label [[PRED_LOAD_CONTINUE16]]
 704 ; CHECK:       pred.load.continue16:
 705 ; CHECK-NEXT:    [[TMP93:%.*]] = phi <4 x i32> [ [[TMP88]], [[PRED_LOAD_CONTINUE14]] ], [ [[TMP92]], [[PRED_LOAD_IF15]] ]
 706 ; CHECK-NEXT:    [[TMP94:%.*]] = extractelement <4 x i1> [[TMP47]], i32 2
 707 ; CHECK-NEXT:    br i1 [[TMP94]], label [[PRED_LOAD_IF17:%.*]], label [[PRED_LOAD_CONTINUE18:%.*]]
 708 ; CHECK:       pred.load.if17:
 709 ; CHECK-NEXT:    [[TMP95:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP6]]
 710 ; CHECK-NEXT:    [[TMP96:%.*]] = load i32, i32* [[TMP95]]
 711 ; CHECK-NEXT:    [[TMP97:%.*]] = insertelement <4 x i32> [[TMP93]], i32 [[TMP96]], i32 2
 712 ; CHECK-NEXT:    br label [[PRED_LOAD_CONTINUE18]]
 713 ; CHECK:       pred.load.continue18:
 714 ; CHECK-NEXT:    [[TMP98:%.*]] = phi <4 x i32> [ [[TMP93]], [[PRED_LOAD_CONTINUE16]] ], [ [[TMP97]], [[PRED_LOAD_IF17]] ]
 715 ; CHECK-NEXT:    [[TMP99:%.*]] = extractelement <4 x i1> [[TMP47]], i32 3
 716 ; CHECK-NEXT:    br i1 [[TMP99]], label [[PRED_LOAD_IF19:%.*]], label [[PRED_LOAD_CONTINUE20:%.*]]
 717 ; CHECK:       pred.load.if19:
 718 ; CHECK-NEXT:    [[TMP100:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP7]]
 719 ; CHECK-NEXT:    [[TMP101:%.*]] = load i32, i32* [[TMP100]]
 720 ; CHECK-NEXT:    [[TMP102:%.*]] = insertelement <4 x i32> [[TMP98]], i32 [[TMP101]], i32 3
 721 ; CHECK-NEXT:    br label [[PRED_LOAD_CONTINUE20]]
 722 ; CHECK:       pred.load.continue20:
 723 ; CHECK-NEXT:    [[TMP103:%.*]] = phi <4 x i32> [ [[TMP98]], [[PRED_LOAD_CONTINUE18]] ], [ [[TMP102]], [[PRED_LOAD_IF19]] ]
 724 ; CHECK-NEXT:    [[TMP104:%.*]] = extractelement <4 x i1> [[TMP55]], i32 0
 725 ; CHECK-NEXT:    br i1 [[TMP104]], label [[PRED_LOAD_IF21:%.*]], label [[PRED_LOAD_CONTINUE22:%.*]]
 726 ; CHECK:       pred.load.if21:
 727 ; CHECK-NEXT:    [[TMP105:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP8]]
 728 ; CHECK-NEXT:    [[TMP106:%.*]] = load i32, i32* [[TMP105]]
 729 ; CHECK-NEXT:    [[TMP107:%.*]] = insertelement <4 x i32> undef, i32 [[TMP106]], i32 0
 730 ; CHECK-NEXT:    br label [[PRED_LOAD_CONTINUE22]]
 731 ; CHECK:       pred.load.continue22:
 732 ; CHECK-NEXT:    [[TMP108:%.*]] = phi <4 x i32> [ undef, [[PRED_LOAD_CONTINUE20]] ], [ [[TMP107]], [[PRED_LOAD_IF21]] ]
 733 ; CHECK-NEXT:    [[TMP109:%.*]] = extractelement <4 x i1> [[TMP55]], i32 1
 734 ; CHECK-NEXT:    br i1 [[TMP109]], label [[PRED_LOAD_IF23:%.*]], label [[PRED_LOAD_CONTINUE24:%.*]]
 735 ; CHECK:       pred.load.if23:
 736 ; CHECK-NEXT:    [[TMP110:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP9]]
 737 ; CHECK-NEXT:    [[TMP111:%.*]] = load i32, i32* [[TMP110]]
 738 ; CHECK-NEXT:    [[TMP112:%.*]] = insertelement <4 x i32> [[TMP108]], i32 [[TMP111]], i32 1
 739 ; CHECK-NEXT:    br label [[PRED_LOAD_CONTINUE24]]
 740 ; CHECK:       pred.load.continue24:
 741 ; CHECK-NEXT:    [[TMP113:%.*]] = phi <4 x i32> [ [[TMP108]], [[PRED_LOAD_CONTINUE22]] ], [ [[TMP112]], [[PRED_LOAD_IF23]] ]
 742 ; CHECK-NEXT:    [[TMP114:%.*]] = extractelement <4 x i1> [[TMP55]], i32 2
 743 ; CHECK-NEXT:    br i1 [[TMP114]], label [[PRED_LOAD_IF25:%.*]], label [[PRED_LOAD_CONTINUE26:%.*]]
 744 ; CHECK:       pred.load.if25:
 745 ; CHECK-NEXT:    [[TMP115:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP10]]
 746 ; CHECK-NEXT:    [[TMP116:%.*]] = load i32, i32* [[TMP115]]
 747 ; CHECK-NEXT:    [[TMP117:%.*]] = insertelement <4 x i32> [[TMP113]], i32 [[TMP116]], i32 2
 748 ; CHECK-NEXT:    br label [[PRED_LOAD_CONTINUE26]]
 749 ; CHECK:       pred.load.continue26:
 750 ; CHECK-NEXT:    [[TMP118:%.*]] = phi <4 x i32> [ [[TMP113]], [[PRED_LOAD_CONTINUE24]] ], [ [[TMP117]], [[PRED_LOAD_IF25]] ]
 751 ; CHECK-NEXT:    [[TMP119:%.*]] = extractelement <4 x i1> [[TMP55]], i32 3
 752 ; CHECK-NEXT:    br i1 [[TMP119]], label [[PRED_LOAD_IF27:%.*]], label [[PRED_LOAD_CONTINUE28:%.*]]
 753 ; CHECK:       pred.load.if27:
 754 ; CHECK-NEXT:    [[TMP120:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP11]]
 755 ; CHECK-NEXT:    [[TMP121:%.*]] = load i32, i32* [[TMP120]]
 756 ; CHECK-NEXT:    [[TMP122:%.*]] = insertelement <4 x i32> [[TMP118]], i32 [[TMP121]], i32 3
 757 ; CHECK-NEXT:    br label [[PRED_LOAD_CONTINUE28]]
 758 ; CHECK:       pred.load.continue28:
 759 ; CHECK-NEXT:    [[TMP123:%.*]] = phi <4 x i32> [ [[TMP118]], [[PRED_LOAD_CONTINUE26]] ], [ [[TMP122]], [[PRED_LOAD_IF27]] ]
 760 ; CHECK-NEXT:    [[TMP124:%.*]] = extractelement <4 x i1> [[TMP63]], i32 0
 761 ; CHECK-NEXT:    br i1 [[TMP124]], label [[PRED_LOAD_IF29:%.*]], label [[PRED_LOAD_CONTINUE30:%.*]]
 762 ; CHECK:       pred.load.if29:
 763 ; CHECK-NEXT:    [[TMP125:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP12]]
 764 ; CHECK-NEXT:    [[TMP126:%.*]] = load i32, i32* [[TMP125]]
 765 ; CHECK-NEXT:    [[TMP127:%.*]] = insertelement <4 x i32> undef, i32 [[TMP126]], i32 0
 766 ; CHECK-NEXT:    br label [[PRED_LOAD_CONTINUE30]]
 767 ; CHECK:       pred.load.continue30:
 768 ; CHECK-NEXT:    [[TMP128:%.*]] = phi <4 x i32> [ undef, [[PRED_LOAD_CONTINUE28]] ], [ [[TMP127]], [[PRED_LOAD_IF29]] ]
 769 ; CHECK-NEXT:    [[TMP129:%.*]] = extractelement <4 x i1> [[TMP63]], i32 1
 770 ; CHECK-NEXT:    br i1 [[TMP129]], label [[PRED_LOAD_IF31:%.*]], label [[PRED_LOAD_CONTINUE32:%.*]]
 771 ; CHECK:       pred.load.if31:
 772 ; CHECK-NEXT:    [[TMP130:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP13]]
 773 ; CHECK-NEXT:    [[TMP131:%.*]] = load i32, i32* [[TMP130]]
 774 ; CHECK-NEXT:    [[TMP132:%.*]] = insertelement <4 x i32> [[TMP128]], i32 [[TMP131]], i32 1
 775 ; CHECK-NEXT:    br label [[PRED_LOAD_CONTINUE32]]
 776 ; CHECK:       pred.load.continue32:
 777 ; CHECK-NEXT:    [[TMP133:%.*]] = phi <4 x i32> [ [[TMP128]], [[PRED_LOAD_CONTINUE30]] ], [ [[TMP132]], [[PRED_LOAD_IF31]] ]
 778 ; CHECK-NEXT:    [[TMP134:%.*]] = extractelement <4 x i1> [[TMP63]], i32 2
 779 ; CHECK-NEXT:    br i1 [[TMP134]], label [[PRED_LOAD_IF33:%.*]], label [[PRED_LOAD_CONTINUE34:%.*]]
 780 ; CHECK:       pred.load.if33:
 781 ; CHECK-NEXT:    [[TMP135:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP14]]
 782 ; CHECK-NEXT:    [[TMP136:%.*]] = load i32, i32* [[TMP135]]
 783 ; CHECK-NEXT:    [[TMP137:%.*]] = insertelement <4 x i32> [[TMP133]], i32 [[TMP136]], i32 2
 784 ; CHECK-NEXT:    br label [[PRED_LOAD_CONTINUE34]]
 785 ; CHECK:       pred.load.continue34:
 786 ; CHECK-NEXT:    [[TMP138:%.*]] = phi <4 x i32> [ [[TMP133]], [[PRED_LOAD_CONTINUE32]] ], [ [[TMP137]], [[PRED_LOAD_IF33]] ]
 787 ; CHECK-NEXT:    [[TMP139:%.*]] = extractelement <4 x i1> [[TMP63]], i32 3
 788 ; CHECK-NEXT:    br i1 [[TMP139]], label [[PRED_LOAD_IF35:%.*]], label [[PRED_LOAD_CONTINUE36]]
 789 ; CHECK:       pred.load.if35:
 790 ; CHECK-NEXT:    [[TMP140:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP15]]
 791 ; CHECK-NEXT:    [[TMP141:%.*]] = load i32, i32* [[TMP140]]
 792 ; CHECK-NEXT:    [[TMP142:%.*]] = insertelement <4 x i32> [[TMP138]], i32 [[TMP141]], i32 3
 793 ; CHECK-NEXT:    br label [[PRED_LOAD_CONTINUE36]]
 794 ; CHECK:       pred.load.continue36:
 795 ; CHECK-NEXT:    [[TMP143:%.*]] = phi <4 x i32> [ [[TMP138]], [[PRED_LOAD_CONTINUE34]] ], [ [[TMP142]], [[PRED_LOAD_IF35]] ]
 796 ; CHECK-NEXT:    [[TMP144:%.*]] = xor <4 x i1> [[TMP39]], <i1 true, i1 true, i1 true, i1 true>
 797 ; CHECK-NEXT:    [[TMP145:%.*]] = xor <4 x i1> [[TMP47]], <i1 true, i1 true, i1 true, i1 true>
 798 ; CHECK-NEXT:    [[TMP146:%.*]] = xor <4 x i1> [[TMP55]], <i1 true, i1 true, i1 true, i1 true>
 799 ; CHECK-NEXT:    [[TMP147:%.*]] = xor <4 x i1> [[TMP63]], <i1 true, i1 true, i1 true, i1 true>
 800 ; CHECK-NEXT:    [[PREDPHI:%.*]] = select <4 x i1> [[TMP39]], <4 x i32> [[TMP83]], <4 x i32> zeroinitializer
 801 ; CHECK-NEXT:    [[PREDPHI37:%.*]] = select <4 x i1> [[TMP47]], <4 x i32> [[TMP103]], <4 x i32> zeroinitializer
 802 ; CHECK-NEXT:    [[PREDPHI38:%.*]] = select <4 x i1> [[TMP55]], <4 x i32> [[TMP123]], <4 x i32> zeroinitializer
 803 ; CHECK-NEXT:    [[PREDPHI39:%.*]] = select <4 x i1> [[TMP63]], <4 x i32> [[TMP143]], <4 x i32> zeroinitializer
 804 ; CHECK-NEXT:    [[TMP148]] = add <4 x i32> [[VEC_PHI]], [[PREDPHI]]
 805 ; CHECK-NEXT:    [[TMP149]] = add <4 x i32> [[VEC_PHI4]], [[PREDPHI37]]
 806 ; CHECK-NEXT:    [[TMP150]] = add <4 x i32> [[VEC_PHI5]], [[PREDPHI38]]
 807 ; CHECK-NEXT:    [[TMP151]] = add <4 x i32> [[VEC_PHI6]], [[PREDPHI39]]
 808 ; CHECK-NEXT:    [[INDEX_NEXT]] = add i64 [[INDEX]], 16
 809 ; CHECK-NEXT:    [[TMP152:%.*]] = icmp eq i64 [[INDEX_NEXT]], 2048
 810 ; CHECK-NEXT:    br i1 [[TMP152]], label [[MIDDLE_BLOCK:%.*]], label [[VECTOR_BODY]], !llvm.loop !8
 811 ; CHECK:       middle.block:
 812 ; CHECK-NEXT:    [[BIN_RDX:%.*]] = add <4 x i32> [[TMP149]], [[TMP148]]
 813 ; CHECK-NEXT:    [[BIN_RDX40:%.*]] = add <4 x i32> [[TMP150]], [[BIN_RDX]]
 814 ; CHECK-NEXT:    [[BIN_RDX41:%.*]] = add <4 x i32> [[TMP151]], [[BIN_RDX40]]
 815 ; CHECK-NEXT:    [[RDX_SHUF:%.*]] = shufflevector <4 x i32> [[BIN_RDX41]], <4 x i32> undef, <4 x i32> <i32 2, i32 3, i32 undef, i32 undef>
 816 ; CHECK-NEXT:    [[BIN_RDX42:%.*]] = add <4 x i32> [[BIN_RDX41]], [[RDX_SHUF]]
 817 ; CHECK-NEXT:    [[RDX_SHUF43:%.*]] = shufflevector <4 x i32> [[BIN_RDX42]], <4 x i32> undef, <4 x i32> <i32 1, i32 undef, i32 undef, i32 undef>
 818 ; CHECK-NEXT:    [[BIN_RDX44:%.*]] = add <4 x i32> [[BIN_RDX42]], [[RDX_SHUF43]]
 819 ; CHECK-NEXT:    [[TMP153:%.*]] = extractelement <4 x i32> [[BIN_RDX44]], i32 0
 820 ; CHECK-NEXT:    [[CMP_N:%.*]] = icmp eq i64 2048, 2048
 821 ; CHECK-NEXT:    br i1 [[CMP_N]], label [[LOOP_EXIT:%.*]], label [[SCALAR_PH]]
 822 ; CHECK:       scalar.ph:
 823 ; CHECK-NEXT:    [[BC_RESUME_VAL:%.*]] = phi i64 [ 4096, [[MIDDLE_BLOCK]] ], [ 0, [[ENTRY:%.*]] ]
 824 ; CHECK-NEXT:    [[BC_MERGE_RDX:%.*]] = phi i32 [ 0, [[ENTRY]] ], [ [[TMP153]], [[MIDDLE_BLOCK]] ]
 825 ; CHECK-NEXT:    br label [[LOOP:%.*]]
 826 ; CHECK:       loop:
 827 ; CHECK-NEXT:    [[IV:%.*]] = phi i64 [ [[BC_RESUME_VAL]], [[SCALAR_PH]] ], [ [[IV_NEXT:%.*]], [[LATCH:%.*]] ]
 828 ; CHECK-NEXT:    [[ACCUM:%.*]] = phi i32 [ [[BC_MERGE_RDX]], [[SCALAR_PH]] ], [ [[ACCUM_NEXT:%.*]], [[LATCH]] ]
 829 ; CHECK-NEXT:    [[IV_NEXT]] = add i64 [[IV]], 2
 830 ; CHECK-NEXT:    [[TEST_ADDR:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[IV]]
 831 ; CHECK-NEXT:    [[EARLYCND:%.*]] = load i1, i1* [[TEST_ADDR]]
 832 ; CHECK-NEXT:    br i1 [[EARLYCND]], label [[PRED:%.*]], label [[LATCH]]
 833 ; CHECK:       pred:
 834 ; CHECK-NEXT:    [[ADDR:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[IV]]
 835 ; CHECK-NEXT:    [[VAL:%.*]] = load i32, i32* [[ADDR]]
 836 ; CHECK-NEXT:    br label [[LATCH]]
 837 ; CHECK:       latch:
 838 ; CHECK-NEXT:    [[VAL_PHI:%.*]] = phi i32 [ 0, [[LOOP]] ], [ [[VAL]], [[PRED]] ]
 839 ; CHECK-NEXT:    [[ACCUM_NEXT]] = add i32 [[ACCUM]], [[VAL_PHI]]
 840 ; CHECK-NEXT:    [[EXIT:%.*]] = icmp ugt i64 [[IV]], 4093
 841 ; CHECK-NEXT:    br i1 [[EXIT]], label [[LOOP_EXIT]], label [[LOOP]], !llvm.loop !9
 842 ; CHECK:       loop_exit:
 843 ; CHECK-NEXT:    [[ACCUM_NEXT_LCSSA:%.*]] = phi i32 [ [[ACCUM_NEXT]], [[LATCH]] ], [ [[TMP153]], [[MIDDLE_BLOCK]] ]
 844 ; CHECK-NEXT:    ret i32 [[ACCUM_NEXT_LCSSA]]
 845 ;
 846 entry:
 847   %alloca = alloca [4096 x i32]
 848   %base = bitcast [4096 x i32]* %alloca to i32*
 849   call void @init(i32* %base)
 850   br label %loop
 851 loop:
 852   %iv = phi i64 [ 0, %entry ], [ %iv.next, %latch ]
 853   %accum = phi i32 [ 0, %entry ], [ %accum.next, %latch ]
 854   %iv.next = add i64 %iv, 2
 855   %test_addr = getelementptr inbounds i1, i1* %test_base, i64 %iv
 856   %earlycnd = load i1, i1* %test_addr
 857   br i1 %earlycnd, label %pred, label %latch
 858 pred:
 859   %addr = getelementptr inbounds i32, i32* %base, i64 %iv
 860   %val = load i32, i32* %addr
 861   br label %latch
 862 latch:
 863   %val.phi = phi i32 [0, %loop], [%val, %pred]
 864   %accum.next = add i32 %accum, %val.phi
 865   %exit = icmp ugt i64 %iv, 4093
 866   br i1 %exit, label %loop_exit, label %loop
 867
 868 loop_exit:
 869   ret i32 %accum.next
 870 }
 871
 872 define i32 @neg_off_by_many(i64 %len, i1* %test_base) {
 873 ; CHECK-LABEL: @neg_off_by_many(
 874 ; CHECK-NEXT:  entry:
 875 ; CHECK-NEXT:    [[ALLOCA:%.*]] = alloca [1024 x i32]
 876 ; CHECK-NEXT:    [[BASE:%.*]] = bitcast [1024 x i32]* [[ALLOCA]] to i32*
 877 ; CHECK-NEXT:    call void @init(i32* [[BASE]])
 878 ; CHECK-NEXT:    br i1 false, label [[SCALAR_PH:%.*]], label [[VECTOR_PH:%.*]]
 879 ; CHECK:       vector.ph:
 880 ; CHECK-NEXT:    br label [[VECTOR_BODY:%.*]]
 881 ; CHECK:       vector.body:
 882 ; CHECK-NEXT:    [[INDEX:%.*]] = phi i64 [ 0, [[VECTOR_PH]] ], [ [[INDEX_NEXT:%.*]], [[VECTOR_BODY]] ]
 883 ; CHECK-NEXT:    [[VEC_PHI:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP80:%.*]], [[VECTOR_BODY]] ]
 884 ; CHECK-NEXT:    [[VEC_PHI4:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP81:%.*]], [[VECTOR_BODY]] ]
 885 ; CHECK-NEXT:    [[VEC_PHI5:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP82:%.*]], [[VECTOR_BODY]] ]
 886 ; CHECK-NEXT:    [[VEC_PHI6:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP83:%.*]], [[VECTOR_BODY]] ]
 887 ; CHECK-NEXT:    [[BROADCAST_SPLATINSERT:%.*]] = insertelement <4 x i64> undef, i64 [[INDEX]], i32 0
 888 ; CHECK-NEXT:    [[BROADCAST_SPLAT:%.*]] = shufflevector <4 x i64> [[BROADCAST_SPLATINSERT]], <4 x i64> undef, <4 x i32> zeroinitializer
 889 ; CHECK-NEXT:    [[INDUCTION:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 0, i64 1, i64 2, i64 3>
 890 ; CHECK-NEXT:    [[INDUCTION1:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 4, i64 5, i64 6, i64 7>
 891 ; CHECK-NEXT:    [[INDUCTION2:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 8, i64 9, i64 10, i64 11>
 892 ; CHECK-NEXT:    [[INDUCTION3:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 12, i64 13, i64 14, i64 15>
 893 ; CHECK-NEXT:    [[TMP0:%.*]] = add i64 [[INDEX]], 0
 894 ; CHECK-NEXT:    [[TMP1:%.*]] = add i64 [[INDEX]], 1
 895 ; CHECK-NEXT:    [[TMP2:%.*]] = add i64 [[INDEX]], 2
 896 ; CHECK-NEXT:    [[TMP3:%.*]] = add i64 [[INDEX]], 3
 897 ; CHECK-NEXT:    [[TMP4:%.*]] = add i64 [[INDEX]], 4
 898 ; CHECK-NEXT:    [[TMP5:%.*]] = add i64 [[INDEX]], 5
 899 ; CHECK-NEXT:    [[TMP6:%.*]] = add i64 [[INDEX]], 6
 900 ; CHECK-NEXT:    [[TMP7:%.*]] = add i64 [[INDEX]], 7
 901 ; CHECK-NEXT:    [[TMP8:%.*]] = add i64 [[INDEX]], 8
 902 ; CHECK-NEXT:    [[TMP9:%.*]] = add i64 [[INDEX]], 9
 903 ; CHECK-NEXT:    [[TMP10:%.*]] = add i64 [[INDEX]], 10
 904 ; CHECK-NEXT:    [[TMP11:%.*]] = add i64 [[INDEX]], 11
 905 ; CHECK-NEXT:    [[TMP12:%.*]] = add i64 [[INDEX]], 12
 906 ; CHECK-NEXT:    [[TMP13:%.*]] = add i64 [[INDEX]], 13
 907 ; CHECK-NEXT:    [[TMP14:%.*]] = add i64 [[INDEX]], 14
 908 ; CHECK-NEXT:    [[TMP15:%.*]] = add i64 [[INDEX]], 15
 909 ; CHECK-NEXT:    [[TMP16:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE:%.*]], i64 [[TMP0]]
 910 ; CHECK-NEXT:    [[TMP17:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP1]]
 911 ; CHECK-NEXT:    [[TMP18:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP2]]
 912 ; CHECK-NEXT:    [[TMP19:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP3]]
 913 ; CHECK-NEXT:    [[TMP20:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP4]]
 914 ; CHECK-NEXT:    [[TMP21:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP5]]
 915 ; CHECK-NEXT:    [[TMP22:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP6]]
 916 ; CHECK-NEXT:    [[TMP23:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP7]]
 917 ; CHECK-NEXT:    [[TMP24:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP8]]
 918 ; CHECK-NEXT:    [[TMP25:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP9]]
 919 ; CHECK-NEXT:    [[TMP26:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP10]]
 920 ; CHECK-NEXT:    [[TMP27:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP11]]
 921 ; CHECK-NEXT:    [[TMP28:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP12]]
 922 ; CHECK-NEXT:    [[TMP29:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP13]]
 923 ; CHECK-NEXT:    [[TMP30:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP14]]
 924 ; CHECK-NEXT:    [[TMP31:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP15]]
 925 ; CHECK-NEXT:    [[TMP32:%.*]] = load i1, i1* [[TMP16]]
 926 ; CHECK-NEXT:    [[TMP33:%.*]] = load i1, i1* [[TMP17]]
 927 ; CHECK-NEXT:    [[TMP34:%.*]] = load i1, i1* [[TMP18]]
 928 ; CHECK-NEXT:    [[TMP35:%.*]] = load i1, i1* [[TMP19]]
 929 ; CHECK-NEXT:    [[TMP36:%.*]] = insertelement <4 x i1> undef, i1 [[TMP32]], i32 0
 930 ; CHECK-NEXT:    [[TMP37:%.*]] = insertelement <4 x i1> [[TMP36]], i1 [[TMP33]], i32 1
 931 ; CHECK-NEXT:    [[TMP38:%.*]] = insertelement <4 x i1> [[TMP37]], i1 [[TMP34]], i32 2
 932 ; CHECK-NEXT:    [[TMP39:%.*]] = insertelement <4 x i1> [[TMP38]], i1 [[TMP35]], i32 3
 933 ; CHECK-NEXT:    [[TMP40:%.*]] = load i1, i1* [[TMP20]]
 934 ; CHECK-NEXT:    [[TMP41:%.*]] = load i1, i1* [[TMP21]]
 935 ; CHECK-NEXT:    [[TMP42:%.*]] = load i1, i1* [[TMP22]]
 936 ; CHECK-NEXT:    [[TMP43:%.*]] = load i1, i1* [[TMP23]]
 937 ; CHECK-NEXT:    [[TMP44:%.*]] = insertelement <4 x i1> undef, i1 [[TMP40]], i32 0
 938 ; CHECK-NEXT:    [[TMP45:%.*]] = insertelement <4 x i1> [[TMP44]], i1 [[TMP41]], i32 1
 939 ; CHECK-NEXT:    [[TMP46:%.*]] = insertelement <4 x i1> [[TMP45]], i1 [[TMP42]], i32 2
 940 ; CHECK-NEXT:    [[TMP47:%.*]] = insertelement <4 x i1> [[TMP46]], i1 [[TMP43]], i32 3
 941 ; CHECK-NEXT:    [[TMP48:%.*]] = load i1, i1* [[TMP24]]
 942 ; CHECK-NEXT:    [[TMP49:%.*]] = load i1, i1* [[TMP25]]
 943 ; CHECK-NEXT:    [[TMP50:%.*]] = load i1, i1* [[TMP26]]
 944 ; CHECK-NEXT:    [[TMP51:%.*]] = load i1, i1* [[TMP27]]
 945 ; CHECK-NEXT:    [[TMP52:%.*]] = insertelement <4 x i1> undef, i1 [[TMP48]], i32 0
 946 ; CHECK-NEXT:    [[TMP53:%.*]] = insertelement <4 x i1> [[TMP52]], i1 [[TMP49]], i32 1
 947 ; CHECK-NEXT:    [[TMP54:%.*]] = insertelement <4 x i1> [[TMP53]], i1 [[TMP50]], i32 2
 948 ; CHECK-NEXT:    [[TMP55:%.*]] = insertelement <4 x i1> [[TMP54]], i1 [[TMP51]], i32 3
 949 ; CHECK-NEXT:    [[TMP56:%.*]] = load i1, i1* [[TMP28]]
 950 ; CHECK-NEXT:    [[TMP57:%.*]] = load i1, i1* [[TMP29]]
 951 ; CHECK-NEXT:    [[TMP58:%.*]] = load i1, i1* [[TMP30]]
 952 ; CHECK-NEXT:    [[TMP59:%.*]] = load i1, i1* [[TMP31]]
 953 ; CHECK-NEXT:    [[TMP60:%.*]] = insertelement <4 x i1> undef, i1 [[TMP56]], i32 0
 954 ; CHECK-NEXT:    [[TMP61:%.*]] = insertelement <4 x i1> [[TMP60]], i1 [[TMP57]], i32 1
 955 ; CHECK-NEXT:    [[TMP62:%.*]] = insertelement <4 x i1> [[TMP61]], i1 [[TMP58]], i32 2
 956 ; CHECK-NEXT:    [[TMP63:%.*]] = insertelement <4 x i1> [[TMP62]], i1 [[TMP59]], i32 3
 957 ; CHECK-NEXT:    [[TMP64:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP0]]
 958 ; CHECK-NEXT:    [[TMP65:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP4]]
 959 ; CHECK-NEXT:    [[TMP66:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP8]]
 960 ; CHECK-NEXT:    [[TMP67:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP12]]
 961 ; CHECK-NEXT:    [[TMP68:%.*]] = getelementptr inbounds i32, i32* [[TMP64]], i32 0
 962 ; CHECK-NEXT:    [[TMP69:%.*]] = bitcast i32* [[TMP68]] to <4 x i32>*
 963 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP69]], i32 4, <4 x i1> [[TMP39]], <4 x i32> undef)
 964 ; CHECK-NEXT:    [[TMP70:%.*]] = getelementptr inbounds i32, i32* [[TMP64]], i32 4
 965 ; CHECK-NEXT:    [[TMP71:%.*]] = bitcast i32* [[TMP70]] to <4 x i32>*
 966 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD7:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP71]], i32 4, <4 x i1> [[TMP47]], <4 x i32> undef)
 967 ; CHECK-NEXT:    [[TMP72:%.*]] = getelementptr inbounds i32, i32* [[TMP64]], i32 8
 968 ; CHECK-NEXT:    [[TMP73:%.*]] = bitcast i32* [[TMP72]] to <4 x i32>*
 969 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD8:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP73]], i32 4, <4 x i1> [[TMP55]], <4 x i32> undef)
 970 ; CHECK-NEXT:    [[TMP74:%.*]] = getelementptr inbounds i32, i32* [[TMP64]], i32 12
 971 ; CHECK-NEXT:    [[TMP75:%.*]] = bitcast i32* [[TMP74]] to <4 x i32>*
 972 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD9:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP75]], i32 4, <4 x i1> [[TMP63]], <4 x i32> undef)
 973 ; CHECK-NEXT:    [[TMP76:%.*]] = xor <4 x i1> [[TMP39]], <i1 true, i1 true, i1 true, i1 true>
 974 ; CHECK-NEXT:    [[TMP77:%.*]] = xor <4 x i1> [[TMP47]], <i1 true, i1 true, i1 true, i1 true>
 975 ; CHECK-NEXT:    [[TMP78:%.*]] = xor <4 x i1> [[TMP55]], <i1 true, i1 true, i1 true, i1 true>
 976 ; CHECK-NEXT:    [[TMP79:%.*]] = xor <4 x i1> [[TMP63]], <i1 true, i1 true, i1 true, i1 true>
 977 ; CHECK-NEXT:    [[PREDPHI:%.*]] = select <4 x i1> [[TMP39]], <4 x i32> [[WIDE_MASKED_LOAD]], <4 x i32> zeroinitializer
 978 ; CHECK-NEXT:    [[PREDPHI10:%.*]] = select <4 x i1> [[TMP47]], <4 x i32> [[WIDE_MASKED_LOAD7]], <4 x i32> zeroinitializer
 979 ; CHECK-NEXT:    [[PREDPHI11:%.*]] = select <4 x i1> [[TMP55]], <4 x i32> [[WIDE_MASKED_LOAD8]], <4 x i32> zeroinitializer
 980 ; CHECK-NEXT:    [[PREDPHI12:%.*]] = select <4 x i1> [[TMP63]], <4 x i32> [[WIDE_MASKED_LOAD9]], <4 x i32> zeroinitializer
 981 ; CHECK-NEXT:    [[TMP80]] = add <4 x i32> [[VEC_PHI]], [[PREDPHI]]
 982 ; CHECK-NEXT:    [[TMP81]] = add <4 x i32> [[VEC_PHI4]], [[PREDPHI10]]
 983 ; CHECK-NEXT:    [[TMP82]] = add <4 x i32> [[VEC_PHI5]], [[PREDPHI11]]
 984 ; CHECK-NEXT:    [[TMP83]] = add <4 x i32> [[VEC_PHI6]], [[PREDPHI12]]
 985 ; CHECK-NEXT:    [[INDEX_NEXT]] = add i64 [[INDEX]], 16
 986 ; CHECK-NEXT:    [[TMP84:%.*]] = icmp eq i64 [[INDEX_NEXT]], 4096
 987 ; CHECK-NEXT:    br i1 [[TMP84]], label [[MIDDLE_BLOCK:%.*]], label [[VECTOR_BODY]], !llvm.loop !10
 988 ; CHECK:       middle.block:
 989 ; CHECK-NEXT:    [[BIN_RDX:%.*]] = add <4 x i32> [[TMP81]], [[TMP80]]
 990 ; CHECK-NEXT:    [[BIN_RDX13:%.*]] = add <4 x i32> [[TMP82]], [[BIN_RDX]]
 991 ; CHECK-NEXT:    [[BIN_RDX14:%.*]] = add <4 x i32> [[TMP83]], [[BIN_RDX13]]
 992 ; CHECK-NEXT:    [[RDX_SHUF:%.*]] = shufflevector <4 x i32> [[BIN_RDX14]], <4 x i32> undef, <4 x i32> <i32 2, i32 3, i32 undef, i32 undef>
 993 ; CHECK-NEXT:    [[BIN_RDX15:%.*]] = add <4 x i32> [[BIN_RDX14]], [[RDX_SHUF]]
 994 ; CHECK-NEXT:    [[RDX_SHUF16:%.*]] = shufflevector <4 x i32> [[BIN_RDX15]], <4 x i32> undef, <4 x i32> <i32 1, i32 undef, i32 undef, i32 undef>
 995 ; CHECK-NEXT:    [[BIN_RDX17:%.*]] = add <4 x i32> [[BIN_RDX15]], [[RDX_SHUF16]]
 996 ; CHECK-NEXT:    [[TMP85:%.*]] = extractelement <4 x i32> [[BIN_RDX17]], i32 0
 997 ; CHECK-NEXT:    [[CMP_N:%.*]] = icmp eq i64 4096, 4096
 998 ; CHECK-NEXT:    br i1 [[CMP_N]], label [[LOOP_EXIT:%.*]], label [[SCALAR_PH]]
 999 ; CHECK:       scalar.ph:
1000 ; CHECK-NEXT:    [[BC_RESUME_VAL:%.*]] = phi i64 [ 4096, [[MIDDLE_BLOCK]] ], [ 0, [[ENTRY:%.*]] ]
1001 ; CHECK-NEXT:    [[BC_MERGE_RDX:%.*]] = phi i32 [ 0, [[ENTRY]] ], [ [[TMP85]], [[MIDDLE_BLOCK]] ]
1002 ; CHECK-NEXT:    br label [[LOOP:%.*]]
1003 ; CHECK:       loop:
1004 ; CHECK-NEXT:    [[IV:%.*]] = phi i64 [ [[BC_RESUME_VAL]], [[SCALAR_PH]] ], [ [[IV_NEXT:%.*]], [[LATCH:%.*]] ]
1005 ; CHECK-NEXT:    [[ACCUM:%.*]] = phi i32 [ [[BC_MERGE_RDX]], [[SCALAR_PH]] ], [ [[ACCUM_NEXT:%.*]], [[LATCH]] ]
1006 ; CHECK-NEXT:    [[IV_NEXT]] = add i64 [[IV]], 1
1007 ; CHECK-NEXT:    [[TEST_ADDR:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[IV]]
1008 ; CHECK-NEXT:    [[EARLYCND:%.*]] = load i1, i1* [[TEST_ADDR]]
1009 ; CHECK-NEXT:    br i1 [[EARLYCND]], label [[PRED:%.*]], label [[LATCH]]
1010 ; CHECK:       pred:
1011 ; CHECK-NEXT:    [[ADDR:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[IV]]
1012 ; CHECK-NEXT:    [[VAL:%.*]] = load i32, i32* [[ADDR]]
1013 ; CHECK-NEXT:    br label [[LATCH]]
1014 ; CHECK:       latch:
1015 ; CHECK-NEXT:    [[VAL_PHI:%.*]] = phi i32 [ 0, [[LOOP]] ], [ [[VAL]], [[PRED]] ]
1016 ; CHECK-NEXT:    [[ACCUM_NEXT]] = add i32 [[ACCUM]], [[VAL_PHI]]
1017 ; CHECK-NEXT:    [[EXIT:%.*]] = icmp ugt i64 [[IV]], 4094
1018 ; CHECK-NEXT:    br i1 [[EXIT]], label [[LOOP_EXIT]], label [[LOOP]], !llvm.loop !11
1019 ; CHECK:       loop_exit:
1020 ; CHECK-NEXT:    [[ACCUM_NEXT_LCSSA:%.*]] = phi i32 [ [[ACCUM_NEXT]], [[LATCH]] ], [ [[TMP85]], [[MIDDLE_BLOCK]] ]
1021 ; CHECK-NEXT:    ret i32 [[ACCUM_NEXT_LCSSA]]
1022 ;
1023 entry:
1024   %alloca = alloca [1024 x i32]
1025   %base = bitcast [1024 x i32]* %alloca to i32*
1026   call void @init(i32* %base)
1027   br label %loop
1028 loop:
1029   %iv = phi i64 [ 0, %entry ], [ %iv.next, %latch ]
1030   %accum = phi i32 [ 0, %entry ], [ %accum.next, %latch ]
1031   %iv.next = add i64 %iv, 1
1032   %test_addr = getelementptr inbounds i1, i1* %test_base, i64 %iv
1033   %earlycnd = load i1, i1* %test_addr
1034   br i1 %earlycnd, label %pred, label %latch
1035 pred:
1036   %addr = getelementptr inbounds i32, i32* %base, i64 %iv
1037   %val = load i32, i32* %addr
1038   br label %latch
1039 latch:
1040   %val.phi = phi i32 [0, %loop], [%val, %pred]
1041   %accum.next = add i32 %accum, %val.phi
1042   %exit = icmp ugt i64 %iv, 4094
1043   br i1 %exit, label %loop_exit, label %loop
1044
1045 loop_exit:
1046   ret i32 %accum.next
1047 }
1048
1049 define i32 @neg_off_by_one_iteration(i64 %len, i1* %test_base) {
1050 ; CHECK-LABEL: @neg_off_by_one_iteration(
1051 ; CHECK-NEXT:  entry:
1052 ; CHECK-NEXT:    [[ALLOCA:%.*]] = alloca [4095 x i32]
1053 ; CHECK-NEXT:    [[BASE:%.*]] = bitcast [4095 x i32]* [[ALLOCA]] to i32*
1054 ; CHECK-NEXT:    call void @init(i32* [[BASE]])
1055 ; CHECK-NEXT:    br i1 false, label [[SCALAR_PH:%.*]], label [[VECTOR_PH:%.*]]
1056 ; CHECK:       vector.ph:
1057 ; CHECK-NEXT:    br label [[VECTOR_BODY:%.*]]
1058 ; CHECK:       vector.body:
1059 ; CHECK-NEXT:    [[INDEX:%.*]] = phi i64 [ 0, [[VECTOR_PH]] ], [ [[INDEX_NEXT:%.*]], [[VECTOR_BODY]] ]
1060 ; CHECK-NEXT:    [[VEC_PHI:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP80:%.*]], [[VECTOR_BODY]] ]
1061 ; CHECK-NEXT:    [[VEC_PHI4:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP81:%.*]], [[VECTOR_BODY]] ]
1062 ; CHECK-NEXT:    [[VEC_PHI5:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP82:%.*]], [[VECTOR_BODY]] ]
1063 ; CHECK-NEXT:    [[VEC_PHI6:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP83:%.*]], [[VECTOR_BODY]] ]
1064 ; CHECK-NEXT:    [[BROADCAST_SPLATINSERT:%.*]] = insertelement <4 x i64> undef, i64 [[INDEX]], i32 0
1065 ; CHECK-NEXT:    [[BROADCAST_SPLAT:%.*]] = shufflevector <4 x i64> [[BROADCAST_SPLATINSERT]], <4 x i64> undef, <4 x i32> zeroinitializer
1066 ; CHECK-NEXT:    [[INDUCTION:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 0, i64 1, i64 2, i64 3>
1067 ; CHECK-NEXT:    [[INDUCTION1:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 4, i64 5, i64 6, i64 7>
1068 ; CHECK-NEXT:    [[INDUCTION2:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 8, i64 9, i64 10, i64 11>
1069 ; CHECK-NEXT:    [[INDUCTION3:%.*]] = add <4 x i64> [[BROADCAST_SPLAT]], <i64 12, i64 13, i64 14, i64 15>
1070 ; CHECK-NEXT:    [[TMP0:%.*]] = add i64 [[INDEX]], 0
1071 ; CHECK-NEXT:    [[TMP1:%.*]] = add i64 [[INDEX]], 1
1072 ; CHECK-NEXT:    [[TMP2:%.*]] = add i64 [[INDEX]], 2
1073 ; CHECK-NEXT:    [[TMP3:%.*]] = add i64 [[INDEX]], 3
1074 ; CHECK-NEXT:    [[TMP4:%.*]] = add i64 [[INDEX]], 4
1075 ; CHECK-NEXT:    [[TMP5:%.*]] = add i64 [[INDEX]], 5
1076 ; CHECK-NEXT:    [[TMP6:%.*]] = add i64 [[INDEX]], 6
1077 ; CHECK-NEXT:    [[TMP7:%.*]] = add i64 [[INDEX]], 7
1078 ; CHECK-NEXT:    [[TMP8:%.*]] = add i64 [[INDEX]], 8
1079 ; CHECK-NEXT:    [[TMP9:%.*]] = add i64 [[INDEX]], 9
1080 ; CHECK-NEXT:    [[TMP10:%.*]] = add i64 [[INDEX]], 10
1081 ; CHECK-NEXT:    [[TMP11:%.*]] = add i64 [[INDEX]], 11
1082 ; CHECK-NEXT:    [[TMP12:%.*]] = add i64 [[INDEX]], 12
1083 ; CHECK-NEXT:    [[TMP13:%.*]] = add i64 [[INDEX]], 13
1084 ; CHECK-NEXT:    [[TMP14:%.*]] = add i64 [[INDEX]], 14
1085 ; CHECK-NEXT:    [[TMP15:%.*]] = add i64 [[INDEX]], 15
1086 ; CHECK-NEXT:    [[TMP16:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE:%.*]], i64 [[TMP0]]
1087 ; CHECK-NEXT:    [[TMP17:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP1]]
1088 ; CHECK-NEXT:    [[TMP18:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP2]]
1089 ; CHECK-NEXT:    [[TMP19:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP3]]
1090 ; CHECK-NEXT:    [[TMP20:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP4]]
1091 ; CHECK-NEXT:    [[TMP21:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP5]]
1092 ; CHECK-NEXT:    [[TMP22:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP6]]
1093 ; CHECK-NEXT:    [[TMP23:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP7]]
1094 ; CHECK-NEXT:    [[TMP24:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP8]]
1095 ; CHECK-NEXT:    [[TMP25:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP9]]
1096 ; CHECK-NEXT:    [[TMP26:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP10]]
1097 ; CHECK-NEXT:    [[TMP27:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP11]]
1098 ; CHECK-NEXT:    [[TMP28:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP12]]
1099 ; CHECK-NEXT:    [[TMP29:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP13]]
1100 ; CHECK-NEXT:    [[TMP30:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP14]]
1101 ; CHECK-NEXT:    [[TMP31:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[TMP15]]
1102 ; CHECK-NEXT:    [[TMP32:%.*]] = load i1, i1* [[TMP16]]
1103 ; CHECK-NEXT:    [[TMP33:%.*]] = load i1, i1* [[TMP17]]
1104 ; CHECK-NEXT:    [[TMP34:%.*]] = load i1, i1* [[TMP18]]
1105 ; CHECK-NEXT:    [[TMP35:%.*]] = load i1, i1* [[TMP19]]
1106 ; CHECK-NEXT:    [[TMP36:%.*]] = insertelement <4 x i1> undef, i1 [[TMP32]], i32 0
1107 ; CHECK-NEXT:    [[TMP37:%.*]] = insertelement <4 x i1> [[TMP36]], i1 [[TMP33]], i32 1
1108 ; CHECK-NEXT:    [[TMP38:%.*]] = insertelement <4 x i1> [[TMP37]], i1 [[TMP34]], i32 2
1109 ; CHECK-NEXT:    [[TMP39:%.*]] = insertelement <4 x i1> [[TMP38]], i1 [[TMP35]], i32 3
1110 ; CHECK-NEXT:    [[TMP40:%.*]] = load i1, i1* [[TMP20]]
1111 ; CHECK-NEXT:    [[TMP41:%.*]] = load i1, i1* [[TMP21]]
1112 ; CHECK-NEXT:    [[TMP42:%.*]] = load i1, i1* [[TMP22]]
1113 ; CHECK-NEXT:    [[TMP43:%.*]] = load i1, i1* [[TMP23]]
1114 ; CHECK-NEXT:    [[TMP44:%.*]] = insertelement <4 x i1> undef, i1 [[TMP40]], i32 0
1115 ; CHECK-NEXT:    [[TMP45:%.*]] = insertelement <4 x i1> [[TMP44]], i1 [[TMP41]], i32 1
1116 ; CHECK-NEXT:    [[TMP46:%.*]] = insertelement <4 x i1> [[TMP45]], i1 [[TMP42]], i32 2
1117 ; CHECK-NEXT:    [[TMP47:%.*]] = insertelement <4 x i1> [[TMP46]], i1 [[TMP43]], i32 3
1118 ; CHECK-NEXT:    [[TMP48:%.*]] = load i1, i1* [[TMP24]]
1119 ; CHECK-NEXT:    [[TMP49:%.*]] = load i1, i1* [[TMP25]]
1120 ; CHECK-NEXT:    [[TMP50:%.*]] = load i1, i1* [[TMP26]]
1121 ; CHECK-NEXT:    [[TMP51:%.*]] = load i1, i1* [[TMP27]]
1122 ; CHECK-NEXT:    [[TMP52:%.*]] = insertelement <4 x i1> undef, i1 [[TMP48]], i32 0
1123 ; CHECK-NEXT:    [[TMP53:%.*]] = insertelement <4 x i1> [[TMP52]], i1 [[TMP49]], i32 1
1124 ; CHECK-NEXT:    [[TMP54:%.*]] = insertelement <4 x i1> [[TMP53]], i1 [[TMP50]], i32 2
1125 ; CHECK-NEXT:    [[TMP55:%.*]] = insertelement <4 x i1> [[TMP54]], i1 [[TMP51]], i32 3
1126 ; CHECK-NEXT:    [[TMP56:%.*]] = load i1, i1* [[TMP28]]
1127 ; CHECK-NEXT:    [[TMP57:%.*]] = load i1, i1* [[TMP29]]
1128 ; CHECK-NEXT:    [[TMP58:%.*]] = load i1, i1* [[TMP30]]
1129 ; CHECK-NEXT:    [[TMP59:%.*]] = load i1, i1* [[TMP31]]
1130 ; CHECK-NEXT:    [[TMP60:%.*]] = insertelement <4 x i1> undef, i1 [[TMP56]], i32 0
1131 ; CHECK-NEXT:    [[TMP61:%.*]] = insertelement <4 x i1> [[TMP60]], i1 [[TMP57]], i32 1
1132 ; CHECK-NEXT:    [[TMP62:%.*]] = insertelement <4 x i1> [[TMP61]], i1 [[TMP58]], i32 2
1133 ; CHECK-NEXT:    [[TMP63:%.*]] = insertelement <4 x i1> [[TMP62]], i1 [[TMP59]], i32 3
1134 ; CHECK-NEXT:    [[TMP64:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP0]]
1135 ; CHECK-NEXT:    [[TMP65:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP4]]
1136 ; CHECK-NEXT:    [[TMP66:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP8]]
1137 ; CHECK-NEXT:    [[TMP67:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP12]]
1138 ; CHECK-NEXT:    [[TMP68:%.*]] = getelementptr inbounds i32, i32* [[TMP64]], i32 0
1139 ; CHECK-NEXT:    [[TMP69:%.*]] = bitcast i32* [[TMP68]] to <4 x i32>*
1140 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP69]], i32 4, <4 x i1> [[TMP39]], <4 x i32> undef)
1141 ; CHECK-NEXT:    [[TMP70:%.*]] = getelementptr inbounds i32, i32* [[TMP64]], i32 4
1142 ; CHECK-NEXT:    [[TMP71:%.*]] = bitcast i32* [[TMP70]] to <4 x i32>*
1143 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD7:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP71]], i32 4, <4 x i1> [[TMP47]], <4 x i32> undef)
1144 ; CHECK-NEXT:    [[TMP72:%.*]] = getelementptr inbounds i32, i32* [[TMP64]], i32 8
1145 ; CHECK-NEXT:    [[TMP73:%.*]] = bitcast i32* [[TMP72]] to <4 x i32>*
1146 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD8:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP73]], i32 4, <4 x i1> [[TMP55]], <4 x i32> undef)
1147 ; CHECK-NEXT:    [[TMP74:%.*]] = getelementptr inbounds i32, i32* [[TMP64]], i32 12
1148 ; CHECK-NEXT:    [[TMP75:%.*]] = bitcast i32* [[TMP74]] to <4 x i32>*
1149 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD9:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP75]], i32 4, <4 x i1> [[TMP63]], <4 x i32> undef)
1150 ; CHECK-NEXT:    [[TMP76:%.*]] = xor <4 x i1> [[TMP39]], <i1 true, i1 true, i1 true, i1 true>
1151 ; CHECK-NEXT:    [[TMP77:%.*]] = xor <4 x i1> [[TMP47]], <i1 true, i1 true, i1 true, i1 true>
1152 ; CHECK-NEXT:    [[TMP78:%.*]] = xor <4 x i1> [[TMP55]], <i1 true, i1 true, i1 true, i1 true>
1153 ; CHECK-NEXT:    [[TMP79:%.*]] = xor <4 x i1> [[TMP63]], <i1 true, i1 true, i1 true, i1 true>
1154 ; CHECK-NEXT:    [[PREDPHI:%.*]] = select <4 x i1> [[TMP39]], <4 x i32> [[WIDE_MASKED_LOAD]], <4 x i32> zeroinitializer
1155 ; CHECK-NEXT:    [[PREDPHI10:%.*]] = select <4 x i1> [[TMP47]], <4 x i32> [[WIDE_MASKED_LOAD7]], <4 x i32> zeroinitializer
1156 ; CHECK-NEXT:    [[PREDPHI11:%.*]] = select <4 x i1> [[TMP55]], <4 x i32> [[WIDE_MASKED_LOAD8]], <4 x i32> zeroinitializer
1157 ; CHECK-NEXT:    [[PREDPHI12:%.*]] = select <4 x i1> [[TMP63]], <4 x i32> [[WIDE_MASKED_LOAD9]], <4 x i32> zeroinitializer
1158 ; CHECK-NEXT:    [[TMP80]] = add <4 x i32> [[VEC_PHI]], [[PREDPHI]]
1159 ; CHECK-NEXT:    [[TMP81]] = add <4 x i32> [[VEC_PHI4]], [[PREDPHI10]]
1160 ; CHECK-NEXT:    [[TMP82]] = add <4 x i32> [[VEC_PHI5]], [[PREDPHI11]]
1161 ; CHECK-NEXT:    [[TMP83]] = add <4 x i32> [[VEC_PHI6]], [[PREDPHI12]]
1162 ; CHECK-NEXT:    [[INDEX_NEXT]] = add i64 [[INDEX]], 16
1163 ; CHECK-NEXT:    [[TMP84:%.*]] = icmp eq i64 [[INDEX_NEXT]], 4096
1164 ; CHECK-NEXT:    br i1 [[TMP84]], label [[MIDDLE_BLOCK:%.*]], label [[VECTOR_BODY]], !llvm.loop !12
1165 ; CHECK:       middle.block:
1166 ; CHECK-NEXT:    [[BIN_RDX:%.*]] = add <4 x i32> [[TMP81]], [[TMP80]]
1167 ; CHECK-NEXT:    [[BIN_RDX13:%.*]] = add <4 x i32> [[TMP82]], [[BIN_RDX]]
1168 ; CHECK-NEXT:    [[BIN_RDX14:%.*]] = add <4 x i32> [[TMP83]], [[BIN_RDX13]]
1169 ; CHECK-NEXT:    [[RDX_SHUF:%.*]] = shufflevector <4 x i32> [[BIN_RDX14]], <4 x i32> undef, <4 x i32> <i32 2, i32 3, i32 undef, i32 undef>
1170 ; CHECK-NEXT:    [[BIN_RDX15:%.*]] = add <4 x i32> [[BIN_RDX14]], [[RDX_SHUF]]
1171 ; CHECK-NEXT:    [[RDX_SHUF16:%.*]] = shufflevector <4 x i32> [[BIN_RDX15]], <4 x i32> undef, <4 x i32> <i32 1, i32 undef, i32 undef, i32 undef>
1172 ; CHECK-NEXT:    [[BIN_RDX17:%.*]] = add <4 x i32> [[BIN_RDX15]], [[RDX_SHUF16]]
1173 ; CHECK-NEXT:    [[TMP85:%.*]] = extractelement <4 x i32> [[BIN_RDX17]], i32 0
1174 ; CHECK-NEXT:    [[CMP_N:%.*]] = icmp eq i64 4096, 4096
1175 ; CHECK-NEXT:    br i1 [[CMP_N]], label [[LOOP_EXIT:%.*]], label [[SCALAR_PH]]
1176 ; CHECK:       scalar.ph:
1177 ; CHECK-NEXT:    [[BC_RESUME_VAL:%.*]] = phi i64 [ 4096, [[MIDDLE_BLOCK]] ], [ 0, [[ENTRY:%.*]] ]
1178 ; CHECK-NEXT:    [[BC_MERGE_RDX:%.*]] = phi i32 [ 0, [[ENTRY]] ], [ [[TMP85]], [[MIDDLE_BLOCK]] ]
1179 ; CHECK-NEXT:    br label [[LOOP:%.*]]
1180 ; CHECK:       loop:
1181 ; CHECK-NEXT:    [[IV:%.*]] = phi i64 [ [[BC_RESUME_VAL]], [[SCALAR_PH]] ], [ [[IV_NEXT:%.*]], [[LATCH:%.*]] ]
1182 ; CHECK-NEXT:    [[ACCUM:%.*]] = phi i32 [ [[BC_MERGE_RDX]], [[SCALAR_PH]] ], [ [[ACCUM_NEXT:%.*]], [[LATCH]] ]
1183 ; CHECK-NEXT:    [[IV_NEXT]] = add i64 [[IV]], 1
1184 ; CHECK-NEXT:    [[TEST_ADDR:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[IV]]
1185 ; CHECK-NEXT:    [[EARLYCND:%.*]] = load i1, i1* [[TEST_ADDR]]
1186 ; CHECK-NEXT:    br i1 [[EARLYCND]], label [[PRED:%.*]], label [[LATCH]]
1187 ; CHECK:       pred:
1188 ; CHECK-NEXT:    [[ADDR:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[IV]]
1189 ; CHECK-NEXT:    [[VAL:%.*]] = load i32, i32* [[ADDR]]
1190 ; CHECK-NEXT:    br label [[LATCH]]
1191 ; CHECK:       latch:
1192 ; CHECK-NEXT:    [[VAL_PHI:%.*]] = phi i32 [ 0, [[LOOP]] ], [ [[VAL]], [[PRED]] ]
1193 ; CHECK-NEXT:    [[ACCUM_NEXT]] = add i32 [[ACCUM]], [[VAL_PHI]]
1194 ; CHECK-NEXT:    [[EXIT:%.*]] = icmp ugt i64 [[IV]], 4094
1195 ; CHECK-NEXT:    br i1 [[EXIT]], label [[LOOP_EXIT]], label [[LOOP]], !llvm.loop !13
1196 ; CHECK:       loop_exit:
1197 ; CHECK-NEXT:    [[ACCUM_NEXT_LCSSA:%.*]] = phi i32 [ [[ACCUM_NEXT]], [[LATCH]] ], [ [[TMP85]], [[MIDDLE_BLOCK]] ]
1198 ; CHECK-NEXT:    ret i32 [[ACCUM_NEXT_LCSSA]]
1199 ;
1200 entry:
1201   %alloca = alloca [4095 x i32]
1202   %base = bitcast [4095 x i32]* %alloca to i32*
1203   call void @init(i32* %base)
1204   br label %loop
1205 loop:
1206   %iv = phi i64 [ 0, %entry ], [ %iv.next, %latch ]
1207   %accum = phi i32 [ 0, %entry ], [ %accum.next, %latch ]
1208   %iv.next = add i64 %iv, 1
1209   %test_addr = getelementptr inbounds i1, i1* %test_base, i64 %iv
1210   %earlycnd = load i1, i1* %test_addr
1211   br i1 %earlycnd, label %pred, label %latch
1212 pred:
1213   %addr = getelementptr inbounds i32, i32* %base, i64 %iv
1214   %val = load i32, i32* %addr
1215   br label %latch
1216 latch:
1217   %val.phi = phi i32 [0, %loop], [%val, %pred]
1218   %accum.next = add i32 %accum, %val.phi
1219   %exit = icmp ugt i64 %iv, 4094
1220   br i1 %exit, label %loop_exit, label %loop
1221
1222 loop_exit:
1223   ret i32 %accum.next
1224 }
1225
1226 define i32 @neg_off_by_one_byte(i64 %len, i1* %test_base) {
1227 ; CHECK-LABEL: @neg_off_by_one_byte(
1228 ; CHECK-NEXT:  entry:
1229 ; CHECK-NEXT:    [[ALLOCA:%.*]] = alloca [16383 x i8]
1230 ; CHECK-NEXT:    [[BASE:%.*]] = bitcast [16383 x i8]* [[ALLOCA]] to i32*
1231 ; CHECK-NEXT:    call void @init(i32* [[BASE]])
1232 ; CHECK-NEXT:    br i1 false, label [[SCALAR_PH:%.*]], label [[VECTOR_PH:%.*]]
1233 ; CHECK:       vector.ph:
1234 ; CHECK-NEXT:    br label [[VECTOR_BODY:%.*]]
1235 ; CHECK:       vector.body:
1236 ; CHECK-NEXT:    [[INDEX:%.*]] = phi i64 [ 0, [[VECTOR_PH]] ], [ [[INDEX_NEXT:%.*]], [[VECTOR_BODY]] ]
1237 ; CHECK-NEXT:    [[VEC_IND:%.*]] = phi <4 x i64> [ <i64 0, i64 1, i64 2, i64 3>, [[VECTOR_PH]] ], [ [[VEC_IND_NEXT:%.*]], [[VECTOR_BODY]] ]
1238 ; CHECK-NEXT:    [[VEC_PHI:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP68:%.*]], [[VECTOR_BODY]] ]
1239 ; CHECK-NEXT:    [[VEC_PHI4:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP69:%.*]], [[VECTOR_BODY]] ]
1240 ; CHECK-NEXT:    [[VEC_PHI5:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP70:%.*]], [[VECTOR_BODY]] ]
1241 ; CHECK-NEXT:    [[VEC_PHI6:%.*]] = phi <4 x i32> [ zeroinitializer, [[VECTOR_PH]] ], [ [[TMP71:%.*]], [[VECTOR_BODY]] ]
1242 ; CHECK-NEXT:    [[STEP_ADD:%.*]] = add <4 x i64> [[VEC_IND]], <i64 4, i64 4, i64 4, i64 4>
1243 ; CHECK-NEXT:    [[STEP_ADD1:%.*]] = add <4 x i64> [[STEP_ADD]], <i64 4, i64 4, i64 4, i64 4>
1244 ; CHECK-NEXT:    [[STEP_ADD2:%.*]] = add <4 x i64> [[STEP_ADD1]], <i64 4, i64 4, i64 4, i64 4>
1245 ; CHECK-NEXT:    [[TMP0:%.*]] = add i64 [[INDEX]], 0
1246 ; CHECK-NEXT:    [[TMP1:%.*]] = add i64 [[INDEX]], 1
1247 ; CHECK-NEXT:    [[TMP2:%.*]] = add i64 [[INDEX]], 2
1248 ; CHECK-NEXT:    [[TMP3:%.*]] = add i64 [[INDEX]], 3
1249 ; CHECK-NEXT:    [[TMP4:%.*]] = add i64 [[INDEX]], 4
1250 ; CHECK-NEXT:    [[TMP5:%.*]] = add i64 [[INDEX]], 5
1251 ; CHECK-NEXT:    [[TMP6:%.*]] = add i64 [[INDEX]], 6
1252 ; CHECK-NEXT:    [[TMP7:%.*]] = add i64 [[INDEX]], 7
1253 ; CHECK-NEXT:    [[TMP8:%.*]] = add i64 [[INDEX]], 8
1254 ; CHECK-NEXT:    [[TMP9:%.*]] = add i64 [[INDEX]], 9
1255 ; CHECK-NEXT:    [[TMP10:%.*]] = add i64 [[INDEX]], 10
1256 ; CHECK-NEXT:    [[TMP11:%.*]] = add i64 [[INDEX]], 11
1257 ; CHECK-NEXT:    [[TMP12:%.*]] = add i64 [[INDEX]], 12
1258 ; CHECK-NEXT:    [[TMP13:%.*]] = add i64 [[INDEX]], 13
1259 ; CHECK-NEXT:    [[TMP14:%.*]] = add i64 [[INDEX]], 14
1260 ; CHECK-NEXT:    [[TMP15:%.*]] = add i64 [[INDEX]], 15
1261 ; CHECK-NEXT:    [[TMP16:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE:%.*]], <4 x i64> [[VEC_IND]]
1262 ; CHECK-NEXT:    [[TMP17:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], <4 x i64> [[STEP_ADD]]
1263 ; CHECK-NEXT:    [[TMP18:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], <4 x i64> [[STEP_ADD1]]
1264 ; CHECK-NEXT:    [[TMP19:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], <4 x i64> [[STEP_ADD2]]
1265 ; CHECK-NEXT:    [[TMP20:%.*]] = load i1, i1* [[TEST_BASE]]
1266 ; CHECK-NEXT:    [[TMP21:%.*]] = load i1, i1* [[TEST_BASE]]
1267 ; CHECK-NEXT:    [[TMP22:%.*]] = load i1, i1* [[TEST_BASE]]
1268 ; CHECK-NEXT:    [[TMP23:%.*]] = load i1, i1* [[TEST_BASE]]
1269 ; CHECK-NEXT:    [[TMP24:%.*]] = insertelement <4 x i1> undef, i1 [[TMP20]], i32 0
1270 ; CHECK-NEXT:    [[TMP25:%.*]] = insertelement <4 x i1> [[TMP24]], i1 [[TMP21]], i32 1
1271 ; CHECK-NEXT:    [[TMP26:%.*]] = insertelement <4 x i1> [[TMP25]], i1 [[TMP22]], i32 2
1272 ; CHECK-NEXT:    [[TMP27:%.*]] = insertelement <4 x i1> [[TMP26]], i1 [[TMP23]], i32 3
1273 ; CHECK-NEXT:    [[TMP28:%.*]] = load i1, i1* [[TEST_BASE]]
1274 ; CHECK-NEXT:    [[TMP29:%.*]] = load i1, i1* [[TEST_BASE]]
1275 ; CHECK-NEXT:    [[TMP30:%.*]] = load i1, i1* [[TEST_BASE]]
1276 ; CHECK-NEXT:    [[TMP31:%.*]] = load i1, i1* [[TEST_BASE]]
1277 ; CHECK-NEXT:    [[TMP32:%.*]] = insertelement <4 x i1> undef, i1 [[TMP28]], i32 0
1278 ; CHECK-NEXT:    [[TMP33:%.*]] = insertelement <4 x i1> [[TMP32]], i1 [[TMP29]], i32 1
1279 ; CHECK-NEXT:    [[TMP34:%.*]] = insertelement <4 x i1> [[TMP33]], i1 [[TMP30]], i32 2
1280 ; CHECK-NEXT:    [[TMP35:%.*]] = insertelement <4 x i1> [[TMP34]], i1 [[TMP31]], i32 3
1281 ; CHECK-NEXT:    [[TMP36:%.*]] = load i1, i1* [[TEST_BASE]]
1282 ; CHECK-NEXT:    [[TMP37:%.*]] = load i1, i1* [[TEST_BASE]]
1283 ; CHECK-NEXT:    [[TMP38:%.*]] = load i1, i1* [[TEST_BASE]]
1284 ; CHECK-NEXT:    [[TMP39:%.*]] = load i1, i1* [[TEST_BASE]]
1285 ; CHECK-NEXT:    [[TMP40:%.*]] = insertelement <4 x i1> undef, i1 [[TMP36]], i32 0
1286 ; CHECK-NEXT:    [[TMP41:%.*]] = insertelement <4 x i1> [[TMP40]], i1 [[TMP37]], i32 1
1287 ; CHECK-NEXT:    [[TMP42:%.*]] = insertelement <4 x i1> [[TMP41]], i1 [[TMP38]], i32 2
1288 ; CHECK-NEXT:    [[TMP43:%.*]] = insertelement <4 x i1> [[TMP42]], i1 [[TMP39]], i32 3
1289 ; CHECK-NEXT:    [[TMP44:%.*]] = load i1, i1* [[TEST_BASE]]
1290 ; CHECK-NEXT:    [[TMP45:%.*]] = load i1, i1* [[TEST_BASE]]
1291 ; CHECK-NEXT:    [[TMP46:%.*]] = load i1, i1* [[TEST_BASE]]
1292 ; CHECK-NEXT:    [[TMP47:%.*]] = load i1, i1* [[TEST_BASE]]
1293 ; CHECK-NEXT:    [[TMP48:%.*]] = insertelement <4 x i1> undef, i1 [[TMP44]], i32 0
1294 ; CHECK-NEXT:    [[TMP49:%.*]] = insertelement <4 x i1> [[TMP48]], i1 [[TMP45]], i32 1
1295 ; CHECK-NEXT:    [[TMP50:%.*]] = insertelement <4 x i1> [[TMP49]], i1 [[TMP46]], i32 2
1296 ; CHECK-NEXT:    [[TMP51:%.*]] = insertelement <4 x i1> [[TMP50]], i1 [[TMP47]], i32 3
1297 ; CHECK-NEXT:    [[TMP52:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP0]]
1298 ; CHECK-NEXT:    [[TMP53:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP4]]
1299 ; CHECK-NEXT:    [[TMP54:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP8]]
1300 ; CHECK-NEXT:    [[TMP55:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[TMP12]]
1301 ; CHECK-NEXT:    [[TMP56:%.*]] = getelementptr inbounds i32, i32* [[TMP52]], i32 0
1302 ; CHECK-NEXT:    [[TMP57:%.*]] = bitcast i32* [[TMP56]] to <4 x i32>*
1303 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP57]], i32 4, <4 x i1> [[TMP27]], <4 x i32> undef)
1304 ; CHECK-NEXT:    [[TMP58:%.*]] = getelementptr inbounds i32, i32* [[TMP52]], i32 4
1305 ; CHECK-NEXT:    [[TMP59:%.*]] = bitcast i32* [[TMP58]] to <4 x i32>*
1306 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD7:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP59]], i32 4, <4 x i1> [[TMP35]], <4 x i32> undef)
1307 ; CHECK-NEXT:    [[TMP60:%.*]] = getelementptr inbounds i32, i32* [[TMP52]], i32 8
1308 ; CHECK-NEXT:    [[TMP61:%.*]] = bitcast i32* [[TMP60]] to <4 x i32>*
1309 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD8:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP61]], i32 4, <4 x i1> [[TMP43]], <4 x i32> undef)
1310 ; CHECK-NEXT:    [[TMP62:%.*]] = getelementptr inbounds i32, i32* [[TMP52]], i32 12
1311 ; CHECK-NEXT:    [[TMP63:%.*]] = bitcast i32* [[TMP62]] to <4 x i32>*
1312 ; CHECK-NEXT:    [[WIDE_MASKED_LOAD9:%.*]] = call <4 x i32> @llvm.masked.load.v4i32.p0v4i32(<4 x i32>* [[TMP63]], i32 4, <4 x i1> [[TMP51]], <4 x i32> undef)
1313 ; CHECK-NEXT:    [[TMP64:%.*]] = xor <4 x i1> [[TMP27]], <i1 true, i1 true, i1 true, i1 true>
1314 ; CHECK-NEXT:    [[TMP65:%.*]] = xor <4 x i1> [[TMP35]], <i1 true, i1 true, i1 true, i1 true>
1315 ; CHECK-NEXT:    [[TMP66:%.*]] = xor <4 x i1> [[TMP43]], <i1 true, i1 true, i1 true, i1 true>
1316 ; CHECK-NEXT:    [[TMP67:%.*]] = xor <4 x i1> [[TMP51]], <i1 true, i1 true, i1 true, i1 true>
1317 ; CHECK-NEXT:    [[PREDPHI:%.*]] = select <4 x i1> [[TMP27]], <4 x i32> [[WIDE_MASKED_LOAD]], <4 x i32> zeroinitializer
1318 ; CHECK-NEXT:    [[PREDPHI10:%.*]] = select <4 x i1> [[TMP35]], <4 x i32> [[WIDE_MASKED_LOAD7]], <4 x i32> zeroinitializer
1319 ; CHECK-NEXT:    [[PREDPHI11:%.*]] = select <4 x i1> [[TMP43]], <4 x i32> [[WIDE_MASKED_LOAD8]], <4 x i32> zeroinitializer
1320 ; CHECK-NEXT:    [[PREDPHI12:%.*]] = select <4 x i1> [[TMP51]], <4 x i32> [[WIDE_MASKED_LOAD9]], <4 x i32> zeroinitializer
1321 ; CHECK-NEXT:    [[TMP68]] = add <4 x i32> [[VEC_PHI]], [[PREDPHI]]
1322 ; CHECK-NEXT:    [[TMP69]] = add <4 x i32> [[VEC_PHI4]], [[PREDPHI10]]
1323 ; CHECK-NEXT:    [[TMP70]] = add <4 x i32> [[VEC_PHI5]], [[PREDPHI11]]
1324 ; CHECK-NEXT:    [[TMP71]] = add <4 x i32> [[VEC_PHI6]], [[PREDPHI12]]
1325 ; CHECK-NEXT:    [[INDEX_NEXT]] = add i64 [[INDEX]], 16
1326 ; CHECK-NEXT:    [[VEC_IND_NEXT]] = add <4 x i64> [[STEP_ADD2]], <i64 4, i64 4, i64 4, i64 4>
1327 ; CHECK-NEXT:    [[TMP72:%.*]] = icmp eq i64 [[INDEX_NEXT]], 4096
1328 ; CHECK-NEXT:    br i1 [[TMP72]], label [[MIDDLE_BLOCK:%.*]], label [[VECTOR_BODY]], !llvm.loop !14
1329 ; CHECK:       middle.block:
1330 ; CHECK-NEXT:    [[BIN_RDX:%.*]] = add <4 x i32> [[TMP69]], [[TMP68]]
1331 ; CHECK-NEXT:    [[BIN_RDX13:%.*]] = add <4 x i32> [[TMP70]], [[BIN_RDX]]
1332 ; CHECK-NEXT:    [[BIN_RDX14:%.*]] = add <4 x i32> [[TMP71]], [[BIN_RDX13]]
1333 ; CHECK-NEXT:    [[RDX_SHUF:%.*]] = shufflevector <4 x i32> [[BIN_RDX14]], <4 x i32> undef, <4 x i32> <i32 2, i32 3, i32 undef, i32 undef>
1334 ; CHECK-NEXT:    [[BIN_RDX15:%.*]] = add <4 x i32> [[BIN_RDX14]], [[RDX_SHUF]]
1335 ; CHECK-NEXT:    [[RDX_SHUF16:%.*]] = shufflevector <4 x i32> [[BIN_RDX15]], <4 x i32> undef, <4 x i32> <i32 1, i32 undef, i32 undef, i32 undef>
1336 ; CHECK-NEXT:    [[BIN_RDX17:%.*]] = add <4 x i32> [[BIN_RDX15]], [[RDX_SHUF16]]
1337 ; CHECK-NEXT:    [[TMP73:%.*]] = extractelement <4 x i32> [[BIN_RDX17]], i32 0
1338 ; CHECK-NEXT:    [[CMP_N:%.*]] = icmp eq i64 4096, 4096
1339 ; CHECK-NEXT:    br i1 [[CMP_N]], label [[LOOP_EXIT:%.*]], label [[SCALAR_PH]]
1340 ; CHECK:       scalar.ph:
1341 ; CHECK-NEXT:    [[BC_RESUME_VAL:%.*]] = phi i64 [ 4096, [[MIDDLE_BLOCK]] ], [ 0, [[ENTRY:%.*]] ]
1342 ; CHECK-NEXT:    [[BC_MERGE_RDX:%.*]] = phi i32 [ 0, [[ENTRY]] ], [ [[TMP73]], [[MIDDLE_BLOCK]] ]
1343 ; CHECK-NEXT:    br label [[LOOP:%.*]]
1344 ; CHECK:       loop:
1345 ; CHECK-NEXT:    [[IV:%.*]] = phi i64 [ [[BC_RESUME_VAL]], [[SCALAR_PH]] ], [ [[IV_NEXT:%.*]], [[LATCH:%.*]] ]
1346 ; CHECK-NEXT:    [[ACCUM:%.*]] = phi i32 [ [[BC_MERGE_RDX]], [[SCALAR_PH]] ], [ [[ACCUM_NEXT:%.*]], [[LATCH]] ]
1347 ; CHECK-NEXT:    [[IV_NEXT]] = add i64 [[IV]], 1
1348 ; CHECK-NEXT:    [[TEST_ADDR:%.*]] = getelementptr inbounds i1, i1* [[TEST_BASE]], i64 [[IV]]
1349 ; CHECK-NEXT:    [[EARLYCND:%.*]] = load i1, i1* [[TEST_BASE]]
1350 ; CHECK-NEXT:    br i1 [[EARLYCND]], label [[PRED:%.*]], label [[LATCH]]
1351 ; CHECK:       pred:
1352 ; CHECK-NEXT:    [[ADDR:%.*]] = getelementptr inbounds i32, i32* [[BASE]], i64 [[IV]]
1353 ; CHECK-NEXT:    [[VAL:%.*]] = load i32, i32* [[ADDR]]
1354 ; CHECK-NEXT:    br label [[LATCH]]
1355 ; CHECK:       latch:
1356 ; CHECK-NEXT:    [[VAL_PHI:%.*]] = phi i32 [ 0, [[LOOP]] ], [ [[VAL]], [[PRED]] ]
1357 ; CHECK-NEXT:    [[ACCUM_NEXT]] = add i32 [[ACCUM]], [[VAL_PHI]]
1358 ; CHECK-NEXT:    [[EXIT:%.*]] = icmp ugt i64 [[IV]], 4094
1359 ; CHECK-NEXT:    br i1 [[EXIT]], label [[LOOP_EXIT]], label [[LOOP]], !llvm.loop !15
1360 ; CHECK:       loop_exit:
1361 ; CHECK-NEXT:    [[ACCUM_NEXT_LCSSA:%.*]] = phi i32 [ [[ACCUM_NEXT]], [[LATCH]] ], [ [[TMP73]], [[MIDDLE_BLOCK]] ]
1362 ; CHECK-NEXT:    ret i32 [[ACCUM_NEXT_LCSSA]]
1363 ;
1364 entry:
1365   %alloca = alloca [16383 x i8]
1366   %base = bitcast [16383 x i8]* %alloca to i32*
1367   call void @init(i32* %base)
1368   br label %loop
1369 loop:
1370   %iv = phi i64 [ 0, %entry ], [ %iv.next, %latch ]
1371   %accum = phi i32 [ 0, %entry ], [ %accum.next, %latch ]
1372   %iv.next = add i64 %iv, 1
1373   %test_addr = getelementptr inbounds i1, i1* %test_base, i64 %iv
1374   %earlycnd = load i1, i1* %test_base
1375   br i1 %earlycnd, label %pred, label %latch
1376 pred:
1377   %addr = getelementptr inbounds i32, i32* %base, i64 %iv
1378   %val = load i32, i32* %addr
1379   br label %latch
1380 latch:
1381   %val.phi = phi i32 [0, %loop], [%val, %pred]
1382   %accum.next = add i32 %accum, %val.phi
1383   %exit = icmp ugt i64 %iv, 4094
1384   br i1 %exit, label %loop_exit, label %loop
1385
1386 loop_exit:
1387   ret i32 %accum.next
1388 }
1389
1390