llvm/test/Transforms/LoopVectorize/AArch64/force-target-instruction-cost.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_test_checks.py UTC_ARGS: --version 5
   2 ; RUN: opt -p loop-vectorize -force-target-instruction-cost=1 -S %s | FileCheck %s
   3
   4 target datalayout = "e-m:o-i64:64-i128:128-n32:64-S128-Fn32"
   5 target triple = "arm64-apple-macosx14.0.0"
   6
   7 define double @test_reduction_costs() {
   8 ; CHECK-LABEL: define double @test_reduction_costs() {
   9 ; CHECK-NEXT:  [[ENTRY:.*]]:
  10 ; CHECK-NEXT:    br i1 false, label %[[SCALAR_PH:.*]], label %[[VECTOR_PH:.*]]
  11 ; CHECK:       [[VECTOR_PH]]:
  12 ; CHECK-NEXT:    br label %[[VECTOR_BODY:.*]]
  13 ; CHECK:       [[VECTOR_BODY]]:
  14 ; CHECK-NEXT:    [[INDEX:%.*]] = phi i64 [ 0, %[[VECTOR_PH]] ], [ [[INDEX_NEXT:%.*]], %[[VECTOR_BODY]] ]
  15 ; CHECK-NEXT:    [[VEC_PHI:%.*]] = phi double [ 0.000000e+00, %[[VECTOR_PH]] ], [ [[TMP0:%.*]], %[[VECTOR_BODY]] ]
  16 ; CHECK-NEXT:    [[VEC_PHI1:%.*]] = phi double [ 0.000000e+00, %[[VECTOR_PH]] ], [ [[TMP1:%.*]], %[[VECTOR_BODY]] ]
  17 ; CHECK-NEXT:    [[TMP0]] = call double @llvm.vector.reduce.fadd.v2f64(double [[VEC_PHI]], <2 x double> splat (double 3.000000e+00))
  18 ; CHECK-NEXT:    [[TMP1]] = call double @llvm.vector.reduce.fadd.v2f64(double [[VEC_PHI1]], <2 x double> splat (double 9.000000e+00))
  19 ; CHECK-NEXT:    [[INDEX_NEXT]] = add nuw i64 [[INDEX]], 2
  20 ; CHECK-NEXT:    br i1 true, label %[[MIDDLE_BLOCK:.*]], label %[[VECTOR_BODY]], !llvm.loop [[LOOP0:![0-9]+]]
  21 ; CHECK:       [[MIDDLE_BLOCK]]:
  22 ; CHECK-NEXT:    br i1 true, label %[[EXIT:.*]], label %[[SCALAR_PH]]
  23 ; CHECK:       [[SCALAR_PH]]:
  24 ; CHECK-NEXT:    [[BC_RESUME_VAL:%.*]] = phi i64 [ 2, %[[MIDDLE_BLOCK]] ], [ 0, %[[ENTRY]] ]
  25 ; CHECK-NEXT:    [[BC_MERGE_RDX:%.*]] = phi double [ [[TMP0]], %[[MIDDLE_BLOCK]] ], [ 0.000000e+00, %[[ENTRY]] ]
  26 ; CHECK-NEXT:    [[BC_MERGE_RDX2:%.*]] = phi double [ [[TMP1]], %[[MIDDLE_BLOCK]] ], [ 0.000000e+00, %[[ENTRY]] ]
  27 ; CHECK-NEXT:    br label %[[LOOP_1:.*]]
  28 ; CHECK:       [[LOOP_1]]:
  29 ; CHECK-NEXT:    [[IV:%.*]] = phi i64 [ [[BC_RESUME_VAL]], %[[SCALAR_PH]] ], [ [[IV_NEXT:%.*]], %[[LOOP_1]] ]
  30 ; CHECK-NEXT:    [[R_1:%.*]] = phi double [ [[BC_MERGE_RDX]], %[[SCALAR_PH]] ], [ [[R_1_NEXT:%.*]], %[[LOOP_1]] ]
  31 ; CHECK-NEXT:    [[R_2:%.*]] = phi double [ [[BC_MERGE_RDX2]], %[[SCALAR_PH]] ], [ [[R_2_NEXT:%.*]], %[[LOOP_1]] ]
  32 ; CHECK-NEXT:    [[R_1_NEXT]] = fadd double [[R_1]], 3.000000e+00
  33 ; CHECK-NEXT:    [[R_2_NEXT]] = fadd double [[R_2]], 9.000000e+00
  34 ; CHECK-NEXT:    [[IV_NEXT]] = add i64 [[IV]], 1
  35 ; CHECK-NEXT:    [[EC:%.*]] = icmp eq i64 [[IV]], 1
  36 ; CHECK-NEXT:    br i1 [[EC]], label %[[EXIT]], label %[[LOOP_1]], !llvm.loop [[LOOP3:![0-9]+]]
  37 ; CHECK:       [[EXIT]]:
  38 ; CHECK-NEXT:    [[R_1_NEXT_LCSSA:%.*]] = phi double [ [[R_1_NEXT]], %[[LOOP_1]] ], [ [[TMP0]], %[[MIDDLE_BLOCK]] ]
  39 ; CHECK-NEXT:    [[R_2_NEXT_LCSSA:%.*]] = phi double [ [[R_2_NEXT]], %[[LOOP_1]] ], [ [[TMP1]], %[[MIDDLE_BLOCK]] ]
  40 ; CHECK-NEXT:    [[DIV:%.*]] = fmul double [[R_1_NEXT_LCSSA]], [[R_2_NEXT_LCSSA]]
  41 ; CHECK-NEXT:    ret double [[DIV]]
  42 ;
  43 entry:
  44   br label %loop.1
  45
  46 loop.1:
  47   %iv = phi i64 [ 0, %entry ], [ %iv.next, %loop.1 ]
  48   %r.1 = phi double [ 0.000000e+00, %entry ], [ %r.1.next, %loop.1 ]
  49   %r.2 = phi double [ 0.000000e+00, %entry ], [ %r.2.next, %loop.1 ]
  50   %r.1.next = fadd double %r.1, 3.000000e+00
  51   %r.2.next = fadd double %r.2, 9.000000e+00
  52   %iv.next = add i64 %iv, 1
  53   %ec = icmp eq i64 %iv, 1
  54   br i1 %ec, label %exit, label %loop.1
  55
  56 exit:
  57   %div = fmul double %r.1.next, %r.2.next
  58   ret double %div
  59 }
  60
  61 define void @test_iv_cost(ptr %ptr.start, i8 %a, i64 %b) {
  62 ; CHECK-LABEL: define void @test_iv_cost(
  63 ; CHECK-SAME: ptr [[PTR_START:%.*]], i8 [[A:%.*]], i64 [[B:%.*]]) {
  64 ; CHECK-NEXT:  [[ENTRY:.*:]]
  65 ; CHECK-NEXT:    [[A_EXT:%.*]] = zext i8 [[A]] to i64
  66 ; CHECK-NEXT:    [[START:%.*]] = call i64 @llvm.umin.i64(i64 [[B]], i64 [[A_EXT]])
  67 ; CHECK-NEXT:    [[C:%.*]] = icmp eq i64 [[START]], 0
  68 ; CHECK-NEXT:    br i1 [[C]], label %[[EXIT:.*]], label %[[ITER_CHECK:.*]]
  69 ; CHECK:       [[ITER_CHECK]]:
  70 ; CHECK-NEXT:    [[MIN_ITERS_CHECK:%.*]] = icmp ult i64 [[START]], 4
  71 ; CHECK-NEXT:    br i1 [[MIN_ITERS_CHECK]], label %[[VEC_EPILOG_SCALAR_PH:.*]], label %[[VECTOR_MAIN_LOOP_ITER_CHECK:.*]]
  72 ; CHECK:       [[VECTOR_MAIN_LOOP_ITER_CHECK]]:
  73 ; CHECK-NEXT:    [[MIN_ITERS_CHECK1:%.*]] = icmp ult i64 [[START]], 32
  74 ; CHECK-NEXT:    br i1 [[MIN_ITERS_CHECK1]], label %[[VEC_EPILOG_PH:.*]], label %[[VECTOR_PH:.*]]
  75 ; CHECK:       [[VECTOR_PH]]:
  76 ; CHECK-NEXT:    [[N_MOD_VF:%.*]] = urem i64 [[START]], 32
  77 ; CHECK-NEXT:    [[N_VEC:%.*]] = sub i64 [[START]], [[N_MOD_VF]]
  78 ; CHECK-NEXT:    br label %[[VECTOR_BODY:.*]]
  79 ; CHECK:       [[VECTOR_BODY]]:
  80 ; CHECK-NEXT:    [[INDEX1:%.*]] = phi i64 [ 0, %[[VECTOR_PH]] ], [ [[INDEX_NEXT:%.*]], %[[VECTOR_BODY]] ]
  81 ; CHECK-NEXT:    [[TMP5:%.*]] = add i64 [[INDEX1]], 0
  82 ; CHECK-NEXT:    [[NEXT_GEP1:%.*]] = getelementptr i8, ptr [[PTR_START]], i64 [[TMP5]]
  83 ; CHECK-NEXT:    [[TMP6:%.*]] = getelementptr i8, ptr [[NEXT_GEP1]], i32 0
  84 ; CHECK-NEXT:    [[TMP3:%.*]] = getelementptr i8, ptr [[NEXT_GEP1]], i32 16
  85 ; CHECK-NEXT:    store <16 x i8> zeroinitializer, ptr [[TMP6]], align 1
  86 ; CHECK-NEXT:    store <16 x i8> zeroinitializer, ptr [[TMP3]], align 1
  87 ; CHECK-NEXT:    [[INDEX_NEXT]] = add nuw i64 [[INDEX1]], 32
  88 ; CHECK-NEXT:    [[TMP4:%.*]] = icmp eq i64 [[INDEX_NEXT]], [[N_VEC]]
  89 ; CHECK-NEXT:    br i1 [[TMP4]], label %[[MIDDLE_BLOCK:.*]], label %[[VECTOR_BODY]], !llvm.loop [[LOOP4:![0-9]+]]
  90 ; CHECK:       [[MIDDLE_BLOCK]]:
  91 ; CHECK-NEXT:    [[CMP_N:%.*]] = icmp eq i64 [[START]], [[N_VEC]]
  92 ; CHECK-NEXT:    br i1 [[CMP_N]], label %[[EXIT_LOOPEXIT:.*]], label %[[VEC_EPILOG_ITER_CHECK:.*]]
  93 ; CHECK:       [[VEC_EPILOG_ITER_CHECK]]:
  94 ; CHECK-NEXT:    [[IND_END:%.*]] = sub i64 [[START]], [[N_VEC]]
  95 ; CHECK-NEXT:    [[IND_END2:%.*]] = getelementptr i8, ptr [[PTR_START]], i64 [[N_VEC]]
  96 ; CHECK-NEXT:    [[N_VEC_REMAINING:%.*]] = sub i64 [[START]], [[N_VEC]]
  97 ; CHECK-NEXT:    [[MIN_EPILOG_ITERS_CHECK:%.*]] = icmp ult i64 [[N_VEC_REMAINING]], 4
  98 ; CHECK-NEXT:    br i1 [[MIN_EPILOG_ITERS_CHECK]], label %[[VEC_EPILOG_SCALAR_PH]], label %[[VEC_EPILOG_PH]]
  99 ; CHECK:       [[VEC_EPILOG_PH]]:
 100 ; CHECK-NEXT:    [[VEC_EPILOG_RESUME_VAL:%.*]] = phi i64 [ [[N_VEC]], %[[VEC_EPILOG_ITER_CHECK]] ], [ 0, %[[VECTOR_MAIN_LOOP_ITER_CHECK]] ]
 101 ; CHECK-NEXT:    [[N_MOD_VF2:%.*]] = urem i64 [[START]], 4
 102 ; CHECK-NEXT:    [[N_VEC3:%.*]] = sub i64 [[START]], [[N_MOD_VF2]]
 103 ; CHECK-NEXT:    [[IND_END1:%.*]] = sub i64 [[START]], [[N_VEC3]]
 104 ; CHECK-NEXT:    [[IND_END5:%.*]] = getelementptr i8, ptr [[PTR_START]], i64 [[N_VEC3]]
 105 ; CHECK-NEXT:    br label %[[VEC_EPILOG_VECTOR_BODY:.*]]
 106 ; CHECK:       [[VEC_EPILOG_VECTOR_BODY]]:
 107 ; CHECK-NEXT:    [[INDEX:%.*]] = phi i64 [ [[VEC_EPILOG_RESUME_VAL]], %[[VEC_EPILOG_PH]] ], [ [[INDEX_NEXT10:%.*]], %[[VEC_EPILOG_VECTOR_BODY]] ]
 108 ; CHECK-NEXT:    [[TMP0:%.*]] = add i64 [[INDEX]], 0
 109 ; CHECK-NEXT:    [[NEXT_GEP:%.*]] = getelementptr i8, ptr [[PTR_START]], i64 [[TMP0]]
 110 ; CHECK-NEXT:    [[TMP2:%.*]] = getelementptr i8, ptr [[NEXT_GEP]], i32 0
 111 ; CHECK-NEXT:    store <4 x i8> zeroinitializer, ptr [[TMP2]], align 1
 112 ; CHECK-NEXT:    [[INDEX_NEXT10]] = add nuw i64 [[INDEX]], 4
 113 ; CHECK-NEXT:    [[TMP7:%.*]] = icmp eq i64 [[INDEX_NEXT10]], [[N_VEC3]]
 114 ; CHECK-NEXT:    br i1 [[TMP7]], label %[[VEC_EPILOG_MIDDLE_BLOCK:.*]], label %[[VEC_EPILOG_VECTOR_BODY]], !llvm.loop [[LOOP5:![0-9]+]]
 115 ; CHECK:       [[VEC_EPILOG_MIDDLE_BLOCK]]:
 116 ; CHECK-NEXT:    [[CMP_N11:%.*]] = icmp eq i64 [[START]], [[N_VEC3]]
 117 ; CHECK-NEXT:    br i1 [[CMP_N11]], label %[[EXIT_LOOPEXIT]], label %[[VEC_EPILOG_SCALAR_PH]]
 118 ; CHECK:       [[VEC_EPILOG_SCALAR_PH]]:
 119 ; CHECK-NEXT:    [[BC_RESUME_VAL:%.*]] = phi i64 [ [[IND_END1]], %[[VEC_EPILOG_MIDDLE_BLOCK]] ], [ [[START]], %[[ITER_CHECK]] ], [ [[IND_END]], %[[VEC_EPILOG_ITER_CHECK]] ]
 120 ; CHECK-NEXT:    [[BC_RESUME_VAL9:%.*]] = phi ptr [ [[IND_END5]], %[[VEC_EPILOG_MIDDLE_BLOCK]] ], [ [[PTR_START]], %[[ITER_CHECK]] ], [ [[IND_END2]], %[[VEC_EPILOG_ITER_CHECK]] ]
 121 ; CHECK-NEXT:    br label %[[LOOP:.*]]
 122 ; CHECK:       [[LOOP]]:
 123 ; CHECK-NEXT:    [[IV:%.*]] = phi i64 [ [[IV_NEXT:%.*]], %[[LOOP]] ], [ [[BC_RESUME_VAL]], %[[VEC_EPILOG_SCALAR_PH]] ]
 124 ; CHECK-NEXT:    [[PTR_IV:%.*]] = phi ptr [ [[PTR_IV_NEXT:%.*]], %[[LOOP]] ], [ [[BC_RESUME_VAL9]], %[[VEC_EPILOG_SCALAR_PH]] ]
 125 ; CHECK-NEXT:    [[IV_NEXT]] = add i64 [[IV]], -1
 126 ; CHECK-NEXT:    [[PTR_IV_NEXT]] = getelementptr i8, ptr [[PTR_IV]], i64 1
 127 ; CHECK-NEXT:    store i8 0, ptr [[PTR_IV]], align 1
 128 ; CHECK-NEXT:    [[EC:%.*]] = icmp eq i64 [[IV_NEXT]], 0
 129 ; CHECK-NEXT:    br i1 [[EC]], label %[[EXIT_LOOPEXIT]], label %[[LOOP]], !llvm.loop [[LOOP6:![0-9]+]]
 130 ; CHECK:       [[EXIT_LOOPEXIT]]:
 131 ; CHECK-NEXT:    br label %[[EXIT]]
 132 ; CHECK:       [[EXIT]]:
 133 ; CHECK-NEXT:    ret void
 134 ;
 135 entry:
 136   %a.ext = zext i8 %a to i64
 137   %start = call i64 @llvm.umin.i64(i64 %b, i64 %a.ext)
 138   %c = icmp eq i64 %start, 0
 139   br i1 %c, label %exit, label %loop
 140
 141 loop:
 142   %iv = phi i64 [ %start, %entry ], [ %iv.next, %loop ]
 143   %ptr.iv = phi ptr [ %ptr.start, %entry ], [ %ptr.iv.next, %loop ]
 144   %iv.next = add i64 %iv, -1
 145   %ptr.iv.next = getelementptr i8, ptr %ptr.iv, i64 1
 146   store i8 0, ptr %ptr.iv, align 1
 147   %ec = icmp eq i64 %iv.next, 0
 148   br i1 %ec, label %exit, label %loop
 149
 150 exit:
 151   ret void
 152 }
 153
 154 define void @test_exit_branch_cost(ptr %dst, ptr noalias %x.ptr, ptr noalias %y.ptr, ptr %dst.1, i1 %c.4, ptr %src, ptr %dst.3, i1 %c.3, ptr %dst.2) {
 155 ; CHECK-LABEL: define void @test_exit_branch_cost(
 156 ; CHECK-SAME: ptr [[DST:%.*]], ptr noalias [[X_PTR:%.*]], ptr noalias [[Y_PTR:%.*]], ptr [[DST_1:%.*]], i1 [[C_4:%.*]], ptr [[SRC:%.*]], ptr [[DST_3:%.*]], i1 [[C_3:%.*]], ptr [[DST_2:%.*]]) {
 157 ; CHECK-NEXT:  [[ENTRY:.*]]:
 158 ; CHECK-NEXT:    br i1 false, label %[[SCALAR_PH:.*]], label %[[VECTOR_MEMCHECK:.*]]
 159 ; CHECK:       [[VECTOR_MEMCHECK]]:
 160 ; CHECK-NEXT:    [[SCEVGEP:%.*]] = getelementptr i8, ptr [[DST_1]], i64 8
 161 ; CHECK-NEXT:    [[SCEVGEP1:%.*]] = getelementptr i8, ptr [[DST_3]], i64 8
 162 ; CHECK-NEXT:    [[SCEVGEP2:%.*]] = getelementptr i8, ptr [[DST_2]], i64 8
 163 ; CHECK-NEXT:    [[SCEVGEP3:%.*]] = getelementptr i8, ptr [[DST]], i64 8
 164 ; CHECK-NEXT:    [[SCEVGEP4:%.*]] = getelementptr i8, ptr [[SRC]], i64 8
 165 ; CHECK-NEXT:    [[BOUND0:%.*]] = icmp ult ptr [[DST_1]], [[SCEVGEP1]]
 166 ; CHECK-NEXT:    [[BOUND1:%.*]] = icmp ult ptr [[DST_3]], [[SCEVGEP]]
 167 ; CHECK-NEXT:    [[FOUND_CONFLICT:%.*]] = and i1 [[BOUND0]], [[BOUND1]]
 168 ; CHECK-NEXT:    [[BOUND05:%.*]] = icmp ult ptr [[DST_1]], [[SCEVGEP2]]
 169 ; CHECK-NEXT:    [[BOUND16:%.*]] = icmp ult ptr [[DST_2]], [[SCEVGEP]]
 170 ; CHECK-NEXT:    [[FOUND_CONFLICT7:%.*]] = and i1 [[BOUND05]], [[BOUND16]]
 171 ; CHECK-NEXT:    [[CONFLICT_RDX:%.*]] = or i1 [[FOUND_CONFLICT]], [[FOUND_CONFLICT7]]
 172 ; CHECK-NEXT:    [[BOUND08:%.*]] = icmp ult ptr [[DST_1]], [[SCEVGEP3]]
 173 ; CHECK-NEXT:    [[BOUND19:%.*]] = icmp ult ptr [[DST]], [[SCEVGEP]]
 174 ; CHECK-NEXT:    [[FOUND_CONFLICT10:%.*]] = and i1 [[BOUND08]], [[BOUND19]]
 175 ; CHECK-NEXT:    [[CONFLICT_RDX21:%.*]] = or i1 [[CONFLICT_RDX]], [[FOUND_CONFLICT10]]
 176 ; CHECK-NEXT:    [[BOUND012:%.*]] = icmp ult ptr [[DST_1]], [[SCEVGEP4]]
 177 ; CHECK-NEXT:    [[BOUND113:%.*]] = icmp ult ptr [[SRC]], [[SCEVGEP]]
 178 ; CHECK-NEXT:    [[FOUND_CONFLICT14:%.*]] = and i1 [[BOUND012]], [[BOUND113]]
 179 ; CHECK-NEXT:    [[CONFLICT_RDX15:%.*]] = or i1 [[CONFLICT_RDX21]], [[FOUND_CONFLICT14]]
 180 ; CHECK-NEXT:    [[BOUND016:%.*]] = icmp ult ptr [[DST_3]], [[SCEVGEP2]]
 181 ; CHECK-NEXT:    [[BOUND117:%.*]] = icmp ult ptr [[DST_2]], [[SCEVGEP1]]
 182 ; CHECK-NEXT:    [[FOUND_CONFLICT18:%.*]] = and i1 [[BOUND016]], [[BOUND117]]
 183 ; CHECK-NEXT:    [[CONFLICT_RDX19:%.*]] = or i1 [[CONFLICT_RDX15]], [[FOUND_CONFLICT18]]
 184 ; CHECK-NEXT:    [[BOUND020:%.*]] = icmp ult ptr [[DST_3]], [[SCEVGEP3]]
 185 ; CHECK-NEXT:    [[BOUND121:%.*]] = icmp ult ptr [[DST]], [[SCEVGEP1]]
 186 ; CHECK-NEXT:    [[FOUND_CONFLICT22:%.*]] = and i1 [[BOUND020]], [[BOUND121]]
 187 ; CHECK-NEXT:    [[CONFLICT_RDX41:%.*]] = or i1 [[CONFLICT_RDX19]], [[FOUND_CONFLICT22]]
 188 ; CHECK-NEXT:    [[BOUND024:%.*]] = icmp ult ptr [[DST_3]], [[SCEVGEP4]]
 189 ; CHECK-NEXT:    [[BOUND125:%.*]] = icmp ult ptr [[SRC]], [[SCEVGEP1]]
 190 ; CHECK-NEXT:    [[FOUND_CONFLICT26:%.*]] = and i1 [[BOUND024]], [[BOUND125]]
 191 ; CHECK-NEXT:    [[CONFLICT_RDX27:%.*]] = or i1 [[CONFLICT_RDX41]], [[FOUND_CONFLICT26]]
 192 ; CHECK-NEXT:    [[BOUND028:%.*]] = icmp ult ptr [[DST_2]], [[SCEVGEP3]]
 193 ; CHECK-NEXT:    [[BOUND129:%.*]] = icmp ult ptr [[DST]], [[SCEVGEP2]]
 194 ; CHECK-NEXT:    [[FOUND_CONFLICT30:%.*]] = and i1 [[BOUND028]], [[BOUND129]]
 195 ; CHECK-NEXT:    [[CONFLICT_RDX65:%.*]] = or i1 [[CONFLICT_RDX27]], [[FOUND_CONFLICT30]]
 196 ; CHECK-NEXT:    [[BOUND032:%.*]] = icmp ult ptr [[DST_2]], [[SCEVGEP4]]
 197 ; CHECK-NEXT:    [[BOUND133:%.*]] = icmp ult ptr [[SRC]], [[SCEVGEP2]]
 198 ; CHECK-NEXT:    [[FOUND_CONFLICT68:%.*]] = and i1 [[BOUND032]], [[BOUND133]]
 199 ; CHECK-NEXT:    [[CONFLICT_RDX35:%.*]] = or i1 [[CONFLICT_RDX65]], [[FOUND_CONFLICT68]]
 200 ; CHECK-NEXT:    [[BOUND036:%.*]] = icmp ult ptr [[DST]], [[SCEVGEP4]]
 201 ; CHECK-NEXT:    [[BOUND137:%.*]] = icmp ult ptr [[SRC]], [[SCEVGEP3]]
 202 ; CHECK-NEXT:    [[FOUND_CONFLICT38:%.*]] = and i1 [[BOUND036]], [[BOUND137]]
 203 ; CHECK-NEXT:    [[CONFLICT_RDX39:%.*]] = or i1 [[CONFLICT_RDX35]], [[FOUND_CONFLICT38]]
 204 ; CHECK-NEXT:    br i1 [[CONFLICT_RDX39]], label %[[SCALAR_PH]], label %[[VECTOR_PH:.*]]
 205 ; CHECK:       [[VECTOR_PH]]:
 206 ; CHECK-NEXT:    [[BROADCAST_SPLATINSERT40:%.*]] = insertelement <2 x i1> poison, i1 [[C_3]], i64 0
 207 ; CHECK-NEXT:    [[BROADCAST_SPLAT41:%.*]] = shufflevector <2 x i1> [[BROADCAST_SPLATINSERT40]], <2 x i1> poison, <2 x i32> zeroinitializer
 208 ; CHECK-NEXT:    [[TMP2:%.*]] = select i1 [[C_4]], <2 x i1> [[BROADCAST_SPLAT41]], <2 x i1> zeroinitializer
 209 ; CHECK-NEXT:    [[TMP11:%.*]] = xor <2 x i1> [[TMP2]], splat (i1 true)
 210 ; CHECK-NEXT:    [[BROADCAST_SPLATINSERT56:%.*]] = insertelement <2 x i1> poison, i1 [[C_4]], i64 0
 211 ; CHECK-NEXT:    [[BROADCAST_SPLAT57:%.*]] = shufflevector <2 x i1> [[BROADCAST_SPLATINSERT56]], <2 x i1> poison, <2 x i32> zeroinitializer
 212 ; CHECK-NEXT:    [[TMP33:%.*]] = xor <2 x i1> [[BROADCAST_SPLAT57]], splat (i1 true)
 213 ; CHECK-NEXT:    br label %[[VECTOR_BODY:.*]]
 214 ; CHECK:       [[VECTOR_BODY]]:
 215 ; CHECK-NEXT:    [[INDEX:%.*]] = phi i64 [ 0, %[[VECTOR_PH]] ], [ [[INDEX_NEXT:%.*]], %[[PRED_STORE_CONTINUE55:.*]] ]
 216 ; CHECK-NEXT:    [[TMP3:%.*]] = add i64 [[INDEX]], 0
 217 ; CHECK-NEXT:    [[TMP4:%.*]] = getelementptr i64, ptr [[X_PTR]], i64 [[TMP3]]
 218 ; CHECK-NEXT:    [[TMP6:%.*]] = getelementptr i64, ptr [[TMP4]], i32 0
 219 ; CHECK-NEXT:    [[WIDE_LOAD:%.*]] = load <2 x i64>, ptr [[TMP6]], align 8
 220 ; CHECK-NEXT:    [[TMP47:%.*]] = icmp eq <2 x i64> [[WIDE_LOAD]], zeroinitializer
 221 ; CHECK-NEXT:    [[TMP5:%.*]] = xor <2 x i1> [[TMP47]], splat (i1 true)
 222 ; CHECK-NEXT:    [[TMP8:%.*]] = extractelement <2 x i1> [[TMP5]], i32 0
 223 ; CHECK-NEXT:    br i1 [[TMP8]], label %[[PRED_STORE_IF:.*]], label %[[PRED_STORE_CONTINUE:.*]]
 224 ; CHECK:       [[PRED_STORE_IF]]:
 225 ; CHECK-NEXT:    store i64 0, ptr [[DST_1]], align 8, !alias.scope [[META7:![0-9]+]], !noalias [[META10:![0-9]+]]
 226 ; CHECK-NEXT:    br label %[[PRED_STORE_CONTINUE]]
 227 ; CHECK:       [[PRED_STORE_CONTINUE]]:
 228 ; CHECK-NEXT:    [[TMP9:%.*]] = extractelement <2 x i1> [[TMP5]], i32 1
 229 ; CHECK-NEXT:    br i1 [[TMP9]], label %[[PRED_STORE_IF42:.*]], label %[[PRED_STORE_CONTINUE43:.*]]
 230 ; CHECK:       [[PRED_STORE_IF42]]:
 231 ; CHECK-NEXT:    store i64 0, ptr [[DST_1]], align 8, !alias.scope [[META7]], !noalias [[META10]]
 232 ; CHECK-NEXT:    br label %[[PRED_STORE_CONTINUE43]]
 233 ; CHECK:       [[PRED_STORE_CONTINUE43]]:
 234 ; CHECK-NEXT:    [[TMP13:%.*]] = select <2 x i1> [[TMP5]], <2 x i1> [[TMP11]], <2 x i1> zeroinitializer
 235 ; CHECK-NEXT:    [[TMP16:%.*]] = extractelement <2 x i1> [[TMP13]], i32 0
 236 ; CHECK-NEXT:    br i1 [[TMP16]], label %[[PRED_STORE_IF44:.*]], label %[[PRED_STORE_CONTINUE45:.*]]
 237 ; CHECK:       [[PRED_STORE_IF44]]:
 238 ; CHECK-NEXT:    store i64 0, ptr [[DST_3]], align 8, !alias.scope [[META15:![0-9]+]], !noalias [[META16:![0-9]+]]
 239 ; CHECK-NEXT:    br label %[[PRED_STORE_CONTINUE45]]
 240 ; CHECK:       [[PRED_STORE_CONTINUE45]]:
 241 ; CHECK-NEXT:    [[TMP17:%.*]] = extractelement <2 x i1> [[TMP13]], i32 1
 242 ; CHECK-NEXT:    br i1 [[TMP17]], label %[[PRED_STORE_IF46:.*]], label %[[PRED_STORE_CONTINUE47:.*]]
 243 ; CHECK:       [[PRED_STORE_IF46]]:
 244 ; CHECK-NEXT:    store i64 0, ptr [[DST_3]], align 8, !alias.scope [[META15]], !noalias [[META16]]
 245 ; CHECK-NEXT:    br label %[[PRED_STORE_CONTINUE47]]
 246 ; CHECK:       [[PRED_STORE_CONTINUE47]]:
 247 ; CHECK-NEXT:    [[TMP19:%.*]] = select <2 x i1> [[TMP5]], <2 x i1> [[BROADCAST_SPLAT41]], <2 x i1> zeroinitializer
 248 ; CHECK-NEXT:    [[TMP21:%.*]] = select <2 x i1> [[TMP19]], <2 x i1> [[BROADCAST_SPLAT57]], <2 x i1> zeroinitializer
 249 ; CHECK-NEXT:    [[TMP23:%.*]] = or <2 x i1> [[TMP47]], [[TMP21]]
 250 ; CHECK-NEXT:    [[PREDPHI58:%.*]] = select <2 x i1> [[TMP21]], <2 x i64> zeroinitializer, <2 x i64> splat (i64 1)
 251 ; CHECK-NEXT:    [[TMP28:%.*]] = extractelement <2 x i1> [[TMP23]], i32 0
 252 ; CHECK-NEXT:    br i1 [[TMP28]], label %[[PRED_STORE_IF48:.*]], label %[[PRED_STORE_CONTINUE49:.*]]
 253 ; CHECK:       [[PRED_STORE_IF48]]:
 254 ; CHECK-NEXT:    [[TMP29:%.*]] = extractelement <2 x i64> [[PREDPHI58]], i32 0
 255 ; CHECK-NEXT:    store i64 [[TMP29]], ptr [[DST_2]], align 8, !alias.scope [[META17:![0-9]+]], !noalias [[META18:![0-9]+]]
 256 ; CHECK-NEXT:    br label %[[PRED_STORE_CONTINUE49]]
 257 ; CHECK:       [[PRED_STORE_CONTINUE49]]:
 258 ; CHECK-NEXT:    [[TMP30:%.*]] = extractelement <2 x i1> [[TMP23]], i32 1
 259 ; CHECK-NEXT:    br i1 [[TMP30]], label %[[PRED_STORE_IF50:.*]], label %[[PRED_STORE_CONTINUE51:.*]]
 260 ; CHECK:       [[PRED_STORE_IF50]]:
 261 ; CHECK-NEXT:    [[TMP31:%.*]] = extractelement <2 x i64> [[PREDPHI58]], i32 1
 262 ; CHECK-NEXT:    store i64 [[TMP31]], ptr [[DST_2]], align 8, !alias.scope [[META17]], !noalias [[META18]]
 263 ; CHECK-NEXT:    br label %[[PRED_STORE_CONTINUE51]]
 264 ; CHECK:       [[PRED_STORE_CONTINUE51]]:
 265 ; CHECK-NEXT:    [[TMP35:%.*]] = select <2 x i1> [[TMP19]], <2 x i1> [[TMP33]], <2 x i1> zeroinitializer
 266 ; CHECK-NEXT:    [[TMP37:%.*]] = or <2 x i1> [[TMP23]], [[TMP35]]
 267 ; CHECK-NEXT:    [[TMP42:%.*]] = extractelement <2 x i1> [[TMP37]], i32 0
 268 ; CHECK-NEXT:    br i1 [[TMP42]], label %[[PRED_STORE_IF52:.*]], label %[[PRED_STORE_CONTINUE53:.*]]
 269 ; CHECK:       [[PRED_STORE_IF52]]:
 270 ; CHECK-NEXT:    [[TMP24:%.*]] = load i64, ptr [[SRC]], align 8, !alias.scope [[META19:![0-9]+]]
 271 ; CHECK-NEXT:    store i64 [[TMP24]], ptr [[DST]], align 8, !alias.scope [[META20:![0-9]+]], !noalias [[META19]]
 272 ; CHECK-NEXT:    br label %[[PRED_STORE_CONTINUE53]]
 273 ; CHECK:       [[PRED_STORE_CONTINUE53]]:
 274 ; CHECK-NEXT:    [[TMP44:%.*]] = extractelement <2 x i1> [[TMP37]], i32 1
 275 ; CHECK-NEXT:    br i1 [[TMP44]], label %[[PRED_STORE_IF54:.*]], label %[[PRED_STORE_CONTINUE55]]
 276 ; CHECK:       [[PRED_STORE_IF54]]:
 277 ; CHECK-NEXT:    [[TMP25:%.*]] = load i64, ptr [[SRC]], align 8, !alias.scope [[META19]]
 278 ; CHECK-NEXT:    store i64 [[TMP25]], ptr [[DST]], align 8, !alias.scope [[META20]], !noalias [[META19]]
 279 ; CHECK-NEXT:    br label %[[PRED_STORE_CONTINUE55]]
 280 ; CHECK:       [[PRED_STORE_CONTINUE55]]:
 281 ; CHECK-NEXT:    [[INDEX_NEXT]] = add nuw i64 [[INDEX]], 2
 282 ; CHECK-NEXT:    [[TMP46:%.*]] = icmp eq i64 [[INDEX_NEXT]], 64
 283 ; CHECK-NEXT:    br i1 [[TMP46]], label %[[MIDDLE_BLOCK:.*]], label %[[VECTOR_BODY]], !llvm.loop [[LOOP21:![0-9]+]]
 284 ; CHECK:       [[MIDDLE_BLOCK]]:
 285 ; CHECK-NEXT:    br i1 false, label %[[EXIT:.*]], label %[[SCALAR_PH]]
 286 ; CHECK:       [[SCALAR_PH]]:
 287 ; CHECK-NEXT:    [[BC_RESUME_VAL:%.*]] = phi i64 [ 64, %[[MIDDLE_BLOCK]] ], [ 0, %[[VECTOR_MEMCHECK]] ], [ 0, %[[ENTRY]] ]
 288 ; CHECK-NEXT:    br label %[[LOOP_HEADER:.*]]
 289 ; CHECK:       [[LOOP_HEADER]]:
 290 ; CHECK-NEXT:    [[IV:%.*]] = phi i64 [ [[IV_NEXT:%.*]], %[[LOOP_LATCH:.*]] ], [ [[BC_RESUME_VAL]], %[[SCALAR_PH]] ]
 291 ; CHECK-NEXT:    [[X_GEP:%.*]] = getelementptr i64, ptr [[X_PTR]], i64 [[IV]]
 292 ; CHECK-NEXT:    [[X:%.*]] = load i64, ptr [[X_GEP]], align 8
 293 ; CHECK-NEXT:    [[Y_GEP:%.*]] = getelementptr i32, ptr [[Y_PTR]], i64 [[IV]]
 294 ; CHECK-NEXT:    [[Y:%.*]] = load i32, ptr [[Y_GEP]], align 4
 295 ; CHECK-NEXT:    [[C1:%.*]] = icmp eq i64 [[X]], 0
 296 ; CHECK-NEXT:    br i1 [[C1]], label %[[THEN_4:.*]], label %[[THEN_1:.*]]
 297 ; CHECK:       [[THEN_1]]:
 298 ; CHECK-NEXT:    [[AND32831:%.*]] = and i32 [[Y]], 1
 299 ; CHECK-NEXT:    store i64 0, ptr [[DST_1]], align 8
 300 ; CHECK-NEXT:    [[C_2:%.*]] = icmp eq i32 [[Y]], 0
 301 ; CHECK-NEXT:    [[OR_COND:%.*]] = select i1 [[C_4]], i1 [[C_3]], i1 false
 302 ; CHECK-NEXT:    br i1 [[OR_COND]], label %[[THEN_2:.*]], label %[[ELSE_1:.*]]
 303 ; CHECK:       [[ELSE_1]]:
 304 ; CHECK-NEXT:    store i64 0, ptr [[DST_3]], align 8
 305 ; CHECK-NEXT:    br label %[[THEN_2]]
 306 ; CHECK:       [[THEN_2]]:
 307 ; CHECK-NEXT:    br i1 [[C_3]], label %[[THEN_3:.*]], label %[[LOOP_LATCH]]
 308 ; CHECK:       [[THEN_3]]:
 309 ; CHECK-NEXT:    br i1 [[C_4]], label %[[THEN_5:.*]], label %[[ELSE_2:.*]]
 310 ; CHECK:       [[THEN_4]]:
 311 ; CHECK-NEXT:    call void @llvm.assume(i1 [[C_4]])
 312 ; CHECK-NEXT:    br label %[[THEN_5]]
 313 ; CHECK:       [[THEN_5]]:
 314 ; CHECK-NEXT:    [[TMP0:%.*]] = phi i64 [ 1, %[[THEN_4]] ], [ 0, %[[THEN_3]] ]
 315 ; CHECK-NEXT:    store i64 [[TMP0]], ptr [[DST_2]], align 8
 316 ; CHECK-NEXT:    br label %[[ELSE_2]]
 317 ; CHECK:       [[ELSE_2]]:
 318 ; CHECK-NEXT:    [[L:%.*]] = load i64, ptr [[SRC]], align 8
 319 ; CHECK-NEXT:    store i64 [[L]], ptr [[DST]], align 8
 320 ; CHECK-NEXT:    br label %[[LOOP_LATCH]]
 321 ; CHECK:       [[LOOP_LATCH]]:
 322 ; CHECK-NEXT:    [[IV_NEXT]] = add i64 [[IV]], 1
 323 ; CHECK-NEXT:    [[EC:%.*]] = icmp eq i64 [[IV]], 64
 324 ; CHECK-NEXT:    br i1 [[EC]], label %[[EXIT]], label %[[LOOP_HEADER]], !llvm.loop [[LOOP22:![0-9]+]]
 325 ; CHECK:       [[EXIT]]:
 326 ; CHECK-NEXT:    ret void
 327 ;
 328 entry:
 329   br label %loop.header
 330
 331 loop.header:
 332   %iv = phi i64 [ %iv.next, %loop.latch ], [ 0, %entry ]
 333   %x.gep = getelementptr i64, ptr %x.ptr, i64 %iv
 334   %x = load i64, ptr %x.gep
 335   %y.gep = getelementptr i32, ptr %y.ptr, i64 %iv
 336   %y = load i32, ptr %y.gep
 337   %c1 = icmp eq i64 %x, 0
 338   br i1 %c1, label %then.4, label %then.1
 339
 340 then.1:
 341   %and32831 = and i32 %y, 1
 342   store i64 0, ptr %dst.1, align 8
 343   %c.2 = icmp eq i32 %y, 0
 344   %or.cond = select i1 %c.4, i1 %c.3, i1 false
 345   br i1 %or.cond, label %then.2, label %else.1
 346
 347 else.1:                             ; preds = %then.1
 348   store i64 0, ptr %dst.3, align 8
 349   br label %then.2
 350
 351 then.2:
 352   br i1 %c.3, label %then.3, label %loop.latch
 353
 354 then.3:
 355   br i1 %c.4, label %then.5, label %else.2
 356
 357 then.4:
 358   call void @llvm.assume(i1 %c.4)
 359   br label %then.5
 360
 361 then.5:
 362   %1 = phi i64 [ 1, %then.4 ], [ 0, %then.3 ]
 363   store i64 %1, ptr %dst.2, align 8
 364   br label %else.2
 365
 366 else.2:
 367   %l = load i64, ptr %src, align 8
 368   store i64 %l, ptr %dst, align 8
 369   br label %loop.latch
 370
 371 loop.latch:
 372   %iv.next = add i64 %iv, 1
 373   %ec = icmp eq i64 %iv, 64
 374   br i1 %ec, label %exit, label %loop.header
 375
 376 exit:
 377   ret void
 378 }
 379
 380 declare void @llvm.assume(i1 noundef)
 381 declare i64 @llvm.umin.i64(i64, i64)
 382 ;.
 383 ; CHECK: [[LOOP0]] = distinct !{[[LOOP0]], [[META1:![0-9]+]], [[META2:![0-9]+]]}
 384 ; CHECK: [[META1]] = !{!"llvm.loop.isvectorized", i32 1}
 385 ; CHECK: [[META2]] = !{!"llvm.loop.unroll.runtime.disable"}
 386 ; CHECK: [[LOOP3]] = distinct !{[[LOOP3]], [[META2]], [[META1]]}
 387 ; CHECK: [[LOOP4]] = distinct !{[[LOOP4]], [[META1]], [[META2]]}
 388 ; CHECK: [[LOOP5]] = distinct !{[[LOOP5]], [[META1]], [[META2]]}
 389 ; CHECK: [[LOOP6]] = distinct !{[[LOOP6]], [[META2]], [[META1]]}
 390 ; CHECK: [[META7]] = !{[[META8:![0-9]+]]}
 391 ; CHECK: [[META8]] = distinct !{[[META8]], [[META9:![0-9]+]]}
 392 ; CHECK: [[META9]] = distinct !{[[META9]], !"LVerDomain"}
 393 ; CHECK: [[META10]] = !{[[META11:![0-9]+]], [[META12:![0-9]+]], [[META13:![0-9]+]], [[META14:![0-9]+]]}
 394 ; CHECK: [[META11]] = distinct !{[[META11]], [[META9]]}
 395 ; CHECK: [[META12]] = distinct !{[[META12]], [[META9]]}
 396 ; CHECK: [[META13]] = distinct !{[[META13]], [[META9]]}
 397 ; CHECK: [[META14]] = distinct !{[[META14]], [[META9]]}
 398 ; CHECK: [[META15]] = !{[[META11]]}
 399 ; CHECK: [[META16]] = !{[[META12]], [[META13]], [[META14]]}
 400 ; CHECK: [[META17]] = !{[[META12]]}
 401 ; CHECK: [[META18]] = !{[[META13]], [[META14]]}
 402 ; CHECK: [[META19]] = !{[[META14]]}
 403 ; CHECK: [[META20]] = !{[[META13]]}
 404 ; CHECK: [[LOOP21]] = distinct !{[[LOOP21]], [[META1]], [[META2]]}
 405 ; CHECK: [[LOOP22]] = distinct !{[[LOOP22]], [[META1]]}
 406 ;.