llvm/test/Transforms/LoopVectorize/branch-weights.ll

   1 ; RUN: opt < %s -S -passes=loop-vectorize -force-vector-interleave=1 -force-vector-width=4  -enable-epilogue-vectorization -epilogue-vectorization-force-VF=4 | FileCheck %s
   2
   3 ; CHECK-LABEL: @f0(
   4 ;
   5 ; CHECK: entry:
   6 ; CHECK:   br i1 %cmp.entry, label %iter.check, label %exit, !prof [[PROF_F0_ENTRY:![0-9]+]]
   7 ;
   8 ; CHECK: iter.check:
   9 ; CHECK:   br i1 %min.iters.check, label %vec.epilog.scalar.ph, label %vector.scevcheck, !prof [[PROF_F0_UNLIKELY:![0-9]+]]
  10 ;
  11 ; CHECK: vector.scevcheck:
  12 ; CHECK:   br i1 %4, label %vec.epilog.scalar.ph, label %vector.main.loop.iter.check, !prof [[PROF_F0_UNLIKELY]]
  13 ;
  14 ; CHECK: vector.main.loop.iter.check:
  15 ; CHECK:   br i1 %min.iters.check1, label %vec.epilog.ph, label %vector.ph, !prof [[PROF_F0_UNLIKELY]]
  16 ;
  17 ; CHECK: vector.ph:
  18 ; CHECK:   br label %vector.body
  19 ;
  20 ; CHECK: vector.body:
  21 ; CHECK:   br i1 {{.+}}, label %middle.block, label %vector.body, !prof [[PROF_F0_VECTOR_BODY:![0-9]+]]
  22 ;
  23 ; CHECK: middle.block:
  24 ; CHECK:   br i1 %cmp.n, label %exit.loopexit, label %vec.epilog.iter.check, !prof [[PROF_F0_MIDDLE_BLOCKS:![0-9]+]]
  25 ;
  26 ; CHECK: vec.epilog.iter.check:
  27 ; CHECK:   br i1 %min.epilog.iters.check, label %vec.epilog.scalar.ph, label %vec.epilog.ph, !prof [[PROF_F0_VEC_EPILOGUE_SKIP:![0-9]+]]
  28 ;
  29 ; CHECK: vec.epilog.ph:
  30 ; CHECK:   br label %vec.epilog.vector.body
  31 ;
  32 ; CHECK: vec.epilog.vector.body:
  33 ; CHECK:   br i1 {{.+}}, label %vec.epilog.middle.block, label %vec.epilog.vector.body, !prof [[PROF_F0_VEC_EPILOG_VECTOR_BODY:![0-9]+]]
  34 ;
  35 ; CHECK: vec.epilog.middle.block:
  36 ; CHECK:   br i1 %cmp.n{{.+}}, label %exit.loopexit, label %vec.epilog.scalar.ph, !prof [[PROF_F0_MIDDLE_BLOCKS:![0-9]+]]
  37 ;
  38 ; CHECK: vec.epilog.scalar.ph:
  39 ; CHECK:   br label %loop
  40 ;
  41 ; CHECK: loop:
  42 ; CHECK:   br i1 %cmp.loop, label %loop, label %exit.loopexit, !prof [[PROF_F0_LOOP:![0-9]+]]
  43 ;
  44 ; CHECK: exit.loopexit:
  45 ; CHECK:   br label %exit
  46 ;
  47 ; CHECK: exit:
  48 ; CHECK:   ret void
  49
  50 define void @f0(i8 %n, i32 %len, ptr %p) !prof !0 {
  51 entry:
  52   %cmp.entry = icmp sgt i32 %len, 0
  53   br i1 %cmp.entry, label %loop, label %exit, !prof !1
  54
  55 loop:
  56   %i8 = phi i8 [0, %entry], [%i8.inc, %loop]
  57   %i32 = phi i32 [0, %entry], [%i32.inc, %loop]
  58
  59   %ptr = getelementptr inbounds i32, ptr %p, i8 %i8
  60   store i32 %i32, ptr %ptr
  61
  62   %i8.inc = add i8 %i8, 1
  63   %i32.inc = add i32 %i32, 1
  64
  65   %cmp.loop = icmp ult i32 %i32, %len
  66   br i1 %cmp.loop, label %loop, label %exit, !prof !2
  67
  68 exit:
  69   ret void
  70 }
  71
  72 !0 = !{!"function_entry_count", i64 13}
  73 !1 = !{!"branch_weights", i32 12, i32 1}
  74 !2 = !{!"branch_weights", i32 1234, i32 1}
  75
  76 ; CHECK: [[PROF_F0_ENTRY]] = !{!"branch_weights", i32 12, i32 1}
  77 ; CHECK: [[PROF_F0_UNLIKELY]] = !{!"branch_weights", i32 1, i32 127}
  78 ; CHECK: [[PROF_F0_VECTOR_BODY]] = !{!"branch_weights", i32 1, i32 307}
  79 ; CHECK: [[PROF_F0_MIDDLE_BLOCKS]] =  !{!"branch_weights", i32 1, i32 3}
  80 ; CHECK: [[PROF_F0_VEC_EPILOGUE_SKIP]] = !{!"branch_weights", i32 4, i32 0}
  81 ; CHECK: [[PROF_F0_VEC_EPILOG_VECTOR_BODY]] = !{!"branch_weights", i32 0, i32 0}
  82 ; CHECK: [[PROF_F0_LOOP]] = !{!"branch_weights", i32 2, i32 1}