llvm/test/Transforms/LoopRotate/multiple-deopt-exits.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_test_checks.py
   2 ; RUN: opt -S < %s -loop-rotate -loop-rotate-multi=true | FileCheck %s
   3 ; RUN: opt -S < %s -passes='loop(loop-rotate)' -loop-rotate-multi=true | FileCheck %s
   4
   5 ; Test loop rotation with multiple exits, some of them - deoptimizing.
   6 ; We should end up with a latch which exit is non-deoptimizing, so we should rotate
   7 ; more than once.
   8
   9 declare i32 @llvm.experimental.deoptimize.i32(...)
  10
  11 define i32 @test_cond_with_one_deopt_exit(i32 * nonnull %a, i64 %x) {
  12 ; Rotation done twice.
  13 ; Latch should be at the 2nd condition (for.cond2), exiting to %return.
  14 ;
  15 ; CHECK-LABEL: @test_cond_with_one_deopt_exit(
  16 ; CHECK-NEXT:  entry:
  17 ; CHECK-NEXT:    [[VAL_A_IDX3:%.*]] = load i32, i32* %a, align 4
  18 ; CHECK-NEXT:    [[ZERO_CHECK4:%.*]] = icmp eq i32 [[VAL_A_IDX3]], 0
  19 ; CHECK-NEXT:    br i1 [[ZERO_CHECK4]], label %deopt.exit, label %for.cond2.lr.ph
  20 ; CHECK:       for.cond2.lr.ph:
  21 ; CHECK-NEXT:    [[FOR_CHECK8:%.*]] = icmp ult i64 0, %x
  22 ; CHECK-NEXT:    br i1 [[FOR_CHECK8]], label %for.body.lr.ph, label %return
  23 ; CHECK:       for.body.lr.ph:
  24 ; CHECK-NEXT:    br label %for.body
  25 ; CHECK:       for.cond2:
  26 ; CHECK:         [[FOR_CHECK:%.*]] = icmp ult i64 {{%.*}}, %x
  27 ; CHECK-NEXT:    br i1 [[FOR_CHECK]], label %for.body, label %for.cond2.return_crit_edge
  28 ; CHECK:       for.body:
  29 ; CHECK:         br label %for.tail
  30 ; CHECK:       for.tail:
  31 ; CHECK:         [[VAL_A_IDX:%.*]] = load i32, i32*
  32 ; CHECK-NEXT:    [[ZERO_CHECK:%.*]] = icmp eq i32 [[VAL_A_IDX]], 0
  33 ; CHECK-NEXT:    br i1 [[ZERO_CHECK]], label %for.cond1.deopt.exit_crit_edge, label %for.cond2
  34 ; CHECK:       for.cond2.return_crit_edge:
  35 ; CHECK-NEXT:    {{%.*}} = phi i32
  36 ; CHECK-NEXT:    br label %return
  37 ; CHECK:       return:
  38 ; CHECK-NEXT:    [[SUM_LCSSA2:%.*]] = phi i32
  39 ; CHECK-NEXT:    ret i32 [[SUM_LCSSA2]]
  40 ; CHECK:       for.cond1.deopt.exit_crit_edge:
  41 ; CHECK-NEXT:    {{%.*}} = phi i32
  42 ; CHECK-NEXT:    br label %deopt.exit
  43 ; CHECK:       deopt.exit:
  44 ; CHECK:         [[DEOPT_VAL:%.*]] = call i32 (...) @llvm.experimental.deoptimize.i32() [ "deopt"(i32 {{%.*}}) ]
  45 ; CHECK-NEXT:    ret i32 [[DEOPT_VAL]]
  46 ;
  47 entry:
  48   br label %for.cond1
  49
  50 for.cond1:
  51   %idx = phi i64 [ 0, %entry ], [ %idx.next, %for.tail ]
  52   %sum = phi i32 [ 0, %entry ], [ %sum.next, %for.tail ]
  53   %a.idx = getelementptr inbounds i32, i32 *%a, i64 %idx
  54   %val.a.idx = load i32, i32* %a.idx, align 4
  55   %zero.check = icmp eq i32 %val.a.idx, 0
  56   br i1 %zero.check, label %deopt.exit, label %for.cond2
  57
  58 for.cond2:
  59   %for.check = icmp ult i64 %idx, %x
  60   br i1 %for.check, label %for.body, label %return
  61
  62 for.body:
  63   br label %for.tail
  64
  65 for.tail:
  66   %sum.next = add i32 %sum, %val.a.idx
  67   %idx.next = add nuw nsw i64 %idx, 1
  68   br label %for.cond1
  69
  70 return:
  71   ret i32 %sum
  72
  73 deopt.exit:
  74   %deopt.val = call i32(...) @llvm.experimental.deoptimize.i32() [ "deopt"(i32 %val.a.idx) ]
  75   ret i32 %deopt.val
  76 }
  77
  78 define i32 @test_cond_with_two_deopt_exits(i32 ** nonnull %a, i64 %x) {
  79 ; Rotation done three times.
  80 ; Latch should be at the 3rd condition (for.cond3), exiting to %return.
  81 ;
  82 ; CHECK-LABEL: @test_cond_with_two_deopt_exits(
  83 ; CHECK-NEXT:  entry:
  84 ; CHECK-NEXT:    [[A_IDX_DEREF4:%.*]] = load i32*, i32** %a
  85 ; CHECK-NEXT:    [[NULL_CHECK5:%.*]] = icmp eq i32* [[A_IDX_DEREF4]], null
  86 ; CHECK-NEXT:    br i1 [[NULL_CHECK5]], label %deopt.exit1, label %for.cond2.lr.ph
  87 ; CHECK:       for.cond2.lr.ph:
  88 ; CHECK-NEXT:    [[VAL_A_IDX9:%.*]] = load i32, i32* [[A_IDX_DEREF4]], align 4
  89 ; CHECK-NEXT:    [[ZERO_CHECK10:%.*]] = icmp eq i32 [[VAL_A_IDX9]], 0
  90 ; CHECK-NEXT:    br i1 [[ZERO_CHECK10]], label %deopt.exit2, label %for.cond3.lr.ph
  91 ; CHECK:       for.cond3.lr.ph:
  92 ; CHECK-NEXT:    [[FOR_CHECK14:%.*]] = icmp ult i64 0, %x
  93 ; CHECK-NEXT:    br i1 [[FOR_CHECK14]], label %for.body.lr.ph, label %return
  94 ; CHECK:       for.body.lr.ph:
  95 ; CHECK-NEXT:    br label %for.body
  96 ; CHECK:       for.cond2:
  97 ; CHECK:         [[VAL_A_IDX:%.*]] = load i32, i32*
  98 ; CHECK-NEXT:    [[ZERO_CHECK:%.*]] = icmp eq i32 [[VAL_A_IDX]], 0
  99 ; CHECK-NEXT:    br i1 [[ZERO_CHECK]], label %for.cond2.deopt.exit2_crit_edge, label %for.cond3
 100 ; CHECK:       for.cond3:
 101 ; CHECK:         [[FOR_CHECK:%.*]] = icmp ult i64 {{%.*}}, %x
 102 ; CHECK-NEXT:    br i1 [[FOR_CHECK]], label %for.body, label %for.cond3.return_crit_edge
 103 ; CHECK:       for.body:
 104 ; CHECK:         br label %for.tail
 105 ; CHECK:       for.tail:
 106 ; CHECK:         [[IDX_NEXT:%.*]] = add nuw nsw i64 {{%.*}}, 1
 107 ; CHECK:         [[NULL_CHECK:%.*]] = icmp eq i32* {{%.*}}, null
 108 ; CHECK-NEXT:    br i1 [[NULL_CHECK]], label %for.cond1.deopt.exit1_crit_edge, label %for.cond2
 109 ; CHECK:       for.cond3.return_crit_edge:
 110 ; CHECK-NEXT:    [[SPLIT18:%.*]] = phi i32
 111 ; CHECK-NEXT:    br label %return
 112 ; CHECK:       return:
 113 ; CHECK-NEXT:    [[SUM_LCSSA2:%.*]] = phi i32
 114 ; CHECK-NEXT:    ret i32 [[SUM_LCSSA2]]
 115 ; CHECK:       for.cond1.deopt.exit1_crit_edge:
 116 ; CHECK-NEXT:    br label %deopt.exit1
 117 ; CHECK:       deopt.exit1:
 118 ; CHECK-NEXT:    [[DEOPT_VAL1:%.*]] = call i32 (...) @llvm.experimental.deoptimize.i32() [ "deopt"(i32 0) ]
 119 ; CHECK-NEXT:    ret i32 [[DEOPT_VAL1]]
 120 ; CHECK:       for.cond2.deopt.exit2_crit_edge:
 121 ; CHECK-NEXT:    [[SPLIT:%.*]] = phi i32
 122 ; CHECK-NEXT:    br label %deopt.exit2
 123 ; CHECK:       deopt.exit2:
 124 ; CHECK-NEXT:    [[VAL_A_IDX_LCSSA:%.*]] = phi i32
 125 ; CHECK-NEXT:    [[DEOPT_VAL2:%.*]] = call i32 (...) @llvm.experimental.deoptimize.i32() [ "deopt"(i32 [[VAL_A_IDX_LCSSA]]) ]
 126 ; CHECK-NEXT:    ret i32 [[DEOPT_VAL2]]
 127 ;
 128 entry:
 129   br label %for.cond1
 130
 131 for.cond1:
 132   %idx = phi i64 [ 0, %entry ], [ %idx.next, %for.tail ]
 133   %sum = phi i32 [ 0, %entry ], [ %sum.next, %for.tail ]
 134   %a.idx = getelementptr inbounds i32*, i32 **%a, i64 %idx
 135   %a.idx.deref = load i32*, i32** %a.idx
 136   %null.check = icmp eq i32* %a.idx.deref, null
 137   br i1 %null.check, label %deopt.exit1, label %for.cond2
 138
 139 for.cond2:
 140   %val.a.idx = load i32, i32* %a.idx.deref, align 4
 141   %zero.check = icmp eq i32 %val.a.idx, 0
 142   br i1 %zero.check, label %deopt.exit2, label %for.cond3
 143
 144 for.cond3:
 145   %for.check = icmp ult i64 %idx, %x
 146   br i1 %for.check, label %for.body, label %return
 147
 148 for.body:
 149   br label %for.tail
 150
 151 for.tail:
 152   %sum.next = add i32 %sum, %val.a.idx
 153   %idx.next = add nuw nsw i64 %idx, 1
 154   br label %for.cond1
 155
 156 return:
 157   ret i32 %sum
 158
 159 deopt.exit1:
 160   %deopt.val1 = call i32(...) @llvm.experimental.deoptimize.i32() [ "deopt"(i32 0) ]
 161   ret i32 %deopt.val1
 162 deopt.exit2:
 163   %deopt.val2 = call i32(...) @llvm.experimental.deoptimize.i32() [ "deopt"(i32 %val.a.idx) ]
 164   ret i32 %deopt.val2
 165 }