llvm/test/Transforms/DivRemPairs/X86/div-rem-pairs.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_test_checks.py
   2 ; RUN: opt < %s -div-rem-pairs -S -mtriple=x86_64-unknown-unknown    | FileCheck %s
   3
   4 declare void @foo(i32, i32)
   5
   6 define void @decompose_illegal_srem_same_block(i32 %a, i32 %b) {
   7 ; CHECK-LABEL: @decompose_illegal_srem_same_block(
   8 ; CHECK-NEXT:    [[REM:%.*]] = srem i32 [[A:%.*]], [[B:%.*]]
   9 ; CHECK-NEXT:    [[DIV:%.*]] = sdiv i32 [[A]], [[B]]
  10 ; CHECK-NEXT:    call void @foo(i32 [[REM]], i32 [[DIV]])
  11 ; CHECK-NEXT:    ret void
  12 ;
  13   %rem = srem i32 %a, %b
  14   %div = sdiv i32 %a, %b
  15   call void @foo(i32 %rem, i32 %div)
  16   ret void
  17 }
  18
  19 define void @decompose_illegal_urem_same_block(i32 %a, i32 %b) {
  20 ; CHECK-LABEL: @decompose_illegal_urem_same_block(
  21 ; CHECK-NEXT:    [[DIV:%.*]] = udiv i32 [[A:%.*]], [[B:%.*]]
  22 ; CHECK-NEXT:    [[REM:%.*]] = urem i32 [[A]], [[B]]
  23 ; CHECK-NEXT:    call void @foo(i32 [[REM]], i32 [[DIV]])
  24 ; CHECK-NEXT:    ret void
  25 ;
  26   %div = udiv i32 %a, %b
  27   %rem = urem i32 %a, %b
  28   call void @foo(i32 %rem, i32 %div)
  29   ret void
  30 }
  31
  32 ; Hoist and optionally decompose the sdiv because it's safe and free.
  33 ; PR31028 - https://bugs.llvm.org/show_bug.cgi?id=31028
  34
  35 define i32 @hoist_sdiv(i32 %a, i32 %b) {
  36 ; CHECK-LABEL: @hoist_sdiv(
  37 ; CHECK-NEXT:  entry:
  38 ; CHECK-NEXT:    [[REM:%.*]] = srem i32 [[A:%.*]], [[B:%.*]]
  39 ; CHECK-NEXT:    [[DIV:%.*]] = sdiv i32 [[A]], [[B]]
  40 ; CHECK-NEXT:    [[CMP:%.*]] = icmp eq i32 [[REM]], 42
  41 ; CHECK-NEXT:    br i1 [[CMP]], label [[IF:%.*]], label [[END:%.*]]
  42 ; CHECK:       if:
  43 ; CHECK-NEXT:    br label [[END]]
  44 ; CHECK:       end:
  45 ; CHECK-NEXT:    [[RET:%.*]] = phi i32 [ [[DIV]], [[IF]] ], [ 3, [[ENTRY:%.*]] ]
  46 ; CHECK-NEXT:    ret i32 [[RET]]
  47 ;
  48 entry:
  49   %rem = srem i32 %a, %b
  50   %cmp = icmp eq i32 %rem, 42
  51   br i1 %cmp, label %if, label %end
  52
  53 if:
  54   %div = sdiv i32 %a, %b
  55   br label %end
  56
  57 end:
  58   %ret = phi i32 [ %div, %if ], [ 3, %entry ]
  59   ret i32 %ret
  60 }
  61
  62 ; Hoist and optionally decompose the udiv because it's safe and free.
  63
  64 define i64 @hoist_udiv(i64 %a, i64 %b) {
  65 ; CHECK-LABEL: @hoist_udiv(
  66 ; CHECK-NEXT:  entry:
  67 ; CHECK-NEXT:    [[REM:%.*]] = urem i64 [[A:%.*]], [[B:%.*]]
  68 ; CHECK-NEXT:    [[DIV:%.*]] = udiv i64 [[A]], [[B]]
  69 ; CHECK-NEXT:    [[CMP:%.*]] = icmp eq i64 [[REM]], 42
  70 ; CHECK-NEXT:    br i1 [[CMP]], label [[IF:%.*]], label [[END:%.*]]
  71 ; CHECK:       if:
  72 ; CHECK-NEXT:    br label [[END]]
  73 ; CHECK:       end:
  74 ; CHECK-NEXT:    [[RET:%.*]] = phi i64 [ [[DIV]], [[IF]] ], [ 3, [[ENTRY:%.*]] ]
  75 ; CHECK-NEXT:    ret i64 [[RET]]
  76 ;
  77 entry:
  78   %rem = urem i64 %a, %b
  79   %cmp = icmp eq i64 %rem, 42
  80   br i1 %cmp, label %if, label %end
  81
  82 if:
  83   %div = udiv i64 %a, %b
  84   br label %end
  85
  86 end:
  87   %ret = phi i64 [ %div, %if ], [ 3, %entry ]
  88   ret i64 %ret
  89 }
  90
  91 ; Hoist the srem if it's safe and free, otherwise decompose it.
  92
  93 define i16 @hoist_srem(i16 %a, i16 %b) {
  94 ; CHECK-LABEL: @hoist_srem(
  95 ; CHECK-NEXT:  entry:
  96 ; CHECK-NEXT:    [[DIV:%.*]] = sdiv i16 [[A:%.*]], [[B:%.*]]
  97 ; CHECK-NEXT:    [[REM:%.*]] = srem i16 [[A]], [[B]]
  98 ; CHECK-NEXT:    [[CMP:%.*]] = icmp eq i16 [[DIV]], 42
  99 ; CHECK-NEXT:    br i1 [[CMP]], label [[IF:%.*]], label [[END:%.*]]
 100 ; CHECK:       if:
 101 ; CHECK-NEXT:    br label [[END]]
 102 ; CHECK:       end:
 103 ; CHECK-NEXT:    [[RET:%.*]] = phi i16 [ [[REM]], [[IF]] ], [ 3, [[ENTRY:%.*]] ]
 104 ; CHECK-NEXT:    ret i16 [[RET]]
 105 ;
 106 entry:
 107   %div = sdiv i16 %a, %b
 108   %cmp = icmp eq i16 %div, 42
 109   br i1 %cmp, label %if, label %end
 110
 111 if:
 112   %rem = srem i16 %a, %b
 113   br label %end
 114
 115 end:
 116   %ret = phi i16 [ %rem, %if ], [ 3, %entry ]
 117   ret i16 %ret
 118 }
 119
 120 ; Hoist the urem if it's safe and free, otherwise decompose it.
 121
 122 define i8 @hoist_urem(i8 %a, i8 %b) {
 123 ; CHECK-LABEL: @hoist_urem(
 124 ; CHECK-NEXT:  entry:
 125 ; CHECK-NEXT:    [[DIV:%.*]] = udiv i8 [[A:%.*]], [[B:%.*]]
 126 ; CHECK-NEXT:    [[REM:%.*]] = urem i8 [[A]], [[B]]
 127 ; CHECK-NEXT:    [[CMP:%.*]] = icmp eq i8 [[DIV]], 42
 128 ; CHECK-NEXT:    br i1 [[CMP]], label [[IF:%.*]], label [[END:%.*]]
 129 ; CHECK:       if:
 130 ; CHECK-NEXT:    br label [[END]]
 131 ; CHECK:       end:
 132 ; CHECK-NEXT:    [[RET:%.*]] = phi i8 [ [[REM]], [[IF]] ], [ 3, [[ENTRY:%.*]] ]
 133 ; CHECK-NEXT:    ret i8 [[RET]]
 134 ;
 135 entry:
 136   %div = udiv i8 %a, %b
 137   %cmp = icmp eq i8 %div, 42
 138   br i1 %cmp, label %if, label %end
 139
 140 if:
 141   %rem = urem i8 %a, %b
 142   br label %end
 143
 144 end:
 145   %ret = phi i8 [ %rem, %if ], [ 3, %entry ]
 146   ret i8 %ret
 147 }
 148
 149 ; Be careful with RAUW/invalidation if this is a srem-of-srem.
 150
 151 define i32 @srem_of_srem_unexpanded(i32 %X, i32 %Y, i32 %Z) {
 152 ; CHECK-LABEL: @srem_of_srem_unexpanded(
 153 ; CHECK-NEXT:    [[T0:%.*]] = mul nsw i32 [[Z:%.*]], [[Y:%.*]]
 154 ; CHECK-NEXT:    [[T1:%.*]] = sdiv i32 [[X:%.*]], [[T0]]
 155 ; CHECK-NEXT:    [[T2:%.*]] = mul nsw i32 [[T0]], [[T1]]
 156 ; CHECK-NEXT:    [[T3:%.*]] = srem i32 [[X]], [[T0]]
 157 ; CHECK-NEXT:    [[T4:%.*]] = sdiv i32 [[T3]], [[Y]]
 158 ; CHECK-NEXT:    [[T5:%.*]] = mul nsw i32 [[T4]], [[Y]]
 159 ; CHECK-NEXT:    [[T6:%.*]] = srem i32 [[T3]], [[Y]]
 160 ; CHECK-NEXT:    ret i32 [[T6]]
 161 ;
 162   %t0 = mul nsw i32 %Z, %Y
 163   %t1 = sdiv i32 %X, %t0
 164   %t2 = mul nsw i32 %t0, %t1
 165   %t3 = srem i32 %X, %t0
 166   %t4 = sdiv i32 %t3, %Y
 167   %t5 = mul nsw i32 %t4, %Y
 168   %t6 = srem i32 %t3, %Y
 169   ret i32 %t6
 170 }
 171 define i32 @srem_of_srem_expanded(i32 %X, i32 %Y, i32 %Z) {
 172 ; CHECK-LABEL: @srem_of_srem_expanded(
 173 ; CHECK-NEXT:    [[T0:%.*]] = mul nsw i32 [[Z:%.*]], [[Y:%.*]]
 174 ; CHECK-NEXT:    [[T1:%.*]] = sdiv i32 [[X:%.*]], [[T0]]
 175 ; CHECK-NEXT:    [[T2:%.*]] = mul nsw i32 [[T0]], [[T1]]
 176 ; CHECK-NEXT:    [[T3_RECOMPOSED:%.*]] = srem i32 [[X]], [[T0]]
 177 ; CHECK-NEXT:    [[T4:%.*]] = sdiv i32 [[T3_RECOMPOSED]], [[Y]]
 178 ; CHECK-NEXT:    [[T5:%.*]] = mul nsw i32 [[T4]], [[Y]]
 179 ; CHECK-NEXT:    [[T6_RECOMPOSED:%.*]] = srem i32 [[T3_RECOMPOSED]], [[Y]]
 180 ; CHECK-NEXT:    ret i32 [[T6_RECOMPOSED]]
 181 ;
 182   %t0 = mul nsw i32 %Z, %Y
 183   %t1 = sdiv i32 %X, %t0
 184   %t2 = mul nsw i32 %t0, %t1
 185   %t3 = sub nsw i32 %X, %t2
 186   %t4 = sdiv i32 %t3, %Y
 187   %t5 = mul nsw i32 %t4, %Y
 188   %t6 = sub nsw i32 %t3, %t5
 189   ret i32 %t6
 190 }
 191
 192 ; If the ops don't match, don't do anything: signedness.
 193
 194 define i32 @dont_hoist_udiv(i32 %a, i32 %b) {
 195 ; CHECK-LABEL: @dont_hoist_udiv(
 196 ; CHECK-NEXT:  entry:
 197 ; CHECK-NEXT:    [[REM:%.*]] = srem i32 [[A:%.*]], [[B:%.*]]
 198 ; CHECK-NEXT:    [[CMP:%.*]] = icmp eq i32 [[REM]], 42
 199 ; CHECK-NEXT:    br i1 [[CMP]], label [[IF:%.*]], label [[END:%.*]]
 200 ; CHECK:       if:
 201 ; CHECK-NEXT:    [[DIV:%.*]] = udiv i32 [[A]], [[B]]
 202 ; CHECK-NEXT:    br label [[END]]
 203 ; CHECK:       end:
 204 ; CHECK-NEXT:    [[RET:%.*]] = phi i32 [ [[DIV]], [[IF]] ], [ 3, [[ENTRY:%.*]] ]
 205 ; CHECK-NEXT:    ret i32 [[RET]]
 206 ;
 207 entry:
 208   %rem = srem i32 %a, %b
 209   %cmp = icmp eq i32 %rem, 42
 210   br i1 %cmp, label %if, label %end
 211
 212 if:
 213   %div = udiv i32 %a, %b
 214   br label %end
 215
 216 end:
 217   %ret = phi i32 [ %div, %if ], [ 3, %entry ]
 218   ret i32 %ret
 219 }
 220
 221 ; If the ops don't match, don't do anything: operation.
 222
 223 define i32 @dont_hoist_srem(i32 %a, i32 %b) {
 224 ; CHECK-LABEL: @dont_hoist_srem(
 225 ; CHECK-NEXT:  entry:
 226 ; CHECK-NEXT:    [[REM:%.*]] = urem i32 [[A:%.*]], [[B:%.*]]
 227 ; CHECK-NEXT:    [[CMP:%.*]] = icmp eq i32 [[REM]], 42
 228 ; CHECK-NEXT:    br i1 [[CMP]], label [[IF:%.*]], label [[END:%.*]]
 229 ; CHECK:       if:
 230 ; CHECK-NEXT:    [[REM2:%.*]] = srem i32 [[A]], [[B]]
 231 ; CHECK-NEXT:    br label [[END]]
 232 ; CHECK:       end:
 233 ; CHECK-NEXT:    [[RET:%.*]] = phi i32 [ [[REM2]], [[IF]] ], [ 3, [[ENTRY:%.*]] ]
 234 ; CHECK-NEXT:    ret i32 [[RET]]
 235 ;
 236 entry:
 237   %rem = urem i32 %a, %b
 238   %cmp = icmp eq i32 %rem, 42
 239   br i1 %cmp, label %if, label %end
 240
 241 if:
 242   %rem2 = srem i32 %a, %b
 243   br label %end
 244
 245 end:
 246   %ret = phi i32 [ %rem2, %if ], [ 3, %entry ]
 247   ret i32 %ret
 248 }
 249
 250 ; If the ops don't match, don't do anything: operands.
 251
 252 define i32 @dont_hoist_sdiv(i32 %a, i32 %b, i32 %c) {
 253 ; CHECK-LABEL: @dont_hoist_sdiv(
 254 ; CHECK-NEXT:  entry:
 255 ; CHECK-NEXT:    [[REM:%.*]] = srem i32 [[A:%.*]], [[B:%.*]]
 256 ; CHECK-NEXT:    [[CMP:%.*]] = icmp eq i32 [[REM]], 42
 257 ; CHECK-NEXT:    br i1 [[CMP]], label [[IF:%.*]], label [[END:%.*]]
 258 ; CHECK:       if:
 259 ; CHECK-NEXT:    [[DIV:%.*]] = sdiv i32 [[A]], [[C:%.*]]
 260 ; CHECK-NEXT:    br label [[END]]
 261 ; CHECK:       end:
 262 ; CHECK-NEXT:    [[RET:%.*]] = phi i32 [ [[DIV]], [[IF]] ], [ 3, [[ENTRY:%.*]] ]
 263 ; CHECK-NEXT:    ret i32 [[RET]]
 264 ;
 265 entry:
 266   %rem = srem i32 %a, %b
 267   %cmp = icmp eq i32 %rem, 42
 268   br i1 %cmp, label %if, label %end
 269
 270 if:
 271   %div = sdiv i32 %a, %c
 272   br label %end
 273
 274 end:
 275   %ret = phi i32 [ %div, %if ], [ 3, %entry ]
 276   ret i32 %ret
 277 }
 278
 279 ; If the target doesn't have a unified div/rem op for the type, decompose rem in-place to mul+sub.
 280
 281 define i128 @dont_hoist_urem(i128 %a, i128 %b) {
 282 ; CHECK-LABEL: @dont_hoist_urem(
 283 ; CHECK-NEXT:  entry:
 284 ; CHECK-NEXT:    [[A_FROZEN:%.*]] = freeze i128 [[A:%.*]]
 285 ; CHECK-NEXT:    [[B_FROZEN:%.*]] = freeze i128 [[B:%.*]]
 286 ; CHECK-NEXT:    [[DIV:%.*]] = udiv i128 [[A_FROZEN]], [[B_FROZEN]]
 287 ; CHECK-NEXT:    [[CMP:%.*]] = icmp eq i128 [[DIV]], 42
 288 ; CHECK-NEXT:    br i1 [[CMP]], label [[IF:%.*]], label [[END:%.*]]
 289 ; CHECK:       if:
 290 ; CHECK-NEXT:    [[TMP0:%.*]] = mul i128 [[DIV]], [[B_FROZEN]]
 291 ; CHECK-NEXT:    [[REM_DECOMPOSED:%.*]] = sub i128 [[A_FROZEN]], [[TMP0]]
 292 ; CHECK-NEXT:    br label [[END]]
 293 ; CHECK:       end:
 294 ; CHECK-NEXT:    [[RET:%.*]] = phi i128 [ [[REM_DECOMPOSED]], [[IF]] ], [ 3, [[ENTRY:%.*]] ]
 295 ; CHECK-NEXT:    ret i128 [[RET]]
 296 ;
 297 entry:
 298   %div = udiv i128 %a, %b
 299   %cmp = icmp eq i128 %div, 42
 300   br i1 %cmp, label %if, label %end
 301
 302 if:
 303   %rem = urem i128 %a, %b
 304   br label %end
 305
 306 end:
 307   %ret = phi i128 [ %rem, %if ], [ 3, %entry ]
 308   ret i128 %ret
 309 }
 310
 311 ; We don't hoist if one op does not dominate the other,
 312 ; but we could hoist both ops to the common predecessor block?
 313
 314 define i32 @no_domination(i1 %cmp, i32 %a, i32 %b) {
 315 ; CHECK-LABEL: @no_domination(
 316 ; CHECK-NEXT:  entry:
 317 ; CHECK-NEXT:    br i1 [[CMP:%.*]], label [[IF:%.*]], label [[ELSE:%.*]]
 318 ; CHECK:       if:
 319 ; CHECK-NEXT:    [[DIV:%.*]] = sdiv i32 [[A:%.*]], [[B:%.*]]
 320 ; CHECK-NEXT:    br label [[END:%.*]]
 321 ; CHECK:       else:
 322 ; CHECK-NEXT:    [[REM:%.*]] = srem i32 [[A]], [[B]]
 323 ; CHECK-NEXT:    br label [[END]]
 324 ; CHECK:       end:
 325 ; CHECK-NEXT:    [[RET:%.*]] = phi i32 [ [[DIV]], [[IF]] ], [ [[REM]], [[ELSE]] ]
 326 ; CHECK-NEXT:    ret i32 [[RET]]
 327 ;
 328 entry:
 329   br i1 %cmp, label %if, label %else
 330
 331 if:
 332   %div = sdiv i32 %a, %b
 333   br label %end
 334
 335 else:
 336   %rem = srem i32 %a, %b
 337   br label %end
 338
 339 end:
 340   %ret = phi i32 [ %div, %if ], [ %rem, %else ]
 341   ret i32 %ret
 342 }
 343