llvm/test/CodeGen/AMDGPU/multilevel-break.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_test_checks.py
   2 ; RUN: opt -S -mtriple=amdgcn-- -lowerswitch -structurizecfg -si-annotate-control-flow < %s | FileCheck -check-prefix=OPT %s
   3 ; RUN: llc -march=amdgcn -verify-machineinstrs < %s | FileCheck -check-prefix=GCN %s
   4
   5 ; Ensure two if.break calls, for both the inner and outer loops
   6 ; FIXME: duplicate comparison
   7 define amdgpu_vs void @multi_else_break(<4 x float> %vec, i32 %ub, i32 %cont) {
   8 ; OPT-LABEL: @multi_else_break(
   9 ; OPT-NEXT:  main_body:
  10 ; OPT-NEXT:    br label [[LOOP_OUTER:%.*]]
  11 ; OPT:       LOOP.outer:
  12 ; OPT-NEXT:    [[PHI_BROKEN2:%.*]] = phi i64 [ [[TMP8:%.*]], [[FLOW1:%.*]] ], [ 0, [[MAIN_BODY:%.*]] ]
  13 ; OPT-NEXT:    [[TMP43:%.*]] = phi i32 [ 0, [[MAIN_BODY]] ], [ [[TMP3:%.*]], [[FLOW1]] ]
  14 ; OPT-NEXT:    br label [[LOOP:%.*]]
  15 ; OPT:       LOOP:
  16 ; OPT-NEXT:    [[PHI_BROKEN:%.*]] = phi i64 [ [[TMP6:%.*]], [[FLOW:%.*]] ], [ 0, [[LOOP_OUTER]] ]
  17 ; OPT-NEXT:    [[TMP45:%.*]] = phi i32 [ [[TMP43]], [[LOOP_OUTER]] ], [ [[TMP3]], [[FLOW]] ]
  18 ; OPT-NEXT:    [[TMP48:%.*]] = icmp slt i32 [[TMP45]], [[UB:%.*]]
  19 ; OPT-NEXT:    [[TMP0:%.*]] = call { i1, i64 } @llvm.amdgcn.if.i64(i1 [[TMP48]])
  20 ; OPT-NEXT:    [[TMP1:%.*]] = extractvalue { i1, i64 } [[TMP0]], 0
  21 ; OPT-NEXT:    [[TMP2:%.*]] = extractvalue { i1, i64 } [[TMP0]], 1
  22 ; OPT-NEXT:    br i1 [[TMP1]], label [[ENDIF:%.*]], label [[FLOW]]
  23 ; OPT:       Flow:
  24 ; OPT-NEXT:    [[TMP3]] = phi i32 [ [[TMP47:%.*]], [[ENDIF]] ], [ undef, [[LOOP]] ]
  25 ; OPT-NEXT:    [[TMP4:%.*]] = phi i1 [ [[TMP51:%.*]], [[ENDIF]] ], [ true, [[LOOP]] ]
  26 ; OPT-NEXT:    [[TMP5:%.*]] = phi i1 [ [[TMP51_INV:%.*]], [[ENDIF]] ], [ true, [[LOOP]] ]
  27 ; OPT-NEXT:    call void @llvm.amdgcn.end.cf.i64(i64 [[TMP2]])
  28 ; OPT-NEXT:    [[TMP6]] = call i64 @llvm.amdgcn.if.break.i64(i1 [[TMP5]], i64 [[PHI_BROKEN]])
  29 ; OPT-NEXT:    [[TMP7:%.*]] = call i1 @llvm.amdgcn.loop.i64(i64 [[TMP6]])
  30 ; OPT-NEXT:    [[TMP8]] = call i64 @llvm.amdgcn.if.break.i64(i1 [[TMP4]], i64 [[PHI_BROKEN2]])
  31 ; OPT-NEXT:    br i1 [[TMP7]], label [[FLOW1]], label [[LOOP]]
  32 ; OPT:       Flow1:
  33 ; OPT-NEXT:    call void @llvm.amdgcn.end.cf.i64(i64 [[TMP6]])
  34 ; OPT-NEXT:    [[TMP9:%.*]] = call i1 @llvm.amdgcn.loop.i64(i64 [[TMP8]])
  35 ; OPT-NEXT:    br i1 [[TMP9]], label [[IF:%.*]], label [[LOOP_OUTER]]
  36 ; OPT:       IF:
  37 ; OPT-NEXT:    call void @llvm.amdgcn.end.cf.i64(i64 [[TMP8]])
  38 ; OPT-NEXT:    ret void
  39 ; OPT:       ENDIF:
  40 ; OPT-NEXT:    [[TMP47]] = add i32 [[TMP45]], 1
  41 ; OPT-NEXT:    [[TMP51]] = icmp eq i32 [[TMP47]], [[CONT:%.*]]
  42 ; OPT-NEXT:    [[TMP51_INV]] = xor i1 [[TMP51]], true
  43 ; OPT-NEXT:    br label [[FLOW]]
  44 ;
  45 ; GCN-LABEL: multi_else_break:
  46 ; GCN:       ; %bb.0: ; %main_body
  47 ; GCN-NEXT:    s_mov_b64 s[0:1], 0
  48 ; GCN-NEXT:    v_mov_b32_e32 v0, 0
  49 ; GCN-NEXT:    s_branch .LBB0_2
  50 ; GCN-NEXT:  .LBB0_1: ; %loop.exit.guard
  51 ; GCN-NEXT:    ; in Loop: Header=BB0_2 Depth=1
  52 ; GCN-NEXT:    s_or_b64 exec, exec, s[4:5]
  53 ; GCN-NEXT:    s_and_b64 s[2:3], exec, s[2:3]
  54 ; GCN-NEXT:    s_or_b64 s[0:1], s[2:3], s[0:1]
  55 ; GCN-NEXT:    s_andn2_b64 exec, exec, s[0:1]
  56 ; GCN-NEXT:    s_cbranch_execz .LBB0_6
  57 ; GCN-NEXT:  .LBB0_2: ; %LOOP.outer
  58 ; GCN-NEXT:    ; =>This Loop Header: Depth=1
  59 ; GCN-NEXT:    ; Child Loop BB0_4 Depth 2
  60 ; GCN-NEXT:    ; implicit-def: $sgpr6_sgpr7
  61 ; GCN-NEXT:    ; implicit-def: $sgpr2_sgpr3
  62 ; GCN-NEXT:    s_mov_b64 s[4:5], 0
  63 ; GCN-NEXT:    s_branch .LBB0_4
  64 ; GCN-NEXT:  .LBB0_3: ; %Flow
  65 ; GCN-NEXT:    ; in Loop: Header=BB0_4 Depth=2
  66 ; GCN-NEXT:    s_or_b64 exec, exec, s[8:9]
  67 ; GCN-NEXT:    s_and_b64 s[8:9], exec, s[6:7]
  68 ; GCN-NEXT:    s_or_b64 s[4:5], s[8:9], s[4:5]
  69 ; GCN-NEXT:    s_andn2_b64 exec, exec, s[4:5]
  70 ; GCN-NEXT:    s_cbranch_execz .LBB0_1
  71 ; GCN-NEXT:  .LBB0_4: ; %LOOP
  72 ; GCN-NEXT:    ; Parent Loop BB0_2 Depth=1
  73 ; GCN-NEXT:    ; => This Inner Loop Header: Depth=2
  74 ; GCN-NEXT:    v_cmp_lt_i32_e32 vcc, v0, v4
  75 ; GCN-NEXT:    s_or_b64 s[2:3], s[2:3], exec
  76 ; GCN-NEXT:    s_or_b64 s[6:7], s[6:7], exec
  77 ; GCN-NEXT:    s_and_saveexec_b64 s[8:9], vcc
  78 ; GCN-NEXT:    s_cbranch_execz .LBB0_3
  79 ; GCN-NEXT:  ; %bb.5: ; %ENDIF
  80 ; GCN-NEXT:    ; in Loop: Header=BB0_4 Depth=2
  81 ; GCN-NEXT:    v_add_i32_e32 v0, vcc, 1, v0
  82 ; GCN-NEXT:    s_andn2_b64 s[2:3], s[2:3], exec
  83 ; GCN-NEXT:    v_cmp_ne_u32_e32 vcc, v5, v0
  84 ; GCN-NEXT:    s_andn2_b64 s[6:7], s[6:7], exec
  85 ; GCN-NEXT:    s_and_b64 s[10:11], vcc, exec
  86 ; GCN-NEXT:    s_or_b64 s[6:7], s[6:7], s[10:11]
  87 ; GCN-NEXT:    s_branch .LBB0_3
  88 ; GCN-NEXT:  .LBB0_6: ; %IF
  89 ; GCN-NEXT:    s_endpgm
  90 main_body:
  91   br label %LOOP.outer
  92
  93 LOOP.outer:                                       ; preds = %ENDIF, %main_body
  94   %tmp43 = phi i32 [ 0, %main_body ], [ %tmp47, %ENDIF ]
  95   br label %LOOP
  96
  97 LOOP:                                             ; preds = %ENDIF, %LOOP.outer
  98   %tmp45 = phi i32 [ %tmp43, %LOOP.outer ], [ %tmp47, %ENDIF ]
  99   %tmp48 = icmp slt i32 %tmp45, %ub
 100   br i1 %tmp48, label %ENDIF, label %IF
 101
 102 IF:                                               ; preds = %LOOP
 103   ret void
 104
 105 ENDIF:                                            ; preds = %LOOP
 106   %tmp47 = add i32 %tmp45, 1
 107   %tmp51 = icmp eq i32 %tmp47, %cont
 108   br i1 %tmp51, label %LOOP, label %LOOP.outer
 109 }
 110
 111 define amdgpu_kernel void @multi_if_break_loop(i32 %arg) #0 {
 112 ; OPT-LABEL: @multi_if_break_loop(
 113 ; OPT-NEXT:  bb:
 114 ; OPT-NEXT:    [[ID:%.*]] = call i32 @llvm.amdgcn.workitem.id.x()
 115 ; OPT-NEXT:    [[TMP:%.*]] = sub i32 [[ID]], [[ARG:%.*]]
 116 ; OPT-NEXT:    br label [[BB1:%.*]]
 117 ; OPT:       bb1:
 118 ; OPT-NEXT:    [[PHI_BROKEN:%.*]] = phi i64 [ [[TMP4:%.*]], [[FLOW4:%.*]] ], [ 0, [[BB:%.*]] ]
 119 ; OPT-NEXT:    [[LSR_IV:%.*]] = phi i32 [ undef, [[BB]] ], [ [[TMP2:%.*]], [[FLOW4]] ]
 120 ; OPT-NEXT:    [[LSR_IV_NEXT:%.*]] = add i32 [[LSR_IV]], 1
 121 ; OPT-NEXT:    [[CMP0:%.*]] = icmp slt i32 [[LSR_IV_NEXT]], 0
 122 ; OPT-NEXT:    [[LOAD0:%.*]] = load volatile i32, ptr addrspace(1) undef, align 4
 123 ; OPT-NEXT:    br label [[NODEBLOCK:%.*]]
 124 ; OPT:       NodeBlock:
 125 ; OPT-NEXT:    [[PIVOT:%.*]] = icmp sge i32 [[LOAD0]], 1
 126 ; OPT-NEXT:    br i1 [[PIVOT]], label [[LEAFBLOCK1:%.*]], label [[FLOW:%.*]]
 127 ; OPT:       LeafBlock1:
 128 ; OPT-NEXT:    [[SWITCHLEAF2:%.*]] = icmp eq i32 [[LOAD0]], 1
 129 ; OPT-NEXT:    br i1 [[SWITCHLEAF2]], label [[CASE1:%.*]], label [[FLOW3:%.*]]
 130 ; OPT:       Flow3:
 131 ; OPT-NEXT:    [[TMP0:%.*]] = phi i32 [ [[LSR_IV_NEXT]], [[CASE1]] ], [ undef, [[LEAFBLOCK1]] ]
 132 ; OPT-NEXT:    [[TMP1:%.*]] = phi i1 [ [[CMP2:%.*]], [[CASE1]] ], [ true, [[LEAFBLOCK1]] ]
 133 ; OPT-NEXT:    br label [[FLOW]]
 134 ; OPT:       LeafBlock:
 135 ; OPT-NEXT:    [[SWITCHLEAF:%.*]] = icmp eq i32 [[LOAD0]], 0
 136 ; OPT-NEXT:    br i1 [[SWITCHLEAF]], label [[CASE0:%.*]], label [[FLOW5:%.*]]
 137 ; OPT:       Flow4:
 138 ; OPT-NEXT:    [[TMP2]] = phi i32 [ [[TMP9:%.*]], [[FLOW5]] ], [ [[TMP6:%.*]], [[FLOW]] ]
 139 ; OPT-NEXT:    [[TMP3:%.*]] = phi i1 [ [[TMP10:%.*]], [[FLOW5]] ], [ [[TMP7:%.*]], [[FLOW]] ]
 140 ; OPT-NEXT:    [[TMP4]] = call i64 @llvm.amdgcn.if.break.i64(i1 [[TMP3]], i64 [[PHI_BROKEN]])
 141 ; OPT-NEXT:    [[TMP5:%.*]] = call i1 @llvm.amdgcn.loop.i64(i64 [[TMP4]])
 142 ; OPT-NEXT:    br i1 [[TMP5]], label [[BB9:%.*]], label [[BB1]]
 143 ; OPT:       case0:
 144 ; OPT-NEXT:    [[LOAD1:%.*]] = load volatile i32, ptr addrspace(1) undef, align 4
 145 ; OPT-NEXT:    [[CMP1:%.*]] = icmp sge i32 [[TMP]], [[LOAD1]]
 146 ; OPT-NEXT:    br label [[FLOW5]]
 147 ; OPT:       Flow:
 148 ; OPT-NEXT:    [[TMP6]] = phi i32 [ [[TMP0]], [[FLOW3]] ], [ undef, [[NODEBLOCK]] ]
 149 ; OPT-NEXT:    [[TMP7]] = phi i1 [ [[TMP1]], [[FLOW3]] ], [ true, [[NODEBLOCK]] ]
 150 ; OPT-NEXT:    [[TMP8:%.*]] = phi i1 [ false, [[FLOW3]] ], [ true, [[NODEBLOCK]] ]
 151 ; OPT-NEXT:    br i1 [[TMP8]], label [[LEAFBLOCK:%.*]], label [[FLOW4]]
 152 ; OPT:       case1:
 153 ; OPT-NEXT:    [[LOAD2:%.*]] = load volatile i32, ptr addrspace(1) undef, align 4
 154 ; OPT-NEXT:    [[CMP2]] = icmp sge i32 [[TMP]], [[LOAD2]]
 155 ; OPT-NEXT:    br label [[FLOW3]]
 156 ; OPT:       Flow5:
 157 ; OPT-NEXT:    [[TMP9]] = phi i32 [ [[LSR_IV_NEXT]], [[CASE0]] ], [ undef, [[LEAFBLOCK]] ]
 158 ; OPT-NEXT:    [[TMP10]] = phi i1 [ [[CMP1]], [[CASE0]] ], [ [[TMP7]], [[LEAFBLOCK]] ]
 159 ; OPT-NEXT:    br label [[FLOW4]]
 160 ; OPT:       bb9:
 161 ; OPT-NEXT:    call void @llvm.amdgcn.end.cf.i64(i64 [[TMP4]])
 162 ; OPT-NEXT:    ret void
 163 ;
 164 ; GCN-LABEL: multi_if_break_loop:
 165 ; GCN:       ; %bb.0: ; %bb
 166 ; GCN-NEXT:    s_load_dword s2, s[0:1], 0x9
 167 ; GCN-NEXT:    s_mov_b64 s[0:1], 0
 168 ; GCN-NEXT:    s_mov_b32 s3, 0xf000
 169 ; GCN-NEXT:    s_waitcnt lgkmcnt(0)
 170 ; GCN-NEXT:    v_subrev_i32_e32 v0, vcc, s2, v0
 171 ; GCN-NEXT:    s_mov_b32 s2, -1
 172 ; GCN-NEXT:    s_branch .LBB1_2
 173 ; GCN-NEXT:  .LBB1_1: ; %Flow4
 174 ; GCN-NEXT:    ; in Loop: Header=BB1_2 Depth=1
 175 ; GCN-NEXT:    s_and_b64 s[4:5], exec, s[4:5]
 176 ; GCN-NEXT:    s_or_b64 s[0:1], s[4:5], s[0:1]
 177 ; GCN-NEXT:    s_andn2_b64 exec, exec, s[0:1]
 178 ; GCN-NEXT:    s_cbranch_execz .LBB1_9
 179 ; GCN-NEXT:  .LBB1_2: ; %bb1
 180 ; GCN-NEXT:    ; =>This Inner Loop Header: Depth=1
 181 ; GCN-NEXT:    buffer_load_dword v1, off, s[0:3], 0 glc
 182 ; GCN-NEXT:    s_waitcnt vmcnt(0)
 183 ; GCN-NEXT:    v_readfirstlane_b32 s8, v1
 184 ; GCN-NEXT:    s_mov_b64 s[4:5], -1
 185 ; GCN-NEXT:    s_cmp_lt_i32 s8, 1
 186 ; GCN-NEXT:    s_mov_b64 s[6:7], -1
 187 ; GCN-NEXT:    s_cbranch_scc1 .LBB1_6
 188 ; GCN-NEXT:  ; %bb.3: ; %LeafBlock1
 189 ; GCN-NEXT:    ; in Loop: Header=BB1_2 Depth=1
 190 ; GCN-NEXT:    s_cmp_eq_u32 s8, 1
 191 ; GCN-NEXT:    s_cbranch_scc0 .LBB1_5
 192 ; GCN-NEXT:  ; %bb.4: ; %case1
 193 ; GCN-NEXT:    ; in Loop: Header=BB1_2 Depth=1
 194 ; GCN-NEXT:    buffer_load_dword v1, off, s[0:3], 0 glc
 195 ; GCN-NEXT:    s_waitcnt vmcnt(0)
 196 ; GCN-NEXT:    v_cmp_ge_i32_e32 vcc, v0, v1
 197 ; GCN-NEXT:    s_orn2_b64 s[4:5], vcc, exec
 198 ; GCN-NEXT:  .LBB1_5: ; %Flow3
 199 ; GCN-NEXT:    ; in Loop: Header=BB1_2 Depth=1
 200 ; GCN-NEXT:    s_mov_b64 s[6:7], 0
 201 ; GCN-NEXT:  .LBB1_6: ; %Flow
 202 ; GCN-NEXT:    ; in Loop: Header=BB1_2 Depth=1
 203 ; GCN-NEXT:    s_and_b64 vcc, exec, s[6:7]
 204 ; GCN-NEXT:    s_cbranch_vccz .LBB1_1
 205 ; GCN-NEXT:  ; %bb.7: ; %LeafBlock
 206 ; GCN-NEXT:    ; in Loop: Header=BB1_2 Depth=1
 207 ; GCN-NEXT:    s_cmp_eq_u32 s8, 0
 208 ; GCN-NEXT:    s_cbranch_scc0 .LBB1_1
 209 ; GCN-NEXT:  ; %bb.8: ; %case0
 210 ; GCN-NEXT:    ; in Loop: Header=BB1_2 Depth=1
 211 ; GCN-NEXT:    buffer_load_dword v1, off, s[0:3], 0 glc
 212 ; GCN-NEXT:    s_waitcnt vmcnt(0)
 213 ; GCN-NEXT:    v_cmp_ge_i32_e32 vcc, v0, v1
 214 ; GCN-NEXT:    s_andn2_b64 s[4:5], s[4:5], exec
 215 ; GCN-NEXT:    s_and_b64 s[6:7], vcc, exec
 216 ; GCN-NEXT:    s_or_b64 s[4:5], s[4:5], s[6:7]
 217 ; GCN-NEXT:    s_branch .LBB1_1
 218 ; GCN-NEXT:  .LBB1_9: ; %bb9
 219 ; GCN-NEXT:    s_endpgm
 220 bb:
 221   %id = call i32 @llvm.amdgcn.workitem.id.x()
 222   %tmp = sub i32 %id, %arg
 223   br label %bb1
 224
 225 bb1:
 226   %lsr.iv = phi i32 [ undef, %bb ], [ %lsr.iv.next, %case0 ], [ %lsr.iv.next, %case1 ]
 227   %lsr.iv.next = add i32 %lsr.iv, 1
 228   %cmp0 = icmp slt i32 %lsr.iv.next, 0
 229   %load0 = load volatile i32, ptr addrspace(1) undef, align 4
 230   switch i32 %load0, label %bb9 [
 231   i32 0, label %case0
 232   i32 1, label %case1
 233   ]
 234
 235 case0:
 236   %load1 = load volatile i32, ptr addrspace(1) undef, align 4
 237   %cmp1 = icmp slt i32 %tmp, %load1
 238   br i1 %cmp1, label %bb1, label %bb9
 239
 240 case1:
 241   %load2 = load volatile i32, ptr addrspace(1) undef, align 4
 242   %cmp2 = icmp slt i32 %tmp, %load2
 243   br i1 %cmp2, label %bb1, label %bb9
 244
 245 bb9:
 246   ret void
 247 }
 248
 249 declare i32 @llvm.amdgcn.workitem.id.x() #1
 250
 251 attributes #0 = { nounwind }
 252 attributes #1 = { nounwind readnone }