llvm/test/CodeGen/AMDGPU/vgpr-liverange-ir.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_mir_test_checks.py
   2 ; RUN: llc -mtriple=amdgcn -mcpu=gfx1010 -amdgpu-opt-vgpr-liverange=true -stop-after=si-opt-vgpr-liverange -verify-machineinstrs < %s | FileCheck -check-prefix=SI %s
   3
   4 ; a normal if-else
   5 define amdgpu_ps float @else1(i32 %z, float %v) #0 {
   6   ; SI-LABEL: name: else1
   7   ; SI: bb.0.main_body:
   8   ; SI-NEXT:   successors: %bb.3(0x40000000), %bb.1(0x40000000)
   9   ; SI-NEXT:   liveins: $vgpr0, $vgpr1
  10   ; SI-NEXT: {{  $}}
  11   ; SI-NEXT:   [[COPY:%[0-9]+]]:vgpr_32 = COPY killed $vgpr1
  12   ; SI-NEXT:   [[COPY1:%[0-9]+]]:vgpr_32 = COPY killed $vgpr0
  13   ; SI-NEXT:   [[V_CMP_GT_I32_e64_:%[0-9]+]]:sreg_32 = V_CMP_GT_I32_e64 6, killed [[COPY1]], implicit $exec
  14   ; SI-NEXT:   [[SI_IF:%[0-9]+]]:sreg_32 = SI_IF killed [[V_CMP_GT_I32_e64_]], %bb.1, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
  15   ; SI-NEXT:   S_BRANCH %bb.3
  16   ; SI-NEXT: {{  $}}
  17   ; SI-NEXT: bb.1.Flow:
  18   ; SI-NEXT:   successors: %bb.2(0x40000000), %bb.4(0x40000000)
  19   ; SI-NEXT: {{  $}}
  20   ; SI-NEXT:   [[PHI:%[0-9]+]]:vgpr_32 = PHI undef %13:vgpr_32, %bb.0, %4, %bb.3
  21   ; SI-NEXT:   [[PHI1:%[0-9]+]]:vgpr_32 = PHI [[COPY]], %bb.0, undef %15:vgpr_32, %bb.3
  22   ; SI-NEXT:   [[SI_ELSE:%[0-9]+]]:sreg_32 = SI_ELSE killed [[SI_IF]], %bb.4, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
  23   ; SI-NEXT:   S_BRANCH %bb.2
  24   ; SI-NEXT: {{  $}}
  25   ; SI-NEXT: bb.2.if:
  26   ; SI-NEXT:   successors: %bb.4(0x80000000)
  27   ; SI-NEXT: {{  $}}
  28   ; SI-NEXT:   [[V_ADD_F32_e64_:%[0-9]+]]:vgpr_32 = nofpexcept V_ADD_F32_e64 0, killed [[PHI1]], 0, [[PHI1]], 0, 0, implicit $mode, implicit $exec
  29   ; SI-NEXT:   S_BRANCH %bb.4
  30   ; SI-NEXT: {{  $}}
  31   ; SI-NEXT: bb.3.else:
  32   ; SI-NEXT:   successors: %bb.1(0x80000000)
  33   ; SI-NEXT: {{  $}}
  34   ; SI-NEXT:   [[V_MUL_F32_e64_:%[0-9]+]]:vgpr_32 = nofpexcept V_MUL_F32_e64 0, 1077936128, 0, killed [[COPY]], 0, 0, implicit $mode, implicit $exec
  35   ; SI-NEXT:   S_BRANCH %bb.1
  36   ; SI-NEXT: {{  $}}
  37   ; SI-NEXT: bb.4.end:
  38   ; SI-NEXT:   [[PHI2:%[0-9]+]]:vgpr_32 = PHI [[PHI]], %bb.1, [[V_ADD_F32_e64_]], %bb.2
  39   ; SI-NEXT:   SI_END_CF killed [[SI_ELSE]], implicit-def dead $exec, implicit-def dead $scc, implicit $exec
  40   ; SI-NEXT:   $vgpr0 = COPY killed [[PHI2]]
  41   ; SI-NEXT:   SI_RETURN_TO_EPILOG killed $vgpr0
  42 main_body:
  43   %cc = icmp sgt i32 %z, 5
  44   br i1 %cc, label %if, label %else
  45
  46 if:
  47   %v.if = fmul float %v, 2.0
  48   br label %end
  49
  50 else:
  51   %v.else = fmul float %v, 3.0
  52   br label %end
  53
  54 end:
  55   %r = phi float [ %v.if, %if ], [ %v.else, %else ]
  56   ret float %r
  57 }
  58
  59
  60 ; %v was used after if-else
  61 define amdgpu_ps float @else2(i32 %z, float %v) #0 {
  62   ; SI-LABEL: name: else2
  63   ; SI: bb.0.main_body:
  64   ; SI-NEXT:   successors: %bb.3(0x40000000), %bb.1(0x40000000)
  65   ; SI-NEXT:   liveins: $vgpr0, $vgpr1
  66   ; SI-NEXT: {{  $}}
  67   ; SI-NEXT:   [[COPY:%[0-9]+]]:vgpr_32 = COPY killed $vgpr1
  68   ; SI-NEXT:   [[COPY1:%[0-9]+]]:vgpr_32 = COPY killed $vgpr0
  69   ; SI-NEXT:   [[V_CMP_GT_I32_e64_:%[0-9]+]]:sreg_32 = V_CMP_GT_I32_e64 6, killed [[COPY1]], implicit $exec
  70   ; SI-NEXT:   [[SI_IF:%[0-9]+]]:sreg_32 = SI_IF killed [[V_CMP_GT_I32_e64_]], %bb.1, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
  71   ; SI-NEXT:   S_BRANCH %bb.3
  72   ; SI-NEXT: {{  $}}
  73   ; SI-NEXT: bb.1.Flow:
  74   ; SI-NEXT:   successors: %bb.2(0x40000000), %bb.4(0x40000000)
  75   ; SI-NEXT: {{  $}}
  76   ; SI-NEXT:   [[PHI:%[0-9]+]]:vgpr_32 = PHI undef %16:vgpr_32, %bb.0, %5, %bb.3
  77   ; SI-NEXT:   [[PHI1:%[0-9]+]]:vgpr_32 = PHI undef %16:vgpr_32, %bb.0, [[COPY]], %bb.3
  78   ; SI-NEXT:   [[SI_ELSE:%[0-9]+]]:sreg_32 = SI_ELSE killed [[SI_IF]], %bb.4, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
  79   ; SI-NEXT:   S_BRANCH %bb.2
  80   ; SI-NEXT: {{  $}}
  81   ; SI-NEXT: bb.2.if:
  82   ; SI-NEXT:   successors: %bb.4(0x80000000)
  83   ; SI-NEXT: {{  $}}
  84   ; SI-NEXT:   [[V_ADD_F32_e64_:%[0-9]+]]:vgpr_32 = nofpexcept V_ADD_F32_e64 0, killed [[COPY]], 0, [[COPY]], 0, 0, implicit $mode, implicit $exec
  85   ; SI-NEXT:   S_BRANCH %bb.4
  86   ; SI-NEXT: {{  $}}
  87   ; SI-NEXT: bb.3.else:
  88   ; SI-NEXT:   successors: %bb.1(0x80000000)
  89   ; SI-NEXT: {{  $}}
  90   ; SI-NEXT:   [[V_MUL_F32_e64_:%[0-9]+]]:vgpr_32 = nofpexcept V_MUL_F32_e64 0, 1077936128, 0, [[COPY]], 0, 0, implicit $mode, implicit $exec
  91   ; SI-NEXT:   S_BRANCH %bb.1
  92   ; SI-NEXT: {{  $}}
  93   ; SI-NEXT: bb.4.end:
  94   ; SI-NEXT:   [[PHI2:%[0-9]+]]:vgpr_32 = PHI [[PHI1]], %bb.1, [[V_ADD_F32_e64_]], %bb.2
  95   ; SI-NEXT:   [[PHI3:%[0-9]+]]:vgpr_32 = PHI [[PHI]], %bb.1, [[V_ADD_F32_e64_]], %bb.2
  96   ; SI-NEXT:   SI_END_CF killed [[SI_ELSE]], implicit-def dead $exec, implicit-def dead $scc, implicit $exec
  97   ; SI-NEXT:   [[V_ADD_F32_e64_1:%[0-9]+]]:vgpr_32 = nofpexcept V_ADD_F32_e64 0, killed [[PHI2]], 0, killed [[PHI3]], 0, 0, implicit $mode, implicit $exec
  98   ; SI-NEXT:   $vgpr0 = COPY killed [[V_ADD_F32_e64_1]]
  99   ; SI-NEXT:   SI_RETURN_TO_EPILOG killed $vgpr0
 100 main_body:
 101   %cc = icmp sgt i32 %z, 5
 102   br i1 %cc, label %if, label %else
 103
 104 if:
 105   %v.if = fmul float %v, 2.0
 106   br label %end
 107
 108 else:
 109   %v.else = fmul float %v, 3.0
 110   br label %end
 111
 112 end:
 113   %r0 = phi float [ %v.if, %if ], [ %v, %else ]
 114   %r1 = phi float [ %v.if, %if ], [ %v.else, %else ]
 115   %r2 = fadd float %r0, %r1
 116   ret float %r2
 117 }
 118
 119 ; if-else inside loop, %x can be optimized, but %v cannot be.
 120 define amdgpu_ps float @else3(i32 %z, float %v, i32 inreg %bound, i32 %x0) #0 {
 121   ; SI-LABEL: name: else3
 122   ; SI: bb.0.entry:
 123   ; SI-NEXT:   successors: %bb.1(0x80000000)
 124   ; SI-NEXT:   liveins: $vgpr0, $vgpr1, $sgpr0, $vgpr2
 125   ; SI-NEXT: {{  $}}
 126   ; SI-NEXT:   [[COPY:%[0-9]+]]:vgpr_32 = COPY killed $vgpr2
 127   ; SI-NEXT:   [[COPY1:%[0-9]+]]:sgpr_32 = COPY killed $sgpr0
 128   ; SI-NEXT:   [[COPY2:%[0-9]+]]:vgpr_32 = COPY killed $vgpr1
 129   ; SI-NEXT:   [[COPY3:%[0-9]+]]:vgpr_32 = COPY killed $vgpr0
 130   ; SI-NEXT:   [[V_CMP_GT_I32_e64_:%[0-9]+]]:sreg_32 = V_CMP_GT_I32_e64 6, killed [[COPY3]], implicit $exec
 131   ; SI-NEXT:   [[S_MOV_B32_:%[0-9]+]]:sreg_32 = S_MOV_B32 0
 132   ; SI-NEXT: {{  $}}
 133   ; SI-NEXT: bb.1.for.body:
 134   ; SI-NEXT:   successors: %bb.4(0x40000000), %bb.2(0x40000000)
 135   ; SI-NEXT: {{  $}}
 136   ; SI-NEXT:   [[PHI:%[0-9]+]]:sreg_32 = PHI [[S_MOV_B32_]], %bb.0, %14, %bb.5
 137   ; SI-NEXT:   [[PHI1:%[0-9]+]]:vgpr_32 = PHI [[COPY]], %bb.0, %13, %bb.5
 138   ; SI-NEXT:   [[SI_IF:%[0-9]+]]:sreg_32 = SI_IF [[V_CMP_GT_I32_e64_]], %bb.2, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 139   ; SI-NEXT:   S_BRANCH %bb.4
 140   ; SI-NEXT: {{  $}}
 141   ; SI-NEXT: bb.2.Flow:
 142   ; SI-NEXT:   successors: %bb.3(0x40000000), %bb.5(0x40000000)
 143   ; SI-NEXT: {{  $}}
 144   ; SI-NEXT:   [[PHI2:%[0-9]+]]:vgpr_32 = PHI undef %31:vgpr_32, %bb.1, %10, %bb.4
 145   ; SI-NEXT:   [[PHI3:%[0-9]+]]:vgpr_32 = PHI undef %32:vgpr_32, %bb.1, %9, %bb.4
 146   ; SI-NEXT:   [[PHI4:%[0-9]+]]:vgpr_32 = PHI [[PHI1]], %bb.1, undef %34:vgpr_32, %bb.4
 147   ; SI-NEXT:   [[SI_ELSE:%[0-9]+]]:sreg_32 = SI_ELSE killed [[SI_IF]], %bb.5, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 148   ; SI-NEXT:   S_BRANCH %bb.3
 149   ; SI-NEXT: {{  $}}
 150   ; SI-NEXT: bb.3.if:
 151   ; SI-NEXT:   successors: %bb.5(0x80000000)
 152   ; SI-NEXT: {{  $}}
 153   ; SI-NEXT:   [[V_MUL_F32_e64_:%[0-9]+]]:vgpr_32 = nofpexcept V_MUL_F32_e64 0, [[PHI]], 0, [[COPY2]], 0, 0, implicit $mode, implicit $exec
 154   ; SI-NEXT:   [[V_ADD_U32_e64_:%[0-9]+]]:vgpr_32 = V_ADD_U32_e64 1, killed [[PHI4]], 0, implicit $exec
 155   ; SI-NEXT:   S_BRANCH %bb.5
 156   ; SI-NEXT: {{  $}}
 157   ; SI-NEXT: bb.4.else:
 158   ; SI-NEXT:   successors: %bb.2(0x80000000)
 159   ; SI-NEXT: {{  $}}
 160   ; SI-NEXT:   [[V_MUL_F32_e64_1:%[0-9]+]]:vgpr_32 = nofpexcept V_MUL_F32_e64 0, [[COPY2]], 0, [[PHI1]], 0, 0, implicit $mode, implicit $exec
 161   ; SI-NEXT:   [[V_LSHL_ADD_U32_e64_:%[0-9]+]]:vgpr_32 = V_LSHL_ADD_U32_e64 killed [[PHI1]], 1, [[PHI1]], implicit $exec
 162   ; SI-NEXT:   S_BRANCH %bb.2
 163   ; SI-NEXT: {{  $}}
 164   ; SI-NEXT: bb.5.if.end:
 165   ; SI-NEXT:   successors: %bb.6(0x04000000), %bb.1(0x7c000000)
 166   ; SI-NEXT: {{  $}}
 167   ; SI-NEXT:   [[PHI5:%[0-9]+]]:vgpr_32 = PHI [[PHI3]], %bb.2, [[V_MUL_F32_e64_]], %bb.3
 168   ; SI-NEXT:   [[PHI6:%[0-9]+]]:vgpr_32 = PHI [[PHI2]], %bb.2, [[V_ADD_U32_e64_]], %bb.3
 169   ; SI-NEXT:   SI_END_CF killed [[SI_ELSE]], implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 170   ; SI-NEXT:   [[V_ADD_U32_e64_1:%[0-9]+]]:vgpr_32 = V_ADD_U32_e64 1, [[PHI6]], 0, implicit $exec
 171   ; SI-NEXT:   [[S_ADD_I32_:%[0-9]+]]:sreg_32 = S_ADD_I32 killed [[PHI]], 1, implicit-def dead $scc
 172   ; SI-NEXT:   S_CMP_LT_I32 [[S_ADD_I32_]], [[COPY1]], implicit-def $scc
 173   ; SI-NEXT:   S_CBRANCH_SCC1 %bb.1, implicit killed $scc
 174   ; SI-NEXT:   S_BRANCH %bb.6
 175   ; SI-NEXT: {{  $}}
 176   ; SI-NEXT: bb.6.for.end:
 177   ; SI-NEXT:   [[V_ADD_F32_e64_:%[0-9]+]]:vgpr_32 = nofpexcept V_ADD_F32_e64 0, killed [[PHI6]], 0, killed [[PHI5]], 0, 0, implicit $mode, implicit $exec
 178   ; SI-NEXT:   $vgpr0 = COPY killed [[V_ADD_F32_e64_]]
 179   ; SI-NEXT:   SI_RETURN_TO_EPILOG killed $vgpr0
 180 entry:
 181   br label %for.body
 182
 183 for.body:
 184   %i = phi i32 [ 0, %entry ], [ %inc, %if.end ]
 185   %x = phi i32 [ %x0, %entry ], [ %xinc, %if.end ]
 186   %cc = icmp sgt i32 %z, 5
 187   br i1 %cc, label %if, label %else
 188
 189 if:
 190   %i.tmp = bitcast i32 %i to float
 191   %v.if = fmul float %v, %i.tmp
 192   %x.if = add i32 %x, 1
 193   br label %if.end
 194
 195 else:
 196   %x.tmp = bitcast i32 %x to float
 197   %v.else = fmul float %v, %x.tmp
 198   %x.else = mul i32 %x, 3
 199   br label %if.end
 200
 201 if.end:
 202   %v.endif = phi float [ %v.if, %if ], [ %v.else, %else ]
 203   %x.endif = phi i32 [ %x.if, %if ], [ %x.else, %else ]
 204
 205   %xinc = add i32 %x.endif, 1
 206   %inc = add i32 %i, 1
 207   %cond = icmp slt i32 %inc, %bound
 208   br i1 %cond, label %for.body, label %for.end
 209
 210 for.end:
 211   %x_float = bitcast i32 %x.endif to float
 212   %r = fadd float %x_float, %v.endif
 213   ret float %r
 214 }
 215
 216 ; a loop inside an if-else
 217 define amdgpu_ps float @loop(i32 %z, float %v, i32 inreg %bound, ptr %extern_func, ptr %extern_func2) #0 {
 218   ; SI-LABEL: name: loop
 219   ; SI: bb.0.main_body:
 220   ; SI-NEXT:   successors: %bb.6(0x40000000), %bb.1(0x40000000)
 221   ; SI-NEXT:   liveins: $vgpr0, $vgpr1, $vgpr2, $vgpr3, $vgpr4, $vgpr5
 222   ; SI-NEXT: {{  $}}
 223   ; SI-NEXT:   [[COPY:%[0-9]+]]:vgpr_32 = COPY killed $vgpr5
 224   ; SI-NEXT:   [[COPY1:%[0-9]+]]:vgpr_32 = COPY killed $vgpr4
 225   ; SI-NEXT:   [[COPY2:%[0-9]+]]:vgpr_32 = COPY killed $vgpr3
 226   ; SI-NEXT:   [[COPY3:%[0-9]+]]:vgpr_32 = COPY killed $vgpr2
 227   ; SI-NEXT:   [[COPY4:%[0-9]+]]:vgpr_32 = COPY killed $vgpr1
 228   ; SI-NEXT:   [[COPY5:%[0-9]+]]:vgpr_32 = COPY killed $vgpr0
 229   ; SI-NEXT:   [[V_CMP_GT_I32_e64_:%[0-9]+]]:sreg_32 = V_CMP_GT_I32_e64 6, killed [[COPY5]], implicit $exec
 230   ; SI-NEXT:   [[SI_IF:%[0-9]+]]:sreg_32 = SI_IF killed [[V_CMP_GT_I32_e64_]], %bb.1, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 231   ; SI-NEXT:   S_BRANCH %bb.6
 232   ; SI-NEXT: {{  $}}
 233   ; SI-NEXT: bb.1.Flow:
 234   ; SI-NEXT:   successors: %bb.2(0x40000000), %bb.10(0x40000000)
 235   ; SI-NEXT: {{  $}}
 236   ; SI-NEXT:   [[PHI:%[0-9]+]]:vgpr_32 = PHI undef %47:vgpr_32, %bb.0, %4, %bb.9
 237   ; SI-NEXT:   [[PHI1:%[0-9]+]]:vgpr_32 = PHI [[COPY4]], %bb.0, undef %49:vgpr_32, %bb.9
 238   ; SI-NEXT:   [[PHI2:%[0-9]+]]:vgpr_32 = PHI [[COPY3]], %bb.0, undef %51:vgpr_32, %bb.9
 239   ; SI-NEXT:   [[PHI3:%[0-9]+]]:vgpr_32 = PHI [[COPY2]], %bb.0, undef %53:vgpr_32, %bb.9
 240   ; SI-NEXT:   [[SI_ELSE:%[0-9]+]]:sreg_32 = SI_ELSE killed [[SI_IF]], %bb.10, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 241   ; SI-NEXT:   S_BRANCH %bb.2
 242   ; SI-NEXT: {{  $}}
 243   ; SI-NEXT: bb.2.if:
 244   ; SI-NEXT:   successors: %bb.3(0x80000000)
 245   ; SI-NEXT: {{  $}}
 246   ; SI-NEXT:   [[REG_SEQUENCE:%[0-9]+]]:vreg_64 = REG_SEQUENCE killed [[PHI2]], %subreg.sub0, killed [[PHI3]], %subreg.sub1
 247   ; SI-NEXT:   [[S_MOV_B32_:%[0-9]+]]:sreg_32_xm0_xexec = S_MOV_B32 $exec_lo
 248   ; SI-NEXT:   [[COPY6:%[0-9]+]]:sgpr_128 = COPY $sgpr100_sgpr101_sgpr102_sgpr103
 249   ; SI-NEXT: {{  $}}
 250   ; SI-NEXT: bb.3:
 251   ; SI-NEXT:   successors: %bb.4(0x80000000)
 252   ; SI-NEXT: {{  $}}
 253   ; SI-NEXT:   [[PHI4:%[0-9]+]]:vreg_64 = PHI undef %55:vreg_64, %bb.4, [[REG_SEQUENCE]], %bb.2
 254   ; SI-NEXT:   [[PHI5:%[0-9]+]]:vgpr_32 = PHI undef %57:vgpr_32, %bb.4, [[PHI1]], %bb.2
 255   ; SI-NEXT:   [[V_READFIRSTLANE_B32_:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[PHI4]].sub0, implicit $exec
 256   ; SI-NEXT:   [[V_READFIRSTLANE_B32_1:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[PHI4]].sub1, implicit $exec
 257   ; SI-NEXT:   [[REG_SEQUENCE1:%[0-9]+]]:sgpr_64 = REG_SEQUENCE killed [[V_READFIRSTLANE_B32_]], %subreg.sub0, killed [[V_READFIRSTLANE_B32_1]], %subreg.sub1
 258   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 [[REG_SEQUENCE1]], killed [[PHI4]], implicit $exec
 259   ; SI-NEXT:   [[S_AND_SAVEEXEC_B32_:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_SAVEEXEC_B32 killed [[V_CMP_EQ_U64_e64_]], implicit-def $exec, implicit-def dead $scc, implicit $exec
 260   ; SI-NEXT: {{  $}}
 261   ; SI-NEXT: bb.4:
 262   ; SI-NEXT:   successors: %bb.3(0x40000000), %bb.5(0x40000000)
 263   ; SI-NEXT: {{  $}}
 264   ; SI-NEXT:   ADJCALLSTACKUP 0, 0, implicit-def dead $scc, implicit-def $sgpr32, implicit $sgpr32
 265   ; SI-NEXT:   $sgpr0_sgpr1_sgpr2_sgpr3 = COPY [[COPY6]]
 266   ; SI-NEXT:   $vgpr0 = COPY killed [[PHI5]]
 267   ; SI-NEXT:   dead $sgpr30_sgpr31 = SI_CALL killed [[REG_SEQUENCE1]], 0, csr_amdgpu_si_gfx, implicit killed $sgpr0_sgpr1_sgpr2_sgpr3, implicit killed $vgpr0, implicit-def $vgpr0
 268   ; SI-NEXT:   ADJCALLSTACKDOWN 0, 0, implicit-def dead $scc, implicit-def $sgpr32, implicit $sgpr32
 269   ; SI-NEXT:   [[COPY7:%[0-9]+]]:vgpr_32 = COPY killed $vgpr0
 270   ; SI-NEXT:   $exec_lo = S_XOR_B32_term $exec_lo, killed [[S_AND_SAVEEXEC_B32_]], implicit-def dead $scc
 271   ; SI-NEXT:   SI_WATERFALL_LOOP %bb.3, implicit $exec
 272   ; SI-NEXT: {{  $}}
 273   ; SI-NEXT: bb.5:
 274   ; SI-NEXT:   successors: %bb.10(0x80000000)
 275   ; SI-NEXT: {{  $}}
 276   ; SI-NEXT:   $exec_lo = S_MOV_B32 killed [[S_MOV_B32_]]
 277   ; SI-NEXT:   [[COPY8:%[0-9]+]]:vgpr_32 = COPY killed [[COPY7]]
 278   ; SI-NEXT:   S_BRANCH %bb.10
 279   ; SI-NEXT: {{  $}}
 280   ; SI-NEXT: bb.6.else:
 281   ; SI-NEXT:   successors: %bb.7(0x80000000)
 282   ; SI-NEXT: {{  $}}
 283   ; SI-NEXT:   [[REG_SEQUENCE2:%[0-9]+]]:vreg_64 = REG_SEQUENCE killed [[COPY1]], %subreg.sub0, killed [[COPY]], %subreg.sub1
 284   ; SI-NEXT:   [[S_MOV_B32_1:%[0-9]+]]:sreg_32_xm0_xexec = S_MOV_B32 $exec_lo
 285   ; SI-NEXT:   [[COPY9:%[0-9]+]]:sgpr_128 = COPY $sgpr100_sgpr101_sgpr102_sgpr103
 286   ; SI-NEXT: {{  $}}
 287   ; SI-NEXT: bb.7:
 288   ; SI-NEXT:   successors: %bb.8(0x80000000)
 289   ; SI-NEXT: {{  $}}
 290   ; SI-NEXT:   [[PHI6:%[0-9]+]]:vreg_64 = PHI undef %59:vreg_64, %bb.8, [[REG_SEQUENCE2]], %bb.6
 291   ; SI-NEXT:   [[PHI7:%[0-9]+]]:vgpr_32 = PHI undef %61:vgpr_32, %bb.8, [[COPY4]], %bb.6
 292   ; SI-NEXT:   [[V_READFIRSTLANE_B32_2:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[PHI6]].sub0, implicit $exec
 293   ; SI-NEXT:   [[V_READFIRSTLANE_B32_3:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[PHI6]].sub1, implicit $exec
 294   ; SI-NEXT:   [[REG_SEQUENCE3:%[0-9]+]]:sgpr_64 = REG_SEQUENCE killed [[V_READFIRSTLANE_B32_2]], %subreg.sub0, killed [[V_READFIRSTLANE_B32_3]], %subreg.sub1
 295   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_1:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 [[REG_SEQUENCE3]], killed [[PHI6]], implicit $exec
 296   ; SI-NEXT:   [[S_AND_SAVEEXEC_B32_1:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_SAVEEXEC_B32 killed [[V_CMP_EQ_U64_e64_1]], implicit-def $exec, implicit-def dead $scc, implicit $exec
 297   ; SI-NEXT: {{  $}}
 298   ; SI-NEXT: bb.8:
 299   ; SI-NEXT:   successors: %bb.7(0x40000000), %bb.9(0x40000000)
 300   ; SI-NEXT: {{  $}}
 301   ; SI-NEXT:   ADJCALLSTACKUP 0, 0, implicit-def dead $scc, implicit-def $sgpr32, implicit $sgpr32
 302   ; SI-NEXT:   $sgpr0_sgpr1_sgpr2_sgpr3 = COPY [[COPY9]]
 303   ; SI-NEXT:   $vgpr0 = COPY killed [[PHI7]]
 304   ; SI-NEXT:   dead $sgpr30_sgpr31 = SI_CALL killed [[REG_SEQUENCE3]], 0, csr_amdgpu_si_gfx, implicit killed $sgpr0_sgpr1_sgpr2_sgpr3, implicit killed $vgpr0, implicit-def $vgpr0
 305   ; SI-NEXT:   ADJCALLSTACKDOWN 0, 0, implicit-def dead $scc, implicit-def $sgpr32, implicit $sgpr32
 306   ; SI-NEXT:   [[COPY10:%[0-9]+]]:vgpr_32 = COPY killed $vgpr0
 307   ; SI-NEXT:   $exec_lo = S_XOR_B32_term $exec_lo, killed [[S_AND_SAVEEXEC_B32_1]], implicit-def dead $scc
 308   ; SI-NEXT:   SI_WATERFALL_LOOP %bb.7, implicit $exec
 309   ; SI-NEXT: {{  $}}
 310   ; SI-NEXT: bb.9:
 311   ; SI-NEXT:   successors: %bb.1(0x80000000)
 312   ; SI-NEXT: {{  $}}
 313   ; SI-NEXT:   $exec_lo = S_MOV_B32 killed [[S_MOV_B32_1]]
 314   ; SI-NEXT:   [[COPY11:%[0-9]+]]:vgpr_32 = COPY killed [[COPY10]]
 315   ; SI-NEXT:   S_BRANCH %bb.1
 316   ; SI-NEXT: {{  $}}
 317   ; SI-NEXT: bb.10.end:
 318   ; SI-NEXT:   [[PHI8:%[0-9]+]]:vgpr_32 = PHI [[PHI]], %bb.1, [[COPY8]], %bb.5
 319   ; SI-NEXT:   SI_END_CF killed [[SI_ELSE]], implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 320   ; SI-NEXT:   $vgpr0 = COPY killed [[PHI8]]
 321   ; SI-NEXT:   SI_RETURN_TO_EPILOG killed $vgpr0
 322 main_body:
 323   %cc = icmp sgt i32 %z, 5
 324   br i1 %cc, label %if, label %else
 325
 326 if:
 327   %v.if = call amdgpu_gfx float %extern_func(float %v)
 328   br label %end
 329
 330 else:
 331   %v.else = call amdgpu_gfx float %extern_func2(float %v)
 332   br label %end
 333
 334 end:
 335   %r = phi float [ %v.if, %if ], [ %v.else, %else ]
 336   ret float %r
 337 }
 338
 339 ; a loop inside an if-else, but the variable is still in use after the if-else
 340 define amdgpu_ps float @loop_with_use(i32 %z, float %v, i32 inreg %bound, ptr %extern_func, ptr %extern_func2) #0 {
 341   ; SI-LABEL: name: loop_with_use
 342   ; SI: bb.0.main_body:
 343   ; SI-NEXT:   successors: %bb.6(0x40000000), %bb.1(0x40000000)
 344   ; SI-NEXT:   liveins: $vgpr0, $vgpr1, $vgpr2, $vgpr3, $vgpr4, $vgpr5
 345   ; SI-NEXT: {{  $}}
 346   ; SI-NEXT:   [[COPY:%[0-9]+]]:vgpr_32 = COPY killed $vgpr5
 347   ; SI-NEXT:   [[COPY1:%[0-9]+]]:vgpr_32 = COPY killed $vgpr4
 348   ; SI-NEXT:   [[COPY2:%[0-9]+]]:vgpr_32 = COPY killed $vgpr3
 349   ; SI-NEXT:   [[COPY3:%[0-9]+]]:vgpr_32 = COPY killed $vgpr2
 350   ; SI-NEXT:   [[COPY4:%[0-9]+]]:vgpr_32 = COPY killed $vgpr1
 351   ; SI-NEXT:   [[COPY5:%[0-9]+]]:vgpr_32 = COPY killed $vgpr0
 352   ; SI-NEXT:   [[V_CMP_GT_I32_e64_:%[0-9]+]]:sreg_32 = V_CMP_GT_I32_e64 6, killed [[COPY5]], implicit $exec
 353   ; SI-NEXT:   [[SI_IF:%[0-9]+]]:sreg_32 = SI_IF killed [[V_CMP_GT_I32_e64_]], %bb.1, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 354   ; SI-NEXT:   S_BRANCH %bb.6
 355   ; SI-NEXT: {{  $}}
 356   ; SI-NEXT: bb.1.Flow:
 357   ; SI-NEXT:   successors: %bb.2(0x40000000), %bb.10(0x40000000)
 358   ; SI-NEXT: {{  $}}
 359   ; SI-NEXT:   [[PHI:%[0-9]+]]:vgpr_32 = PHI undef %48:vgpr_32, %bb.0, %4, %bb.9
 360   ; SI-NEXT:   [[PHI1:%[0-9]+]]:vgpr_32 = PHI [[COPY3]], %bb.0, undef %50:vgpr_32, %bb.9
 361   ; SI-NEXT:   [[PHI2:%[0-9]+]]:vgpr_32 = PHI [[COPY2]], %bb.0, undef %52:vgpr_32, %bb.9
 362   ; SI-NEXT:   [[SI_ELSE:%[0-9]+]]:sreg_32 = SI_ELSE killed [[SI_IF]], %bb.10, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 363   ; SI-NEXT:   S_BRANCH %bb.2
 364   ; SI-NEXT: {{  $}}
 365   ; SI-NEXT: bb.2.if:
 366   ; SI-NEXT:   successors: %bb.3(0x80000000)
 367   ; SI-NEXT: {{  $}}
 368   ; SI-NEXT:   [[REG_SEQUENCE:%[0-9]+]]:vreg_64 = REG_SEQUENCE killed [[PHI1]], %subreg.sub0, killed [[PHI2]], %subreg.sub1
 369   ; SI-NEXT:   [[S_MOV_B32_:%[0-9]+]]:sreg_32_xm0_xexec = S_MOV_B32 $exec_lo
 370   ; SI-NEXT:   [[COPY6:%[0-9]+]]:sgpr_128 = COPY $sgpr100_sgpr101_sgpr102_sgpr103
 371   ; SI-NEXT: {{  $}}
 372   ; SI-NEXT: bb.3:
 373   ; SI-NEXT:   successors: %bb.4(0x80000000)
 374   ; SI-NEXT: {{  $}}
 375   ; SI-NEXT:   [[PHI3:%[0-9]+]]:vreg_64 = PHI undef %54:vreg_64, %bb.4, [[REG_SEQUENCE]], %bb.2
 376   ; SI-NEXT:   [[V_READFIRSTLANE_B32_:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[PHI3]].sub0, implicit $exec
 377   ; SI-NEXT:   [[V_READFIRSTLANE_B32_1:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[PHI3]].sub1, implicit $exec
 378   ; SI-NEXT:   [[REG_SEQUENCE1:%[0-9]+]]:sgpr_64 = REG_SEQUENCE killed [[V_READFIRSTLANE_B32_]], %subreg.sub0, killed [[V_READFIRSTLANE_B32_1]], %subreg.sub1
 379   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 [[REG_SEQUENCE1]], killed [[PHI3]], implicit $exec
 380   ; SI-NEXT:   [[S_AND_SAVEEXEC_B32_:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_SAVEEXEC_B32 killed [[V_CMP_EQ_U64_e64_]], implicit-def $exec, implicit-def dead $scc, implicit $exec
 381   ; SI-NEXT: {{  $}}
 382   ; SI-NEXT: bb.4:
 383   ; SI-NEXT:   successors: %bb.3(0x40000000), %bb.5(0x40000000)
 384   ; SI-NEXT: {{  $}}
 385   ; SI-NEXT:   ADJCALLSTACKUP 0, 0, implicit-def dead $scc, implicit-def $sgpr32, implicit $sgpr32
 386   ; SI-NEXT:   $sgpr0_sgpr1_sgpr2_sgpr3 = COPY [[COPY6]]
 387   ; SI-NEXT:   $vgpr0 = COPY [[COPY4]]
 388   ; SI-NEXT:   dead $sgpr30_sgpr31 = SI_CALL killed [[REG_SEQUENCE1]], 0, csr_amdgpu_si_gfx, implicit killed $sgpr0_sgpr1_sgpr2_sgpr3, implicit killed $vgpr0, implicit-def $vgpr0
 389   ; SI-NEXT:   ADJCALLSTACKDOWN 0, 0, implicit-def dead $scc, implicit-def $sgpr32, implicit $sgpr32
 390   ; SI-NEXT:   [[COPY7:%[0-9]+]]:vgpr_32 = COPY killed $vgpr0
 391   ; SI-NEXT:   $exec_lo = S_XOR_B32_term $exec_lo, killed [[S_AND_SAVEEXEC_B32_]], implicit-def dead $scc
 392   ; SI-NEXT:   SI_WATERFALL_LOOP %bb.3, implicit $exec
 393   ; SI-NEXT: {{  $}}
 394   ; SI-NEXT: bb.5:
 395   ; SI-NEXT:   successors: %bb.10(0x80000000)
 396   ; SI-NEXT: {{  $}}
 397   ; SI-NEXT:   $exec_lo = S_MOV_B32 killed [[S_MOV_B32_]]
 398   ; SI-NEXT:   [[COPY8:%[0-9]+]]:vgpr_32 = COPY killed [[COPY7]]
 399   ; SI-NEXT:   S_BRANCH %bb.10
 400   ; SI-NEXT: {{  $}}
 401   ; SI-NEXT: bb.6.else:
 402   ; SI-NEXT:   successors: %bb.7(0x80000000)
 403   ; SI-NEXT: {{  $}}
 404   ; SI-NEXT:   [[REG_SEQUENCE2:%[0-9]+]]:vreg_64 = REG_SEQUENCE killed [[COPY1]], %subreg.sub0, killed [[COPY]], %subreg.sub1
 405   ; SI-NEXT:   [[S_MOV_B32_1:%[0-9]+]]:sreg_32_xm0_xexec = S_MOV_B32 $exec_lo
 406   ; SI-NEXT:   [[COPY9:%[0-9]+]]:sgpr_128 = COPY $sgpr100_sgpr101_sgpr102_sgpr103
 407   ; SI-NEXT: {{  $}}
 408   ; SI-NEXT: bb.7:
 409   ; SI-NEXT:   successors: %bb.8(0x80000000)
 410   ; SI-NEXT: {{  $}}
 411   ; SI-NEXT:   [[PHI4:%[0-9]+]]:vreg_64 = PHI undef %56:vreg_64, %bb.8, [[REG_SEQUENCE2]], %bb.6
 412   ; SI-NEXT:   [[V_READFIRSTLANE_B32_2:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[PHI4]].sub0, implicit $exec
 413   ; SI-NEXT:   [[V_READFIRSTLANE_B32_3:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[PHI4]].sub1, implicit $exec
 414   ; SI-NEXT:   [[REG_SEQUENCE3:%[0-9]+]]:sgpr_64 = REG_SEQUENCE killed [[V_READFIRSTLANE_B32_2]], %subreg.sub0, killed [[V_READFIRSTLANE_B32_3]], %subreg.sub1
 415   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_1:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 [[REG_SEQUENCE3]], killed [[PHI4]], implicit $exec
 416   ; SI-NEXT:   [[S_AND_SAVEEXEC_B32_1:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_SAVEEXEC_B32 killed [[V_CMP_EQ_U64_e64_1]], implicit-def $exec, implicit-def dead $scc, implicit $exec
 417   ; SI-NEXT: {{  $}}
 418   ; SI-NEXT: bb.8:
 419   ; SI-NEXT:   successors: %bb.7(0x40000000), %bb.9(0x40000000)
 420   ; SI-NEXT: {{  $}}
 421   ; SI-NEXT:   ADJCALLSTACKUP 0, 0, implicit-def dead $scc, implicit-def $sgpr32, implicit $sgpr32
 422   ; SI-NEXT:   $sgpr0_sgpr1_sgpr2_sgpr3 = COPY [[COPY9]]
 423   ; SI-NEXT:   $vgpr0 = COPY [[COPY4]]
 424   ; SI-NEXT:   dead $sgpr30_sgpr31 = SI_CALL killed [[REG_SEQUENCE3]], 0, csr_amdgpu_si_gfx, implicit killed $sgpr0_sgpr1_sgpr2_sgpr3, implicit killed $vgpr0, implicit-def $vgpr0
 425   ; SI-NEXT:   ADJCALLSTACKDOWN 0, 0, implicit-def dead $scc, implicit-def $sgpr32, implicit $sgpr32
 426   ; SI-NEXT:   [[COPY10:%[0-9]+]]:vgpr_32 = COPY killed $vgpr0
 427   ; SI-NEXT:   $exec_lo = S_XOR_B32_term $exec_lo, killed [[S_AND_SAVEEXEC_B32_1]], implicit-def dead $scc
 428   ; SI-NEXT:   SI_WATERFALL_LOOP %bb.7, implicit $exec
 429   ; SI-NEXT: {{  $}}
 430   ; SI-NEXT: bb.9:
 431   ; SI-NEXT:   successors: %bb.1(0x80000000)
 432   ; SI-NEXT: {{  $}}
 433   ; SI-NEXT:   $exec_lo = S_MOV_B32 killed [[S_MOV_B32_1]]
 434   ; SI-NEXT:   [[COPY11:%[0-9]+]]:vgpr_32 = COPY killed [[COPY10]]
 435   ; SI-NEXT:   S_BRANCH %bb.1
 436   ; SI-NEXT: {{  $}}
 437   ; SI-NEXT: bb.10.end:
 438   ; SI-NEXT:   [[PHI5:%[0-9]+]]:vgpr_32 = PHI [[PHI]], %bb.1, [[COPY8]], %bb.5
 439   ; SI-NEXT:   SI_END_CF killed [[SI_ELSE]], implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 440   ; SI-NEXT:   [[V_ADD_F32_e64_:%[0-9]+]]:vgpr_32 = nofpexcept V_ADD_F32_e64 0, killed [[PHI5]], 0, killed [[COPY4]], 0, 0, implicit $mode, implicit $exec
 441   ; SI-NEXT:   $vgpr0 = COPY killed [[V_ADD_F32_e64_]]
 442   ; SI-NEXT:   SI_RETURN_TO_EPILOG killed $vgpr0
 443 main_body:
 444   %cc = icmp sgt i32 %z, 5
 445   br i1 %cc, label %if, label %else
 446
 447 if:
 448   %v.if = call amdgpu_gfx float %extern_func(float %v)
 449   br label %end
 450
 451 else:
 452   %v.else = call amdgpu_gfx float %extern_func2(float %v)
 453   br label %end
 454
 455 end:
 456   %r = phi float [ %v.if, %if ], [ %v.else, %else ]
 457   %r2 = fadd float %r, %v
 458   ret float %r2
 459 }
 460
 461 define amdgpu_kernel void @livevariables_update_missed_block(ptr addrspace(1) %src1) {
 462   ; SI-LABEL: name: livevariables_update_missed_block
 463   ; SI: bb.0.entry:
 464   ; SI-NEXT:   successors: %bb.2(0x40000000), %bb.5(0x40000000)
 465   ; SI-NEXT:   liveins: $vgpr0, $sgpr4_sgpr5
 466   ; SI-NEXT: {{  $}}
 467   ; SI-NEXT:   [[COPY:%[0-9]+]]:sgpr_64(p4) = COPY killed $sgpr4_sgpr5
 468   ; SI-NEXT:   [[COPY1:%[0-9]+]]:vgpr_32(s32) = COPY killed $vgpr0
 469   ; SI-NEXT:   [[V_CMP_NE_U32_e64_:%[0-9]+]]:sreg_32 = V_CMP_NE_U32_e64 0, [[COPY1]](s32), implicit $exec
 470   ; SI-NEXT:   [[SI_IF:%[0-9]+]]:sreg_32 = SI_IF killed [[V_CMP_NE_U32_e64_]], %bb.5, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 471   ; SI-NEXT:   S_BRANCH %bb.2
 472   ; SI-NEXT: {{  $}}
 473   ; SI-NEXT: bb.1.if.then:
 474   ; SI-NEXT:   successors: %bb.7(0x80000000)
 475   ; SI-NEXT: {{  $}}
 476   ; SI-NEXT:   early-clobber %34:sreg_64_xexec = S_LOAD_DWORDX2_IMM_ec killed [[COPY]](p4), 36, 0 :: (dereferenceable invariant load (s64) from %ir.src1.kernarg.offset, align 4, addrspace 4)
 477   ; SI-NEXT:   [[V_ADD_CO_U32_e64_:%[0-9]+]]:vgpr_32, [[V_ADD_CO_U32_e64_1:%[0-9]+]]:sreg_32_xm0_xexec = V_ADD_CO_U32_e64 %34.sub0, killed %55, 0, implicit $exec
 478   ; SI-NEXT:   [[V_ADDC_U32_e64_:%[0-9]+]]:vgpr_32, dead [[V_ADDC_U32_e64_1:%[0-9]+]]:sreg_32_xm0_xexec = V_ADDC_U32_e64 0, killed %34.sub1, killed [[V_ADD_CO_U32_e64_1]], 0, implicit $exec
 479   ; SI-NEXT:   [[REG_SEQUENCE:%[0-9]+]]:vreg_64 = REG_SEQUENCE killed [[V_ADD_CO_U32_e64_]], %subreg.sub0, killed [[V_ADDC_U32_e64_]], %subreg.sub1
 480   ; SI-NEXT:   [[GLOBAL_LOAD_UBYTE:%[0-9]+]]:vgpr_32 = GLOBAL_LOAD_UBYTE killed [[REG_SEQUENCE]], 0, 0, implicit $exec :: (load (s8) from %ir.i10, addrspace 1)
 481   ; SI-NEXT:   [[V_MOV_B:%[0-9]+]]:vreg_64 = V_MOV_B64_PSEUDO 0, implicit $exec
 482   ; SI-NEXT:   GLOBAL_STORE_BYTE killed [[V_MOV_B]], killed [[GLOBAL_LOAD_UBYTE]], 0, 0, implicit $exec :: (store (s8) into `ptr addrspace(1) null`, addrspace 1)
 483   ; SI-NEXT:   S_BRANCH %bb.7
 484   ; SI-NEXT: {{  $}}
 485   ; SI-NEXT: bb.2.if.then9:
 486   ; SI-NEXT:   successors: %bb.4(0x40000000), %bb.3(0x40000000)
 487   ; SI-NEXT: {{  $}}
 488   ; SI-NEXT:   S_CBRANCH_SCC0 %bb.4, implicit undef $scc
 489   ; SI-NEXT: {{  $}}
 490   ; SI-NEXT: bb.3:
 491   ; SI-NEXT:   successors: %bb.6(0x80000000)
 492   ; SI-NEXT: {{  $}}
 493   ; SI-NEXT:   S_BRANCH %bb.6
 494   ; SI-NEXT: {{  $}}
 495   ; SI-NEXT: bb.4.sw.bb:
 496   ; SI-NEXT:   successors: %bb.6(0x80000000)
 497   ; SI-NEXT: {{  $}}
 498   ; SI-NEXT:   [[V_MOV_B1:%[0-9]+]]:vreg_64 = V_MOV_B64_PSEUDO 0, implicit $exec
 499   ; SI-NEXT:   [[GLOBAL_LOAD_UBYTE1:%[0-9]+]]:vgpr_32 = GLOBAL_LOAD_UBYTE killed [[V_MOV_B1]], 0, 0, implicit $exec :: ("amdgpu-noclobber" load (s8) from `ptr addrspace(1) null`, addrspace 1)
 500   ; SI-NEXT:   S_BRANCH %bb.6
 501   ; SI-NEXT: {{  $}}
 502   ; SI-NEXT: bb.5.Flow:
 503   ; SI-NEXT:   successors: %bb.1(0x40000000), %bb.7(0x40000000)
 504   ; SI-NEXT: {{  $}}
 505   ; SI-NEXT:   [[PHI:%[0-9]+]]:vgpr_32 = PHI [[COPY1]](s32), %bb.0, undef %56:vgpr_32, %bb.6
 506   ; SI-NEXT:   [[SI_ELSE:%[0-9]+]]:sreg_32 = SI_ELSE killed [[SI_IF]], %bb.7, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 507   ; SI-NEXT:   S_BRANCH %bb.1
 508   ; SI-NEXT: {{  $}}
 509   ; SI-NEXT: bb.6.sw.bb18:
 510   ; SI-NEXT:   successors: %bb.5(0x80000000)
 511   ; SI-NEXT: {{  $}}
 512   ; SI-NEXT:   [[PHI1:%[0-9]+]]:vgpr_32 = PHI undef %42:vgpr_32, %bb.3, [[GLOBAL_LOAD_UBYTE1]], %bb.4
 513   ; SI-NEXT:   [[V_MOV_B2:%[0-9]+]]:vreg_64 = V_MOV_B64_PSEUDO 0, implicit $exec
 514   ; SI-NEXT:   GLOBAL_STORE_BYTE killed [[V_MOV_B2]], killed [[PHI1]], 0, 0, implicit $exec :: (store (s8) into `ptr addrspace(1) null`, addrspace 1)
 515   ; SI-NEXT:   S_BRANCH %bb.5
 516   ; SI-NEXT: {{  $}}
 517   ; SI-NEXT: bb.7.UnifiedReturnBlock:
 518   ; SI-NEXT:   SI_END_CF killed [[SI_ELSE]], implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 519   ; SI-NEXT:   S_ENDPGM 0
 520 entry:
 521   %i2 = tail call i32 @llvm.amdgcn.workitem.id.x()
 522   %i4 = add i32 0, %i2
 523   %i5 = zext i32 %i4 to i64
 524   %i6 = add i64 0, %i5
 525   %add = add i64 %i6, 0
 526   %cmp2 = icmp ult i64 %add, 1
 527   br i1 %cmp2, label %if.then, label %if.then9
 528
 529 if.then:                                          ; preds = %entry
 530   %i9 = mul i64 %i6, 1
 531   %i10 = getelementptr inbounds i8, ptr addrspace(1) %src1, i64 %i9
 532   %i11 = load i8, ptr addrspace(1) %i10, align 1
 533   %i12 = insertelement <3 x i8> zeroinitializer, i8 %i11, i64 0
 534   %i13 = insertelement <3 x i8> %i12, i8 0, i64 1
 535   %i14 = insertelement <3 x i8> %i13, i8 0, i64 1
 536   %i15 = select <3 x i1> zeroinitializer, <3 x i8> zeroinitializer, <3 x i8> %i14
 537   %i16 = extractelement <3 x i8> %i15, i64 0
 538   store i8 %i16, ptr addrspace(1) null, align 1
 539   ret void
 540
 541 if.then9:                                         ; preds = %entry
 542   br i1 undef, label %sw.bb18, label %sw.bb
 543
 544 sw.bb:                                            ; preds = %if.then9
 545   %i17 = load i8, ptr addrspace(1) null, align 1
 546   %i18 = insertelement <4 x i8> zeroinitializer, i8 %i17, i64 0
 547   %a.sroa.0.0.vecblend = shufflevector <4 x i8> %i18, <4 x i8> zeroinitializer, <4 x i32> <i32 0, i32 0, i32 0, i32 undef>
 548   br label %sw.bb18
 549
 550 sw.bb18:                                          ; preds = %sw.bb, %if.then9
 551   %a.sroa.0.0 = phi <4 x i8> [ %a.sroa.0.0.vecblend, %sw.bb ], [ undef, %if.then9 ]
 552   %a.sroa.0.0.vec.extract61 = shufflevector <4 x i8> %a.sroa.0.0, <4 x i8> zeroinitializer, <3 x i32> <i32 undef, i32 1, i32 undef>
 553   %i19 = insertelement <3 x i8> %a.sroa.0.0.vec.extract61, i8 0, i64 0
 554   %i20 = select <3 x i1> zeroinitializer, <3 x i8> zeroinitializer, <3 x i8> %i19
 555   %i21 = extractelement <3 x i8> %i20, i64 1
 556   store i8 %i21, ptr addrspace(1) null, align 1
 557   ret void
 558 }
 559
 560 %tex = type opaque
 561 define protected amdgpu_kernel void @nested_waterfalls(ptr addrspace(1) %tex.coerce) local_unnamed_addr {
 562   ; SI-LABEL: name: nested_waterfalls
 563   ; SI: bb.0.entry:
 564   ; SI-NEXT:   successors: %bb.1(0x80000000)
 565   ; SI-NEXT:   liveins: $vgpr0, $sgpr4_sgpr5
 566   ; SI-NEXT: {{  $}}
 567   ; SI-NEXT:   [[COPY:%[0-9]+]]:sgpr_64(p4) = COPY killed $sgpr4_sgpr5
 568   ; SI-NEXT:   [[COPY1:%[0-9]+]]:vgpr_32(s32) = COPY killed $vgpr0
 569   ; SI-NEXT: {{  $}}
 570   ; SI-NEXT: bb.1.if.then:
 571   ; SI-NEXT:   successors: %bb.2(0x80000000)
 572   ; SI-NEXT: {{  $}}
 573   ; SI-NEXT:   early-clobber %11:sreg_64_xexec_xnull = S_LOAD_DWORDX2_IMM_ec killed [[COPY]](p4), 36, 0 :: (dereferenceable invariant load (s64) from %ir.tex.coerce.kernarg.offset, align 4, addrspace 4)
 574   ; SI-NEXT:   [[V_LSHLREV_B32_e64_:%[0-9]+]]:vgpr_32 = nuw nsw V_LSHLREV_B32_e64 3, killed [[COPY1]](s32), implicit $exec
 575   ; SI-NEXT:   [[GLOBAL_LOAD_DWORDX2_SADDR:%[0-9]+]]:vreg_64 = GLOBAL_LOAD_DWORDX2_SADDR killed %11, killed [[V_LSHLREV_B32_e64_]], 0, 0, implicit $exec :: (load (s64) from %ir.idx, addrspace 1)
 576   ; SI-NEXT:   [[GLOBAL_LOAD_DWORDX4_:%[0-9]+]]:vreg_128 = GLOBAL_LOAD_DWORDX4 [[GLOBAL_LOAD_DWORDX2_SADDR]], 16, 0, implicit $exec :: (invariant load (s128) from %ir.3 + 16, addrspace 4)
 577   ; SI-NEXT:   [[COPY2:%[0-9]+]]:vgpr_32 = COPY [[GLOBAL_LOAD_DWORDX4_]].sub3
 578   ; SI-NEXT:   [[COPY3:%[0-9]+]]:vgpr_32 = COPY [[GLOBAL_LOAD_DWORDX4_]].sub2
 579   ; SI-NEXT:   [[COPY4:%[0-9]+]]:vgpr_32 = COPY [[GLOBAL_LOAD_DWORDX4_]].sub1
 580   ; SI-NEXT:   [[COPY5:%[0-9]+]]:vgpr_32 = COPY killed [[GLOBAL_LOAD_DWORDX4_]].sub0
 581   ; SI-NEXT:   [[GLOBAL_LOAD_DWORDX4_1:%[0-9]+]]:vreg_128 = GLOBAL_LOAD_DWORDX4 [[GLOBAL_LOAD_DWORDX2_SADDR]], 0, 0, implicit $exec :: (invariant load (s128) from %ir.3, align 32, addrspace 4)
 582   ; SI-NEXT:   [[COPY6:%[0-9]+]]:vgpr_32 = COPY [[GLOBAL_LOAD_DWORDX4_1]].sub3
 583   ; SI-NEXT:   [[COPY7:%[0-9]+]]:vgpr_32 = COPY [[GLOBAL_LOAD_DWORDX4_1]].sub2
 584   ; SI-NEXT:   [[COPY8:%[0-9]+]]:vgpr_32 = COPY [[GLOBAL_LOAD_DWORDX4_1]].sub1
 585   ; SI-NEXT:   [[COPY9:%[0-9]+]]:vgpr_32 = COPY killed [[GLOBAL_LOAD_DWORDX4_1]].sub0
 586   ; SI-NEXT:   [[REG_SEQUENCE:%[0-9]+]]:vreg_256 = REG_SEQUENCE killed [[COPY9]], %subreg.sub0, killed [[COPY8]], %subreg.sub1, killed [[COPY7]], %subreg.sub2, killed [[COPY6]], %subreg.sub3, killed [[COPY5]], %subreg.sub4, killed [[COPY4]], %subreg.sub5, killed [[COPY3]], %subreg.sub6, killed [[COPY2]], %subreg.sub7
 587   ; SI-NEXT:   [[GLOBAL_LOAD_DWORDX4_2:%[0-9]+]]:vreg_128 = GLOBAL_LOAD_DWORDX4 killed [[GLOBAL_LOAD_DWORDX2_SADDR]], 48, 0, implicit $exec :: (invariant load (s128) from %ir.add.ptr.i, addrspace 4)
 588   ; SI-NEXT:   [[S_MOV_B32_:%[0-9]+]]:sreg_32_xm0_xexec = S_MOV_B32 $exec_lo
 589   ; SI-NEXT: {{  $}}
 590   ; SI-NEXT: bb.2:
 591   ; SI-NEXT:   successors: %bb.3(0x80000000)
 592   ; SI-NEXT: {{  $}}
 593   ; SI-NEXT:   [[V_READFIRSTLANE_B32_:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[REG_SEQUENCE]].sub0, implicit $exec
 594   ; SI-NEXT:   [[V_READFIRSTLANE_B32_1:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[REG_SEQUENCE]].sub1, implicit $exec
 595   ; SI-NEXT:   [[REG_SEQUENCE1:%[0-9]+]]:sgpr_64 = REG_SEQUENCE [[V_READFIRSTLANE_B32_]], %subreg.sub0, [[V_READFIRSTLANE_B32_1]], %subreg.sub1
 596   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 killed [[REG_SEQUENCE1]], [[REG_SEQUENCE]].sub0_sub1, implicit $exec
 597   ; SI-NEXT:   [[V_READFIRSTLANE_B32_2:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[REG_SEQUENCE]].sub2, implicit $exec
 598   ; SI-NEXT:   [[V_READFIRSTLANE_B32_3:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[REG_SEQUENCE]].sub3, implicit $exec
 599   ; SI-NEXT:   [[REG_SEQUENCE2:%[0-9]+]]:sgpr_64 = REG_SEQUENCE [[V_READFIRSTLANE_B32_2]], %subreg.sub0, [[V_READFIRSTLANE_B32_3]], %subreg.sub1
 600   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_1:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 killed [[REG_SEQUENCE2]], [[REG_SEQUENCE]].sub2_sub3, implicit $exec
 601   ; SI-NEXT:   [[S_AND_B32_:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_B32 killed [[V_CMP_EQ_U64_e64_]], killed [[V_CMP_EQ_U64_e64_1]], implicit-def dead $scc
 602   ; SI-NEXT:   [[V_READFIRSTLANE_B32_4:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[REG_SEQUENCE]].sub4, implicit $exec
 603   ; SI-NEXT:   [[V_READFIRSTLANE_B32_5:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[REG_SEQUENCE]].sub5, implicit $exec
 604   ; SI-NEXT:   [[REG_SEQUENCE3:%[0-9]+]]:sgpr_64 = REG_SEQUENCE [[V_READFIRSTLANE_B32_4]], %subreg.sub0, [[V_READFIRSTLANE_B32_5]], %subreg.sub1
 605   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_2:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 killed [[REG_SEQUENCE3]], [[REG_SEQUENCE]].sub4_sub5, implicit $exec
 606   ; SI-NEXT:   [[S_AND_B32_1:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_B32 killed [[S_AND_B32_]], killed [[V_CMP_EQ_U64_e64_2]], implicit-def dead $scc
 607   ; SI-NEXT:   [[V_READFIRSTLANE_B32_6:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[REG_SEQUENCE]].sub6, implicit $exec
 608   ; SI-NEXT:   [[V_READFIRSTLANE_B32_7:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[REG_SEQUENCE]].sub7, implicit $exec
 609   ; SI-NEXT:   [[REG_SEQUENCE4:%[0-9]+]]:sgpr_64 = REG_SEQUENCE [[V_READFIRSTLANE_B32_6]], %subreg.sub0, [[V_READFIRSTLANE_B32_7]], %subreg.sub1
 610   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_3:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 killed [[REG_SEQUENCE4]], [[REG_SEQUENCE]].sub6_sub7, implicit $exec
 611   ; SI-NEXT:   [[S_AND_B32_2:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_B32 killed [[S_AND_B32_1]], killed [[V_CMP_EQ_U64_e64_3]], implicit-def dead $scc
 612   ; SI-NEXT:   [[REG_SEQUENCE5:%[0-9]+]]:sgpr_256 = REG_SEQUENCE killed [[V_READFIRSTLANE_B32_]], %subreg.sub0, killed [[V_READFIRSTLANE_B32_1]], %subreg.sub1, killed [[V_READFIRSTLANE_B32_2]], %subreg.sub2, killed [[V_READFIRSTLANE_B32_3]], %subreg.sub3, killed [[V_READFIRSTLANE_B32_4]], %subreg.sub4, killed [[V_READFIRSTLANE_B32_5]], %subreg.sub5, killed [[V_READFIRSTLANE_B32_6]], %subreg.sub6, killed [[V_READFIRSTLANE_B32_7]], %subreg.sub7
 613   ; SI-NEXT:   [[S_AND_SAVEEXEC_B32_:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_SAVEEXEC_B32 killed [[S_AND_B32_2]], implicit-def $exec, implicit-def dead $scc, implicit $exec
 614   ; SI-NEXT: {{  $}}
 615   ; SI-NEXT: bb.3:
 616   ; SI-NEXT:   successors: %bb.4(0x80000000)
 617   ; SI-NEXT: {{  $}}
 618   ; SI-NEXT:   [[S_MOV_B32_1:%[0-9]+]]:sreg_32_xm0_xexec = S_MOV_B32 $exec_lo
 619   ; SI-NEXT: {{  $}}
 620   ; SI-NEXT: bb.4:
 621   ; SI-NEXT:   successors: %bb.5(0x80000000)
 622   ; SI-NEXT: {{  $}}
 623   ; SI-NEXT:   [[V_READFIRSTLANE_B32_8:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[GLOBAL_LOAD_DWORDX4_2]].sub0, implicit $exec
 624   ; SI-NEXT:   [[V_READFIRSTLANE_B32_9:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[GLOBAL_LOAD_DWORDX4_2]].sub1, implicit $exec
 625   ; SI-NEXT:   [[REG_SEQUENCE6:%[0-9]+]]:sgpr_64 = REG_SEQUENCE [[V_READFIRSTLANE_B32_8]], %subreg.sub0, [[V_READFIRSTLANE_B32_9]], %subreg.sub1
 626   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_4:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 killed [[REG_SEQUENCE6]], [[GLOBAL_LOAD_DWORDX4_2]].sub0_sub1, implicit $exec
 627   ; SI-NEXT:   [[V_READFIRSTLANE_B32_10:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[GLOBAL_LOAD_DWORDX4_2]].sub2, implicit $exec
 628   ; SI-NEXT:   [[V_READFIRSTLANE_B32_11:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[GLOBAL_LOAD_DWORDX4_2]].sub3, implicit $exec
 629   ; SI-NEXT:   [[REG_SEQUENCE7:%[0-9]+]]:sgpr_64 = REG_SEQUENCE [[V_READFIRSTLANE_B32_10]], %subreg.sub0, [[V_READFIRSTLANE_B32_11]], %subreg.sub1
 630   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_5:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 killed [[REG_SEQUENCE7]], [[GLOBAL_LOAD_DWORDX4_2]].sub2_sub3, implicit $exec
 631   ; SI-NEXT:   [[S_AND_B32_3:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_B32 killed [[V_CMP_EQ_U64_e64_4]], killed [[V_CMP_EQ_U64_e64_5]], implicit-def dead $scc
 632   ; SI-NEXT:   [[REG_SEQUENCE8:%[0-9]+]]:sgpr_128 = REG_SEQUENCE killed [[V_READFIRSTLANE_B32_8]], %subreg.sub0, killed [[V_READFIRSTLANE_B32_9]], %subreg.sub1, killed [[V_READFIRSTLANE_B32_10]], %subreg.sub2, killed [[V_READFIRSTLANE_B32_11]], %subreg.sub3
 633   ; SI-NEXT:   [[S_AND_SAVEEXEC_B32_1:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_SAVEEXEC_B32 killed [[S_AND_B32_3]], implicit-def $exec, implicit-def dead $scc, implicit $exec
 634   ; SI-NEXT: {{  $}}
 635   ; SI-NEXT: bb.5:
 636   ; SI-NEXT:   successors: %bb.4(0x40000000), %bb.6(0x40000000)
 637   ; SI-NEXT: {{  $}}
 638   ; SI-NEXT:   [[IMAGE_SAMPLE_V1_V2_nsa_gfx10_:%[0-9]+]]:vgpr_32 = IMAGE_SAMPLE_V1_V2_nsa_gfx10 undef %29:vgpr_32, undef %31:vgpr_32, [[REG_SEQUENCE5]], killed [[REG_SEQUENCE8]], 1, 1, 0, 0, 0, 0, 0, 0, 0, implicit $exec :: (dereferenceable load (s32), addrspace 8)
 639   ; SI-NEXT:   $exec_lo = S_XOR_B32_term $exec_lo, killed [[S_AND_SAVEEXEC_B32_1]], implicit-def dead $scc
 640   ; SI-NEXT:   SI_WATERFALL_LOOP %bb.4, implicit $exec
 641   ; SI-NEXT: {{  $}}
 642   ; SI-NEXT: bb.6:
 643   ; SI-NEXT:   successors: %bb.2(0x40000000), %bb.7(0x40000000)
 644   ; SI-NEXT: {{  $}}
 645   ; SI-NEXT:   $exec_lo = S_MOV_B32 killed [[S_MOV_B32_1]]
 646   ; SI-NEXT:   $exec_lo = S_XOR_B32_term $exec_lo, killed [[S_AND_SAVEEXEC_B32_]], implicit-def dead $scc
 647   ; SI-NEXT:   SI_WATERFALL_LOOP %bb.2, implicit $exec
 648   ; SI-NEXT: {{  $}}
 649   ; SI-NEXT: bb.7:
 650   ; SI-NEXT:   $exec_lo = S_MOV_B32 killed [[S_MOV_B32_]]
 651   ; SI-NEXT:   GLOBAL_STORE_DWORD undef %34:vreg_64, killed [[IMAGE_SAMPLE_V1_V2_nsa_gfx10_]], 0, 0, implicit $exec :: (store (s32) into `ptr addrspace(1) undef`, addrspace 1)
 652   ; SI-NEXT:   S_ENDPGM 0
 653 entry:
 654   %0 = tail call i32 @llvm.amdgcn.workitem.id.x()
 655   %1 = zext i32 %0 to i64
 656   br label %if.then
 657
 658 if.then:                                          ; preds = %entry
 659   %idx = getelementptr inbounds ptr, ptr addrspace(1) %tex.coerce, i64 %1
 660   %2 = load ptr, ptr addrspace(1) %idx, align 8
 661   %3 = addrspacecast ptr %2 to ptr addrspace(4)
 662   %add.ptr.i = getelementptr inbounds i32, ptr addrspace(4) %3, i64 12
 663   %4 = addrspacecast ptr %2 to ptr addrspace(4)
 664   %5 = load <8 x i32>, ptr addrspace(4) %4, align 32
 665   %6 = load <4 x i32>, ptr addrspace(4) %add.ptr.i, align 16
 666   %7 = tail call float @llvm.amdgcn.image.sample.2d.f32.f32(i32 1, float undef, float undef, <8 x i32> %5, <4 x i32> %6, i1 false, i32 0, i32 0)
 667   store float %7, ptr addrspace(1) undef, align 4
 668   ret void
 669 }
 670
 671 declare i32 @llvm.amdgcn.workitem.id.x() #1
 672
 673 declare float @llvm.amdgcn.image.sample.2d.f32.f32(i32 immarg, float, float, <8 x i32>, <4 x i32>, i1 immarg, i32 immarg, i32 immarg) #2
 674
 675 attributes #0 = { nounwind }
 676 attributes #1 = { nounwind readnone speculatable willreturn }
 677 attributes #2 = { nounwind readonly willreturn }