llvm/test/CodeGen/AMDGPU/vgpr-liverange-ir.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_mir_test_checks.py
   2 ; RUN: llc -march=amdgcn -mcpu=gfx1010 -amdgpu-opt-vgpr-liverange=true -stop-after=si-opt-vgpr-liverange -verify-machineinstrs < %s | FileCheck -check-prefix=SI %s
   3
   4 ; a normal if-else
   5 define amdgpu_ps float @else1(i32 %z, float %v) #0 {
   6   ; SI-LABEL: name: else1
   7   ; SI: bb.0.main_body:
   8   ; SI-NEXT:   successors: %bb.3(0x40000000), %bb.1(0x40000000)
   9   ; SI-NEXT:   liveins: $vgpr0, $vgpr1
  10   ; SI-NEXT: {{  $}}
  11   ; SI-NEXT:   [[COPY:%[0-9]+]]:vgpr_32 = COPY killed $vgpr1
  12   ; SI-NEXT:   [[COPY1:%[0-9]+]]:vgpr_32 = COPY killed $vgpr0
  13   ; SI-NEXT:   [[V_CMP_GT_I32_e64_:%[0-9]+]]:sreg_32 = V_CMP_GT_I32_e64 6, killed [[COPY1]], implicit $exec
  14   ; SI-NEXT:   [[SI_IF:%[0-9]+]]:sreg_32 = SI_IF killed [[V_CMP_GT_I32_e64_]], %bb.1, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
  15   ; SI-NEXT:   S_BRANCH %bb.3
  16   ; SI-NEXT: {{  $}}
  17   ; SI-NEXT: bb.1.Flow:
  18   ; SI-NEXT:   successors: %bb.2(0x40000000), %bb.4(0x40000000)
  19   ; SI-NEXT: {{  $}}
  20   ; SI-NEXT:   [[PHI:%[0-9]+]]:vgpr_32 = PHI undef %13:vgpr_32, %bb.0, %4, %bb.3
  21   ; SI-NEXT:   [[PHI1:%[0-9]+]]:vgpr_32 = PHI [[COPY]], %bb.0, undef %15:vgpr_32, %bb.3
  22   ; SI-NEXT:   [[SI_ELSE:%[0-9]+]]:sreg_32 = SI_ELSE killed [[SI_IF]], %bb.4, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
  23   ; SI-NEXT:   S_BRANCH %bb.2
  24   ; SI-NEXT: {{  $}}
  25   ; SI-NEXT: bb.2.if:
  26   ; SI-NEXT:   successors: %bb.4(0x80000000)
  27   ; SI-NEXT: {{  $}}
  28   ; SI-NEXT:   %3:vgpr_32 = nofpexcept V_ADD_F32_e32 killed [[PHI1]], [[PHI1]], implicit $mode, implicit $exec
  29   ; SI-NEXT:   S_BRANCH %bb.4
  30   ; SI-NEXT: {{  $}}
  31   ; SI-NEXT: bb.3.else:
  32   ; SI-NEXT:   successors: %bb.1(0x80000000)
  33   ; SI-NEXT: {{  $}}
  34   ; SI-NEXT:   %4:vgpr_32 = nofpexcept V_MUL_F32_e32 1077936128, killed [[COPY]], implicit $mode, implicit $exec
  35   ; SI-NEXT:   S_BRANCH %bb.1
  36   ; SI-NEXT: {{  $}}
  37   ; SI-NEXT: bb.4.end:
  38   ; SI-NEXT:   [[PHI2:%[0-9]+]]:vgpr_32 = PHI [[PHI]], %bb.1, %3, %bb.2
  39   ; SI-NEXT:   SI_END_CF killed [[SI_ELSE]], implicit-def dead $exec, implicit-def dead $scc, implicit $exec
  40   ; SI-NEXT:   $vgpr0 = COPY killed [[PHI2]]
  41   ; SI-NEXT:   SI_RETURN_TO_EPILOG killed $vgpr0
  42 main_body:
  43   %cc = icmp sgt i32 %z, 5
  44   br i1 %cc, label %if, label %else
  45
  46 if:
  47   %v.if = fmul float %v, 2.0
  48   br label %end
  49
  50 else:
  51   %v.else = fmul float %v, 3.0
  52   br label %end
  53
  54 end:
  55   %r = phi float [ %v.if, %if ], [ %v.else, %else ]
  56   ret float %r
  57 }
  58
  59
  60 ; %v was used after if-else
  61 define amdgpu_ps float @else2(i32 %z, float %v) #0 {
  62   ; SI-LABEL: name: else2
  63   ; SI: bb.0.main_body:
  64   ; SI-NEXT:   successors: %bb.3(0x40000000), %bb.1(0x40000000)
  65   ; SI-NEXT:   liveins: $vgpr0, $vgpr1
  66   ; SI-NEXT: {{  $}}
  67   ; SI-NEXT:   [[COPY:%[0-9]+]]:vgpr_32 = COPY killed $vgpr1
  68   ; SI-NEXT:   [[COPY1:%[0-9]+]]:vgpr_32 = COPY killed $vgpr0
  69   ; SI-NEXT:   [[V_CMP_GT_I32_e64_:%[0-9]+]]:sreg_32 = V_CMP_GT_I32_e64 6, killed [[COPY1]], implicit $exec
  70   ; SI-NEXT:   [[SI_IF:%[0-9]+]]:sreg_32 = SI_IF killed [[V_CMP_GT_I32_e64_]], %bb.1, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
  71   ; SI-NEXT:   S_BRANCH %bb.3
  72   ; SI-NEXT: {{  $}}
  73   ; SI-NEXT: bb.1.Flow:
  74   ; SI-NEXT:   successors: %bb.2(0x40000000), %bb.4(0x40000000)
  75   ; SI-NEXT: {{  $}}
  76   ; SI-NEXT:   [[PHI:%[0-9]+]]:vgpr_32 = PHI undef %15:vgpr_32, %bb.0, %4, %bb.3
  77   ; SI-NEXT:   [[SI_ELSE:%[0-9]+]]:sreg_32 = SI_ELSE killed [[SI_IF]], %bb.4, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
  78   ; SI-NEXT:   S_BRANCH %bb.2
  79   ; SI-NEXT: {{  $}}
  80   ; SI-NEXT: bb.2.if:
  81   ; SI-NEXT:   successors: %bb.4(0x80000000)
  82   ; SI-NEXT: {{  $}}
  83   ; SI-NEXT:   %3:vgpr_32 = nofpexcept V_ADD_F32_e32 killed [[COPY]], [[COPY]], implicit $mode, implicit $exec
  84   ; SI-NEXT:   S_BRANCH %bb.4
  85   ; SI-NEXT: {{  $}}
  86   ; SI-NEXT: bb.3.else:
  87   ; SI-NEXT:   successors: %bb.1(0x80000000)
  88   ; SI-NEXT: {{  $}}
  89   ; SI-NEXT:   %4:vgpr_32 = nofpexcept V_MUL_F32_e32 1077936128, [[COPY]], implicit $mode, implicit $exec
  90   ; SI-NEXT:   S_BRANCH %bb.1
  91   ; SI-NEXT: {{  $}}
  92   ; SI-NEXT: bb.4.end:
  93   ; SI-NEXT:   [[PHI1:%[0-9]+]]:vgpr_32 = PHI [[COPY]], %bb.1, %3, %bb.2
  94   ; SI-NEXT:   [[PHI2:%[0-9]+]]:vgpr_32 = PHI [[PHI]], %bb.1, %3, %bb.2
  95   ; SI-NEXT:   SI_END_CF killed [[SI_ELSE]], implicit-def dead $exec, implicit-def dead $scc, implicit $exec
  96   ; SI-NEXT:   %14:vgpr_32 = nofpexcept V_ADD_F32_e32 killed [[PHI1]], killed [[PHI2]], implicit $mode, implicit $exec
  97   ; SI-NEXT:   $vgpr0 = COPY killed %14
  98   ; SI-NEXT:   SI_RETURN_TO_EPILOG killed $vgpr0
  99 main_body:
 100   %cc = icmp sgt i32 %z, 5
 101   br i1 %cc, label %if, label %else
 102
 103 if:
 104   %v.if = fmul float %v, 2.0
 105   br label %end
 106
 107 else:
 108   %v.else = fmul float %v, 3.0
 109   br label %end
 110
 111 end:
 112   %r0 = phi float [ %v.if, %if ], [ %v, %else ]
 113   %r1 = phi float [ %v.if, %if ], [ %v.else, %else ]
 114   %r2 = fadd float %r0, %r1
 115   ret float %r2
 116 }
 117
 118 ; if-else inside loop, %x can be optimized, but %v cannot be.
 119 define amdgpu_ps float @else3(i32 %z, float %v, i32 inreg %bound, i32 %x0) #0 {
 120   ; SI-LABEL: name: else3
 121   ; SI: bb.0.entry:
 122   ; SI-NEXT:   successors: %bb.1(0x80000000)
 123   ; SI-NEXT:   liveins: $vgpr0, $vgpr1, $sgpr0, $vgpr2
 124   ; SI-NEXT: {{  $}}
 125   ; SI-NEXT:   [[COPY:%[0-9]+]]:vgpr_32 = COPY killed $vgpr2
 126   ; SI-NEXT:   [[COPY1:%[0-9]+]]:sgpr_32 = COPY killed $sgpr0
 127   ; SI-NEXT:   [[COPY2:%[0-9]+]]:vgpr_32 = COPY killed $vgpr1
 128   ; SI-NEXT:   [[COPY3:%[0-9]+]]:vgpr_32 = COPY killed $vgpr0
 129   ; SI-NEXT:   [[V_CMP_GT_I32_e64_:%[0-9]+]]:sreg_32 = V_CMP_GT_I32_e64 6, killed [[COPY3]], implicit $exec
 130   ; SI-NEXT:   [[S_MOV_B32_:%[0-9]+]]:sreg_32 = S_MOV_B32 0
 131   ; SI-NEXT: {{  $}}
 132   ; SI-NEXT: bb.1.for.body:
 133   ; SI-NEXT:   successors: %bb.4(0x40000000), %bb.2(0x40000000)
 134   ; SI-NEXT: {{  $}}
 135   ; SI-NEXT:   [[PHI:%[0-9]+]]:sreg_32 = PHI [[S_MOV_B32_]], %bb.0, %14, %bb.5
 136   ; SI-NEXT:   [[PHI1:%[0-9]+]]:vgpr_32 = PHI [[COPY]], %bb.0, %13, %bb.5
 137   ; SI-NEXT:   [[SI_IF:%[0-9]+]]:sreg_32 = SI_IF [[V_CMP_GT_I32_e64_]], %bb.2, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 138   ; SI-NEXT:   S_BRANCH %bb.4
 139   ; SI-NEXT: {{  $}}
 140   ; SI-NEXT: bb.2.Flow:
 141   ; SI-NEXT:   successors: %bb.3(0x40000000), %bb.5(0x40000000)
 142   ; SI-NEXT: {{  $}}
 143   ; SI-NEXT:   [[PHI2:%[0-9]+]]:vgpr_32 = PHI undef %32:vgpr_32, %bb.1, %10, %bb.4
 144   ; SI-NEXT:   [[PHI3:%[0-9]+]]:vgpr_32 = PHI undef %33:vgpr_32, %bb.1, %9, %bb.4
 145   ; SI-NEXT:   [[PHI4:%[0-9]+]]:vgpr_32 = PHI [[PHI1]], %bb.1, undef %35:vgpr_32, %bb.4
 146   ; SI-NEXT:   [[SI_ELSE:%[0-9]+]]:sreg_32 = SI_ELSE killed [[SI_IF]], %bb.5, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 147   ; SI-NEXT:   S_BRANCH %bb.3
 148   ; SI-NEXT: {{  $}}
 149   ; SI-NEXT: bb.3.if:
 150   ; SI-NEXT:   successors: %bb.5(0x80000000)
 151   ; SI-NEXT: {{  $}}
 152   ; SI-NEXT:   %7:vgpr_32 = nofpexcept V_MUL_F32_e32 [[PHI]], [[COPY2]], implicit $mode, implicit $exec
 153   ; SI-NEXT:   [[V_ADD_U32_e32_:%[0-9]+]]:vgpr_32 = V_ADD_U32_e32 1, killed [[PHI4]], implicit $exec
 154   ; SI-NEXT:   S_BRANCH %bb.5
 155   ; SI-NEXT: {{  $}}
 156   ; SI-NEXT: bb.4.else:
 157   ; SI-NEXT:   successors: %bb.2(0x80000000)
 158   ; SI-NEXT: {{  $}}
 159   ; SI-NEXT:   %9:vgpr_32 = nofpexcept V_MUL_F32_e32 [[COPY2]], [[PHI1]], implicit $mode, implicit $exec
 160   ; SI-NEXT:   [[V_MUL_LO_U32_e64_:%[0-9]+]]:vgpr_32 = V_MUL_LO_U32_e64 killed [[PHI1]], 3, implicit $exec
 161   ; SI-NEXT:   S_BRANCH %bb.2
 162   ; SI-NEXT: {{  $}}
 163   ; SI-NEXT: bb.5.if.end:
 164   ; SI-NEXT:   successors: %bb.6(0x04000000), %bb.1(0x7c000000)
 165   ; SI-NEXT: {{  $}}
 166   ; SI-NEXT:   [[PHI5:%[0-9]+]]:vgpr_32 = PHI [[PHI3]], %bb.2, %7, %bb.3
 167   ; SI-NEXT:   [[PHI6:%[0-9]+]]:vgpr_32 = PHI [[PHI2]], %bb.2, [[V_ADD_U32_e32_]], %bb.3
 168   ; SI-NEXT:   SI_END_CF killed [[SI_ELSE]], implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 169   ; SI-NEXT:   [[V_ADD_U32_e32_1:%[0-9]+]]:vgpr_32 = V_ADD_U32_e32 1, [[PHI6]], implicit $exec
 170   ; SI-NEXT:   [[S_ADD_I32_:%[0-9]+]]:sreg_32 = S_ADD_I32 killed [[PHI]], 1, implicit-def dead $scc
 171   ; SI-NEXT:   S_CMP_LT_I32 [[S_ADD_I32_]], [[COPY1]], implicit-def $scc
 172   ; SI-NEXT:   S_CBRANCH_SCC1 %bb.1, implicit killed $scc
 173   ; SI-NEXT:   S_BRANCH %bb.6
 174   ; SI-NEXT: {{  $}}
 175   ; SI-NEXT: bb.6.for.end:
 176   ; SI-NEXT:   %31:vgpr_32 = nofpexcept V_ADD_F32_e32 killed [[PHI6]], killed [[PHI5]], implicit $mode, implicit $exec
 177   ; SI-NEXT:   $vgpr0 = COPY killed %31
 178   ; SI-NEXT:   SI_RETURN_TO_EPILOG killed $vgpr0
 179 entry:
 180 ;  %break = icmp sgt i32 %bound, 0
 181 ;  br i1 %break, label %for.body, label %for.end
 182   br label %for.body
 183
 184 for.body:
 185   %i = phi i32 [ 0, %entry ], [ %inc, %if.end ]
 186   %x = phi i32 [ %x0, %entry ], [ %xinc, %if.end ]
 187   %cc = icmp sgt i32 %z, 5
 188   br i1 %cc, label %if, label %else
 189
 190 if:
 191   %i.tmp = bitcast i32 %i to float
 192   %v.if = fmul float %v, %i.tmp
 193   %x.if = add i32 %x, 1
 194   br label %if.end
 195
 196 else:
 197   %x.tmp = bitcast i32 %x to float
 198   %v.else = fmul float %v, %x.tmp
 199   %x.else = mul i32 %x, 3
 200   br label %if.end
 201
 202 if.end:
 203   %v.endif = phi float [ %v.if, %if ], [ %v.else, %else ]
 204   %x.endif = phi i32 [ %x.if, %if ], [ %x.else, %else ]
 205
 206   %xinc = add i32 %x.endif, 1
 207   %inc = add i32 %i, 1
 208   %cond = icmp slt i32 %inc, %bound
 209   br i1 %cond, label %for.body, label %for.end
 210
 211 for.end:
 212   %x_float = bitcast i32 %x.endif to float
 213   %r = fadd float %x_float, %v.endif
 214   ret float %r
 215 }
 216
 217 ; a loop inside an if-else
 218 define amdgpu_ps float @loop(i32 %z, float %v, i32 inreg %bound, float(float)* %extern_func, float(float)* %extern_func2) #0 {
 219   ; SI-LABEL: name: loop
 220   ; SI: bb.0.main_body:
 221   ; SI-NEXT:   successors: %bb.6(0x40000000), %bb.1(0x40000000)
 222   ; SI-NEXT:   liveins: $vgpr0, $vgpr1, $vgpr2, $vgpr3, $vgpr4, $vgpr5
 223   ; SI-NEXT: {{  $}}
 224   ; SI-NEXT:   [[COPY:%[0-9]+]]:vgpr_32 = COPY killed $vgpr5
 225   ; SI-NEXT:   [[COPY1:%[0-9]+]]:vgpr_32 = COPY killed $vgpr4
 226   ; SI-NEXT:   [[COPY2:%[0-9]+]]:vgpr_32 = COPY killed $vgpr3
 227   ; SI-NEXT:   [[COPY3:%[0-9]+]]:vgpr_32 = COPY killed $vgpr2
 228   ; SI-NEXT:   [[COPY4:%[0-9]+]]:vgpr_32 = COPY killed $vgpr1
 229   ; SI-NEXT:   [[COPY5:%[0-9]+]]:vgpr_32 = COPY killed $vgpr0
 230   ; SI-NEXT:   [[V_CMP_GT_I32_e64_:%[0-9]+]]:sreg_32 = V_CMP_GT_I32_e64 6, killed [[COPY5]], implicit $exec
 231   ; SI-NEXT:   [[SI_IF:%[0-9]+]]:sreg_32 = SI_IF killed [[V_CMP_GT_I32_e64_]], %bb.1, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 232   ; SI-NEXT:   S_BRANCH %bb.6
 233   ; SI-NEXT: {{  $}}
 234   ; SI-NEXT: bb.1.Flow:
 235   ; SI-NEXT:   successors: %bb.2(0x40000000), %bb.10(0x40000000)
 236   ; SI-NEXT: {{  $}}
 237   ; SI-NEXT:   [[PHI:%[0-9]+]]:vgpr_32 = PHI undef %29:vgpr_32, %bb.0, %4, %bb.9
 238   ; SI-NEXT:   [[PHI1:%[0-9]+]]:vgpr_32 = PHI [[COPY4]], %bb.0, undef %45:vgpr_32, %bb.9
 239   ; SI-NEXT:   [[PHI2:%[0-9]+]]:vgpr_32 = PHI [[COPY3]], %bb.0, undef %47:vgpr_32, %bb.9
 240   ; SI-NEXT:   [[PHI3:%[0-9]+]]:vgpr_32 = PHI [[COPY2]], %bb.0, undef %49:vgpr_32, %bb.9
 241   ; SI-NEXT:   [[SI_ELSE:%[0-9]+]]:sreg_32 = SI_ELSE killed [[SI_IF]], %bb.10, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 242   ; SI-NEXT:   S_BRANCH %bb.2
 243   ; SI-NEXT: {{  $}}
 244   ; SI-NEXT: bb.2.if:
 245   ; SI-NEXT:   successors: %bb.3(0x80000000)
 246   ; SI-NEXT: {{  $}}
 247   ; SI-NEXT:   [[REG_SEQUENCE:%[0-9]+]]:vreg_64 = REG_SEQUENCE killed [[PHI2]], %subreg.sub0, killed [[PHI3]], %subreg.sub1
 248   ; SI-NEXT:   [[S_MOV_B32_:%[0-9]+]]:sreg_32_xm0_xexec = S_MOV_B32 $exec_lo
 249   ; SI-NEXT: {{  $}}
 250   ; SI-NEXT: bb.3:
 251   ; SI-NEXT:   successors: %bb.4(0x80000000)
 252   ; SI-NEXT: {{  $}}
 253   ; SI-NEXT:   [[PHI4:%[0-9]+]]:vreg_64 = PHI undef %51:vreg_64, %bb.4, [[REG_SEQUENCE]], %bb.2
 254   ; SI-NEXT:   [[PHI5:%[0-9]+]]:vgpr_32 = PHI undef %53:vgpr_32, %bb.4, [[PHI1]], %bb.2
 255   ; SI-NEXT:   [[V_READFIRSTLANE_B32_:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[PHI4]].sub0, implicit $exec
 256   ; SI-NEXT:   [[V_READFIRSTLANE_B32_1:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[PHI4]].sub1, implicit $exec
 257   ; SI-NEXT:   [[REG_SEQUENCE1:%[0-9]+]]:sgpr_64 = REG_SEQUENCE killed [[V_READFIRSTLANE_B32_]], %subreg.sub0, killed [[V_READFIRSTLANE_B32_1]], %subreg.sub1
 258   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 [[REG_SEQUENCE1]], killed [[PHI4]], implicit $exec
 259   ; SI-NEXT:   [[S_AND_SAVEEXEC_B32_:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_SAVEEXEC_B32 killed [[V_CMP_EQ_U64_e64_]], implicit-def $exec, implicit-def dead $scc, implicit $exec
 260   ; SI-NEXT: {{  $}}
 261   ; SI-NEXT: bb.4:
 262   ; SI-NEXT:   successors: %bb.3(0x40000000), %bb.5(0x40000000)
 263   ; SI-NEXT: {{  $}}
 264   ; SI-NEXT:   ADJCALLSTACKUP 0, 0, implicit-def dead $scc, implicit-def $sgpr32, implicit $sgpr32
 265   ; SI-NEXT:   [[COPY6:%[0-9]+]]:sgpr_128 = COPY $sgpr100_sgpr101_sgpr102_sgpr103
 266   ; SI-NEXT:   $sgpr0_sgpr1_sgpr2_sgpr3 = COPY killed [[COPY6]]
 267   ; SI-NEXT:   $vgpr0 = COPY killed [[PHI5]]
 268   ; SI-NEXT:   dead $sgpr30_sgpr31 = SI_CALL killed [[REG_SEQUENCE1]], 0, csr_amdgpu_si_gfx, implicit killed $sgpr0_sgpr1_sgpr2_sgpr3, implicit killed $vgpr0, implicit-def $vgpr0
 269   ; SI-NEXT:   ADJCALLSTACKDOWN 0, 0, implicit-def dead $scc, implicit-def $sgpr32, implicit $sgpr32
 270   ; SI-NEXT:   [[COPY7:%[0-9]+]]:vgpr_32 = COPY killed $vgpr0
 271   ; SI-NEXT:   $exec_lo = S_XOR_B32_term $exec_lo, killed [[S_AND_SAVEEXEC_B32_]], implicit-def dead $scc
 272   ; SI-NEXT:   SI_WATERFALL_LOOP %bb.3, implicit $exec
 273   ; SI-NEXT: {{  $}}
 274   ; SI-NEXT: bb.5:
 275   ; SI-NEXT:   successors: %bb.10(0x80000000)
 276   ; SI-NEXT: {{  $}}
 277   ; SI-NEXT:   $exec_lo = S_MOV_B32 killed [[S_MOV_B32_]]
 278   ; SI-NEXT:   [[COPY8:%[0-9]+]]:vgpr_32 = COPY killed [[COPY7]]
 279   ; SI-NEXT:   S_BRANCH %bb.10
 280   ; SI-NEXT: {{  $}}
 281   ; SI-NEXT: bb.6.else:
 282   ; SI-NEXT:   successors: %bb.7(0x80000000)
 283   ; SI-NEXT: {{  $}}
 284   ; SI-NEXT:   [[REG_SEQUENCE2:%[0-9]+]]:vreg_64 = REG_SEQUENCE killed [[COPY1]], %subreg.sub0, killed [[COPY]], %subreg.sub1
 285   ; SI-NEXT:   [[S_MOV_B32_1:%[0-9]+]]:sreg_32_xm0_xexec = S_MOV_B32 $exec_lo
 286   ; SI-NEXT: {{  $}}
 287   ; SI-NEXT: bb.7:
 288   ; SI-NEXT:   successors: %bb.8(0x80000000)
 289   ; SI-NEXT: {{  $}}
 290   ; SI-NEXT:   [[PHI6:%[0-9]+]]:vreg_64 = PHI undef %55:vreg_64, %bb.8, [[REG_SEQUENCE2]], %bb.6
 291   ; SI-NEXT:   [[PHI7:%[0-9]+]]:vgpr_32 = PHI undef %57:vgpr_32, %bb.8, [[COPY4]], %bb.6
 292   ; SI-NEXT:   [[V_READFIRSTLANE_B32_2:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[PHI6]].sub0, implicit $exec
 293   ; SI-NEXT:   [[V_READFIRSTLANE_B32_3:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[PHI6]].sub1, implicit $exec
 294   ; SI-NEXT:   [[REG_SEQUENCE3:%[0-9]+]]:sgpr_64 = REG_SEQUENCE killed [[V_READFIRSTLANE_B32_2]], %subreg.sub0, killed [[V_READFIRSTLANE_B32_3]], %subreg.sub1
 295   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_1:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 [[REG_SEQUENCE3]], killed [[PHI6]], implicit $exec
 296   ; SI-NEXT:   [[S_AND_SAVEEXEC_B32_1:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_SAVEEXEC_B32 killed [[V_CMP_EQ_U64_e64_1]], implicit-def $exec, implicit-def dead $scc, implicit $exec
 297   ; SI-NEXT: {{  $}}
 298   ; SI-NEXT: bb.8:
 299   ; SI-NEXT:   successors: %bb.7(0x40000000), %bb.9(0x40000000)
 300   ; SI-NEXT: {{  $}}
 301   ; SI-NEXT:   ADJCALLSTACKUP 0, 0, implicit-def dead $scc, implicit-def $sgpr32, implicit $sgpr32
 302   ; SI-NEXT:   [[COPY9:%[0-9]+]]:sgpr_128 = COPY $sgpr100_sgpr101_sgpr102_sgpr103
 303   ; SI-NEXT:   $sgpr0_sgpr1_sgpr2_sgpr3 = COPY killed [[COPY9]]
 304   ; SI-NEXT:   $vgpr0 = COPY killed [[PHI7]]
 305   ; SI-NEXT:   dead $sgpr30_sgpr31 = SI_CALL killed [[REG_SEQUENCE3]], 0, csr_amdgpu_si_gfx, implicit killed $sgpr0_sgpr1_sgpr2_sgpr3, implicit killed $vgpr0, implicit-def $vgpr0
 306   ; SI-NEXT:   ADJCALLSTACKDOWN 0, 0, implicit-def dead $scc, implicit-def $sgpr32, implicit $sgpr32
 307   ; SI-NEXT:   [[COPY10:%[0-9]+]]:vgpr_32 = COPY killed $vgpr0
 308   ; SI-NEXT:   $exec_lo = S_XOR_B32_term $exec_lo, killed [[S_AND_SAVEEXEC_B32_1]], implicit-def dead $scc
 309   ; SI-NEXT:   SI_WATERFALL_LOOP %bb.7, implicit $exec
 310   ; SI-NEXT: {{  $}}
 311   ; SI-NEXT: bb.9:
 312   ; SI-NEXT:   successors: %bb.1(0x80000000)
 313   ; SI-NEXT: {{  $}}
 314   ; SI-NEXT:   $exec_lo = S_MOV_B32 killed [[S_MOV_B32_1]]
 315   ; SI-NEXT:   [[COPY11:%[0-9]+]]:vgpr_32 = COPY killed [[COPY10]]
 316   ; SI-NEXT:   S_BRANCH %bb.1
 317   ; SI-NEXT: {{  $}}
 318   ; SI-NEXT: bb.10.end:
 319   ; SI-NEXT:   [[PHI8:%[0-9]+]]:vgpr_32 = PHI [[PHI]], %bb.1, [[COPY8]], %bb.5
 320   ; SI-NEXT:   SI_END_CF killed [[SI_ELSE]], implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 321   ; SI-NEXT:   $vgpr0 = COPY killed [[PHI8]]
 322   ; SI-NEXT:   SI_RETURN_TO_EPILOG killed $vgpr0
 323 main_body:
 324   %cc = icmp sgt i32 %z, 5
 325   br i1 %cc, label %if, label %else
 326
 327 if:
 328   %v.if = call amdgpu_gfx float %extern_func(float %v)
 329   br label %end
 330
 331 else:
 332   %v.else = call amdgpu_gfx float %extern_func2(float %v)
 333   br label %end
 334
 335 end:
 336   %r = phi float [ %v.if, %if ], [ %v.else, %else ]
 337   ret float %r
 338 }
 339
 340 ; a loop inside an if-else, but the variable is still in use after the if-else
 341 define amdgpu_ps float @loop_with_use(i32 %z, float %v, i32 inreg %bound, float(float)* %extern_func, float(float)* %extern_func2) #0 {
 342   ; SI-LABEL: name: loop_with_use
 343   ; SI: bb.0.main_body:
 344   ; SI-NEXT:   successors: %bb.6(0x40000000), %bb.1(0x40000000)
 345   ; SI-NEXT:   liveins: $vgpr0, $vgpr1, $vgpr2, $vgpr3, $vgpr4, $vgpr5
 346   ; SI-NEXT: {{  $}}
 347   ; SI-NEXT:   [[COPY:%[0-9]+]]:vgpr_32 = COPY killed $vgpr5
 348   ; SI-NEXT:   [[COPY1:%[0-9]+]]:vgpr_32 = COPY killed $vgpr4
 349   ; SI-NEXT:   [[COPY2:%[0-9]+]]:vgpr_32 = COPY killed $vgpr3
 350   ; SI-NEXT:   [[COPY3:%[0-9]+]]:vgpr_32 = COPY killed $vgpr2
 351   ; SI-NEXT:   [[COPY4:%[0-9]+]]:vgpr_32 = COPY killed $vgpr1
 352   ; SI-NEXT:   [[COPY5:%[0-9]+]]:vgpr_32 = COPY killed $vgpr0
 353   ; SI-NEXT:   [[V_CMP_GT_I32_e64_:%[0-9]+]]:sreg_32 = V_CMP_GT_I32_e64 6, killed [[COPY5]], implicit $exec
 354   ; SI-NEXT:   [[SI_IF:%[0-9]+]]:sreg_32 = SI_IF killed [[V_CMP_GT_I32_e64_]], %bb.1, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 355   ; SI-NEXT:   S_BRANCH %bb.6
 356   ; SI-NEXT: {{  $}}
 357   ; SI-NEXT: bb.1.Flow:
 358   ; SI-NEXT:   successors: %bb.2(0x40000000), %bb.10(0x40000000)
 359   ; SI-NEXT: {{  $}}
 360   ; SI-NEXT:   [[PHI:%[0-9]+]]:vgpr_32 = PHI undef %30:vgpr_32, %bb.0, %4, %bb.9
 361   ; SI-NEXT:   [[PHI1:%[0-9]+]]:vgpr_32 = PHI [[COPY3]], %bb.0, undef %46:vgpr_32, %bb.9
 362   ; SI-NEXT:   [[PHI2:%[0-9]+]]:vgpr_32 = PHI [[COPY2]], %bb.0, undef %48:vgpr_32, %bb.9
 363   ; SI-NEXT:   [[SI_ELSE:%[0-9]+]]:sreg_32 = SI_ELSE killed [[SI_IF]], %bb.10, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 364   ; SI-NEXT:   S_BRANCH %bb.2
 365   ; SI-NEXT: {{  $}}
 366   ; SI-NEXT: bb.2.if:
 367   ; SI-NEXT:   successors: %bb.3(0x80000000)
 368   ; SI-NEXT: {{  $}}
 369   ; SI-NEXT:   [[REG_SEQUENCE:%[0-9]+]]:vreg_64 = REG_SEQUENCE killed [[PHI1]], %subreg.sub0, killed [[PHI2]], %subreg.sub1
 370   ; SI-NEXT:   [[S_MOV_B32_:%[0-9]+]]:sreg_32_xm0_xexec = S_MOV_B32 $exec_lo
 371   ; SI-NEXT: {{  $}}
 372   ; SI-NEXT: bb.3:
 373   ; SI-NEXT:   successors: %bb.4(0x80000000)
 374   ; SI-NEXT: {{  $}}
 375   ; SI-NEXT:   [[PHI3:%[0-9]+]]:vreg_64 = PHI undef %50:vreg_64, %bb.4, [[REG_SEQUENCE]], %bb.2
 376   ; SI-NEXT:   [[V_READFIRSTLANE_B32_:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[PHI3]].sub0, implicit $exec
 377   ; SI-NEXT:   [[V_READFIRSTLANE_B32_1:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[PHI3]].sub1, implicit $exec
 378   ; SI-NEXT:   [[REG_SEQUENCE1:%[0-9]+]]:sgpr_64 = REG_SEQUENCE killed [[V_READFIRSTLANE_B32_]], %subreg.sub0, killed [[V_READFIRSTLANE_B32_1]], %subreg.sub1
 379   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 [[REG_SEQUENCE1]], killed [[PHI3]], implicit $exec
 380   ; SI-NEXT:   [[S_AND_SAVEEXEC_B32_:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_SAVEEXEC_B32 killed [[V_CMP_EQ_U64_e64_]], implicit-def $exec, implicit-def dead $scc, implicit $exec
 381   ; SI-NEXT: {{  $}}
 382   ; SI-NEXT: bb.4:
 383   ; SI-NEXT:   successors: %bb.3(0x40000000), %bb.5(0x40000000)
 384   ; SI-NEXT: {{  $}}
 385   ; SI-NEXT:   ADJCALLSTACKUP 0, 0, implicit-def dead $scc, implicit-def $sgpr32, implicit $sgpr32
 386   ; SI-NEXT:   [[COPY6:%[0-9]+]]:sgpr_128 = COPY $sgpr100_sgpr101_sgpr102_sgpr103
 387   ; SI-NEXT:   $sgpr0_sgpr1_sgpr2_sgpr3 = COPY killed [[COPY6]]
 388   ; SI-NEXT:   $vgpr0 = COPY [[COPY4]]
 389   ; SI-NEXT:   dead $sgpr30_sgpr31 = SI_CALL killed [[REG_SEQUENCE1]], 0, csr_amdgpu_si_gfx, implicit killed $sgpr0_sgpr1_sgpr2_sgpr3, implicit killed $vgpr0, implicit-def $vgpr0
 390   ; SI-NEXT:   ADJCALLSTACKDOWN 0, 0, implicit-def dead $scc, implicit-def $sgpr32, implicit $sgpr32
 391   ; SI-NEXT:   [[COPY7:%[0-9]+]]:vgpr_32 = COPY killed $vgpr0
 392   ; SI-NEXT:   $exec_lo = S_XOR_B32_term $exec_lo, killed [[S_AND_SAVEEXEC_B32_]], implicit-def dead $scc
 393   ; SI-NEXT:   SI_WATERFALL_LOOP %bb.3, implicit $exec
 394   ; SI-NEXT: {{  $}}
 395   ; SI-NEXT: bb.5:
 396   ; SI-NEXT:   successors: %bb.10(0x80000000)
 397   ; SI-NEXT: {{  $}}
 398   ; SI-NEXT:   $exec_lo = S_MOV_B32 killed [[S_MOV_B32_]]
 399   ; SI-NEXT:   [[COPY8:%[0-9]+]]:vgpr_32 = COPY killed [[COPY7]]
 400   ; SI-NEXT:   S_BRANCH %bb.10
 401   ; SI-NEXT: {{  $}}
 402   ; SI-NEXT: bb.6.else:
 403   ; SI-NEXT:   successors: %bb.7(0x80000000)
 404   ; SI-NEXT: {{  $}}
 405   ; SI-NEXT:   [[REG_SEQUENCE2:%[0-9]+]]:vreg_64 = REG_SEQUENCE killed [[COPY1]], %subreg.sub0, killed [[COPY]], %subreg.sub1
 406   ; SI-NEXT:   [[S_MOV_B32_1:%[0-9]+]]:sreg_32_xm0_xexec = S_MOV_B32 $exec_lo
 407   ; SI-NEXT: {{  $}}
 408   ; SI-NEXT: bb.7:
 409   ; SI-NEXT:   successors: %bb.8(0x80000000)
 410   ; SI-NEXT: {{  $}}
 411   ; SI-NEXT:   [[PHI4:%[0-9]+]]:vreg_64 = PHI undef %52:vreg_64, %bb.8, [[REG_SEQUENCE2]], %bb.6
 412   ; SI-NEXT:   [[V_READFIRSTLANE_B32_2:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[PHI4]].sub0, implicit $exec
 413   ; SI-NEXT:   [[V_READFIRSTLANE_B32_3:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[PHI4]].sub1, implicit $exec
 414   ; SI-NEXT:   [[REG_SEQUENCE3:%[0-9]+]]:sgpr_64 = REG_SEQUENCE killed [[V_READFIRSTLANE_B32_2]], %subreg.sub0, killed [[V_READFIRSTLANE_B32_3]], %subreg.sub1
 415   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_1:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 [[REG_SEQUENCE3]], killed [[PHI4]], implicit $exec
 416   ; SI-NEXT:   [[S_AND_SAVEEXEC_B32_1:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_SAVEEXEC_B32 killed [[V_CMP_EQ_U64_e64_1]], implicit-def $exec, implicit-def dead $scc, implicit $exec
 417   ; SI-NEXT: {{  $}}
 418   ; SI-NEXT: bb.8:
 419   ; SI-NEXT:   successors: %bb.7(0x40000000), %bb.9(0x40000000)
 420   ; SI-NEXT: {{  $}}
 421   ; SI-NEXT:   ADJCALLSTACKUP 0, 0, implicit-def dead $scc, implicit-def $sgpr32, implicit $sgpr32
 422   ; SI-NEXT:   [[COPY9:%[0-9]+]]:sgpr_128 = COPY $sgpr100_sgpr101_sgpr102_sgpr103
 423   ; SI-NEXT:   $sgpr0_sgpr1_sgpr2_sgpr3 = COPY killed [[COPY9]]
 424   ; SI-NEXT:   $vgpr0 = COPY [[COPY4]]
 425   ; SI-NEXT:   dead $sgpr30_sgpr31 = SI_CALL killed [[REG_SEQUENCE3]], 0, csr_amdgpu_si_gfx, implicit killed $sgpr0_sgpr1_sgpr2_sgpr3, implicit killed $vgpr0, implicit-def $vgpr0
 426   ; SI-NEXT:   ADJCALLSTACKDOWN 0, 0, implicit-def dead $scc, implicit-def $sgpr32, implicit $sgpr32
 427   ; SI-NEXT:   [[COPY10:%[0-9]+]]:vgpr_32 = COPY killed $vgpr0
 428   ; SI-NEXT:   $exec_lo = S_XOR_B32_term $exec_lo, killed [[S_AND_SAVEEXEC_B32_1]], implicit-def dead $scc
 429   ; SI-NEXT:   SI_WATERFALL_LOOP %bb.7, implicit $exec
 430   ; SI-NEXT: {{  $}}
 431   ; SI-NEXT: bb.9:
 432   ; SI-NEXT:   successors: %bb.1(0x80000000)
 433   ; SI-NEXT: {{  $}}
 434   ; SI-NEXT:   $exec_lo = S_MOV_B32 killed [[S_MOV_B32_1]]
 435   ; SI-NEXT:   [[COPY11:%[0-9]+]]:vgpr_32 = COPY killed [[COPY10]]
 436   ; SI-NEXT:   S_BRANCH %bb.1
 437   ; SI-NEXT: {{  $}}
 438   ; SI-NEXT: bb.10.end:
 439   ; SI-NEXT:   [[PHI5:%[0-9]+]]:vgpr_32 = PHI [[PHI]], %bb.1, [[COPY8]], %bb.5
 440   ; SI-NEXT:   SI_END_CF killed [[SI_ELSE]], implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 441   ; SI-NEXT:   %27:vgpr_32 = nofpexcept V_ADD_F32_e32 killed [[PHI5]], killed [[COPY4]], implicit $mode, implicit $exec
 442   ; SI-NEXT:   $vgpr0 = COPY killed %27
 443   ; SI-NEXT:   SI_RETURN_TO_EPILOG killed $vgpr0
 444 main_body:
 445   %cc = icmp sgt i32 %z, 5
 446   br i1 %cc, label %if, label %else
 447
 448 if:
 449   %v.if = call amdgpu_gfx float %extern_func(float %v)
 450   br label %end
 451
 452 else:
 453   %v.else = call amdgpu_gfx float %extern_func2(float %v)
 454   br label %end
 455
 456 end:
 457   %r = phi float [ %v.if, %if ], [ %v.else, %else ]
 458   %r2 = fadd float %r, %v
 459   ret float %r2
 460 }
 461
 462 define amdgpu_kernel void @livevariables_update_missed_block(i8 addrspace(1)* %src1) {
 463   ; SI-LABEL: name: livevariables_update_missed_block
 464   ; SI: bb.0.entry:
 465   ; SI-NEXT:   successors: %bb.2(0x40000000), %bb.5(0x40000000)
 466   ; SI-NEXT:   liveins: $vgpr0, $sgpr0_sgpr1
 467   ; SI-NEXT: {{  $}}
 468   ; SI-NEXT:   [[COPY:%[0-9]+]]:sgpr_64(p4) = COPY killed $sgpr0_sgpr1
 469   ; SI-NEXT:   [[COPY1:%[0-9]+]]:vgpr_32(s32) = COPY killed $vgpr0
 470   ; SI-NEXT:   [[V_CMP_NE_U32_e64_:%[0-9]+]]:sreg_32 = V_CMP_NE_U32_e64 0, [[COPY1]](s32), implicit $exec
 471   ; SI-NEXT:   [[SI_IF:%[0-9]+]]:sreg_32 = SI_IF killed [[V_CMP_NE_U32_e64_]], %bb.5, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 472   ; SI-NEXT:   S_BRANCH %bb.2
 473   ; SI-NEXT: {{  $}}
 474   ; SI-NEXT: bb.1.if.then:
 475   ; SI-NEXT:   successors: %bb.7(0x80000000)
 476   ; SI-NEXT: {{  $}}
 477   ; SI-NEXT:   [[S_LOAD_DWORDX2_IMM:%[0-9]+]]:sreg_64_xexec = S_LOAD_DWORDX2_IMM killed [[COPY]](p4), 36, 0 :: (dereferenceable invariant load (s64) from %ir.src1.kernarg.offset.cast, align 4, addrspace 4)
 478   ; SI-NEXT:   [[V_ADD_CO_U32_e64_:%[0-9]+]]:vgpr_32, [[V_ADD_CO_U32_e64_1:%[0-9]+]]:sreg_32_xm0_xexec = V_ADD_CO_U32_e64 [[S_LOAD_DWORDX2_IMM]].sub0, killed %50, 0, implicit $exec
 479   ; SI-NEXT:   %43:vgpr_32, dead %45:sreg_32_xm0_xexec = V_ADDC_U32_e64 0, killed [[S_LOAD_DWORDX2_IMM]].sub1, killed [[V_ADD_CO_U32_e64_1]], 0, implicit $exec
 480   ; SI-NEXT:   [[REG_SEQUENCE:%[0-9]+]]:vreg_64 = REG_SEQUENCE killed [[V_ADD_CO_U32_e64_]], %subreg.sub0, killed %43, %subreg.sub1
 481   ; SI-NEXT:   [[GLOBAL_LOAD_UBYTE:%[0-9]+]]:vgpr_32 = GLOBAL_LOAD_UBYTE killed [[REG_SEQUENCE]], 0, 0, implicit $exec :: (load (s8) from %ir.i10, addrspace 1)
 482   ; SI-NEXT:   [[V_MOV_B:%[0-9]+]]:vreg_64 = V_MOV_B64_PSEUDO 0, implicit $exec
 483   ; SI-NEXT:   GLOBAL_STORE_BYTE killed [[V_MOV_B]], killed [[GLOBAL_LOAD_UBYTE]], 0, 0, implicit $exec :: (store (s8) into `i8 addrspace(1)* null`, addrspace 1)
 484   ; SI-NEXT:   S_BRANCH %bb.7
 485   ; SI-NEXT: {{  $}}
 486   ; SI-NEXT: bb.2.if.then9:
 487   ; SI-NEXT:   successors: %bb.4(0x40000000), %bb.3(0x40000000)
 488   ; SI-NEXT: {{  $}}
 489   ; SI-NEXT:   S_CBRANCH_SCC0 %bb.4, implicit undef $scc
 490   ; SI-NEXT: {{  $}}
 491   ; SI-NEXT: bb.3:
 492   ; SI-NEXT:   successors: %bb.6(0x80000000)
 493   ; SI-NEXT: {{  $}}
 494   ; SI-NEXT:   S_BRANCH %bb.6
 495   ; SI-NEXT: {{  $}}
 496   ; SI-NEXT: bb.4.sw.bb:
 497   ; SI-NEXT:   successors: %bb.6(0x80000000)
 498   ; SI-NEXT: {{  $}}
 499   ; SI-NEXT:   [[V_MOV_B1:%[0-9]+]]:vreg_64 = V_MOV_B64_PSEUDO 0, implicit $exec
 500   ; SI-NEXT:   [[GLOBAL_LOAD_UBYTE1:%[0-9]+]]:vgpr_32 = GLOBAL_LOAD_UBYTE killed [[V_MOV_B1]], 0, 0, implicit $exec :: ("amdgpu-noclobber" load (s8) from `i8 addrspace(1)* null`, addrspace 1)
 501   ; SI-NEXT:   S_BRANCH %bb.6
 502   ; SI-NEXT: {{  $}}
 503   ; SI-NEXT: bb.5.Flow:
 504   ; SI-NEXT:   successors: %bb.1(0x40000000), %bb.7(0x40000000)
 505   ; SI-NEXT: {{  $}}
 506   ; SI-NEXT:   [[PHI:%[0-9]+]]:vgpr_32 = PHI [[COPY1]](s32), %bb.0, undef %51:vgpr_32, %bb.6
 507   ; SI-NEXT:   [[SI_ELSE:%[0-9]+]]:sreg_32 = SI_ELSE killed [[SI_IF]], %bb.7, implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 508   ; SI-NEXT:   S_BRANCH %bb.1
 509   ; SI-NEXT: {{  $}}
 510   ; SI-NEXT: bb.6.sw.bb18:
 511   ; SI-NEXT:   successors: %bb.5(0x80000000)
 512   ; SI-NEXT: {{  $}}
 513   ; SI-NEXT:   [[PHI1:%[0-9]+]]:vgpr_32 = PHI undef %39:vgpr_32, %bb.3, [[GLOBAL_LOAD_UBYTE1]], %bb.4
 514   ; SI-NEXT:   [[V_MOV_B2:%[0-9]+]]:vreg_64 = V_MOV_B64_PSEUDO 0, implicit $exec
 515   ; SI-NEXT:   GLOBAL_STORE_BYTE killed [[V_MOV_B2]], killed [[PHI1]], 0, 0, implicit $exec :: (store (s8) into `i8 addrspace(1)* null`, addrspace 1)
 516   ; SI-NEXT:   S_BRANCH %bb.5
 517   ; SI-NEXT: {{  $}}
 518   ; SI-NEXT: bb.7.UnifiedReturnBlock:
 519   ; SI-NEXT:   SI_END_CF killed [[SI_ELSE]], implicit-def dead $exec, implicit-def dead $scc, implicit $exec
 520   ; SI-NEXT:   S_ENDPGM 0
 521 entry:
 522   %i2 = tail call i32 @llvm.amdgcn.workitem.id.x()
 523   %i4 = add i32 0, %i2
 524   %i5 = zext i32 %i4 to i64
 525   %i6 = add i64 0, %i5
 526   %add = add i64 %i6, 0
 527   %cmp2 = icmp ult i64 %add, 1
 528   br i1 %cmp2, label %if.then, label %if.then9
 529
 530 if.then:                                          ; preds = %entry
 531   %i9 = mul i64 %i6, 1
 532   %i10 = getelementptr inbounds i8, i8 addrspace(1)* %src1, i64 %i9
 533   %i11 = load i8, i8 addrspace(1)* %i10, align 1
 534   %i12 = insertelement <3 x i8> zeroinitializer, i8 %i11, i64 0
 535   %i13 = insertelement <3 x i8> %i12, i8 0, i64 1
 536   %i14 = insertelement <3 x i8> %i13, i8 0, i64 1
 537   %i15 = select <3 x i1> zeroinitializer, <3 x i8> zeroinitializer, <3 x i8> %i14
 538   %i16 = extractelement <3 x i8> %i15, i64 0
 539   store i8 %i16, i8 addrspace(1)* null, align 1
 540   ret void
 541
 542 if.then9:                                         ; preds = %entry
 543   br i1 undef, label %sw.bb18, label %sw.bb
 544
 545 sw.bb:                                            ; preds = %if.then9
 546   %i17 = load i8, i8 addrspace(1)* null, align 1
 547   %i18 = insertelement <4 x i8> zeroinitializer, i8 %i17, i64 0
 548   %a.sroa.0.0.vecblend = shufflevector <4 x i8> %i18, <4 x i8> zeroinitializer, <4 x i32> <i32 0, i32 0, i32 0, i32 undef>
 549   br label %sw.bb18
 550
 551 sw.bb18:                                          ; preds = %sw.bb, %if.then9
 552   %a.sroa.0.0 = phi <4 x i8> [ %a.sroa.0.0.vecblend, %sw.bb ], [ undef, %if.then9 ]
 553   %a.sroa.0.0.vec.extract61 = shufflevector <4 x i8> %a.sroa.0.0, <4 x i8> zeroinitializer, <3 x i32> <i32 undef, i32 1, i32 undef>
 554   %i19 = insertelement <3 x i8> %a.sroa.0.0.vec.extract61, i8 0, i64 0
 555   %i20 = select <3 x i1> zeroinitializer, <3 x i8> zeroinitializer, <3 x i8> %i19
 556   %i21 = extractelement <3 x i8> %i20, i64 1
 557   store i8 %i21, i8 addrspace(1)* null, align 1
 558   ret void
 559 }
 560
 561 %tex = type opaque
 562 define protected amdgpu_kernel void @nested_waterfalls(%tex* addrspace(1)* %tex.coerce) local_unnamed_addr {
 563   ; SI-LABEL: name: nested_waterfalls
 564   ; SI: bb.0.entry:
 565   ; SI-NEXT:   successors: %bb.1(0x80000000)
 566   ; SI-NEXT:   liveins: $vgpr0, $sgpr0_sgpr1
 567   ; SI-NEXT: {{  $}}
 568   ; SI-NEXT:   [[COPY:%[0-9]+]]:sgpr_64(p4) = COPY killed $sgpr0_sgpr1
 569   ; SI-NEXT:   [[COPY1:%[0-9]+]]:vgpr_32(s32) = COPY killed $vgpr0
 570   ; SI-NEXT:   [[S_LOAD_DWORDX2_IMM:%[0-9]+]]:sreg_64_xexec = S_LOAD_DWORDX2_IMM killed [[COPY]](p4), 36, 0 :: (dereferenceable invariant load (s64) from %ir.tex.coerce.kernarg.offset.cast, align 4, addrspace 4)
 571   ; SI-NEXT:   [[V_MOV_B32_e32_:%[0-9]+]]:vgpr_32 = V_MOV_B32_e32 0, implicit $exec
 572   ; SI-NEXT:   [[REG_SEQUENCE:%[0-9]+]]:vreg_64 = REG_SEQUENCE killed [[COPY1]](s32), %subreg.sub0, killed [[V_MOV_B32_e32_]], %subreg.sub1
 573   ; SI-NEXT: {{  $}}
 574   ; SI-NEXT: bb.1.if.then:
 575   ; SI-NEXT:   successors: %bb.2(0x80000000)
 576   ; SI-NEXT: {{  $}}
 577   ; SI-NEXT:   [[V_LSHLREV_B64_e64_:%[0-9]+]]:vreg_64 = V_LSHLREV_B64_e64 3, killed [[REG_SEQUENCE]], implicit $exec
 578   ; SI-NEXT:   [[V_ADD_CO_U32_e64_:%[0-9]+]]:vgpr_32, [[V_ADD_CO_U32_e64_1:%[0-9]+]]:sreg_32_xm0_xexec = V_ADD_CO_U32_e64 [[S_LOAD_DWORDX2_IMM]].sub0, [[V_LSHLREV_B64_e64_]].sub0, 0, implicit $exec
 579   ; SI-NEXT:   %69:vgpr_32, dead %71:sreg_32_xm0_xexec = V_ADDC_U32_e64 killed [[S_LOAD_DWORDX2_IMM]].sub1, killed [[V_LSHLREV_B64_e64_]].sub1, killed [[V_ADD_CO_U32_e64_1]], 0, implicit $exec
 580   ; SI-NEXT:   [[REG_SEQUENCE1:%[0-9]+]]:vreg_64 = REG_SEQUENCE killed [[V_ADD_CO_U32_e64_]], %subreg.sub0, killed %69, %subreg.sub1
 581   ; SI-NEXT:   [[GLOBAL_LOAD_DWORDX2_:%[0-9]+]]:vreg_64 = GLOBAL_LOAD_DWORDX2 killed [[REG_SEQUENCE1]], 0, 0, implicit $exec :: (load (s64) from %ir.idx, addrspace 1)
 582   ; SI-NEXT:   [[GLOBAL_LOAD_DWORDX4_:%[0-9]+]]:vreg_128 = GLOBAL_LOAD_DWORDX4 [[GLOBAL_LOAD_DWORDX2_]], 16, 0, implicit $exec :: (load (s128) from %ir.6 + 16, addrspace 4)
 583   ; SI-NEXT:   [[COPY2:%[0-9]+]]:vgpr_32 = COPY [[GLOBAL_LOAD_DWORDX4_]].sub3
 584   ; SI-NEXT:   [[COPY3:%[0-9]+]]:vgpr_32 = COPY [[GLOBAL_LOAD_DWORDX4_]].sub2
 585   ; SI-NEXT:   [[COPY4:%[0-9]+]]:vgpr_32 = COPY [[GLOBAL_LOAD_DWORDX4_]].sub1
 586   ; SI-NEXT:   [[COPY5:%[0-9]+]]:vgpr_32 = COPY killed [[GLOBAL_LOAD_DWORDX4_]].sub0
 587   ; SI-NEXT:   [[GLOBAL_LOAD_DWORDX4_1:%[0-9]+]]:vreg_128 = GLOBAL_LOAD_DWORDX4 [[GLOBAL_LOAD_DWORDX2_]], 0, 0, implicit $exec :: (load (s128) from %ir.6, align 32, addrspace 4)
 588   ; SI-NEXT:   [[COPY6:%[0-9]+]]:vgpr_32 = COPY [[GLOBAL_LOAD_DWORDX4_1]].sub3
 589   ; SI-NEXT:   [[COPY7:%[0-9]+]]:vgpr_32 = COPY [[GLOBAL_LOAD_DWORDX4_1]].sub2
 590   ; SI-NEXT:   [[COPY8:%[0-9]+]]:vgpr_32 = COPY [[GLOBAL_LOAD_DWORDX4_1]].sub1
 591   ; SI-NEXT:   [[COPY9:%[0-9]+]]:vgpr_32 = COPY killed [[GLOBAL_LOAD_DWORDX4_1]].sub0
 592   ; SI-NEXT:   [[REG_SEQUENCE2:%[0-9]+]]:vreg_256 = REG_SEQUENCE killed [[COPY9]], %subreg.sub0, killed [[COPY8]], %subreg.sub1, killed [[COPY7]], %subreg.sub2, killed [[COPY6]], %subreg.sub3, killed [[COPY5]], %subreg.sub4, killed [[COPY4]], %subreg.sub5, killed [[COPY3]], %subreg.sub6, killed [[COPY2]], %subreg.sub7
 593   ; SI-NEXT:   [[GLOBAL_LOAD_DWORDX4_2:%[0-9]+]]:vreg_128 = GLOBAL_LOAD_DWORDX4 killed [[GLOBAL_LOAD_DWORDX2_]], 48, 0, implicit $exec :: (load (s128) from %ir.8, addrspace 4)
 594   ; SI-NEXT:   [[S_MOV_B32_:%[0-9]+]]:sreg_32_xm0_xexec = S_MOV_B32 $exec_lo
 595   ; SI-NEXT: {{  $}}
 596   ; SI-NEXT: bb.2:
 597   ; SI-NEXT:   successors: %bb.3(0x80000000)
 598   ; SI-NEXT: {{  $}}
 599   ; SI-NEXT:   [[V_READFIRSTLANE_B32_:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[REG_SEQUENCE2]].sub0, implicit $exec
 600   ; SI-NEXT:   [[V_READFIRSTLANE_B32_1:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[REG_SEQUENCE2]].sub1, implicit $exec
 601   ; SI-NEXT:   [[REG_SEQUENCE3:%[0-9]+]]:sgpr_64 = REG_SEQUENCE [[V_READFIRSTLANE_B32_]], %subreg.sub0, [[V_READFIRSTLANE_B32_1]], %subreg.sub1
 602   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 killed [[REG_SEQUENCE3]], [[REG_SEQUENCE2]].sub0_sub1, implicit $exec
 603   ; SI-NEXT:   [[V_READFIRSTLANE_B32_2:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[REG_SEQUENCE2]].sub2, implicit $exec
 604   ; SI-NEXT:   [[V_READFIRSTLANE_B32_3:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[REG_SEQUENCE2]].sub3, implicit $exec
 605   ; SI-NEXT:   [[REG_SEQUENCE4:%[0-9]+]]:sgpr_64 = REG_SEQUENCE [[V_READFIRSTLANE_B32_2]], %subreg.sub0, [[V_READFIRSTLANE_B32_3]], %subreg.sub1
 606   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_1:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 killed [[REG_SEQUENCE4]], [[REG_SEQUENCE2]].sub2_sub3, implicit $exec
 607   ; SI-NEXT:   [[S_AND_B32_:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_B32 killed [[V_CMP_EQ_U64_e64_]], killed [[V_CMP_EQ_U64_e64_1]], implicit-def dead $scc
 608   ; SI-NEXT:   [[V_READFIRSTLANE_B32_4:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[REG_SEQUENCE2]].sub4, implicit $exec
 609   ; SI-NEXT:   [[V_READFIRSTLANE_B32_5:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[REG_SEQUENCE2]].sub5, implicit $exec
 610   ; SI-NEXT:   [[REG_SEQUENCE5:%[0-9]+]]:sgpr_64 = REG_SEQUENCE [[V_READFIRSTLANE_B32_4]], %subreg.sub0, [[V_READFIRSTLANE_B32_5]], %subreg.sub1
 611   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_2:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 killed [[REG_SEQUENCE5]], [[REG_SEQUENCE2]].sub4_sub5, implicit $exec
 612   ; SI-NEXT:   [[S_AND_B32_1:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_B32 killed [[S_AND_B32_]], killed [[V_CMP_EQ_U64_e64_2]], implicit-def dead $scc
 613   ; SI-NEXT:   [[V_READFIRSTLANE_B32_6:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[REG_SEQUENCE2]].sub6, implicit $exec
 614   ; SI-NEXT:   [[V_READFIRSTLANE_B32_7:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[REG_SEQUENCE2]].sub7, implicit $exec
 615   ; SI-NEXT:   [[REG_SEQUENCE6:%[0-9]+]]:sgpr_64 = REG_SEQUENCE [[V_READFIRSTLANE_B32_6]], %subreg.sub0, [[V_READFIRSTLANE_B32_7]], %subreg.sub1
 616   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_3:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 killed [[REG_SEQUENCE6]], [[REG_SEQUENCE2]].sub6_sub7, implicit $exec
 617   ; SI-NEXT:   [[S_AND_B32_2:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_B32 killed [[S_AND_B32_1]], killed [[V_CMP_EQ_U64_e64_3]], implicit-def dead $scc
 618   ; SI-NEXT:   [[REG_SEQUENCE7:%[0-9]+]]:sgpr_256 = REG_SEQUENCE killed [[V_READFIRSTLANE_B32_]], %subreg.sub0, killed [[V_READFIRSTLANE_B32_1]], %subreg.sub1, killed [[V_READFIRSTLANE_B32_2]], %subreg.sub2, killed [[V_READFIRSTLANE_B32_3]], %subreg.sub3, killed [[V_READFIRSTLANE_B32_4]], %subreg.sub4, killed [[V_READFIRSTLANE_B32_5]], %subreg.sub5, killed [[V_READFIRSTLANE_B32_6]], %subreg.sub6, killed [[V_READFIRSTLANE_B32_7]], %subreg.sub7
 619   ; SI-NEXT:   [[S_AND_SAVEEXEC_B32_:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_SAVEEXEC_B32 killed [[S_AND_B32_2]], implicit-def $exec, implicit-def dead $scc, implicit $exec
 620   ; SI-NEXT: {{  $}}
 621   ; SI-NEXT: bb.3:
 622   ; SI-NEXT:   successors: %bb.4(0x80000000)
 623   ; SI-NEXT: {{  $}}
 624   ; SI-NEXT:   [[S_MOV_B32_1:%[0-9]+]]:sreg_32_xm0_xexec = S_MOV_B32 $exec_lo
 625   ; SI-NEXT: {{  $}}
 626   ; SI-NEXT: bb.4:
 627   ; SI-NEXT:   successors: %bb.5(0x80000000)
 628   ; SI-NEXT: {{  $}}
 629   ; SI-NEXT:   [[V_READFIRSTLANE_B32_8:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[GLOBAL_LOAD_DWORDX4_2]].sub0, implicit $exec
 630   ; SI-NEXT:   [[V_READFIRSTLANE_B32_9:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[GLOBAL_LOAD_DWORDX4_2]].sub1, implicit $exec
 631   ; SI-NEXT:   [[REG_SEQUENCE8:%[0-9]+]]:sgpr_64 = REG_SEQUENCE [[V_READFIRSTLANE_B32_8]], %subreg.sub0, [[V_READFIRSTLANE_B32_9]], %subreg.sub1
 632   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_4:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 killed [[REG_SEQUENCE8]], [[GLOBAL_LOAD_DWORDX4_2]].sub0_sub1, implicit $exec
 633   ; SI-NEXT:   [[V_READFIRSTLANE_B32_10:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[GLOBAL_LOAD_DWORDX4_2]].sub2, implicit $exec
 634   ; SI-NEXT:   [[V_READFIRSTLANE_B32_11:%[0-9]+]]:sgpr_32 = V_READFIRSTLANE_B32 [[GLOBAL_LOAD_DWORDX4_2]].sub3, implicit $exec
 635   ; SI-NEXT:   [[REG_SEQUENCE9:%[0-9]+]]:sgpr_64 = REG_SEQUENCE [[V_READFIRSTLANE_B32_10]], %subreg.sub0, [[V_READFIRSTLANE_B32_11]], %subreg.sub1
 636   ; SI-NEXT:   [[V_CMP_EQ_U64_e64_5:%[0-9]+]]:sreg_32_xm0_xexec = V_CMP_EQ_U64_e64 killed [[REG_SEQUENCE9]], [[GLOBAL_LOAD_DWORDX4_2]].sub2_sub3, implicit $exec
 637   ; SI-NEXT:   [[S_AND_B32_3:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_B32 killed [[V_CMP_EQ_U64_e64_4]], killed [[V_CMP_EQ_U64_e64_5]], implicit-def dead $scc
 638   ; SI-NEXT:   [[REG_SEQUENCE10:%[0-9]+]]:sgpr_128 = REG_SEQUENCE killed [[V_READFIRSTLANE_B32_8]], %subreg.sub0, killed [[V_READFIRSTLANE_B32_9]], %subreg.sub1, killed [[V_READFIRSTLANE_B32_10]], %subreg.sub2, killed [[V_READFIRSTLANE_B32_11]], %subreg.sub3
 639   ; SI-NEXT:   [[S_AND_SAVEEXEC_B32_1:%[0-9]+]]:sreg_32_xm0_xexec = S_AND_SAVEEXEC_B32 killed [[S_AND_B32_3]], implicit-def $exec, implicit-def dead $scc, implicit $exec
 640   ; SI-NEXT: {{  $}}
 641   ; SI-NEXT: bb.5:
 642   ; SI-NEXT:   successors: %bb.4(0x40000000), %bb.6(0x40000000)
 643   ; SI-NEXT: {{  $}}
 644   ; SI-NEXT:   [[IMAGE_SAMPLE_V1_V2_gfx10_:%[0-9]+]]:vgpr_32 = IMAGE_SAMPLE_V1_V2_gfx10 undef %27:vreg_64, [[REG_SEQUENCE7]], killed [[REG_SEQUENCE10]], 1, 1, 0, 0, 0, 0, 0, 0, 0, implicit $exec :: (dereferenceable load (s32) from custom "ImageResource")
 645   ; SI-NEXT:   $exec_lo = S_XOR_B32_term $exec_lo, killed [[S_AND_SAVEEXEC_B32_1]], implicit-def dead $scc
 646   ; SI-NEXT:   SI_WATERFALL_LOOP %bb.4, implicit $exec
 647   ; SI-NEXT: {{  $}}
 648   ; SI-NEXT: bb.6:
 649   ; SI-NEXT:   successors: %bb.2(0x40000000), %bb.7(0x40000000)
 650   ; SI-NEXT: {{  $}}
 651   ; SI-NEXT:   $exec_lo = S_MOV_B32 killed [[S_MOV_B32_1]]
 652   ; SI-NEXT:   $exec_lo = S_XOR_B32_term $exec_lo, killed [[S_AND_SAVEEXEC_B32_]], implicit-def dead $scc
 653   ; SI-NEXT:   SI_WATERFALL_LOOP %bb.2, implicit $exec
 654   ; SI-NEXT: {{  $}}
 655   ; SI-NEXT: bb.7:
 656   ; SI-NEXT:   $exec_lo = S_MOV_B32 killed [[S_MOV_B32_]]
 657   ; SI-NEXT:   GLOBAL_STORE_DWORD undef %30:vreg_64, killed [[IMAGE_SAMPLE_V1_V2_gfx10_]], 0, 0, implicit $exec :: (store (s32) into `float addrspace(1)* undef`, addrspace 1)
 658   ; SI-NEXT:   S_ENDPGM 0
 659 entry:
 660   %0 = tail call i32 @llvm.amdgcn.workitem.id.x()
 661   %1 = zext i32 %0 to i64
 662   br label %if.then
 663
 664 if.then:                                          ; preds = %entry
 665   %idx = getelementptr inbounds %tex*, %tex* addrspace(1)* %tex.coerce, i64 %1
 666   %2 = load %tex*, %tex* addrspace(1)* %idx, align 8
 667   %3 = bitcast %tex* %2 to i32*
 668   %4 = addrspacecast i32* %3 to i32 addrspace(4)*
 669   %add.ptr.i = getelementptr inbounds i32, i32 addrspace(4)* %4, i64 12
 670   %5 = bitcast %tex* %2 to <8 x i32>*
 671   %6 = addrspacecast <8 x i32>* %5 to <8 x i32> addrspace(4)*
 672   %7 = load <8 x i32>, <8 x i32> addrspace(4)* %6, align 32
 673   %8 = bitcast i32 addrspace(4)* %add.ptr.i to <4 x i32> addrspace(4)*
 674   %9 = load <4 x i32>, <4 x i32> addrspace(4)* %8, align 16
 675   %10 = tail call float @llvm.amdgcn.image.sample.2d.f32.f32(i32 1, float undef, float undef, <8 x i32> %7, <4 x i32> %9, i1 false, i32 0, i32 0)
 676   store float %10, float addrspace(1)* undef, align 4
 677   ret void
 678 }
 679
 680 declare i32 @llvm.amdgcn.workitem.id.x() #1
 681
 682 declare float @llvm.amdgcn.image.sample.2d.f32.f32(i32 immarg, float, float, <8 x i32>, <4 x i32>, i1 immarg, i32 immarg, i32 immarg) #2
 683
 684 attributes #0 = { nounwind }
 685 attributes #1 = { nounwind readnone speculatable willreturn }
 686 attributes #2 = { nounwind readonly willreturn }