llvm/test/CodeGen/AMDGPU/control-flow-fastregalloc.ll

   1 ; RUN: llc -O0 -mtriple=amdgcn--amdhsa -amdgpu-spill-sgpr-to-vgpr=0 -verify-machineinstrs < %s | FileCheck -enable-var-scope -check-prefix=VMEM -check-prefix=GCN %s
   2 ; RUN: llc -O0 -mtriple=amdgcn--amdhsa -amdgpu-spill-sgpr-to-vgpr=1 -verify-machineinstrs < %s | FileCheck -enable-var-scope -check-prefix=VGPR -check-prefix=GCN %s
   3
   4 ; Verify registers used for tracking exec mask changes when all
   5 ; registers are spilled at the end of the block. The SGPR spill
   6 ; placement relative to the exec modifications are important.
   7
   8 ; FIXME: This checks with SGPR to VGPR spilling disabled, but this may
   9 ; not work correctly in cases where no workitems take a branch.
  10
  11
  12 ; GCN-LABEL: {{^}}divergent_if_endif:
  13
  14 ; GCN: {{^}}; %bb.0:
  15 ; GCN: s_mov_b32 m0, -1
  16 ; GCN: ds_read_b32 [[LOAD0:v[0-9]+]]
  17
  18 ; Spill load
  19 ; GCN: buffer_store_dword [[LOAD0]], off, s[0:3], 0 offset:[[LOAD0_OFFSET:[0-9]+]] ; 4-byte Folded Spill
  20 ; GCN: v_cmp_eq_u32_e64 [[CMP0:s\[[0-9]+:[0-9]\]]], v{{[0-9]+}}, s{{[0-9]+}}
  21
  22 ; Spill saved exec
  23 ; GCN: s_mov_b64 s[[[SAVEEXEC_LO:[0-9]+]]:[[SAVEEXEC_HI:[0-9]+]]], exec
  24 ; VGPR: v_writelane_b32 [[SPILL_VGPR:v[0-9]+]], s[[SAVEEXEC_LO]], [[SAVEEXEC_LO_LANE:[0-9]+]]
  25 ; VGPR: v_writelane_b32 [[SPILL_VGPR]], s[[SAVEEXEC_HI]], [[SAVEEXEC_HI_LANE:[0-9]+]]
  26
  27 ; VMEM: v_writelane_b32 v[[V_SAVEEXEC:[0-9]+]], s[[SAVEEXEC_LO]], 0
  28 ; VMEM: v_writelane_b32 v[[V_SAVEEXEC]], s[[SAVEEXEC_HI]], 1
  29 ; VMEM: buffer_store_dword v[[V_SAVEEXEC]], off, s[0:3], 0 ; 4-byte Folded Spill
  30
  31 ; GCN: s_and_b64 s[[[ANDEXEC_LO:[0-9]+]]:[[ANDEXEC_HI:[0-9]+]]], s[[[SAVEEXEC_LO]]:[[SAVEEXEC_HI]]], [[CMP0]]
  32 ; GCN: s_mov_b64 exec, s[[[ANDEXEC_LO]]:[[ANDEXEC_HI]]]
  33
  34 ; GCN: s_cbranch_execz [[ENDIF:.LBB[0-9]+_[0-9]+]]
  35
  36 ; GCN: ; %bb.{{[0-9]+}}: ; %if
  37 ; GCN: buffer_load_dword [[RELOAD_LOAD0:v[0-9]+]], off, s[0:3], 0 offset:[[LOAD0_OFFSET]] ; 4-byte Folded Reload
  38 ; GCN: s_mov_b32 m0, -1
  39 ; GCN: ds_read_b32 [[LOAD1:v[0-9]+]]
  40 ; GCN: s_waitcnt vmcnt(0) lgkmcnt(0)
  41
  42
  43 ; Spill val register
  44 ; GCN: v_add_i32_e32 [[VAL:v[0-9]+]], vcc, [[RELOAD_LOAD0]], [[LOAD1]]
  45 ; GCN: buffer_store_dword [[VAL]], off, s[0:3], 0 offset:[[VAL_OFFSET:[0-9]+]] ; 4-byte Folded Spill
  46
  47 ; VMEM: [[ENDIF]]:
  48
  49 ; Reload and restore exec mask
  50 ; VGPR: v_readlane_b32 s[[S_RELOAD_SAVEEXEC_LO:[0-9]+]], [[SPILL_VGPR]], [[SAVEEXEC_LO_LANE]]
  51 ; VGPR: v_readlane_b32 s[[S_RELOAD_SAVEEXEC_HI:[0-9]+]], [[SPILL_VGPR]], [[SAVEEXEC_HI_LANE]]
  52
  53 ; VMEM: buffer_load_dword v[[V_RELOAD_SAVEEXEC:[0-9]+]], off, s[0:3], 0 ; 4-byte Folded Reload
  54 ; VMEM: s_waitcnt vmcnt(0)
  55 ; VMEM: v_readlane_b32 s[[S_RELOAD_SAVEEXEC_LO:[0-9]+]], v[[V_RELOAD_SAVEEXEC]], 0
  56 ; VMEM: v_readlane_b32 s[[S_RELOAD_SAVEEXEC_HI:[0-9]+]], v[[V_RELOAD_SAVEEXEC]], 1
  57
  58 ; GCN: s_or_b64 exec, exec, s[[[S_RELOAD_SAVEEXEC_LO]]:[[S_RELOAD_SAVEEXEC_HI]]]
  59
  60 ; Restore val
  61 ; GCN: buffer_load_dword [[RELOAD_VAL:v[0-9]+]], off, s[0:3], 0 offset:[[VAL_OFFSET]] ; 4-byte Folded Reload
  62
  63 ; GCN: flat_store_dword v{{\[[0-9]+:[0-9]+\]}}, [[RELOAD_VAL]]
  64
  65 ; VGPR: .amdhsa_private_segment_fixed_size 16
  66 define amdgpu_kernel void @divergent_if_endif(ptr addrspace(1) %out) #0 {
  67 entry:
  68   %tid = call i32 @llvm.amdgcn.workitem.id.x()
  69   %load0 = load volatile i32, ptr addrspace(3) undef
  70   %cmp0 = icmp eq i32 %tid, 0
  71   br i1 %cmp0, label %if, label %endif
  72
  73 if:
  74   %load1 = load volatile i32, ptr addrspace(3) undef
  75   %val = add i32 %load0, %load1
  76   br label %endif
  77
  78 endif:
  79   %tmp4 = phi i32 [ %val, %if ], [ 0, %entry ]
  80   store i32 %tmp4, ptr addrspace(1) %out
  81   ret void
  82 }
  83
  84 ; GCN-LABEL: {{^}}divergent_loop:
  85
  86 ; GCN: {{^}}; %bb.0:
  87 ; GCN-DAG: s_mov_b32 m0, -1
  88 ; GCN-DAG: v_mov_b32_e32 [[PTR0:v[0-9]+]], 0{{$}}
  89 ; GCN: ds_read_b32 [[LOAD0:v[0-9]+]], [[PTR0]]
  90 ; GCN: v_cmp_eq_u32_e64 [[CMP0:s\[[0-9]+:[0-9]+\]]], v{{[0-9]+}}, s{{[0-9]+}}
  91
  92 ; Spill load
  93 ; GCN: buffer_store_dword [[LOAD0]], off, s[0:3], 0 offset:[[LOAD0_OFFSET:[0-9]+]] ; 4-byte Folded Spill
  94 ; GCN: s_mov_b64 s[[[SAVEEXEC_LO:[0-9]+]]:[[SAVEEXEC_HI:[0-9]+]]], exec
  95
  96 ; Spill saved exec
  97 ; VGPR: v_writelane_b32 [[SPILL_VGPR:v[0-9]+]], s[[SAVEEXEC_LO]], [[SAVEEXEC_LO_LANE:[0-9]+]]
  98 ; VGPR: v_writelane_b32 [[SPILL_VGPR]], s[[SAVEEXEC_HI]], [[SAVEEXEC_HI_LANE:[0-9]+]]
  99
 100 ; VMEM: v_writelane_b32 v[[V_SAVEEXEC:[0-9]+]], s[[SAVEEXEC_LO]], 0
 101 ; VMEM: v_writelane_b32 v[[V_SAVEEXEC]], s[[SAVEEXEC_HI]], 1
 102 ; VMEM: buffer_store_dword v[[V_SAVEEXEC]], off, s[0:3], 0 ; 4-byte Folded Spill
 103
 104
 105 ; GCN: s_and_b64 s[[[ANDEXEC_LO:[0-9]+]]:[[ANDEXEC_HI:[0-9]+]]], s[[[SAVEEXEC_LO:[0-9]+]]:[[SAVEEXEC_HI:[0-9]+]]], [[CMP0]]
 106 ; GCN: s_mov_b64 exec, s[[[ANDEXEC_LO]]:[[ANDEXEC_HI]]]
 107 ; GCN-NEXT: s_cbranch_execz [[END:.LBB[0-9]+_[0-9]+]]
 108
 109
 110 ; GCN: [[LOOP:.LBB[0-9]+_[0-9]+]]:
 111 ; GCN: buffer_load_dword v[[VAL_LOOP_RELOAD:[0-9]+]], off, s[0:3], 0 offset:[[LOAD0_OFFSET]] ; 4-byte Folded Reload
 112 ; GCN: v_sub_i32_e32 v[[VAL_LOOP_RELOAD]], vcc, v[[VAL_LOOP_RELOAD]], v{{[0-9]+}}
 113 ; GCN: s_cmp_lg_u32
 114 ; VMEM: buffer_store_dword
 115 ; VMEM: buffer_store_dword
 116 ; VMEM: buffer_store_dword
 117 ; GCN: buffer_store_dword v[[VAL_LOOP_RELOAD]], off, s[0:3], 0 offset:{{[0-9]+}} ; 4-byte Folded Spill
 118 ; GCN-NEXT: s_cbranch_scc1 [[LOOP]]
 119
 120 ; GCN: buffer_store_dword v[[VAL_LOOP_RELOAD]], off, s[0:3], 0 offset:[[VAL_SUB_OFFSET:[0-9]+]] ; 4-byte Folded Spill
 121
 122 ; GCN: [[END]]:
 123 ; VGPR: v_readlane_b32 s[[S_RELOAD_SAVEEXEC_LO:[0-9]+]], [[SPILL_VGPR]], [[SAVEEXEC_LO_LANE]]
 124 ; VGPR: v_readlane_b32 s[[S_RELOAD_SAVEEXEC_HI:[0-9]+]], [[SPILL_VGPR]], [[SAVEEXEC_HI_LANE]]
 125
 126 ; VMEM: buffer_load_dword v[[V_RELOAD_SAVEEXEC:[0-9]+]], off, s[0:3], 0 ; 4-byte Folded Reload
 127 ; VMEM: s_waitcnt vmcnt(0)
 128 ; VMEM: v_readlane_b32 s[[S_RELOAD_SAVEEXEC_LO:[0-9]+]], v[[V_RELOAD_SAVEEXEC]], 0
 129 ; VMEM: v_readlane_b32 s[[S_RELOAD_SAVEEXEC_HI:[0-9]+]], v[[V_RELOAD_SAVEEXEC]], 1
 130
 131 ; GCN: s_or_b64 exec, exec, s[[[S_RELOAD_SAVEEXEC_LO]]:[[S_RELOAD_SAVEEXEC_HI]]]
 132 ; GCN: buffer_load_dword v[[VAL_END:[0-9]+]], off, s[0:3], 0 offset:[[VAL_SUB_OFFSET]] ; 4-byte Folded Reload
 133
 134 ; GCN: flat_store_dword v{{\[[0-9]+:[0-9]+\]}}, v[[VAL_END]]
 135
 136 ; VGPR: .amdhsa_private_segment_fixed_size 20
 137 define amdgpu_kernel void @divergent_loop(ptr addrspace(1) %out) #0 {
 138 entry:
 139   %tid = call i32 @llvm.amdgcn.workitem.id.x()
 140   %load0 = load volatile i32, ptr addrspace(3) null
 141   %cmp0 = icmp eq i32 %tid, 0
 142   br i1 %cmp0, label %loop, label %end
 143
 144 loop:
 145   %i = phi i32 [ %i.inc, %loop ], [ 0, %entry ]
 146   %val = phi i32 [ %val.sub, %loop ], [ %load0, %entry ]
 147   %load1 = load volatile i32, ptr addrspace(3) undef
 148   %i.inc = add i32 %i, 1
 149   %val.sub = sub i32 %val, %load1
 150   %cmp1 = icmp ne i32 %i, 256
 151   br i1 %cmp1, label %loop, label %end
 152
 153 end:
 154   %tmp4 = phi i32 [ %val.sub, %loop ], [ 0, %entry ]
 155   store i32 %tmp4, ptr addrspace(1) %out
 156   ret void
 157 }
 158
 159 ; GCN-LABEL: {{^}}divergent_if_else_endif:
 160 ; GCN: {{^}}; %bb.0:
 161
 162 ; GCN-DAG: s_mov_b32 m0, -1
 163 ; GCN-DAG: v_mov_b32_e32 [[PTR0:v[0-9]+]], 0{{$}}
 164 ; GCN: ds_read_b32 [[LOAD0:v[0-9]+]], [[PTR0]]
 165
 166 ; Spill load
 167 ; GCN: buffer_store_dword [[LOAD0]], off, s[0:3], 0 offset:[[LOAD0_OFFSET:[0-9]+]] ; 4-byte Folded Spill
 168
 169 ; GCN: s_mov_b32 [[ZERO:s[0-9]+]], 0
 170 ; GCN: v_cmp_ne_u32_e64 [[CMP0:s\[[0-9]+:[0-9]\]]], v{{[0-9]+}}, [[ZERO]]
 171
 172 ; GCN: s_mov_b64 s[[[SAVEEXEC_LO:[0-9]+]]:[[SAVEEXEC_HI:[0-9]+]]], exec
 173 ; GCN: s_and_b64 s[[[ANDEXEC_LO:[0-9]+]]:[[ANDEXEC_HI:[0-9]+]]], s[[[SAVEEXEC_LO:[0-9]+]]:[[SAVEEXEC_HI:[0-9]+]]], [[CMP0]]
 174 ; GCN: s_xor_b64 s[[[SAVEEXEC_LO]]:[[SAVEEXEC_HI]]], s[[[ANDEXEC_LO]]:[[ANDEXEC_HI]]], s[[[SAVEEXEC_LO]]:[[SAVEEXEC_HI]]]
 175
 176 ; Spill saved exec
 177 ; VGPR: v_writelane_b32 [[SPILL_VGPR:v[0-9]+]], s[[SAVEEXEC_LO]], [[SAVEEXEC_LO_LANE:[0-9]+]]
 178 ; VGPR: v_writelane_b32 [[SPILL_VGPR]], s[[SAVEEXEC_HI]], [[SAVEEXEC_HI_LANE:[0-9]+]]
 179 ; VGPR: buffer_store_dword [[SPILL_VGPR]], off, s[0:3], 0 ; 4-byte Folded Spill
 180
 181 ; VMEM: v_writelane_b32 v[[V_SAVEEXEC:[0-9]+]], s[[SAVEEXEC_LO]], 0
 182 ; VMEM: v_writelane_b32 v[[V_SAVEEXEC]], s[[SAVEEXEC_HI]], 1
 183 ; VMEM: buffer_store_dword v[[V_SAVEEXEC]], off, s[0:3], 0 ; 4-byte Folded Spill
 184
 185 ; GCN: s_mov_b64 exec, [[CMP0]]
 186
 187 ; FIXME: It makes no sense to put this skip here
 188 ; GCN: s_cbranch_execz [[FLOW:.LBB[0-9]+_[0-9]+]]
 189 ; GCN-NEXT: s_branch [[ELSE:.LBB[0-9]+_[0-9]+]]
 190
 191 ; GCN: [[FLOW]]: ; %Flow
 192 ; VGPR: buffer_load_dword [[SPILL_VGPR:v[0-9]+]], off, s[0:3], 0 ; 4-byte Folded Reload
 193 ; VGPR: v_readlane_b32 s[[FLOW_S_RELOAD_SAVEEXEC_LO:[0-9]+]], [[SPILL_VGPR]], [[SAVEEXEC_LO_LANE]]
 194 ; VGPR: v_readlane_b32 s[[FLOW_S_RELOAD_SAVEEXEC_HI:[0-9]+]], [[SPILL_VGPR]], [[SAVEEXEC_HI_LANE]]
 195
 196 ; VMEM: buffer_load_dword v[[FLOW_V_RELOAD_SAVEEXEC:[0-9]+]], off, s[0:3], 0
 197 ; VMEM: s_waitcnt vmcnt(0)
 198 ; VMEM: v_readlane_b32 s[[FLOW_S_RELOAD_SAVEEXEC_LO:[0-9]+]], v[[FLOW_V_RELOAD_SAVEEXEC]], 0
 199 ; VMEM: v_readlane_b32 s[[FLOW_S_RELOAD_SAVEEXEC_HI:[0-9]+]], v[[FLOW_V_RELOAD_SAVEEXEC]], 1
 200
 201 ; GCN: s_or_saveexec_b64 s[[[FLOW_S_RELOAD_SAVEEXEC_LO_SAVEEXEC:[0-9]+]]:[[FLOW_S_RELOAD_SAVEEXEC_HI_SAVEEXEC:[0-9]+]]], s[[[FLOW_S_RELOAD_SAVEEXEC_LO]]:[[FLOW_S_RELOAD_SAVEEXEC_HI]]]
 202
 203 ; GCN: buffer_load_dword [[FLOW_VAL:v[0-9]+]], off, s[0:3], 0 offset:[[FLOW_VAL_OFFSET:[0-9]+]] ; 4-byte Folded Reload
 204
 205 ; Regular spill value restored after exec modification
 206 ; Followed by spill
 207 ; GCN: buffer_store_dword [[FLOW_VAL]], off, s[0:3], 0 offset:[[RESULT_OFFSET:[0-9]+]] ; 4-byte Folded Spill
 208
 209 ; GCN: s_and_b64 s[[[FLOW_AND_EXEC_LO:[0-9]+]]:[[FLOW_AND_EXEC_HI:[0-9]+]]], exec, s[[[FLOW_S_RELOAD_SAVEEXEC_LO_SAVEEXEC]]:[[FLOW_S_RELOAD_SAVEEXEC_HI_SAVEEXEC]]]
 210
 211 ; Spill saved exec
 212 ; VGPR: v_writelane_b32 [[SPILL_VGPR]], s[[FLOW_AND_EXEC_LO]], [[FLOW_SAVEEXEC_LO_LANE:[0-9]+]]
 213 ; VGPR: v_writelane_b32 [[SPILL_VGPR]], s[[FLOW_AND_EXEC_HI]], [[FLOW_SAVEEXEC_HI_LANE:[0-9]+]]
 214
 215 ; VMEM: v_writelane_b32 v[[FLOW_V_SAVEEXEC:[0-9]+]], s[[FLOW_AND_EXEC_LO]], 0
 216 ; VMEM: v_writelane_b32 v[[FLOW_V_SAVEEXEC]], s[[FLOW_AND_EXEC_HI]], 1
 217 ; VMEM: buffer_store_dword v[[FLOW_V_SAVEEXEC]], off, s[0:3], 0 offset:[[FLOW_SAVEEXEC_OFFSET:[0-9]+]] ; 4-byte Folded Spill
 218
 219 ; GCN: s_xor_b64 exec, exec, s[[[FLOW_AND_EXEC_LO]]:[[FLOW_AND_EXEC_HI]]]
 220 ; GCN-NEXT: s_cbranch_execz [[ENDIF:.LBB[0-9]+_[0-9]+]]
 221
 222
 223 ; GCN: ; %bb.{{[0-9]+}}: ; %if
 224 ; GCN: buffer_load_dword v[[LOAD0_RELOAD:[0-9]+]], off, s[0:3], 0 offset:[[LOAD0_OFFSET]] ; 4-byte Folded Reload
 225 ; GCN: ds_read_b32
 226 ; GCN: v_add_i32_e32 v[[LOAD0_RELOAD]], vcc, v[[LOAD0_RELOAD]], [[ADD:v[0-9]+]]
 227 ; GCN: buffer_store_dword v[[LOAD0_RELOAD]], off, s[0:3], 0 offset:[[RESULT_OFFSET]] ; 4-byte Folded Spill
 228 ; GCN-NEXT: s_branch [[ENDIF:.LBB[0-9]+_[0-9]+]]
 229
 230 ; GCN: [[ELSE]]: ; %else
 231 ; GCN: buffer_load_dword v[[LOAD0_RELOAD:[0-9]+]], off, s[0:3], 0 offset:[[LOAD0_OFFSET]] ; 4-byte Folded Reload
 232 ; GCN: v_sub_i32_e32 v[[LOAD0_RELOAD]], vcc, v[[LOAD0_RELOAD]], v{{[0-9]+}}
 233 ; GCN: buffer_store_dword v[[LOAD0_RELOAD]], off, s[0:3], 0 offset:[[FLOW_RESULT_OFFSET:[0-9]+]] ; 4-byte Folded Spill
 234 ; GCN-NEXT: s_branch [[FLOW]]
 235
 236 ; GCN: [[ENDIF]]:
 237 ; VGPR: v_readlane_b32 s[[S_RELOAD_SAVEEXEC_LO:[0-9]+]], [[SPILL_VGPR]], [[FLOW_SAVEEXEC_LO_LANE]]
 238 ; VGPR: v_readlane_b32 s[[S_RELOAD_SAVEEXEC_HI:[0-9]+]], [[SPILL_VGPR]], [[FLOW_SAVEEXEC_HI_LANE]]
 239
 240
 241 ; VMEM: buffer_load_dword v[[V_RELOAD_SAVEEXEC:[0-9]+]], off, s[0:3], 0 offset:[[FLOW_SAVEEXEC_OFFSET]] ; 4-byte Folded Reload
 242 ; VMEM: s_waitcnt vmcnt(0)
 243 ; VMEM: v_readlane_b32 s[[S_RELOAD_SAVEEXEC_LO:[0-9]+]], v[[V_RELOAD_SAVEEXEC]], 0
 244 ; VMEM: v_readlane_b32 s[[S_RELOAD_SAVEEXEC_HI:[0-9]+]], v[[V_RELOAD_SAVEEXEC]], 1
 245
 246 ; GCN: s_or_b64 exec, exec, s[[[S_RELOAD_SAVEEXEC_LO]]:[[S_RELOAD_SAVEEXEC_HI]]]
 247
 248 ; GCN: buffer_load_dword v[[RESULT:[0-9]+]], off, s[0:3], 0 offset:[[RESULT_OFFSET]] ; 4-byte Folded Reload
 249
 250 ; GCN: flat_store_dword v{{\[[0-9]+:[0-9]+\]}}, v[[RESULT]]
 251 define amdgpu_kernel void @divergent_if_else_endif(ptr addrspace(1) %out) #0 {
 252 entry:
 253   %tid = call i32 @llvm.amdgcn.workitem.id.x()
 254   %load0 = load volatile i32, ptr addrspace(3) null
 255   %cmp0 = icmp eq i32 %tid, 0
 256   br i1 %cmp0, label %if, label %else
 257
 258 if:
 259   %load1 = load volatile i32, ptr addrspace(3) undef
 260   %val0 = add i32 %load0, %load1
 261   br label %endif
 262
 263 else:
 264   %load2 = load volatile i32, ptr addrspace(3) undef
 265   %val1 = sub i32 %load0, %load2
 266   br label %endif
 267
 268 endif:
 269   %result = phi i32 [ %val0, %if ], [ %val1, %else ]
 270   store i32 %result, ptr addrspace(1) %out
 271   ret void
 272 }
 273
 274 declare i32 @llvm.amdgcn.workitem.id.x() #1
 275
 276 attributes #0 = { nounwind }
 277 attributes #1 = { nounwind readnone }
 278
 279 !llvm.module.flags = !{!0}
 280 !0 = !{i32 1, !"amdhsa_code_object_version", i32 400}