llvm/test/CodeGen/AMDGPU/spill-m0.ll

   1 ; RUN: llc -O0 -amdgpu-spill-sgpr-to-vgpr=1 -mtriple=amdgcn -verify-machineinstrs < %s | FileCheck -enable-var-scope -check-prefix=TOVGPR -check-prefix=GCN %s
   2 ; RUN: llc -O0 -amdgpu-spill-sgpr-to-vgpr=1 -mtriple=amdgcn -mcpu=tonga  -verify-machineinstrs < %s | FileCheck -enable-var-scope -check-prefix=TOVGPR -check-prefix=GCN %s
   3 ; RUN: llc -O0 -amdgpu-spill-sgpr-to-vgpr=0 -mtriple=amdgcn -mcpu=tahiti -verify-machineinstrs < %s | FileCheck -enable-var-scope -check-prefix=TOVMEM -check-prefix=GCN %s
   4 ; RUN: llc -O0 -amdgpu-spill-sgpr-to-vgpr=0 -mtriple=amdgcn -mcpu=tonga -verify-machineinstrs < %s | FileCheck -enable-var-scope -check-prefix=TOVMEM -check-prefix=GCN %s
   5
   6 ; XXX - Why does it like to use vcc?
   7
   8 ; GCN-LABEL: {{^}}spill_m0:
   9
  10 ; GCN: #ASMSTART
  11 ; GCN-NEXT: s_mov_b32 m0, 0
  12 ; GCN-NEXT: #ASMEND
  13 ; GCN-DAG: s_mov_b32 [[M0_COPY:s[0-9]+]], m0
  14
  15 ; TOVGPR: v_writelane_b32 [[SPILL_VREG:v[0-9]+]], [[M0_COPY]], [[M0_LANE:[0-9]+]]
  16
  17 ; TOVMEM: s_mov_b64 [[COPY_EXEC:s\[[0-9]+:[0-9]+\]]], exec
  18 ; TOVMEM: s_mov_b64 exec, 1
  19 ; TOVMEM: v_writelane_b32 [[SPILL_VREG:v[0-9]+]], [[M0_COPY]], 0
  20 ; TOVMEM: buffer_store_dword [[SPILL_VREG]], off, s{{\[[0-9]+:[0-9]+\]}}, 0 ; 4-byte Folded Spill
  21 ; TOVMEM: s_mov_b64 exec, [[COPY_EXEC]]
  22
  23 ; GCN: s_cbranch_scc1 [[ENDIF:.LBB[0-9]+_[0-9]+]]
  24
  25 ; GCN: [[ENDIF]]:
  26 ; TOVGPR: v_readlane_b32 [[M0_RESTORE:s[0-9]+]], [[SPILL_VREG]], [[M0_LANE]]
  27 ; TOVGPR: s_mov_b32 m0, [[M0_RESTORE]]
  28
  29 ; TOVMEM: buffer_load_dword [[RELOAD_VREG:v[0-9]+]], off, s{{\[[0-9]+:[0-9]+\]}}, 0 ; 4-byte Folded Reload
  30 ; TOVMEM: s_waitcnt vmcnt(0)
  31 ; TOVMEM: v_readlane_b32 [[M0_RESTORE:s[0-9]+]], [[RELOAD_VREG]], 0
  32 ; TOVMEM: s_mov_b32 m0, [[M0_RESTORE]]
  33
  34 ; GCN: s_add_i32 s{{[0-9]+}}, m0, 1
  35 define amdgpu_kernel void @spill_m0(i32 %cond, ptr addrspace(1) %out) #0 {
  36 entry:
  37   %m0 = call i32 asm sideeffect "s_mov_b32 m0, 0", "={m0}"() #0
  38   %cmp0 = icmp eq i32 %cond, 0
  39   br i1 %cmp0, label %if, label %endif
  40
  41 if:
  42   call void asm sideeffect "v_nop", ""() #0
  43   br label %endif
  44
  45 endif:
  46   %foo = call i32 asm sideeffect "s_add_i32 $0, $1, 1", "=s,{m0}"(i32 %m0) #0
  47   store i32 %foo, ptr addrspace(1) %out
  48   ret void
  49 }
  50
  51 @lds = internal addrspace(3) global [64 x float] undef
  52
  53 ; m0 is killed, so it isn't necessary during the entry block spill to preserve it
  54 ; GCN-LABEL: {{^}}spill_kill_m0_lds:
  55
  56 ; GCN-NOT: v_readlane_b32 m0
  57 ; GCN-NOT: s_buffer_store_dword m0
  58 ; GCN-NOT: s_buffer_load_dword m0
  59 define amdgpu_ps void @spill_kill_m0_lds(ptr addrspace(4) inreg %arg, ptr addrspace(4) inreg %arg1, ptr addrspace(4) inreg %arg2, i32 inreg %m0) #0 {
  60 main_body:
  61   %tmp = call float @llvm.amdgcn.interp.mov(i32 2, i32 0, i32 0, i32 %m0)
  62   %cmp = fcmp ueq float 0.000000e+00, %tmp
  63   br i1 %cmp, label %if, label %else
  64
  65 if:                                               ; preds = %main_body
  66   %lds_data_ = load float, ptr addrspace(3) @lds
  67   %lds_data = call float @llvm.amdgcn.wqm.f32(float %lds_data_)
  68   br label %endif
  69
  70 else:                                             ; preds = %main_body
  71   %interp = call float @llvm.amdgcn.interp.mov(i32 2, i32 0, i32 0, i32 %m0)
  72   br label %endif
  73
  74 endif:                                            ; preds = %else, %if
  75   %export = phi float [ %lds_data, %if ], [ %interp, %else ]
  76   %tmp4 = call <2 x half> @llvm.amdgcn.cvt.pkrtz(float %export, float %export)
  77   call void @llvm.amdgcn.exp.compr.v2f16(i32 0, i32 15, <2 x half> %tmp4, <2 x half> %tmp4, i1 true, i1 true) #0
  78   ret void
  79 }
  80
  81 ; Force save and restore of m0 during SMEM spill
  82 ; GCN-LABEL: {{^}}m0_unavailable_spill:
  83 ; GCN: s_load_dword [[REG0:s[0-9]+]], s[2:3], {{0x[0-9]+}}
  84
  85 ; GCN: ; def m0, 1
  86
  87 ; GCN: s_mov_b32 m0, [[REG0]]
  88 ; GCN: v_interp_mov_f32
  89
  90 ; GCN: ; clobber m0
  91
  92 ; TOSMEM: s_mov_b32 s2, m0
  93 ; TOSMEM: s_add_u32 m0, s3, 0x100
  94 ; TOSMEM-NEXT: s_buffer_store_dwordx2 s{{\[[0-9]+:[0-9]+\]}}, s{{\[[0-9]+:[0-9]+\]}}, m0 ; 8-byte Folded Spill
  95 ; TOSMEM: s_mov_b32 m0, s2
  96
  97 ; TOSMEM: s_mov_b64 exec,
  98 ; TOSMEM: s_cbranch_execz
  99 ; TOSMEM: s_branch
 100
 101 ; TOSMEM: BB{{[0-9]+_[0-9]+}}:
 102 ; TOSMEM: s_add_u32 m0, s3, 0x100
 103 ; TOSMEM-NEXT: s_buffer_load_dwordx2 s{{\[[0-9]+:[0-9]+\]}}, s{{\[[0-9]+:[0-9]+\]}}, m0 ; 8-byte Folded Reload
 104
 105 ; GCN-NOT: v_readlane_b32 m0
 106 ; GCN-NOT: s_buffer_store_dword m0
 107 ; GCN-NOT: s_buffer_load_dword m0
 108 define amdgpu_kernel void @m0_unavailable_spill(i32 %m0.arg) #0 {
 109 main_body:
 110   %m0 = call i32 asm sideeffect "; def $0, 1", "={m0}"() #0
 111   %tmp = call float @llvm.amdgcn.interp.mov(i32 2, i32 0, i32 0, i32 %m0.arg)
 112   call void asm sideeffect "; clobber $0", "~{m0}"() #0
 113   %cmp = fcmp ueq float 0.000000e+00, %tmp
 114    br i1 %cmp, label %if, label %else
 115
 116 if:                                               ; preds = %main_body
 117   store volatile i32 8, ptr addrspace(1) undef
 118   br label %endif
 119
 120 else:                                             ; preds = %main_body
 121   store volatile i32 11, ptr addrspace(1) undef
 122   br label %endif
 123
 124 endif:
 125   ret void
 126 }
 127
 128 ; GCN-LABEL: {{^}}restore_m0_lds:
 129 ; FIXME: RegScavenger::isRegUsed() always returns true if m0 is reserved, so we have to save and restore it
 130 ; FIXME-TOSMEM-NOT: m0
 131 ; TOSMEM: s_add_u32 m0, s3, {{0x[0-9]+}}
 132 ; TOSMEM: s_buffer_store_dword s1, s[88:91], m0 ; 4-byte Folded Spill
 133 ; FIXME-TOSMEM-NOT: m0
 134 ; TOSMEM: s_load_dwordx2 [[REG:s\[[0-9]+:[0-9]+\]]]
 135 ; TOSMEM: s_add_u32 m0, s3, {{0x[0-9]+}}
 136 ; TOSMEM: s_waitcnt lgkmcnt(0)
 137 ; TOSMEM: s_buffer_store_dwordx2 [[REG]], s[88:91], m0 ; 8-byte Folded Spill
 138 ; FIXME-TOSMEM-NOT: m0
 139 ; TOSMEM: s_cmp_eq_u32
 140 ; TOSMEM: s_cbranch_scc1
 141
 142 ; TOSMEM: s_mov_b32 m0, -1
 143
 144 ; TOSMEM: s_mov_b32 s2, m0
 145 ; TOSMEM: s_add_u32 m0, s3, 0x200
 146 ; TOSMEM: s_buffer_load_dwordx2 s{{\[[0-9]+:[0-9]+\]}}, s[88:91], m0 ; 8-byte Folded Reload
 147 ; TOSMEM: s_mov_b32 m0, s2
 148 ; TOSMEM: s_waitcnt lgkmcnt(0)
 149
 150 ; TOSMEM: ds_write_b64
 151
 152 ; FIXME-TOSMEM-NOT: m0
 153 ; TOSMEM: s_add_u32 m0, s3, 0x100
 154 ; TOSMEM: s_buffer_load_dword s2, s[88:91], m0 ; 4-byte Folded Reload
 155 ; FIXME-TOSMEM-NOT: m0
 156
 157 ; TOSMEM: s_mov_b32 [[REG1:s[0-9]+]], m0
 158 ; TOSMEM: s_add_u32 m0, s3, 0x100
 159 ; TOSMEM: s_buffer_load_dwordx2 s{{\[[0-9]+:[0-9]+\]}}, s[88:91], m0 ; 8-byte Folded Reload
 160 ; TOSMEM: s_mov_b32 m0, [[REG1]]
 161 ; TOSMEM: s_mov_b32 m0, -1
 162
 163 ; TOSMEM: s_waitcnt lgkmcnt(0)
 164 ; TOSMEM-NOT: m0
 165 ; TOSMEM: s_mov_b32 m0, s2
 166 ; TOSMEM: ; use m0
 167
 168 ; TOSMEM: s_dcache_wb
 169 ; TOSMEM: s_endpgm
 170 define amdgpu_kernel void @restore_m0_lds(i32 %arg) {
 171   %m0 = call i32 asm sideeffect "s_mov_b32 m0, 0", "={m0}"() #0
 172   %sval = load volatile i64, ptr addrspace(4) undef
 173   %cmp = icmp eq i32 %arg, 0
 174   br i1 %cmp, label %ret, label %bb
 175
 176 bb:
 177   store volatile i64 %sval, ptr addrspace(3) undef
 178   call void asm sideeffect "; use $0", "{m0}"(i32 %m0) #0
 179   br label %ret
 180
 181 ret:
 182   ret void
 183 }
 184
 185 declare float @llvm.amdgcn.interp.mov(i32, i32, i32, i32) #1
 186 declare void @llvm.amdgcn.exp.f32(i32, i32, float, float, float, float, i1, i1) #0
 187 declare void @llvm.amdgcn.exp.compr.v2f16(i32, i32, <2 x half>, <2 x half>, i1, i1) #0
 188 declare <2 x half> @llvm.amdgcn.cvt.pkrtz(float, float) #1
 189 declare float @llvm.amdgcn.wqm.f32(float) #1
 190
 191 attributes #0 = { nounwind }
 192 attributes #1 = { nounwind readnone }
 193
 194 !llvm.module.flags = !{!0}
 195 !0 = !{i32 1, !"amdhsa_code_object_version", i32 500}