test/CodeGen/AMDGPU/llvm.amdgcn.atomic.dec.ll

   1 ; RUN: llc -march=amdgcn -mcpu=bonaire -verify-machineinstrs < %s | FileCheck -check-prefix=GCN -check-prefix=CI %s
   2 ; RUN: llc -march=amdgcn -mcpu=tonga -mattr=-flat-for-global -verify-machineinstrs < %s | FileCheck -check-prefix=GCN -check-prefix=VI %s
   3
   4 declare i32 @llvm.amdgcn.atomic.dec.i32.p1i32(i32 addrspace(1)* nocapture, i32, i32, i32, i1) #2
   5 declare i32 @llvm.amdgcn.atomic.dec.i32.p3i32(i32 addrspace(3)* nocapture, i32, i32, i32, i1) #2
   6 declare i32 @llvm.amdgcn.atomic.dec.i32.p4i32(i32 addrspace(4)* nocapture, i32, i32, i32, i1) #2
   7
   8 declare i64 @llvm.amdgcn.atomic.dec.i64.p1i64(i64 addrspace(1)* nocapture, i64, i32, i32, i1) #2
   9 declare i64 @llvm.amdgcn.atomic.dec.i64.p3i64(i64 addrspace(3)* nocapture, i64, i32, i32, i1) #2
  10 declare i64 @llvm.amdgcn.atomic.dec.i64.p4i64(i64 addrspace(4)* nocapture, i64, i32, i32, i1) #2
  11
  12 declare i32 @llvm.amdgcn.workitem.id.x() #1
  13
  14 ; Make sure no crash on invalid non-constant
  15 ; GCN-LABEL: {{^}}invalid_variable_order_lds_atomic_dec_ret_i32:
  16 define amdgpu_kernel void @invalid_variable_order_lds_atomic_dec_ret_i32(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr, i32 %order.var) #0 {
  17   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p3i32(i32 addrspace(3)* %ptr, i32 42, i32 %order.var, i32 0, i1 false)
  18   store i32 %result, i32 addrspace(1)* %out
  19   ret void
  20 }
  21
  22 ; Make sure no crash on invalid non-constant
  23 ; GCN-LABEL: {{^}}invalid_variable_scope_lds_atomic_dec_ret_i32:
  24 define amdgpu_kernel void @invalid_variable_scope_lds_atomic_dec_ret_i32(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr, i32 %scope.var) #0 {
  25   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p3i32(i32 addrspace(3)* %ptr, i32 42, i32 0, i32 %scope.var, i1 false)
  26   store i32 %result, i32 addrspace(1)* %out
  27   ret void
  28 }
  29
  30 ; Make sure no crash on invalid non-constant
  31 ; GCN-LABEL: {{^}}invalid_variable_volatile_lds_atomic_dec_ret_i32:
  32 define amdgpu_kernel void @invalid_variable_volatile_lds_atomic_dec_ret_i32(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr, i1 %volatile.var) #0 {
  33   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p3i32(i32 addrspace(3)* %ptr, i32 42, i32 0, i32 0, i1 %volatile.var)
  34   store i32 %result, i32 addrspace(1)* %out
  35   ret void
  36 }
  37
  38 ; GCN-LABEL: {{^}}lds_atomic_dec_ret_i32:
  39 ; GCN: v_mov_b32_e32 [[K:v[0-9]+]], 42
  40 ; GCN: ds_dec_rtn_u32 v{{[0-9]+}}, v{{[0-9]+}}, [[K]]
  41 define amdgpu_kernel void @lds_atomic_dec_ret_i32(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) #0 {
  42   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p3i32(i32 addrspace(3)* %ptr, i32 42, i32 0, i32 0, i1 false)
  43   store i32 %result, i32 addrspace(1)* %out
  44   ret void
  45 }
  46
  47 ; GCN-LABEL: {{^}}lds_atomic_dec_ret_i32_offset:
  48 ; GCN: v_mov_b32_e32 [[K:v[0-9]+]], 42
  49 ; GCN: ds_dec_rtn_u32 v{{[0-9]+}}, v{{[0-9]+}}, [[K]] offset:16
  50 define amdgpu_kernel void @lds_atomic_dec_ret_i32_offset(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) #0 {
  51   %gep = getelementptr i32, i32 addrspace(3)* %ptr, i32 4
  52   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p3i32(i32 addrspace(3)* %gep, i32 42, i32 0, i32 0, i1 false)
  53   store i32 %result, i32 addrspace(1)* %out
  54   ret void
  55 }
  56
  57 ; FUNC-LABEL: {{^}}lds_atomic_dec_noret_i32:
  58 ; GCN: s_load_dword [[SPTR:s[0-9]+]],
  59 ; GCN: v_mov_b32_e32 [[DATA:v[0-9]+]], 4
  60 ; GCN: v_mov_b32_e32 [[VPTR:v[0-9]+]], [[SPTR]]
  61 ; GCN: ds_dec_u32 [[VPTR]], [[DATA]]
  62 define amdgpu_kernel void @lds_atomic_dec_noret_i32(i32 addrspace(3)* %ptr) nounwind {
  63   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p3i32(i32 addrspace(3)* %ptr, i32 42, i32 0, i32 0, i1 false)
  64   ret void
  65 }
  66
  67 ; FUNC-LABEL: {{^}}lds_atomic_dec_noret_i32_offset:
  68 ; GCN: v_mov_b32_e32 [[K:v[0-9]+]], 42
  69 ; GCN: ds_dec_u32 v{{[0-9]+}}, [[K]] offset:16
  70 define amdgpu_kernel void @lds_atomic_dec_noret_i32_offset(i32 addrspace(3)* %ptr) nounwind {
  71   %gep = getelementptr i32, i32 addrspace(3)* %ptr, i32 4
  72   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p3i32(i32 addrspace(3)* %gep, i32 42, i32 0, i32 0, i1 false)
  73   ret void
  74 }
  75
  76 ; GCN-LABEL: {{^}}global_atomic_dec_ret_i32:
  77 ; GCN: v_mov_b32_e32 [[K:v[0-9]+]], 42
  78 ; GCN: buffer_atomic_dec [[K]], off, s{{\[[0-9]+:[0-9]+\]}}, 0 glc{{$}}
  79 define amdgpu_kernel void @global_atomic_dec_ret_i32(i32 addrspace(1)* %out, i32 addrspace(1)* %ptr) #0 {
  80   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p1i32(i32 addrspace(1)* %ptr, i32 42, i32 0, i32 0, i1 false)
  81   store i32 %result, i32 addrspace(1)* %out
  82   ret void
  83 }
  84
  85 ; GCN-LABEL: {{^}}global_atomic_dec_ret_i32_offset:
  86 ; GCN: v_mov_b32_e32 [[K:v[0-9]+]], 42
  87 ; GCN: buffer_atomic_dec [[K]], off, s{{\[[0-9]+:[0-9]+\]}}, 0 offset:16 glc{{$}}
  88 define amdgpu_kernel void @global_atomic_dec_ret_i32_offset(i32 addrspace(1)* %out, i32 addrspace(1)* %ptr) #0 {
  89   %gep = getelementptr i32, i32 addrspace(1)* %ptr, i32 4
  90   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p1i32(i32 addrspace(1)* %gep, i32 42, i32 0, i32 0, i1 false)
  91   store i32 %result, i32 addrspace(1)* %out
  92   ret void
  93 }
  94
  95 ; FUNC-LABEL: {{^}}global_atomic_dec_noret_i32:
  96 ; GCN: buffer_atomic_dec [[K]], off, s{{\[[0-9]+:[0-9]+\]}}, 0{{$}}
  97 define amdgpu_kernel void @global_atomic_dec_noret_i32(i32 addrspace(1)* %ptr) nounwind {
  98   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p1i32(i32 addrspace(1)* %ptr, i32 42, i32 0, i32 0, i1 false)
  99   ret void
 100 }
 101
 102 ; FUNC-LABEL: {{^}}global_atomic_dec_noret_i32_offset:
 103 ; GCN: v_mov_b32_e32 [[K:v[0-9]+]], 42
 104 ; GCN: buffer_atomic_dec [[K]], off, s{{\[[0-9]+:[0-9]+\]}}, 0 offset:16{{$}}
 105 define amdgpu_kernel void @global_atomic_dec_noret_i32_offset(i32 addrspace(1)* %ptr) nounwind {
 106   %gep = getelementptr i32, i32 addrspace(1)* %ptr, i32 4
 107   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p1i32(i32 addrspace(1)* %gep, i32 42, i32 0, i32 0, i1 false)
 108   ret void
 109 }
 110
 111 ; GCN-LABEL: {{^}}global_atomic_dec_ret_i32_offset_addr64:
 112 ; GCN: v_mov_b32_e32 [[K:v[0-9]+]], 42
 113 ; CI: buffer_atomic_dec [[K]], v{{\[[0-9]+:[0-9]+\]}}, s{{\[[0-9]+:[0-9]+\]}}, 0 addr64 offset:20 glc{{$}}
 114 ; VI: flat_atomic_dec v{{[0-9]+}}, v{{\[[0-9]+:[0-9]+\]}}, [[K]] glc{{$}}
 115 define amdgpu_kernel void @global_atomic_dec_ret_i32_offset_addr64(i32 addrspace(1)* %out, i32 addrspace(1)* %ptr) #0 {
 116   %id = call i32 @llvm.amdgcn.workitem.id.x()
 117   %gep.tid = getelementptr i32, i32 addrspace(1)* %ptr, i32 %id
 118   %out.gep = getelementptr i32, i32 addrspace(1)* %out, i32 %id
 119   %gep = getelementptr i32, i32 addrspace(1)* %gep.tid, i32 5
 120   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p1i32(i32 addrspace(1)* %gep, i32 42, i32 0, i32 0, i1 false)
 121   store i32 %result, i32 addrspace(1)* %out.gep
 122   ret void
 123 }
 124
 125 ; GCN-LABEL: {{^}}global_atomic_dec_noret_i32_offset_addr64:
 126 ; GCN: v_mov_b32_e32 [[K:v[0-9]+]], 42
 127 ; CI: buffer_atomic_dec [[K]], v{{\[[0-9]+:[0-9]+\]}}, s{{\[[0-9]+:[0-9]+\]}}, 0 addr64 offset:20{{$}}
 128 ; VI: flat_atomic_dec v{{\[[0-9]+:[0-9]+\]}}, [[K]]{{$}}
 129 define amdgpu_kernel void @global_atomic_dec_noret_i32_offset_addr64(i32 addrspace(1)* %ptr) #0 {
 130   %id = call i32 @llvm.amdgcn.workitem.id.x()
 131   %gep.tid = getelementptr i32, i32 addrspace(1)* %ptr, i32 %id
 132   %gep = getelementptr i32, i32 addrspace(1)* %gep.tid, i32 5
 133   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p1i32(i32 addrspace(1)* %gep, i32 42, i32 0, i32 0, i1 false)
 134   ret void
 135 }
 136
 137 ; GCN-LABEL: {{^}}flat_atomic_dec_ret_i32:
 138 ; GCN: v_mov_b32_e32 [[K:v[0-9]+]], 42
 139 ; GCN: flat_atomic_dec v{{[0-9]+}}, v{{\[[0-9]+:[0-9]+\]}}, [[K]] glc{{$}}
 140 define amdgpu_kernel void @flat_atomic_dec_ret_i32(i32 addrspace(4)* %out, i32 addrspace(4)* %ptr) #0 {
 141   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p4i32(i32 addrspace(4)* %ptr, i32 42, i32 0, i32 0, i1 false)
 142   store i32 %result, i32 addrspace(4)* %out
 143   ret void
 144 }
 145
 146 ; GCN-LABEL: {{^}}flat_atomic_dec_ret_i32_offset:
 147 ; GCN: v_mov_b32_e32 [[K:v[0-9]+]], 42
 148 ; GCN: flat_atomic_dec v{{[0-9]+}}, v{{\[[0-9]+:[0-9]+\]}}, [[K]] glc{{$}}
 149 define amdgpu_kernel void @flat_atomic_dec_ret_i32_offset(i32 addrspace(4)* %out, i32 addrspace(4)* %ptr) #0 {
 150   %gep = getelementptr i32, i32 addrspace(4)* %ptr, i32 4
 151   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p4i32(i32 addrspace(4)* %gep, i32 42, i32 0, i32 0, i1 false)
 152   store i32 %result, i32 addrspace(4)* %out
 153   ret void
 154 }
 155
 156 ; FUNC-LABEL: {{^}}flat_atomic_dec_noret_i32:
 157 ; GCN: flat_atomic_dec v{{\[[0-9]+:[0-9]+\]}}, [[K]]{{$}}
 158 define amdgpu_kernel void @flat_atomic_dec_noret_i32(i32 addrspace(4)* %ptr) nounwind {
 159   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p4i32(i32 addrspace(4)* %ptr, i32 42, i32 0, i32 0, i1 false)
 160   ret void
 161 }
 162
 163 ; FUNC-LABEL: {{^}}flat_atomic_dec_noret_i32_offset:
 164 ; GCN: v_mov_b32_e32 [[K:v[0-9]+]], 42
 165 ; GCN: flat_atomic_dec v{{\[[0-9]+:[0-9]+\]}}, [[K]]{{$}}
 166 define amdgpu_kernel void @flat_atomic_dec_noret_i32_offset(i32 addrspace(4)* %ptr) nounwind {
 167   %gep = getelementptr i32, i32 addrspace(4)* %ptr, i32 4
 168   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p4i32(i32 addrspace(4)* %gep, i32 42, i32 0, i32 0, i1 false)
 169   ret void
 170 }
 171
 172 ; GCN-LABEL: {{^}}flat_atomic_dec_ret_i32_offset_addr64:
 173 ; GCN: v_mov_b32_e32 [[K:v[0-9]+]], 42
 174 ; GCN: flat_atomic_dec v{{[0-9]+}}, v{{\[[0-9]+:[0-9]+\]}}, [[K]] glc{{$}}
 175 define amdgpu_kernel void @flat_atomic_dec_ret_i32_offset_addr64(i32 addrspace(4)* %out, i32 addrspace(4)* %ptr) #0 {
 176   %id = call i32 @llvm.amdgcn.workitem.id.x()
 177   %gep.tid = getelementptr i32, i32 addrspace(4)* %ptr, i32 %id
 178   %out.gep = getelementptr i32, i32 addrspace(4)* %out, i32 %id
 179   %gep = getelementptr i32, i32 addrspace(4)* %gep.tid, i32 5
 180   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p4i32(i32 addrspace(4)* %gep, i32 42, i32 0, i32 0, i1 false)
 181   store i32 %result, i32 addrspace(4)* %out.gep
 182   ret void
 183 }
 184
 185 ; GCN-LABEL: {{^}}flat_atomic_dec_noret_i32_offset_addr64:
 186 ; GCN: v_mov_b32_e32 [[K:v[0-9]+]], 42
 187 ; GCN: flat_atomic_dec v{{\[[0-9]+:[0-9]+\]}}, [[K]]{{$}}
 188 define amdgpu_kernel void @flat_atomic_dec_noret_i32_offset_addr64(i32 addrspace(4)* %ptr) #0 {
 189   %id = call i32 @llvm.amdgcn.workitem.id.x()
 190   %gep.tid = getelementptr i32, i32 addrspace(4)* %ptr, i32 %id
 191   %gep = getelementptr i32, i32 addrspace(4)* %gep.tid, i32 5
 192   %result = call i32 @llvm.amdgcn.atomic.dec.i32.p4i32(i32 addrspace(4)* %gep, i32 42, i32 0, i32 0, i1 false)
 193   ret void
 194 }
 195
 196 ; GCN-LABEL: {{^}}flat_atomic_dec_ret_i64:
 197 ; GCN-DAG: v_mov_b32_e32 v[[KLO:[0-9]+]], 42
 198 ; GCN-DAG: v_mov_b32_e32 v[[KHI:[0-9]+]], 0{{$}}
 199 ; GCN: flat_atomic_dec_x2 v{{\[[0-9]+:[0-9]+\]}}, v{{\[[0-9]+:[0-9]+\]}}, v{{\[}}[[KLO]]:[[KHI]]{{\]}} glc{{$}}
 200 define amdgpu_kernel void @flat_atomic_dec_ret_i64(i64 addrspace(4)* %out, i64 addrspace(4)* %ptr) #0 {
 201   %result = call i64 @llvm.amdgcn.atomic.dec.i64.p4i64(i64 addrspace(4)* %ptr, i64 42, i32 0, i32 0, i1 false)
 202   store i64 %result, i64 addrspace(4)* %out
 203   ret void
 204 }
 205
 206 ; GCN-LABEL: {{^}}flat_atomic_dec_ret_i64_offset:
 207 ; GCN-DAG: v_mov_b32_e32 v[[KLO:[0-9]+]], 42
 208 ; GCN-DAG: v_mov_b32_e32 v[[KHI:[0-9]+]], 0{{$}}
 209 ; GCN: flat_atomic_dec_x2 v{{\[[0-9]+:[0-9]+\]}}, v{{\[[0-9]+:[0-9]+\]}}, v{{\[}}[[KLO]]:[[KHI]]{{\]}} glc{{$}}
 210 define amdgpu_kernel void @flat_atomic_dec_ret_i64_offset(i64 addrspace(4)* %out, i64 addrspace(4)* %ptr) #0 {
 211   %gep = getelementptr i64, i64 addrspace(4)* %ptr, i32 4
 212   %result = call i64 @llvm.amdgcn.atomic.dec.i64.p4i64(i64 addrspace(4)* %gep, i64 42, i32 0, i32 0, i1 false)
 213   store i64 %result, i64 addrspace(4)* %out
 214   ret void
 215 }
 216
 217 ; FUNC-LABEL: {{^}}flat_atomic_dec_noret_i64:
 218 ; GCN-DAG: v_mov_b32_e32 v[[KLO:[0-9]+]], 42
 219 ; GCN-DAG: v_mov_b32_e32 v[[KHI:[0-9]+]], 0{{$}}
 220 ; GCN: flat_atomic_dec_x2 v{{\[[0-9]+:[0-9]+\]}}, v{{\[}}[[KLO]]:[[KHI]]{{\]$}}
 221 define amdgpu_kernel void @flat_atomic_dec_noret_i64(i64 addrspace(4)* %ptr) nounwind {
 222   %result = call i64 @llvm.amdgcn.atomic.dec.i64.p4i64(i64 addrspace(4)* %ptr, i64 42, i32 0, i32 0, i1 false)
 223   ret void
 224 }
 225
 226 ; FUNC-LABEL: {{^}}flat_atomic_dec_noret_i64_offset:
 227 ; GCN-DAG: v_mov_b32_e32 v[[KLO:[0-9]+]], 42
 228 ; GCN-DAG: v_mov_b32_e32 v[[KHI:[0-9]+]], 0{{$}}
 229 ; GCN: flat_atomic_dec_x2 v{{\[[0-9]+:[0-9]+\]}}, v{{\[}}[[KLO]]:[[KHI]]{{\]$}}
 230 define amdgpu_kernel void @flat_atomic_dec_noret_i64_offset(i64 addrspace(4)* %ptr) nounwind {
 231   %gep = getelementptr i64, i64 addrspace(4)* %ptr, i32 4
 232   %result = call i64 @llvm.amdgcn.atomic.dec.i64.p4i64(i64 addrspace(4)* %gep, i64 42, i32 0, i32 0, i1 false)
 233   ret void
 234 }
 235
 236 ; GCN-LABEL: {{^}}flat_atomic_dec_ret_i64_offset_addr64:
 237 ; GCN: v_mov_b32_e32 v[[KLO:[0-9]+]], 42
 238 ; GCN: v_mov_b32_e32 v[[KHI:[0-9]+]], 0{{$}}
 239 ; GCN: flat_atomic_dec_x2 v{{\[[0-9]+:[0-9]+\]}}, v{{\[[0-9]+:[0-9]+\]}}, v{{\[}}[[KLO]]:[[KHI]]{{\]}} glc{{$}}
 240 define amdgpu_kernel void @flat_atomic_dec_ret_i64_offset_addr64(i64 addrspace(4)* %out, i64 addrspace(4)* %ptr) #0 {
 241   %id = call i32 @llvm.amdgcn.workitem.id.x()
 242   %gep.tid = getelementptr i64, i64 addrspace(4)* %ptr, i32 %id
 243   %out.gep = getelementptr i64, i64 addrspace(4)* %out, i32 %id
 244   %gep = getelementptr i64, i64 addrspace(4)* %gep.tid, i32 5
 245   %result = call i64 @llvm.amdgcn.atomic.dec.i64.p4i64(i64 addrspace(4)* %gep, i64 42, i32 0, i32 0, i1 false)
 246   store i64 %result, i64 addrspace(4)* %out.gep
 247   ret void
 248 }
 249
 250 ; GCN-LABEL: {{^}}flat_atomic_dec_noret_i64_offset_addr64:
 251 ; GCN: v_mov_b32_e32 v[[KLO:[0-9]+]], 42
 252 ; GCN: v_mov_b32_e32 v[[KHI:[0-9]+]], 0{{$}}
 253 ; GCN: flat_atomic_dec_x2 v{{\[[0-9]+:[0-9]+\]}}, v{{\[}}[[KLO]]:[[KHI]]{{\]$}}
 254 define amdgpu_kernel void @flat_atomic_dec_noret_i64_offset_addr64(i64 addrspace(4)* %ptr) #0 {
 255   %id = call i32 @llvm.amdgcn.workitem.id.x()
 256   %gep.tid = getelementptr i64, i64 addrspace(4)* %ptr, i32 %id
 257   %gep = getelementptr i64, i64 addrspace(4)* %gep.tid, i32 5
 258   %result = call i64 @llvm.amdgcn.atomic.dec.i64.p4i64(i64 addrspace(4)* %gep, i64 42, i32 0, i32 0, i1 false)
 259   ret void
 260 }
 261
 262 @lds0 = addrspace(3) global [512 x i32] undef
 263
 264 ; SI-LABEL: {{^}}atomic_dec_shl_base_lds_0:
 265 ; SI: v_lshlrev_b32_e32 [[PTR:v[0-9]+]], 2, {{v[0-9]+}}
 266 ; SI: ds_dec_rtn_u32 {{v[0-9]+}}, [[PTR]] offset:8
 267 define amdgpu_kernel void @atomic_dec_shl_base_lds_0(i32 addrspace(1)* %out, i32 addrspace(1)* %add_use) #0 {
 268   %tid.x = tail call i32 @llvm.amdgcn.workitem.id.x() #1
 269   %idx.0 = add nsw i32 %tid.x, 2
 270   %arrayidx0 = getelementptr inbounds [512 x i32], [512 x i32] addrspace(3)* @lds0, i32 0, i32 %idx.0
 271   %val0 = call i32 @llvm.amdgcn.atomic.dec.i32.p3i32(i32 addrspace(3)* %arrayidx0, i32 9, i32 0, i32 0, i1 false)
 272   store i32 %idx.0, i32 addrspace(1)* %add_use
 273   store i32 %val0, i32 addrspace(1)* %out
 274   ret void
 275 }
 276
 277 ; GCN-LABEL: {{^}}lds_atomic_dec_ret_i64:
 278 ; GCN-DAG: v_mov_b32_e32 v[[KLO:[0-9]+]], 42
 279 ; GCN-DAG: v_mov_b32_e32 v[[KHI:[0-9]+]], 0{{$}}
 280 ; GCN: ds_dec_rtn_u64 v{{\[[0-9]+:[0-9]+\]}}, v{{[0-9]+}}, v{{\[}}[[KLO]]:[[KHI]]{{\]}}{{$}}
 281 define amdgpu_kernel void @lds_atomic_dec_ret_i64(i64 addrspace(1)* %out, i64 addrspace(3)* %ptr) #0 {
 282   %result = call i64 @llvm.amdgcn.atomic.dec.i64.p3i64(i64 addrspace(3)* %ptr, i64 42, i32 0, i32 0, i1 false)
 283   store i64 %result, i64 addrspace(1)* %out
 284   ret void
 285 }
 286
 287 ; GCN-LABEL: {{^}}lds_atomic_dec_ret_i64_offset:
 288 ; GCN-DAG: v_mov_b32_e32 v[[KLO:[0-9]+]], 42
 289 ; GCN-DAG: v_mov_b32_e32 v[[KHI:[0-9]+]], 0{{$}}
 290 ; GCN: ds_dec_rtn_u64 v{{\[[0-9]+:[0-9]+\]}}, v{{[0-9]+}}, v{{\[}}[[KLO]]:[[KHI]]{{\]}} offset:32
 291 define amdgpu_kernel void @lds_atomic_dec_ret_i64_offset(i64 addrspace(1)* %out, i64 addrspace(3)* %ptr) #0 {
 292   %gep = getelementptr i64, i64 addrspace(3)* %ptr, i32 4
 293   %result = call i64 @llvm.amdgcn.atomic.dec.i64.p3i64(i64 addrspace(3)* %gep, i64 42, i32 0, i32 0, i1 false)
 294   store i64 %result, i64 addrspace(1)* %out
 295   ret void
 296 }
 297
 298 ; FUNC-LABEL: {{^}}lds_atomic_dec_noret_i64:
 299 ; GCN-DAG: v_mov_b32_e32 v[[KLO:[0-9]+]], 42
 300 ; GCN-DAG: v_mov_b32_e32 v[[KHI:[0-9]+]], 0{{$}}
 301 ; GCN: ds_dec_u64 v{{[0-9]+}}, v{{\[}}[[KLO]]:[[KHI]]{{\]}}{{$}}
 302 define amdgpu_kernel void @lds_atomic_dec_noret_i64(i64 addrspace(3)* %ptr) nounwind {
 303   %result = call i64 @llvm.amdgcn.atomic.dec.i64.p3i64(i64 addrspace(3)* %ptr, i64 42, i32 0, i32 0, i1 false)
 304   ret void
 305 }
 306
 307 ; FUNC-LABEL: {{^}}lds_atomic_dec_noret_i64_offset:
 308 ; GCN-DAG: v_mov_b32_e32 v[[KLO:[0-9]+]], 42
 309 ; GCN-DAG: v_mov_b32_e32 v[[KHI:[0-9]+]], 0{{$}}
 310 ; GCN: ds_dec_u64 v{{[0-9]+}}, v{{\[}}[[KLO]]:[[KHI]]{{\]}} offset:32{{$}}
 311 define amdgpu_kernel void @lds_atomic_dec_noret_i64_offset(i64 addrspace(3)* %ptr) nounwind {
 312   %gep = getelementptr i64, i64 addrspace(3)* %ptr, i32 4
 313   %result = call i64 @llvm.amdgcn.atomic.dec.i64.p3i64(i64 addrspace(3)* %gep, i64 42, i32 0, i32 0, i1 false)
 314   ret void
 315 }
 316
 317 ; GCN-LABEL: {{^}}global_atomic_dec_ret_i64:
 318 ; GCN-DAG: v_mov_b32_e32 v[[KLO:[0-9]+]], 42
 319 ; GCN-DAG: v_mov_b32_e32 v[[KHI:[0-9]+]], 0{{$}}
 320 ; GCN: buffer_atomic_dec_x2 v{{\[}}[[KLO]]:[[KHI]]{{\]}}, off, s{{\[[0-9]+:[0-9]+\]}}, 0 glc{{$}}
 321 define amdgpu_kernel void @global_atomic_dec_ret_i64(i64 addrspace(1)* %out, i64 addrspace(1)* %ptr) #0 {
 322   %result = call i64 @llvm.amdgcn.atomic.dec.i64.p1i64(i64 addrspace(1)* %ptr, i64 42, i32 0, i32 0, i1 false)
 323   store i64 %result, i64 addrspace(1)* %out
 324   ret void
 325 }
 326
 327 ; GCN-LABEL: {{^}}global_atomic_dec_ret_i64_offset:
 328 ; GCN-DAG: v_mov_b32_e32 v[[KLO:[0-9]+]], 42
 329 ; GCN-DAG: v_mov_b32_e32 v[[KHI:[0-9]+]], 0{{$}}
 330 ; GCN: buffer_atomic_dec_x2 v{{\[}}[[KLO]]:[[KHI]]{{\]}}, off, s{{\[[0-9]+:[0-9]+\]}}, 0 offset:32 glc{{$}}
 331 define amdgpu_kernel void @global_atomic_dec_ret_i64_offset(i64 addrspace(1)* %out, i64 addrspace(1)* %ptr) #0 {
 332   %gep = getelementptr i64, i64 addrspace(1)* %ptr, i32 4
 333   %result = call i64 @llvm.amdgcn.atomic.dec.i64.p1i64(i64 addrspace(1)* %gep, i64 42, i32 0, i32 0, i1 false)
 334   store i64 %result, i64 addrspace(1)* %out
 335   ret void
 336 }
 337
 338 ; FUNC-LABEL: {{^}}global_atomic_dec_noret_i64:
 339 ; GCN-DAG: v_mov_b32_e32 v[[KLO:[0-9]+]], 42
 340 ; GCN-DAG: v_mov_b32_e32 v[[KHI:[0-9]+]], 0{{$}}
 341 ; GCN: buffer_atomic_dec_x2 v{{\[}}[[KLO]]:[[KHI]]{{\]}}, off, s{{\[[0-9]+:[0-9]+\]}}, 0{{$}}
 342 define amdgpu_kernel void @global_atomic_dec_noret_i64(i64 addrspace(1)* %ptr) nounwind {
 343   %result = call i64 @llvm.amdgcn.atomic.dec.i64.p1i64(i64 addrspace(1)* %ptr, i64 42, i32 0, i32 0, i1 false)
 344   ret void
 345 }
 346
 347 ; FUNC-LABEL: {{^}}global_atomic_dec_noret_i64_offset:
 348 ; GCN-DAG: v_mov_b32_e32 v[[KLO:[0-9]+]], 42
 349 ; GCN-DAG: v_mov_b32_e32 v[[KHI:[0-9]+]], 0{{$}}
 350 ; GCN: buffer_atomic_dec_x2 v{{\[}}[[KLO]]:[[KHI]]{{\]}}, off, s{{\[[0-9]+:[0-9]+\]}}, 0 offset:32{{$}}
 351 define amdgpu_kernel void @global_atomic_dec_noret_i64_offset(i64 addrspace(1)* %ptr) nounwind {
 352   %gep = getelementptr i64, i64 addrspace(1)* %ptr, i32 4
 353   %result = call i64 @llvm.amdgcn.atomic.dec.i64.p1i64(i64 addrspace(1)* %gep, i64 42, i32 0, i32 0, i1 false)
 354   ret void
 355 }
 356
 357 ; GCN-LABEL: {{^}}global_atomic_dec_ret_i64_offset_addr64:
 358 ; GCN: v_mov_b32_e32 v[[KLO:[0-9]+]], 42
 359 ; CI: v_mov_b32_e32 v{{[0-9]+}}, 0{{$}}
 360 ; GCN: v_mov_b32_e32 v[[KHI:[0-9]+]], 0{{$}}
 361 ; CI: buffer_atomic_dec_x2 v{{\[}}[[KLO]]:[[KHI]]{{\]}}, v{{\[[0-9]+:[0-9]+\]}}, s{{\[[0-9]+:[0-9]+\]}}, 0 addr64 offset:40 glc{{$}}
 362 ; VI: flat_atomic_dec_x2 v{{\[[0-9]+:[0-9]+\]}}, v{{\[[0-9]+:[0-9]+\]}}, v{{\[}}[[KLO]]:[[KHI]]{{\]}} glc{{$}}
 363 define amdgpu_kernel void @global_atomic_dec_ret_i64_offset_addr64(i64 addrspace(1)* %out, i64 addrspace(1)* %ptr) #0 {
 364   %id = call i32 @llvm.amdgcn.workitem.id.x()
 365   %gep.tid = getelementptr i64, i64 addrspace(1)* %ptr, i32 %id
 366   %out.gep = getelementptr i64, i64 addrspace(1)* %out, i32 %id
 367   %gep = getelementptr i64, i64 addrspace(1)* %gep.tid, i32 5
 368   %result = call i64 @llvm.amdgcn.atomic.dec.i64.p1i64(i64 addrspace(1)* %gep, i64 42, i32 0, i32 0, i1 false)
 369   store i64 %result, i64 addrspace(1)* %out.gep
 370   ret void
 371 }
 372
 373 ; GCN-LABEL: {{^}}global_atomic_dec_noret_i64_offset_addr64:
 374 ; GCN: v_mov_b32_e32 v[[KLO:[0-9]+]], 42
 375 ; CI: v_mov_b32_e32 v{{[0-9]+}}, 0{{$}}
 376 ; GCN: v_mov_b32_e32 v[[KHI:[0-9]+]], 0{{$}}
 377 ; CI: buffer_atomic_dec_x2 v{{\[}}[[KLO]]:[[KHI]]{{\]}}, v{{\[[0-9]+:[0-9]+\]}}, s{{\[[0-9]+:[0-9]+\]}}, 0 addr64 offset:40{{$}}
 378 ; VI: flat_atomic_dec_x2 v{{\[[0-9]+:[0-9]+\]}}, v{{\[}}[[KLO]]:[[KHI]]{{\]}}{{$}}
 379 define amdgpu_kernel void @global_atomic_dec_noret_i64_offset_addr64(i64 addrspace(1)* %ptr) #0 {
 380   %id = call i32 @llvm.amdgcn.workitem.id.x()
 381   %gep.tid = getelementptr i64, i64 addrspace(1)* %ptr, i32 %id
 382   %gep = getelementptr i64, i64 addrspace(1)* %gep.tid, i32 5
 383   %result = call i64 @llvm.amdgcn.atomic.dec.i64.p1i64(i64 addrspace(1)* %gep, i64 42, i32 0, i32 0, i1 false)
 384   ret void
 385 }
 386
 387 @lds1 = addrspace(3) global [512 x i64] undef, align 8
 388
 389 ; GCN-LABEL: {{^}}atomic_dec_shl_base_lds_0_i64:
 390 ; GCN: v_lshlrev_b32_e32 [[PTR:v[0-9]+]], 3, {{v[0-9]+}}
 391 ; GCN: ds_dec_rtn_u64 v{{\[[0-9]+:[0-9]+\]}}, [[PTR]], v{{\[[0-9]+:[0-9]+\]}} offset:16
 392 define amdgpu_kernel void @atomic_dec_shl_base_lds_0_i64(i64 addrspace(1)* %out, i32 addrspace(1)* %add_use) #0 {
 393   %tid.x = tail call i32 @llvm.amdgcn.workitem.id.x() #1
 394   %idx.0 = add nsw i32 %tid.x, 2
 395   %arrayidx0 = getelementptr inbounds [512 x i64], [512 x i64] addrspace(3)* @lds1, i32 0, i32 %idx.0
 396   %val0 = call i64 @llvm.amdgcn.atomic.dec.i64.p3i64(i64 addrspace(3)* %arrayidx0, i64 9, i32 0, i32 0, i1 false)
 397   store i32 %idx.0, i32 addrspace(1)* %add_use
 398   store i64 %val0, i64 addrspace(1)* %out
 399   ret void
 400 }
 401
 402 attributes #0 = { nounwind }
 403 attributes #1 = { nounwind readnone }
 404 attributes #2 = { nounwind argmemonly }
 405
 406
 407
 408
 409
 410
 411
 412
 413