llvm/test/CodeGen/AMDGPU/move-to-valu-atomicrmw-system.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=amdgcn -mcpu=tahiti -verify-machineinstrs < %s | FileCheck -check-prefix=GCN %s
   3 ; XUN: llc -mtriple=amdgcn -mcpu=fiji -verify-machineinstrs < %s | FileCheck --check-prefixes=GCN,VI %s
   4
   5 ; FIXME: broken on VI because flat instructions need to be emitted
   6 ; instead of addr64 equivalent of the _OFFSET variants.
   7
   8 ; Check that moving the pointer out of the resource descriptor to
   9 ; vaddr works for atomics.
  10
  11 declare i32 @llvm.amdgcn.workitem.id.x() #1
  12
  13 define amdgpu_kernel void @atomic_max_i32(ptr addrspace(1) %out, ptr addrspace(1) %in, ptr addrspace(1) %x, i32 %y) #0 {
  14 ; GCN-LABEL: atomic_max_i32:
  15 ; GCN:       ; %bb.0:
  16 ; GCN-NEXT:    s_load_dwordx4 s[0:3], s[4:5], 0x9
  17 ; GCN-NEXT:    s_mov_b32 s11, 0xf000
  18 ; GCN-NEXT:    s_mov_b32 s10, 0
  19 ; GCN-NEXT:    v_lshlrev_b32_e32 v1, 3, v0
  20 ; GCN-NEXT:    v_mov_b32_e32 v2, 0
  21 ; GCN-NEXT:    s_waitcnt lgkmcnt(0)
  22 ; GCN-NEXT:    s_mov_b64 s[8:9], s[2:3]
  23 ; GCN-NEXT:    buffer_load_dwordx2 v[1:2], v[1:2], s[8:11], 0 addr64 glc
  24 ; GCN-NEXT:    s_waitcnt vmcnt(0)
  25 ; GCN-NEXT:    v_cmp_ne_u32_e32 vcc, 1, v0
  26 ; GCN-NEXT:    s_and_saveexec_b64 s[2:3], vcc
  27 ; GCN-NEXT:    s_cbranch_execz .LBB0_4
  28 ; GCN-NEXT:  ; %bb.1: ; %atomic
  29 ; GCN-NEXT:    s_mov_b32 s8, s10
  30 ; GCN-NEXT:    s_mov_b32 s9, s10
  31 ; GCN-NEXT:    buffer_load_dword v5, v[1:2], s[8:11], 0 addr64 offset:400
  32 ; GCN-NEXT:    s_load_dword s4, s[4:5], 0xf
  33 ; GCN-NEXT:    s_mov_b64 s[2:3], 0
  34 ; GCN-NEXT:  .LBB0_2: ; %atomicrmw.start
  35 ; GCN-NEXT:    ; =>This Inner Loop Header: Depth=1
  36 ; GCN-NEXT:    s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
  37 ; GCN-NEXT:    v_max_i32_e32 v4, s4, v5
  38 ; GCN-NEXT:    v_mov_b32_e32 v3, v4
  39 ; GCN-NEXT:    v_mov_b32_e32 v4, v5
  40 ; GCN-NEXT:    buffer_atomic_cmpswap v[3:4], v[1:2], s[8:11], 0 addr64 offset:400 glc
  41 ; GCN-NEXT:    s_waitcnt vmcnt(0)
  42 ; GCN-NEXT:    buffer_wbinvl1
  43 ; GCN-NEXT:    v_cmp_eq_u32_e32 vcc, v3, v5
  44 ; GCN-NEXT:    s_or_b64 s[2:3], vcc, s[2:3]
  45 ; GCN-NEXT:    v_mov_b32_e32 v5, v3
  46 ; GCN-NEXT:    s_andn2_b64 exec, exec, s[2:3]
  47 ; GCN-NEXT:    s_cbranch_execnz .LBB0_2
  48 ; GCN-NEXT:  ; %bb.3: ; %atomicrmw.end
  49 ; GCN-NEXT:    s_or_b64 exec, exec, s[2:3]
  50 ; GCN-NEXT:    s_mov_b32 s3, 0xf000
  51 ; GCN-NEXT:    s_mov_b32 s2, -1
  52 ; GCN-NEXT:    buffer_store_dword v3, off, s[0:3], 0
  53 ; GCN-NEXT:  .LBB0_4: ; %exit
  54 ; GCN-NEXT:    s_endpgm
  55   %tid = call i32 @llvm.amdgcn.workitem.id.x()
  56   %tid.gep = getelementptr ptr addrspace(1), ptr addrspace(1) %in, i32 %tid
  57   %ptr = load volatile ptr addrspace(1), ptr addrspace(1) %tid.gep
  58   %xor = xor i32 %tid, 1
  59   %cmp = icmp ne i32 %xor, 0
  60   br i1 %cmp, label %atomic, label %exit
  61
  62 atomic:
  63   %gep = getelementptr i32, ptr addrspace(1) %ptr, i32 100
  64   %ret = atomicrmw max ptr addrspace(1) %gep, i32 %y seq_cst
  65   store i32 %ret, ptr addrspace(1) %out
  66   br label %exit
  67
  68 exit:
  69   ret void
  70 }
  71
  72 define amdgpu_kernel void @atomic_max_i32_noret(ptr addrspace(1) %out, ptr addrspace(1) %in, ptr addrspace(1) %x, i32 %y) #0 {
  73 ; GCN-LABEL: atomic_max_i32_noret:
  74 ; GCN:       ; %bb.0:
  75 ; GCN-NEXT:    s_load_dwordx2 s[0:1], s[4:5], 0xb
  76 ; GCN-NEXT:    s_mov_b32 s3, 0xf000
  77 ; GCN-NEXT:    s_mov_b32 s2, 0
  78 ; GCN-NEXT:    v_lshlrev_b32_e32 v1, 3, v0
  79 ; GCN-NEXT:    v_mov_b32_e32 v2, 0
  80 ; GCN-NEXT:    s_waitcnt lgkmcnt(0)
  81 ; GCN-NEXT:    buffer_load_dwordx2 v[1:2], v[1:2], s[0:3], 0 addr64 glc
  82 ; GCN-NEXT:    s_waitcnt vmcnt(0)
  83 ; GCN-NEXT:    v_cmp_ne_u32_e32 vcc, 1, v0
  84 ; GCN-NEXT:    s_and_saveexec_b64 s[0:1], vcc
  85 ; GCN-NEXT:    s_cbranch_execz .LBB1_3
  86 ; GCN-NEXT:  ; %bb.1: ; %atomic
  87 ; GCN-NEXT:    s_mov_b32 s0, s2
  88 ; GCN-NEXT:    s_mov_b32 s1, s2
  89 ; GCN-NEXT:    buffer_load_dword v4, v[1:2], s[0:3], 0 addr64 offset:400
  90 ; GCN-NEXT:    s_load_dword s6, s[4:5], 0xf
  91 ; GCN-NEXT:    s_mov_b64 s[4:5], 0
  92 ; GCN-NEXT:  .LBB1_2: ; %atomicrmw.start
  93 ; GCN-NEXT:    ; =>This Inner Loop Header: Depth=1
  94 ; GCN-NEXT:    s_waitcnt vmcnt(0) lgkmcnt(0)
  95 ; GCN-NEXT:    v_max_i32_e32 v3, s6, v4
  96 ; GCN-NEXT:    s_waitcnt expcnt(0)
  97 ; GCN-NEXT:    v_mov_b32_e32 v6, v4
  98 ; GCN-NEXT:    v_mov_b32_e32 v5, v3
  99 ; GCN-NEXT:    buffer_atomic_cmpswap v[5:6], v[1:2], s[0:3], 0 addr64 offset:400 glc
 100 ; GCN-NEXT:    s_waitcnt vmcnt(0)
 101 ; GCN-NEXT:    buffer_wbinvl1
 102 ; GCN-NEXT:    v_cmp_eq_u32_e32 vcc, v5, v4
 103 ; GCN-NEXT:    s_or_b64 s[4:5], vcc, s[4:5]
 104 ; GCN-NEXT:    v_mov_b32_e32 v4, v5
 105 ; GCN-NEXT:    s_andn2_b64 exec, exec, s[4:5]
 106 ; GCN-NEXT:    s_cbranch_execnz .LBB1_2
 107 ; GCN-NEXT:  .LBB1_3: ; %exit
 108 ; GCN-NEXT:    s_endpgm
 109   %tid = call i32 @llvm.amdgcn.workitem.id.x()
 110   %tid.gep = getelementptr ptr addrspace(1), ptr addrspace(1) %in, i32 %tid
 111   %ptr = load volatile ptr addrspace(1), ptr addrspace(1) %tid.gep
 112   %xor = xor i32 %tid, 1
 113   %cmp = icmp ne i32 %xor, 0
 114   br i1 %cmp, label %atomic, label %exit
 115
 116 atomic:
 117   %gep = getelementptr i32, ptr addrspace(1) %ptr, i32 100
 118   %ret = atomicrmw max ptr addrspace(1) %gep, i32 %y seq_cst
 119   br label %exit
 120
 121 exit:
 122   ret void
 123 }
 124
 125 attributes #0 = { nounwind }
 126 attributes #1 = { nounwind readnone }